💻 computer science

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

Le papier propose MARC, un cadre d'apprentissage par renforcement augmenté par la mémoire qui atteint une précision de compréhension vidéo proche de la référence tout en réduisant les jetons visuels de 95 % et la mémoire GPU de 72 % grâce à une nouvelle stratégie de récupération puis de compression combinant un Récupérateur de Mémoire Visuelle et une méthode de distillation par Optimisation de Politique Relative de Groupe de Compression.

Auteurs originaux : Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Publié 2026-02-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un fichier vidéo haute définition massif que vous devez montrer à un assistant très intelligent mais très occupé (un modèle d'IA). Le problème est que le fichier est si énorme que l'assistant est submergé, manque de mémoire et met un temps infini à vous donner une réponse. C'est le combat actuel de la compréhension vidéo par l'IA : les vidéos sont trop volumineuses pour être traitées rapidement.

Le papier présente un nouveau système appelé MARC (Memory-Augmented RL Token Compression) pour résoudre ce problème. Considérez MARC comme un « éditeur intelligent » en deux étapes qui réduit un film de la taille d'un film à celle d'une seule photo sans perdre l'histoire.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le goulot d'étranglement de l'« excès d'informations »

Actuellement, pour comprendre une vidéo, les modèles d'IA tentent souvent d'examiner chaque image, comme regarder un film à 60 images par seconde. Si la vidéo est longue, cela crée une montagne de données.

L'analogie : Imaginez essayer de lire un livre de 500 pages pour répondre à une seule question simple. C'est inefficace. Vous n'avez pas besoin de lire chaque mot sur chaque page ; vous avez juste besoin des chapitres spécifiques où la réponse est cachée.

2. Première étape : Le « Visual Memory Retriever » (Le Bibliothécaire Intelligent)

Avant que l'IA ne tente de compresser la vidéo, elle doit d'abord trouver les bonnes parties. Le papier appelle cela le Visual Memory Retriever (VMR).

Comment ça marche : Au lieu de regarder la vidéo comme un flux continu, cet outil agit comme un bibliothécaire humain qui comprend les histoires. Il décompose la vidéo en « événements » (comme des scènes de film).
La métaphore : Si vous demandez : « Que s'est-il passé quand la voiture a eu l'accident ? », le bibliothécaire ne vous montre pas tout le film. Il extrait immédiatement les 3 clips spécifiques où l'accident se produit, ainsi que les moments juste avant et juste après. Il ignore les parties ennuyeuses où il ne se passe rien.
Le résultat : L'IA n'a plus qu'à traiter quelques clips courts et pertinents au lieu de tout le film.

3. Deuxième étape : C-GRPO (L'entraînement « Maître et Apprenti »)

Maintenant que l'IA possède les bons clips, elle a encore trop de détails (tokens) à traiter efficacement. Le papier introduit une nouvelle méthode d'entraînement appelée C-GRPO.

L'analogie : Imaginez un Chef Maître (l'Enseignant) qui cuisine un repas complexe de 64 plats en utilisant une cuisine complète. Ensuite, vous avez un Apprenti (l'Étudiant) qui n'a le droit d'utiliser qu'un petit réchaud de camping et un seul ingrédient.
Le défi : Habituellement, si vous forcez l'Apprenti à utiliser si peu, la nourriture a un goût terrible.
La solution : Le papier utilise un système de récompense spécial par « Apprentissage par Renforcement » (Reinforcement Learning). L'Apprenti essaie de cuisiner, et le système vérifie : « Le plat de l'Apprenti a-t-il le même goût que celui du Maître, même s'il a utilisé si peu d'ingrédients ? »
- Si l'Apprenti réussit, il reçoit une récompense.
- S'il échoue, il reçoit une pénalité.
Le résultat : À travers ce processus d'essais et d'erreurs, l'Apprenti apprend à extraire l' essence de la saveur (le raisonnement) en utilisant seulement une fraction minuscule des ingrédients.

4. Les Résultats : Réduire l'Éléphant

Le papier affirme qu'en combinant le « Bibliothécaire Intelligent » (trouver les bons clips) et l'entraînement « Maître/Apprenti » (compresser les données) :

Réduction de taille : Ils peuvent prendre une vidéo qui nécessite normalement 64 images de données pour être comprise et la compresser à l'équivalent de seulement 1 image. Cela représente une réduction de données de 95 %.
Performance : Malgré l'utilisation de 95 % de données en moins, la capacité de l'IA à répondre aux questions reste presque identique à celle de lorsqu'elle avait vu les 64 images complètes.
Mémoire et Vitesse :
- Mémoire : Il utilise 72 % de mémoire informatique (RAM) en moins.
- Vitesse : Il génère des réponses 23,9 % plus rapidement.

Pourquoi cela est important (selon le papier)

Les auteurs affirment que cela permet de faire fonctionner ces modèles d'IA vidéo puissants sur des appareils aux ressources limitées. Ils mentionnent spécifiquement des applications telles que :

Le questionnement vidéo en temps réel (poser des questions sur une vidéo pendant qu'elle se déroule).
Les systèmes de surveillance (surveiller des caméras sans avoir besoin de supercalculateurs).
La conduite autonome (des voitures ayant besoin de comprendre la vidéo rapidement avec une puissance embarquée limitée).

En résumé, MARC apprend à une IA à être un « survolleur » plutôt qu'un « lecteur », trouvant les moments les plus importants et apprenant à les comprendre profondément sans avoir besoin de traiter l'intégralité du fichier.

Résumé Technique : MARC – Compression de Tokens par Apprentissage par Renforcement Augmenté par la Mémoire pour une Compréhension Vidéo Efficace

Problématique

Les modèles de langage visuels (VLM) sont confrontés à des goulots d'étranglement computationnels importants lorsqu'ils passent de la compréhension d'images à celle de vidéos. Les taux de rafraîchissement élevés et les longues durées de vidéo nécessitent le traitement de milliers de tokens, ce qui entraîne une augmentation brutale des coûts d'inférence, de la latence et de l'utilisation de la mémoire GPU. Cela entrave le déploiement dans des environnements aux ressources limitées et sensibles à la latence, tels que la conduite autonome et la surveillance.

Bien que la compression de tokens soit une solution prometteuse, les méthodes existantes reposent principalement sur des stratégies sans entraînement (par exemple, la fusion de tokens spatiale ou temporelle). Les auteurs soutiennent que ces approches sans entraînement provoquent inévitablement une perte d'information lors de la compression, entraînant une chute significative des performances du modèle. Le défi central est de parvenir à une réduction agressive des tokens (par exemple, réduire une vidéo au nombre de tokens d'une seule image) sans sacrifier les capacités de raisonnement du modèle.

Méthodologie

Le document propose MARC (Compression de Tokens basée sur l'Apprentissage par Renforcementment Augmenté par la Mémoire), un cadre à deux étapes conçu pour récupérer les informations pertinentes avant de les compresser.

1. Récupérateur de Mémoire Visuelle (VMR)

Inspiré par les sciences cognitives et la théorie de la segmentation d'événements, le VMR remplace les fenêtres temporelles à longueur fixe par une approche sémantique basée sur les événements.

Segmentation par Événements : Un réseau de détection d'événements profond partitionne les flux vidéo continus en clips sémantiquement cohérents (fragments de mémoire visuelle) basés sur les changements de scène, les changements de sujet ou le commencement d'actions.
Récupération de Mémoire : Les représentations de requêtes et les fragments visuels sont projetés dans un espace latent partagé via l'apprentissage contrastif. Une recherche de plus proches voisins récupère les $k$ fragments les plus pertinents par rapport à la requête de l'utilisateur.
Fonction : Cette étape agit comme un filtre, réduisant l'espace de recherche et garantissant que la compression ultérieure opère uniquement sur des « mémoires épisodiques » contenant les preuves les plus utiles causalement, plutôt que sur des images redondantes.

2. Compression Temporelle Sensible à la Mémoire

Avant la distillation par RL, une couche de compression spécifique est appliquée aux segments récupérés :

Cohérence Locale : Au sein de chaque segment d'événement récupéré, les images consécutives sont fusionnées sur la base de la similitude cosinus afin de conserver la dynamique locale tout en réduisant la redondance.
Consolidation Globale : Si le budget de tokens est toujours dépassé, une fusion inter-segments légère est appliquée. Cela garantit que la structure de l'événement définie par le VMR est préservée.

3. Optimisation de Politique par Groupes Relatifs de Compression (C-GRPO)

Pour maintenir la performance sous une compression extrême (réduisant l'entrée à l'équivalent de tokens d'une seule image), les auteurs introduisent la stratégie C-GRPO, un apprentissage par renforcement (RL) post-entraînement.

Distillation Enseignant-Étudiant : Un réseau « Enseignant » traite 64 images, tandis qu'un réseau « Étudiant » traite l'entrée compressée d'une seule image.
Récompense d'Alignement de Rétention : Contra\à la méthode GRPO standard qui se concentre sur la justesse de la réponse, la C-GRPO introduit une récompense de compression ( $r_c$ $r_{c}$ ). Cette récompense est calculée sur la base du ratio de rétention ( $\eta$ $η$ ), qui mesure la part de la performance de l'Enseignant que l'Étudiant conserve.
- $r_c = \alpha \cdot \max(0, \eta - \tau)$ , où $\tau$ est un seuil de rétention minimale acceptable (fixé à 0,6).
Mécanisme de Porte (Gating) : La récompense de rétention est filtrée par la justesse ( $1[\text{correct}]$ ), garantissant que seules les générations sémantiquement valides reçoivent le bonus. Cela empêît le « détournement de récompense » (reward hacking) où le modèle pourrait deviner correctement par chance sans réellement conserver sa capacité de raisonnement.
Objectif : La politique est optimisée pour maximiser la rétention de la capacité de raisonnement de l'Enseignant tout en respectant le budget strict de tokens.

Principales Contributions

Cadre MARC : Une architecture novatrice intégrant la récupération visuelle structurée (VMR) avec la compression de tokens par RL, permettant une compréhension vidéo efficace qui imite la mémoire épisodique humaine.
Algorithme C-GRPO : La première stratégie de RL post-entraînement spécifiquement conçue pour la compression de tokens vidéo. Elle réussit à distiller des capacités de raisonnement complexes d'un Enseignant à haut nombre de tokens vers un Étudiant à faible nombre de tokens en optimisant explicitement la rétention de performance.
Validation Empirique : Des expériences approfondies sur six benchmarks démontrant que la méthode atteint une performance proche de la référence (baseline) avec des coûts de calcul considérablement réduits.

Résultats Expérimentaux

Les auteurs ont évalué MARC sur six benchmarks : VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass et VideoMME, en utilisant Qwen2.5-VL-3B comme modèle de base.

Performance : MARC a obtenu un score moyen de 42,20, presque identique à la référence de 64 images de 42,21.
- Il a surpassé la référence sur MMVU, MVBench et TempCompass.
- Il a dépassé des modèles plus larges (ex: InternVL3.5-4B, Gemma-3-4B) malgré l'utilisation d'un modèle de 3B paramètres.
Réduction de Tokens : La méthode a réduit les tokens visuels de 95 % (de ~2590 tokens à ~123 tokens), utilisant efficacement l'équivalent de tokens d'une seule image (4,71 % des tokens originaux).
Gains d'Efficacité :
- Mémoire GPU : Réduite de 72,4 % (de 41,63 Go à 11,48 Go sur une A6000).
- Latence : La latence de génération a été réduite de 23,9 %, avec une réduction de 11,1 % de la latence de bout en bout pour le traitement des échantillons.
Études d'Ablation :
- VMR : L'utilisation du VMR seul a augmenté la précision de la référence (moyenne 45,56 contre 42,21), prouvant la valeur de la récupération basée sur les événements.
- C-GRPO vs SFT : MARC (C-GRPO) a surpassé la référence de réglage fin supervisé (SFT) de 9,6 % en score moyen, soulignant la supériorité de la distillation par RL pour les tâches de compression.
- Seuil ( $\tau$ ) : Un seuil de 0,6 a fourni l'équilibre optimal entre stabilité et rétention de performance.

Signification et Revendications

L'article affirme que MARC offre une solution robuste pour la compression post-entraînement des modèles à grande échelle, comblant le fossé entre efficacité et précision. En combinant la récupération inspirée de la cognition et la distillation par RL, la méthode permet le déploiement des VLM dans des scénarios aux contraintes de ressources strictes, tels que le questionnement vidéo en temps réel, la surveillance et la conduite autonome.

Les auteurs soulignent que leur approche évite la dégradation des performances typique des méthodes de compression sans entraînement. Au lieu de cela, en traitant la compression comme un problème d'alignement où l'étudiant doit correspondre au raisonnement de l'enseignant, MARC maintient une haute fidélité même en réduisant l'entrée à l'équivalent de tokens d'une seule image. Ce travail est présenté comme une voie pratique pour rendre la compréhension vidéo évolutive et déployable dans des applications réelles sensibles à la latence.