💻 computer science

Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

Le papier présente SCORE, un cadre unifié utilisant l'apprentissage par renforcement et une représentation d'état enrichie par la « surprise » pour apprendre une politique de compression adaptative des tokens visuels, permettant d'accélérer la préinitialisation des modèles multimodaux de 16 fois tout en préservant 99,5 % des performances sur des vidéos longues.

Auteurs originaux : Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de raconter une histoire à un ami très intelligent, mais au lieu de lui donner un résumé, vous lui montrez chaque seconde d'une vidéo de deux heures, image par image, en lui disant : « Regarde, il y a un arbre ici, puis le même arbre ici, puis encore le même arbre... ». Votre ami finirait par être submergé, fatigué, et il oublierait les détails importants de l'histoire. C'est exactement ce qui arrive aux intelligences artificielles (les modèles de langage) lorsqu'elles regardent des vidéos : elles se noient dans une mer d'informations inutiles.

Voici une explication simple de la solution proposée par les chercheurs, appelée SCORE, en utilisant des analogies du quotidien.

1. Le Problème : La "Pourriture du Contexte"

Les modèles d'IA actuels sont comme des bibliothécaires qui doivent lire des millions de livres en même temps. Plus il y a de livres (ou de "mots" visuels dans une vidéo), plus ils deviennent lents et confus.

La métaphore : Imaginez que vous essayez de trouver une aiguille dans une botte de foin, mais la botte de foin grossit à chaque seconde. L'IA perd sa capacité à se concentrer sur l'essentiel. C'est ce qu'ils appellent le "context rot" (la pourriture du contexte) : l'IA est tellement remplie de détails inutiles (comme un ciel bleu qui ne bouge pas pendant 10 minutes) qu'elle oublie l'action principale (comme un chien qui court).

2. La Solution : Le "Filtre Intelligent" (SCORE)

Au lieu de montrer toute la vidéo à l'IA, les chercheurs ont créé un filtre intelligent qui agit comme un monteur de film ultra-rapide.

Comment ça marche ? Ce filtre ne regarde pas juste l'image. Il se pose une question simple : "Est-ce que quelque chose d'intéressant vient de changer ?"
L'analogie du "Surprise" : Imaginez que vous êtes assis dans un train. Si le paysage à la fenêtre reste le même (des champs verts), votre cerveau s'ennuie et ne retient rien. Mais si un oiseau traverse soudainement la fenêtre ou si le train passe un tunnel, votre cerveau s'éveille : "Oh ! Un changement !"
- Le système SCORE utilise ce principe. Il calcule la différence entre une image et la suivante. Si c'est identique (pas de surprise), il dit : "On jette cette image, c'est du gaspillage." Si c'est différent (mouvement, action), il dit : "Gardez ça, c'est important !"

3. L'Entraînement : Apprendre par l'Essai et l'Erreur

Pour apprendre à ce filtre à être aussi bon qu'un monteur professionnel, ils n'ont pas utilisé de règles fixes (comme "garder toujours 10% des images"). Ils ont utilisé une méthode appelée Apprentissage par Renforcement, un peu comme entraîner un chien.

Le jeu : Le filtre essaie de garder certaines images et d'en jeter d'autres.
La récompense : Si l'IA comprend bien la vidéo après le filtrage, le filtre reçoit une "friandise" (une récompense). Si l'IA se trompe, le filtre reçoit une "remarque" (une pénalité).
Le stage de formation (Curriculum) : Pour ne pas perdre le filtre au début, les chercheurs l'ont d'abord entraîné sur des vidéos "fakes" très simples (des images qui changent brusquement, comme un feu tricolore). Une fois qu'il a compris les bases, ils l'ont mis sur de vraies vidéos complexes (des gens qui marchent, des voitures qui roulent) pour qu'il apprenne à gérer les mouvements subtils.

4. Les Résultats : Vitesse et Précision

Le résultat est bluffant :

Vitesse : Le système est 16 fois plus rapide. C'est comme passer d'une voiture de ville à une Formule 1. L'IA peut traiter des vidéos très longues presque instantanément.
Précision : Même en ne gardant que 10% des images originales, l'IA comprend aussi bien (voire mieux) que si elle avait vu la vidéo entière. Pourquoi ? Parce qu'elle ne s'est pas noyée dans le bruit. Elle a vu exactement ce qu'il fallait.

En résumé

SCORE est comme un assistant de voyage très efficace. Au lieu de vous montrer chaque photo prise pendant vos vacances (y compris les 50 photos du même mur), il ne vous montre que les moments clés où l'action se passe. Il vous fait gagner du temps, il vous fatigue moins, et au final, vous vous souvenez mieux de l'histoire de vos vacances.

C'est une avancée majeure pour permettre aux intelligences artificielles de regarder de longues vidéos (comme des films entiers ou des cours) sans se perdre et sans avoir besoin de super-ordinateurs gigantesques.

1. Problématique : Redondance et "Context Rot" dans les MLLM Vidéo

Les modèles de langage multimodaux (MLLM) actuels excellent dans la compréhension vidéo, mais ils sont confrontés à deux défis majeurs liés à la longueur des séquences :

Redondance visuelle massive : Les encodeurs de vision génèrent des dizaines de milliers de tokens par vidéo, dominés par des arrière-plans statiques et des actions répétitives.
Coût computationnel prohibitif : La complexité de l'attention auto-similaire (self-attention) dans les LLM évolue de manière quadratique par rapport à la longueur de la séquence, rendant l'inférence lente et coûteuse.
Phénomène de "Context Rot" : À mesure que le nombre de tokens augmente, la capacité du modèle à utiliser l'information diminue, en particulier pour les tokens situés au milieu de la séquence. L'information essentielle est noyée sous une masse de tokens redondants, entraînant une dégradation des performances.

Les stratégies de compression existantes (basées sur des heuristiques fixes, des transformations convolutives ou des mesures de similarité) sont souvent découplées des objectifs de la tâche finale, manquant d'adaptabilité et de discrimination sémantique.

2. Méthodologie : Le Framework SCORE

Les auteurs proposent SCORE (Surprise-augmented token COmpression via REinforcement learning), un cadre unifié qui apprend une politique de compression de tokens adaptative via l'apprentissage par renforcement (RL).

Architecture et État Augmenté par la "Surprise"

SCORE insère un compresseur visuel léger (un petit MLP) entre l'encodeur de vision (figé) et le LLM (figé).

Représentation d'état augmentée : Pour capturer explicitement la dynamique temporelle et briser la symétrie entre les images consécutives, l'état d'entrée du compresseur est enrichi par un signal de "surprise".
Calcul du résidu : Pour chaque token à l'instant $t$ , le système calcule la différence par rapport à l'instant précédent : $\Delta X[t] = X[t] - X[t-1]$ .
Concaténation : La représentation finale est $H[t] = [X[t]; \Delta X[t]]$ . Ce signal de résidu agit comme un filtre passe-haut temporel, mettant en évidence les zones de mouvement ou de changement sémantique tout en supprimant la redondance statique.

Politique de Compression Stochastique

Le réseau de politique prédit une probabilité de rétention $p_{t,i}$ pour chaque token visuel via une activation sigmoïde.

Échantillonnage de Bernoulli : Pendant l'entraînement, un masque binaire est échantillonné selon ces probabilités pour déterminer quels tokens garder.

Optimisation par Apprentissage par Renforcement (RL)

Le problème est formulé comme une optimisation contrainte visant à minimiser le nombre de tokens tout en maintenant la performance du modèle au-dessus d'un seuil.

Rollouts en Groupe : Pour chaque vidéo, $K$ masques sont échantillonnés indépendamment. Chaque masque est évalué par le LLM figé pour obtenir une métrique de qualité (entropie croisée).
Récompense Accrue-Simplicité (Accuracy-Sparsity Reward) : La récompense combine la performance (réduction de l'entropie croisée par rapport à la base) et la sparsité (taux de compression).
Estimateur d'Avantage Divisé (Split-Advantage Estimator) : Pour stabiliser l'apprentissage, les rollouts sont divisés en deux zones :
- Zone sûre ( $\Delta CE > 0$ ) : Les politiques qui maintiennent la performance sont récompensées par une plus grande sparsité (on encourage à supprimer plus de tokens).
- Zone de pénalité ( $\Delta CE \le 0$ ) : Les politiques qui dégradent la performance reçoivent une pénalité pondérée par la sparsité, forçant le modèle à conserver plus de tokens pour récupérer la performance.

Stratégie d'Apprentissage par Curriculum (Curriculum Learning)

Pour gérer l'espace d'action combinatoire immense et le bruit des vidéos réelles, SCORE utilise un entraînement en deux étapes :

Phase de "Warm-up" avec Pseudo-Vidéos : Entraînement sur des vidéos synthétiques créées à partir d'images statiques répétées. Cela crée des signaux temporels binaires forts (résidus nuls ou très élevés aux transitions), facilitant l'apprentissage initial de la corrélation entre résidus et pertinence.
Phase sur Vidéos Réelles : Affinement de la politique sur de vraies vidéos pour apprendre à gérer des mouvements subtils et des bruits de fond, généralisant ainsi l'heuristique basée sur les résidus.

Inférence

Lors de l'inférence, la sélection est déterministe : on applique une règle Top-K globale sur tous les tokens pour conserver exactement le ratio de rétention souhaité (ex: 10%), tout en préservant les indices de position spatio-temporels originaux.

3. Contributions Clés

SCORE : Un compresseur visuel au niveau du token basé sur le RL, optimisé de bout en bout pour maximiser la qualité de génération du LLM sous contrainte de budget de tokens.
Encodage d'état augmenté par la surprise : Une nouvelle représentation qui intègre explicitement les résidus inter-images pour capturer la dynamique temporelle, permettant une sélection de tokens sensible au mouvement.
Stratégie d'entraînement hybride : Combinaison de gradients de politique par groupe, d'un estimateur d'avantage divisé pour la stabilité, et d'un curriculum progressif (pseudo-vers-réel) pour surmonter les difficultés d'apprentissage.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (Video-MME, MLVU, LVBench) avec des modèles comme Qwen2.5-VL et LLaVA-Video.

Performance supérieure : SCORE surpasse systématiquement les méthodes de compression de l'état de l'art (DyCoke, HoliTom, VidCom2, FastVID).
Surpassement du modèle non compressé : À un taux de rétention de 25%, SCORE atteint un score moyen de 58.9, surpassant le modèle "Vanilla" (non compressé) qui obtient 57.3. Cela démontre que la suppression ciblée des tokens redondants atténue le "context rot" et améliore la compréhension.
Efficacité extrême : À un taux de rétention de 10%, SCORE conserve 99,5% de la performance originale tout en offrant un accélération de 16x sur le temps de pré-remplissage (prefill latency).
Généralisation : La méthode fonctionne efficacement sur différentes architectures de LLM (Qwen et LLaVA), prouvant qu'elle apprend une politique de compression transférable et non un surajustement à un modèle spécifique.

5. Signification et Impact

SCORE représente une avancée significative pour le déploiement pratique des MLLM vidéo :

Résolution du goulot d'étranglement : Il offre une solution évolutive pour traiter des vidéos longues sans sacrifier la précision, en réduisant drastiquement la charge computationnelle quadratique.
Au-delà de la simple compression : L'article démontre que la compression intelligente n'est pas seulement un compromis entre vitesse et précision, mais peut être un mécanisme de régulation qui améliore la qualité de raisonnement en éliminant le bruit informationnel.
Applicabilité temps réel : Avec des gains de latence de l'ordre de 16x, SCORE rend viable l'utilisation de modèles vidéo complexes dans des scénarios sensibles à la latence.

En résumé, SCORE transforme la compression de tokens d'un problème heuristique en un problème d'optimisation appris, utilisant l'apprentissage par renforcement pour équilibrer dynamiquement l'efficacité computationnelle et la capacité de compréhension sémantique.