💻 computer science

One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding

Ce papier présente \name, un modèle de compréhension vidéo qui atteint une compression extrême en apprenant à réduire chaque image à un seul token et à sélectionner les cadres les plus pertinents via l'attention de l'LLM, permettant ainsi un traitement plus dense et performant de vidéos longues avec peu de données d'entraînement.

Auteurs originaux : Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Publié 2026-04-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Le "Téléphone Arabe" des Vidéos Longues

Imaginez que vous essayez de raconter l'histoire d'un film de 2 heures à un ami, mais vous n'avez le droit de lui dire que 5 mots au total. C'est à peu près ce que vivent les intelligences artificielles (les modèles de langage) lorsqu'elles regardent une longue vidéo.

Aujourd'hui, pour comprendre une vidéo, l'IA doit "lire" chaque image (ou frame). Le problème ? Chaque image se transforme en des centaines de petits mots numériques (tokens). Si la vidéo est longue, le nombre de mots explose. L'IA a une "mémoire de travail" limitée (comme un cerveau humain qui ne peut retenir qu'un court résumé). Si on lui donne trop d'informations d'un coup, elle s'étouffe, oublie le début de l'histoire et rate les détails importants.

Pour éviter cela, les anciennes méthodes faisaient un peu n'importe quoi : elles prenaient des images au hasard ou gardaient juste le début et la fin, comme si on regardait un film en sautant toutes les scènes importantes. Résultat : l'IA perdait le fil.

💡 La Solution : XComp, le "Super-Résumé" Intelligent

Les chercheurs ont créé XComp, une nouvelle méthode qui permet à l'IA de comprendre des vidéos très longues sans s'étouffer. Ils utilisent deux astuces magiques, comme un chef cuisinier qui prépare un plat complexe.

1. L'astuce du "Compression Apprise" (LP-Comp) : Le Chef qui Affine son Recette

Au lieu de jeter des ingrédients au hasard, XComp apprend à l'IA à résumer elle-même chaque image en un seul mot puissant.

L'analogie : Imaginez que vous avez 16 photos d'un gâteau. Au lieu de les montrer toutes, vous demandez à un expert (l'IA) de les regarder et de les transformer en une seule phrase qui capture l'essence du gâteau (sa couleur, sa texture, son parfum).
La différence : Avant, les IA utilisaient des règles fixes (comme "garder toujours la 3ème photo"). XComp, lui, s'entraîne (comme un étudiant) pour apprendre à condenser l'information de manière intelligente. Il apprend progressivement, couche par couche, à ne garder que l'essentiel. C'est comme passer d'un roman de 500 pages à un résumé parfait d'une page, sans perdre l'histoire.

2. L'astuce du "Sélectionneur de Scènes" (QC-Comp) : Le Caméraman Intelligent

Même avec un bon résumé, si vous avez 10 000 images, c'est trop. Il faut choisir les meilleures.

Le problème des anciennes IA : Elles avaient un défaut appelé "l'effet du milieu perdu". Quand on leur donne une longue histoire, elles se concentrent trop sur le début et la fin, et oublient ce qui se passe au milieu (comme un lecteur qui lit le début et la fin d'un livre mais saute les chapitres du milieu).
La solution XComp : L'IA divise la vidéo en petits morceaux (comme des chapitres). Pour chaque question que vous posez (ex: "Que fait la femme dans la cuisine ?"), l'IA regarde uniquement les scènes pertinentes dans chaque petit morceau.
L'analogie : C'est comme si vous aviez un caméraman qui, au lieu de filmer tout le film en continu, ne filme que les moments où la femme parle, et ignore les scènes où elle dort ou où il n'y a personne. Il ne garde que les "clous" de l'histoire.

🚀 Le Résultat : Voir Plus, Mieux Comprendre

Grâce à ces deux techniques combinées, XComp peut :

Voir plus de détails : Parce qu'il ne gaspille pas sa mémoire, il peut regarder beaucoup plus d'images (2 à 4 fois plus) que les modèles précédents.
Être plus précis : Il ne rate plus les détails importants au milieu d'une vidéo longue.
Être économe : Il utilise beaucoup moins de puissance de calcul, ce qui le rend plus rapide et moins cher à faire tourner.

En Résumé

Imaginez que vous devez préparer un voyage à travers un pays immense.

Les anciennes méthodes prenaient une photo de chaque arbre sur la route (trop de données) ou ne prenaient que la photo de l'aéroport de départ et de l'arrivée (trop peu de détails).
XComp, lui, engage un guide local très intelligent. Ce guide apprend à résumer chaque village en une carte précise (compression apprise) et ne vous montre que les villages où il y a de l'action par rapport à votre destination (sélection intelligente).

Le résultat ? Vous arrivez à destination avec une compréhension parfaite du voyage, sans jamais avoir été submergé par trop d'informations. C'est cela, la révolution de XComp pour la compréhension des vidéos longues.

Titre : XComp : Une Compression Extrême pour la Compréhension de Vidéos Longues (Un Token par Image Hautement Sélective)

1. Le Problème : Les Limites de la Compréhension de Vidéos Longues

La compréhension de vidéos longues par les modèles Vision-Language (VLM) se heurte à une contrainte fondamentale : la longueur de contexte limitée des grands modèles de langage (LLM).

Explosion du nombre de tokens : Chaque image vidéo est généralement encodée en dizaines ou centaines de tokens visuels. Traiter une vidéo longue (plus de 1000 images) dépasse rapidement la capacité de contexte des LLM, forçant les modèles à échantillonner les images de manière très clairsemée (sparse sampling).
Perte d'information temporelle : Cet échantillonnage sparse entraîne la perte d'informations temporelles critiques et de détails visuels fins, rendant difficile la compréhension de vidéos d'une durée d'une heure ou plus.
Limites des méthodes actuelles : Les approches existantes reposent souvent sur des stratégies heuristiques (sélection d'images, pooling) ou des modules de compression non supervisés. Ces méthodes risquent de supprimer des tokens visuels essentiels car les couches du LLM ne sont pas entraînées pour apprendre à condenser l'information des tokens supprimés vers ceux conservés.

2. Méthodologie : L'Approche XComp

Les auteurs proposent XComp, un cadre qui vise une compression extrême : réduire chaque image vidéo à un seul token hautement informatif à la dernière couche du LLM. Cette approche combine deux mécanismes principaux :

A. Compression Apprenable et Progressive au Niveau du Token (LP-Comp)

Concept : Au lieu d'utiliser des heuristiques fixes, les auteurs supervisent les couches du LLM pour qu'elles apprennent activement à compresser les tokens visuels.
Apprentissage Supervisé : Un stage de "Supervised Compression Tuning" (SCT) est introduit. Le modèle est entraîné pour condenser progressivement les tokens de chaque image (par exemple, de 16 tokens à 1 token) à travers les couches du LLM.
Stratégie Progressive : La compression n'est pas brutale (une seule couche). Elle suit un calendrier lisse (basé sur une courbe cosinus) à travers toutes les couches du LLM, permettant une transition douce qui préserve l'information.
Préservation du Suffixe : Pour respecter l'attention causale des LLM (où les tokens futurs absorbent les informations passées), la compression conserve systématiquement les derniers tokens (le suffixe) de chaque image à chaque étape de réduction.
Efficacité des données : Ce fine-tuning ne nécessite que 2,5 % des données d'entraînement supervisé (SFT) du modèle de base (VideoChat-Flash), tout en accélérant l'entraînement grâce à la réduction du nombre de tokens.

B. Compression Conditionnée par la Question au Niveau de l'Image (QC-Comp)

Objectif : Sélectionner uniquement les images les plus pertinentes pour la question de l'utilisateur, réduisant ainsi le nombre d'images traitées ( $T \to T'$ ).
Mécanisme d'Attention : Le modèle utilise les scores d'attention internes entre les tokens de la question et les tokens vidéo pour évaluer la pertinence de chaque image.
Attention Locale Segmentée : Pour contrer le biais de position des LLM (le phénomène "Lost in the Middle" où les modèles ignorent le milieu des séquences longues), la vidéo est divisée en segments courts. L'attention est calculée localement au sein de chaque segment, garantissant que les images importantes au milieu de la vidéo ne sont pas négligées.
Filtrage : Seules les images avec les scores d'attention les plus élevés sont conservées pour la génération de la réponse.

3. Contributions Clés

LP-Comp (Learnable & Progressive Compression) : Un cadre novateur où les couches du LLM sont entraînées pour compresser les tokens visuels de manière apprenable et progressive, surpassant les méthodes heuristiques traditionnelles.
QC-Comp (Question-Conditioned Compression) : Une méthode de sélection d'images basée sur l'attention conditionnée par la question, améliorée par une attention locale segmentée pour éviter les biais de position dans les contextes longs.
Compression Extrême : La capacité de traiter des vidéos avec une densité d'images beaucoup plus élevée (jusqu'à 2x-4x plus d'images) tout en réduisant le coût computationnel, en atteignant le ratio ultime d'un token par image.

4. Résultats Expérimentaux

Le modèle XComp a été affiné à partir de VideoChat-Flash-2B et évalué sur plusieurs benchmarks de compréhension de vidéos longues :

Performance Supérieure : XComp bat l'état de l'art parmi les modèles de taille 2B (2 milliards de paramètres) et rivalise avec des modèles beaucoup plus grands (7B-9B).
- LVBench : Passage de 42,9 % (VideoChat-Flash) à 46,2 %.
- LongVideoBench : Passage de 58,3 % à 59,7 %.
- MLVU : Passage de 65,7 % à 66,7 %.
Robustesse à la Densité d'Images : Contrairement aux modèles de base dont les performances chutent après un certain nombre d'images, XComp continue d'améliorer sa précision lorsque le nombre d'images d'entrée augmente, prouvant l'efficacité de la compression extrême.
Efficacité Computationnelle : Sur des requêtes de 4096 images, XComp réduit la latence de 58 % et le coût en TFLOPs de 58 % par rapport au modèle de base.
Généralisation : La méthode a également été appliquée avec succès à LLaVA-Next-Video, confirmant sa généralisabilité à d'autres architectures.

5. Signification et Impact

Changement de Paradigme : XComp démontre qu'il est possible de compresser des vidéos entières en un nombre de tokens extrêmement faible (un par image) sans sacrifier la compréhension, à condition d'entraîner spécifiquement le LLM pour cette tâche.
Accessibilité : En réduisant drastiquement les besoins en mémoire et en calcul, cette approche rend la compréhension de vidéos longues accessible sur des matériels moins puissants (ex: cartes graphiques grand public) et permet de traiter des vidéos d'une heure à des taux d'images par seconde (FPS) plus élevés.
Efficacité des Données : La capacité à obtenir des gains significatifs avec seulement 2,5 % des données d'entraînement suggère une voie prometteuse pour l'optimisation des modèles multimodaux à faible coût.

En résumé, XComp résout le goulot d'étranglement de la longueur de contexte dans la compréhension vidéo en combinant une compression apprenable au niveau des tokens et une sélection intelligente des images, ouvrant la voie à une analyse vidéo dense et efficace.