💻 computer science

EarlyTom: Early Token Compression Completes Fast Video Understanding

L'article propose EarlyTom, un cadre sans entraînement qui effectue une compression des tokens visuels à un stade précoce à l'intérieur de l'encodeur de vision afin de réduire considérablement la latence jusqu'au premier token et les coûts de calcul tout en maintenant une précision comparable à celle des références utilisant l'ensemble des tokens.

Auteurs originaux : Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

Publié 2026-05-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire un film de 30 minutes à un ami très intelligent, mais très occupé (l'IA). Votre ami doit regarder le film en entier avant de pouvoir répondre à vos questions.

Le Problème : Le « Début Lent »
Actuellement, lorsque l'IA tente de comprendre une vidéo, elle agit comme un étudiant qui insiste pour lire chaque page d'un manuel avant de répondre à une seule question.

L'Ancienne Méthode : L'IA regarde chaque image de la vidéo, la décompose en milliers de petits morceaux (tokens), puis remet cette immense pile à son « cerveau » (le Modèle de Langage de Grande Taille) pour traitement.
Le Goulot d'Étranglement : L'article a découvert que le plus grand retard ne vient pas du temps de réflexion de l'IA ; c'est le temps passé simplement à regarder et à organiser la vidéo au départ. C'est comme passer 40 minutes à trier un jeu de cartes avant même de commencer la partie. Même lorsque d'autres méthodes ont essayé de jeter certaines cartes plus tard, le tri initial restait lent.

La Solution : EarlyTom (Le « Éditeur Intelligent »)
Les auteurs ont créé une nouvelle méthode appelée EarlyTom. Imaginez EarlyTom comme un monteur de film ultra-efficace qui intervient pendant que la vidéo est regardée, et non après.

Au lieu d'attendre que la vidéo soit entièrement traitée pour décider quoi conserver, EarlyTom édite la vidéo pendant le processus de visionnage. Il utilise deux astuces principales :

1. L'Astuce « Fusion » (Compression Temporelle)
Imaginez regarder une vidéo où une personne reste immobile en train de parler pendant 10 secondes. La vidéo contient 300 images de cette même personne.

Ancienne Méthode : L'IA traite les 300 images individuellement.
EarlyTom : Il remarque : « Hé, ces 300 images sont presque identiques. » Au lieu de les traiter toutes, il les fusionne en une seule image de résumé de haute qualité. C'est comme résumer un monologue de 10 minutes en une seule phrase avant de le transmettre. Cela se produit à l'intérieur de l'objectif de la caméra (l'encodeur visuel), de sorte que le travail lourd est accompli beaucoup plus rapidement.

2. L'Astuce « Projecteur » (Sélection Spatiale)
Maintenant, imaginez que l'IA doit regarder une foule de personnes dans une vidéo.

Le Piège : L'article a révélé que l'IA a une habitude étrange appelée « Enfoncement de l'Attention ». C'est comme un projecteur qui reste coincé sur quelques points spécifiques (comme un mur vide ou un logo) et brille trop intensément sur eux, ignorant l'action réelle se produisant ailleurs. Si vous choisissez simplement les points les plus « brillants », vous risquez de manquer l'action importante.
La Correction d'EarlyTom : Il divise la foule en deux groupes :
- Le Groupe « En Mouvement » : Pour les parties de la vidéo où les choses changent (action), il sélectionne les détails les plus importants à l'échelle globale.
- Le Groupe « Statique » : Pour les parties où les choses sont statiques, il utilise une approche de « fenêtre » locale pour s'assurer qu'il ne se laisse pas distraire par le projecteur coincé. Il garantit que l'IA voit une vue équilibrée de la scène sans être biaisée par ces points coincés.

Le Résultat : Vitesse sans Perte d'Intelligence
En effectuant cet éditage tôt dans le processus, EarlyTom réalise deux choses étonnantes :

Début Ultra-Rapide : Il réduit le temps nécessaire pour obtenir la première réponse (Temps jusqu'au Premier Token) jusqu'à 2,65 fois. Si l'ancienne méthode prenait 900 millisecondes, celle-ci en prend environ 336.
Moins de Travail : Il réduit la puissance de calcul totale nécessaire jusqu'à 61 %.

L'Essentiel
L'article affirme qu'EarlyTom permet à l'IA vidéo d'être incroyablement rapide et efficace sans avoir besoin d'être réentraînée ni de perdre sa capacité à comprendre la vidéo avec précision. Il prouve que vous n'avez pas besoin de regarder chaque image pour comprendre l'histoire ; vous devez simplement savoir quand arrêter de regarder et commencer à réfléchir.

En bref : EarlyTom est un outil sans réentraînement qui édite la vidéo pendant qu'elle est regardée, rendant l'IA vidéo plus rapide et moins coûteuse à exécuter, tout en maintenant la qualité intelligente de ses réponses.

Résumé Technique : EarlyTom

Énoncé du Problème

Les Modèles de Langage Visuels à Grande Échelle (Video-LLMs) ont démontré de fortes capacités en compréhension vidéo, mais font face à des obstacles majeurs pour un déploiement pratique en raison de l'inefficacité computationnelle du traitement de masses considérables de tokens visuels. Bien que les méthodes récentes de compression de tokens atteignent de faibles ratios de rétention de tokens avec une perte de précision minimale, elles opèrent principalement à un stade tardif du processus de préremplissage (après l'encodeur visuel) ou au sein du LLM lui-même.

Le profilage de latence révèle un goulot d'étranglement critique : l'étape d'encodage visuel consomme une part substantielle du Temps jusqu'au Premier Token (TTFT). Dans les modèles de référence, l'encodage visuel représente 36,3 % du TTFT. Dans les méthodes de l'état de l'art optimisées pour la latence de préremplissage du LLM (par exemple, HoliTom, VisionZip), cette proportion s'élève respectivement à 55,8 % et 68,4 %, car ces méthodes laissent l'encodeur visuel non optimisé. De plus, les stratégies de compression existantes introduisent souvent une surcharge computationnelle non négligeable lors du traitement des tokens, augmentant davantage la latence. Par ailleurs, les méthodes standard de sélection Top-K de tokens sont vulnérables aux "puits d'attention" — des tokens spécifiques qui attirent systématiquement des scores d'attention disproportionnellement élevés, indépendamment du contenu — conduisant à une compression biaisée et à une perte potentielle d'information sémantique dans les images dynamiques.

Méthodologie : EarlyTom

Les auteurs proposent EarlyTom, un cadre de compression de tokens sans entraînement conçu pour effectuer la compression tôt au sein de l'encodeur visuel et utiliser une stratégie de sélection spatiale découplée. Le cadre se compose de deux étapes principales :

1. Fusion d'Images dans l'Encodeur Visuel (Compression Temporelle)

Cette étape compresse les informations visuelles redondantes pendant le processus d'encodage afin de réduire le nombre de tokens avant qu'ils n'atteignent le projecteur ou le LLM.

Segmentation de Flux d'Images : La vidéo d'entrée est segmentée de manière adaptative en fonction de la similarité des images. La similarité cosinus entre les images consécutives est calculée et lissée à l'aide d'une Moyenne Mobile Exponentielle (EMA). Une limite de segment est définie lorsque la similarité lissée chute en dessous d'un seuil ( $\tau_{seg}$ ).
Fusion d'Images Intermédiaires : Au sein de chaque segment, les images intermédiaires (excluant la première et la dernière) sont fusionnées si elles sont très similaires à leurs voisins et plus similaires entre elles qu'au couple suivant.
Fusion Pondérée d'Images : Les images fusionnées sont générées via une fusion pondérée des caractéristiques d'image, où les poids sont déterminés par les scores de similarité. Cela garantit que la représentation fusionnée reste concentrée autour du contenu sémantiquement important tout en réduisant la redondance temporelle.

2. Sélection Découplée de Tokens Spatiaux

Pour corriger le biais introduit par les puits d'attention et réduire davantage le nombre de tokens, la méthode emploie une stratégie de sélection co-conçue au niveau du système après la fusion d'images.

Décomposition Dynamique vs Statique : Les images fusionnées sont divisées en ensembles dynamiques (images de tête et de queue des segments, possédant un fort pouvoir discriminatif) et statiques (images intermédiaires).
Sélection Globale Top-K (Dynamique) : Pour les images dynamiques, une sélection globale Top-K est effectuée basée sur les scores d'attention par token afin de préserver les tokens sensibles au mouvement à travers la dimension temporelle.
Sélection Locale Top-K (Statique) : Pour les images statiques, afin d'éviter que le biais des puits d'attention ne domine la sélection, les images sont divisées en fenêtres locales. Dans chaque fenêtre, le token ayant le score d'attention maximal est sélectionné. Cela préserve la distribution spatiale originale et atténue les effets négatifs des attracteurs structurels.
Co-conception Système : Pour améliorer l'efficacité, la sélection de tokens statiques, moins coûteuse en calcul, est déléguée au CPU, tandis que le GPU gère la sélection de tokens dynamiques plus intensive, exploitant ainsi des ressources de calcul hétérogènes.

Contributions Clés

Fusion d'Images dans l'Encodeur Visuel : Un mécanisme qui compresse les informations visuelles redondantes pendant la phase d'encodage, réduisant efficacement les tokens visuels avec une surcharge négligeable et abaissant significativement le TTFT.
Sélection de Tokens Découplée : Une stratégie qui sépare les images en ensembles dynamiques et statiques, appliquant des schémas d'échantillonnage distincts (Top-K Global vs Top-K Fenêtre Locale) pour réduire les tokens sans introduire de biais provenant des puits d'attention.
Performances de l'État de l'Art : Des expériences extensives sur les modèles LLaVA-OneVision-0.5B et 7B démontrent qu'EarlyTom atteint une accélération supérieure tout en maintenant une précision comparable aux références à tokens complets.

Résultats Expérimentaux

Évalué sur un seul GPU NVIDIA A100 utilisant LLaVA-OneVision-7B et quatre benchmarks (MVBench, EgoSchema, LongVideoBench, VideoMME) :

Efficacité : EarlyTom réduit le TTFT d'un facteur allant jusqu'à 2,65× (de 889 ms à 336 ms à 10 % de rétention) et réduit les FLOPs d'un facteur allant jusqu'à 61 % par rapport à la référence à tokens complets. Il surpasse constamment d'autres méthodes sans entraînement (par exemple, VisionZip, HoliTom, FastVID) en débit et en latence à travers divers ratios de rétention (10 %–25 %).
Précision : La méthode maintient une qualité descendante compétitive. À un ratio de rétention de 10 %, EarlyTom atteint un score moyen de benchmark de 56,2 (96,2 % de la référence à tokens complets), surpassant d'autres méthodes qui subissent une dégradation significative de la précision sous une élagage agressif.
Généralisabilité : L'approche est validée sur les architectures LLaVA-Video-7B et Qwen2.5-VL-7B, montrant des améliorations constantes dans la réduction des FLOPs et l'accélération du TTFT tout en préservant la précision.
Ablation : Le retrait soit de la fusion d'images, soit de la stratégie de sélection découplée entraîne une dégradation des performances, confirmant la nécessité des deux composants pour équilibrer efficacité et fidélité.

Importance

L'article affirme qu'EarlyTom adresse un goulot d'étranglement fondamental dans le déploiement des Video-LLMs en déplaçant le paradigme de compression du stade tardif (post-encodeur) vers le stade précoce (à l'intérieur de l'encodeur visuel). En optimisant directement le composant le plus chronophage du pipeline d'inférence (l'encodage visuel) et en introduisant une stratégie de sélection spatiale consciente du biais, EarlyTom permet une inférence nettement plus rapide (TTFT plus faible) et un débit plus élevé sans sacrifier les performances du modèle. Ce travail pose les bases du déploiement pratique des Video-LLMs dans des scénarios de production réels, sensibles à la latence, où les ressources computationnelles sont contraintes.