🤖 AI

OTT-Vid: Optimal Transport Temporal Token Compression for Video Large Language Models

L'article présente OTT-Vid, un cadre de compression de tokens temporels sans entraînement pour les modèles de langage visuel à grande échelle, qui exploite le transport optimal avec une masse de tokens non uniforme et des coûts sensibles à la localité pour allouer dynamiquement des budgets de compression en fonction de la compressibilité des paires d'images, atteignant ainsi des performances de pointe tout en ne conservant que 10 % des tokens visuels.

Auteurs originaux : Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Trop de Vidéo, Pas Assez de Puissance Cérébrale

Imaginez que vous essayez de regarder un film de 10 minutes, mais que votre cerveau (le modèle d'IA) ne peut retenir qu'une infime quantité d'informations à la fois. Pour comprendre le film, l'IA décompose chaque image en milliers de minuscules pièces de puzzle appelées "tokens".

Si vous avez une vidéo longue, le nombre de ces pièces de puzzle explose. C'est comme essayer de transporter une montagne de briques dans une brouette ; l'IA est submergée, ralentit et coûte une fortune à exécuter.

L'Ancienne Solution : "Si ça ressemble, jetez-le"

Pour résoudre ce problème, les chercheurs ont essayé de se débarrasser des briques supplémentaires. Leur ancienne règle était simple : "Si une brique dans l'image 5 ressemble exactement à une brique dans l'image 6, supprimez celle de l'image 6."

Le Défaut : C'est comme regarder une vidéo d'une personne immobile et dire : "Elle n'a pas bougé, donc je vais la supprimer." Mais cette personne est le personnage principal ! Si vous la supprimez, l'IA oublie qu'elle existe.

Le Résultat : L'IA perd la trace des choses qui restent les mêmes (comme un objet stationnaire ou une personne en attente) car elle pense qu'elles sont de simples duplicatas ennuyeux. Elle a également du mal à répondre à des questions sur combien de temps quelque chose a duré ou quand cela s'est produit.

La Nouvelle Solution : OTT-Vid (Le Bibliothécaire Intelligents)

Les auteurs de ce papier proposent OTT-Vid, une nouvelle méthode de compression vidéo qui ne se contente pas de regarder si les choses se ressemblent, mais qui demande : "Cette pièce est-elle importante ?"

Ils utilisent un concept mathématique appelé Transport Optimal (pensez-y comme un planificateur logistique ultra-intelligent) pour décider quoi garder et quoi jeter. Voici comment cela fonctionne en trois étapes :

1. Le "Surlignage" (Élagage Spatial)

D'abord, l'IA examine une seule image et surligne les parties les plus intéressantes.

Analogie : Imaginez un professeur corrigeant une copie. Il ne lit pas chaque mot avec la même attention. Il surligne les phrases clés. OTT-Vid fait cela pour chaque image vidéo, ne gardant que les tokens "surlignés" et ignorant le bruit de fond ennuyeux.

2. Le "Score d'Importance" (Assignation de Masse)

C'est la touche secrète. L'IA attribue une "masse" (un poids) à chaque token restant.

La Surprise : Dans ce système, Important = Poids Léger et Peu Important = Poids Lourd.
Pourquoi ? Pensez-y comme un camion de déménagement. Vous voulez garder les objets fragiles et précieux (les tokens importants) en sécurité. Vous ne voulez pas les écraser. Donc, vous leur donnez un statut "léger" pour que le système sache ne pas les jeter. Les trucs ennuyeux du fond reçoivent un statut "lourd", ce qui signifie qu'il est facile de les laisser tomber ou de les fusionner.
Résultat : Même si une personne reste immobile pendant 10 secondes, l'IA sait qu'elle est importante (poids léger) et refuse de la supprimer, même si elle ressemble exactement à l'image précédente.

3. Le "Plan Logistique" (Transport Optimal)

Maintenant, l'IA doit décider comment compresser la vidéo entre l'image 1 et l'image 2, l'image 2 et l'image 3, etc.

L'Analogie : Imaginez que vous déménagez. Vous avez un nombre limité de boîtes (un budget).
- Ancienne Méthode : Vous jetez simplement les duplicatas.
- Méthode OTT-Vid : L'IA calcule une "Difficulté de Transport".
  - Si deux images sont très similaires et pleines de trucs ennuyeux, la "difficulté" est faible. L'IA dit : "Super, on peut mettre tout ça dans une seule boîte et économiser de la place !"
  - Si deux images ont des changements importants (comme une voiture qui commence à bouger), la "difficulté" est élevée. L'IA dit : "Ne touchez pas à ça ! Nous devons garder nos boîtes pour cela."
Budgétisation Dynamique : L'IA ne donne pas le même nombre de boîtes à chaque paire d'images. Elle donne plus de boîtes aux parties excitantes de la vidéo et moins de boîtes aux parties ennuyeuses.

Pourquoi C'est Mieux (Les Résultats)

Les chercheurs ont testé cela sur six défis vidéo différents, notamment :

Réponse aux Questions Vidéo : "Que s'est-il passé dans la vidéo ?"
Ancrage Temporel : "Exactement quand la personne a-t-elle coupé le gâteau ?"

Le Résultat :

Ils ont jeté 90 % des données vidéo (en ne gardant que 10 % des tokens).
Questions Vidéo : L'IA a toujours eu 95,8 % de bonnes réponses par rapport à la vision de la vidéo complète.
Questions de Timing : L'IA a conservé 73,9 % de sa précision sur les tâches de chronométrage.

L'Idée Principale :
Les méthodes précédentes échouaient sur les tâches de chronométrage car elles supprimaient les parties "ennuyeuses" et stationnaires qui prouvaient en réalité combien de temps un événement a duré. OTT-Vid conserve ces parties car il comprend leur importance, et pas seulement leur similarité.

Résumé

OTT-Vid est comme un éditeur intelligent qui ne se contente pas de couper les scènes répétées parce qu'elles se ressemblent. Au lieu de cela, l'éditeur demande : "Cette scène est-elle importante pour l'histoire ?" Si un personnage est immobile mais crucial pour l'intrigue, l'éditeur le garde. Si le fond est ennuyeux et répétitif, l'éditeur le coupe. Cela permet à l'IA de regarder de longues vidéos rapidement sans oublier les détails importants.

Résumé Technique : OTT-Vid

Énoncé du Problème

À mesure que les modèles de langage à grande échelle pour la vidéo (Video-LLMs) évoluent pour traiter des vidéos plus longues et plus complexes, ils font face à un goulot d'étranglement critique lors de l'inférence : l'accumulation de tokens visuels à travers les images augmente drastiquement la longueur de la séquence et le coût computationnel. Bien que la compression de tokens sans entraînement offre une solution pratique, les méthodes de compression temporelle existantes souffrent de deux limitations principales :

Sur-reliance sur la Similarité : Les méthodes actuelles reposent principalement sur la similarité des tokens entre les images ou sur des heuristiques de segmentation. Elles échouent à distinguer entre la récurrence d'arrière-plan non informative et la persistance de contenu sémantiquement important (par exemple, des objets stationnaires). Par conséquent, une forte similarité conduit souvent à une compression agressive de preuves temporelles essentielles, dégradant les performances sur des tâches nécessitant la détection de la durée, de la continuité et des limites d'événements, telles que l'ancrage temporel.
Allocation de Budget Statique : Les approches existantes ne traitent pas explicitement la compression comme un problème d'allocation. Elles appliquent des seuils de compression uniformes ou des limites rigides qui ne s'adaptent pas à la compressibilité variable de différentes paires d'images. Cela entraîne une sous-compression des régions hautement redondantes et une sur-compression des images contenant des preuves temporelles critiques.

Méthodologie : OTT-Vid

Les auteurs proposent OTT-Vid, un cadre sans entraînement qui formule la compression temporelle de tokens comme un problème de Transport Optimal (OT) avec une allocation de budget adaptative. La méthode opère en deux étapes couplées :

1. Élagage Spatial et Attribution de Masse

Avant la compression temporelle, chaque image subit un élagage spatial indépendant pour éliminer la redondance intra-image.

Sélection : Un objectif de couverture pondéré par la saillance sélectionne de manière gourmande des tokens représentatifs. Cela équilibre l'importance sémantique (saillance) et la représentativité (couverture) pour éviter l'effondrement des tokens en clusters redondants.
Attribution de Masse : Une stratégie de « leave-one-out » quantifie la contribution irremplaçable de chaque token conservé. Si la suppression d'un token dégrade significativement la représentation de l'image originale, il est jugé important.
Masse Inverse : Crucialement, la masse de transport $m_t$ est attribuée inversement à l'importance du token. Les tokens sémantiquement critiques reçoivent une masse plus faible (résistant à la compression), tandis que les tokens moins informatifs reçoivent une masse plus élevée (facilitant le transfert). Cela encode directement la priorité de préservation dans les contraintes marginales de l'OT.

2. Transport Optimal pour la Compression Temporelle

La compression temporelle entre les images voisines ( $t$ et $t+1$ ) est résolue comme un problème de transport optimal régularisé par l'entropie.

Fonction de Coût : Le coût de transport combine la dissimilarité sémantique (distance cosinus) et la distance spatiale. Un coefficient de mélange $\alpha_t$ s'adapte dynamiquement en fonction du mouvement de la scène : dans les scènes statiques, la localité spatiale est pondérée plus fortement pour éviter d'apparier des objets visuellement similaires mais spatialement éloignés ; dans les scènes dynamiques, la dissimilarité sémantique domine pour permettre l'appariement sur de plus grands déplacements.
Plan de Transport : La résolution du problème OT produit une matrice de couplage $P_t$ qui classe les correspondances de tokens. Des valeurs de couplage élevées indiquent des candidats pour la compression (fusion ou élagage).
Difficulté de Transport : Le coût total du plan de transport ( $W_t$ ) sert de métrique pour la « compressibilité » d'une paire d'images. Un $W_t$ faible implique une forte redondance (facile à compresser), tandis qu'un $W_t$ élevé implique la présence de preuves temporelles uniques.

3. Allocation Adaptative du Budget

Le cadre distribue le budget de compression global de manière non uniforme sur toutes les paires d'images adjacentes basées sur $W_t$ .

Allocation Inverse : En utilisant un softmax négatif, les paires avec une difficulté de transport plus faible (forte redondance) reçoivent des budgets de compression plus importants, tandis que les paires avec une difficulté élevée (faible redondance) reçoivent des budgets plus faibles.
Exécution : La compression est exécutée en parallèle. Les tokens sources sélectionnés sont soit fusionnés avec leur destination (si le coût est inférieur à un seuil $\tau_c$ ), soit élagués. Les chaînes de fusions à travers les images consécutives sont résolues via un algorithme union-find pour assurer la cohérence globale.

Contributions Clés

Compression Temporelle Consciente de l'Importance : Contrairement aux méthodes antérieures basées sur la similarité, OTT-Vid intègre l'importance intra-image des tokens dans le processus de compression temporelle. En attribuant une masse inverse aux tokens importants, il préserve les preuves de durée et de continuité que les méthodes basées sur la similarité rejettent généralement.
Allocation de Budget Dérivée du Transport : L'article introduit une méthode fondée pour estimer la compressibilité de chaque paire d'images via la difficulté de transport ( $W_t$ ). Cela permet une allocation de budget dynamique et non uniforme qui s'adapte aux caractéristiques spécifiques de redondance du contenu vidéo.
Cadre Unifié : OTT-Vid unifie les décisions de compression au niveau des tokens (via le plan de transport) et l'allocation de budget au niveau des paires (via la difficulté de transport) au sein d'une seule formulation de Transport Optimal.

Résultats Expérimentaux

Les auteurs ont évalué OTT-Vid sur six benchmarks : quatre jeux de données de Questions-Réponses Vidéo (VQA) (MVBench, VideoMME, LongVideoBench, MLVU) et deux jeux de données d'Ancrage Temporel Vidéo (VTG) (Charades-STA, ActivityNet-Captions avec annotations TimeLens).

Préservation des Performances : Sur le socle Qwen2.5-VL-7B, OTT-Vid conserve 95,8 % des performances VQA non compressées et 73,9 % des performances VTG tout en ne conservant que 10 % des tokens originaux.
Comparaison : Il surpasse constamment les bases de référence sans entraînement de l'état de l'art (HoliTom, FastVID, FlashVID, UniComp). L'écart de performance est le plus significatif dans les tâches VTG, où les méthodes basées sur la similarité subissent une dégradation sévère (chutant à environ 50-60 % de rétention) en raison de la perte de preuves temporelles.
Généralisation : La méthode démontre une robustesse à travers différents socles Video-LLM (LLaVA-OneVision, LLaVA-Video) et divers ratios de rétention de tokens.
Efficacité : OTT-Vid réalise une accélération de 2,0× du temps jusqu'au premier token (TTFT) avec une utilisation maximale de mémoire comparable à d'autres méthodes efficaces, confirmant que la surcharge de compression n'annule pas les gains d'inférence.

Signification et Revendications

L'article revendique que la signification principale d'OTT-Vid réside dans sa capacité à découpler la persistance sémantique de la similarité visuelle. En traitant la compression temporelle comme un problème de transport avec une masse consciente de l'importance, la méthode préserve avec succès les « preuves » requises pour des tâches complexes de raisonnement temporel, ce que les heuristiques basées sur la similarité précédentes n'ont pas réussi à faire.

Les auteurs soulignent que leur approche est sans entraînement, garantissant la compatibilité avec les Video-LLM pré-entraînés existants sans nécessiter de réentraînement. Ils notent que, bien que leur méthode calcule actuellement les plans de transport en parallèle à partir d'ensembles initialement élagués spatialement (ignorant les changements de représentation induits par une compression antérieure), ce choix de conception privilégie une faible surcharge et une efficacité en un seul passage. Les travaux futurs pourraient explorer une exécution séquentielle pour affiner les plans de transport, bien que cela augmenterait les coûts computationnels.

En résumé, OTT-Vid s'attaque au goulot d'étranglement critique de l'inférence sur les vidéos longues en fournissant un mécanisme adaptatif théoriquement fondé qui équilibre l'importance des tokens avec la redondance inter-image, surpassant significativement les méthodes existantes dans la préservation de la fidélité temporelle sous une compression agressive.