Stateful Token Reduction for Long-Video Hybrid VLMs

Cet article propose une méthode de réduction progressive et unifiée des tokens pour les modèles hybrides vidéo VLM, combinant des blocs d'attention et Mamba, afin d'accélérer significativement l'inférence tout en préservant la précision sur les vidéos longues.

L'essentiel

🎬 Le Problème : Le Film Trop Long

Imaginez que vous avez un détective très intelligent (c'est l'IA, ou "VLM") à qui vous demandez de regarder un film de 2 heures pour répondre à une question précise.

Le problème, c'est que ce film est composé de milliers de petites images (des "tokens"). Si le détective essaie de regarder chaque image une par une, de la première à la dernière, il va :

1. Mettre des heures à répondre (c'est trop lent).
2. Se fatiguer et oublier les détails importants au milieu du film.

Jusqu'à présent, les chercheurs disaient : "Bon, on va juste jeter 75 % des images au début pour aller plus vite."
Mais c'était une mauvaise idée ! Souvent, on jetait une image qui semblait ennuyeuse au début, mais qui contenait la clé du mystère pour la fin du film. Résultat : le détective se trompait.

🧠 La Nouvelle Découverte : L'Architecture "Hybride"

Les auteurs de ce papier ont travaillé sur un nouveau type de détective, un hybride.

• L'ancien modèle (Transformer) : C'est comme un détective qui lit tout le livre d'un coup, mais qui a une très mauvaise mémoire à court terme. S'il jette un mot, il ne peut plus jamais le récupérer.
• Le nouveau modèle (Hybride Mamba-Transformer) : C'est un détective qui a une mémoire magique. Même s'il ne regarde pas chaque image en détail, il garde une "résumé mental" (un état latent) de ce qu'il a vu. Il peut résumer l'histoire en marchant.

🔍 L'Analyse : Pourquoi on ne peut pas jeter trop tôt

Les chercheurs ont observé deux choses fascinantes :

1. La "Sparsité" (La rareté) : Dans chaque instant, seules quelques images sont vraiment importantes pour répondre à la question.
2. L'Instabilité : Les images importantes changent tout le temps ! Ce qui est crucial à la minute 1 ne l'est peut-être plus à la minute 10.

Le piège : Si vous demandez au détective de jeter les images inutiles dès la première minute, il va se tromper car il ne sait pas encore quelles images seront importantes plus tard. C'est comme essayer de trier votre valise avant de savoir où vous allez !

💡 La Solution : La Réduction Progressive (Le "Low-to-High")

Au lieu de faire un gros tri brutal au début, les auteurs proposent une méthode intelligente en deux étapes :

1. Le début du voyage (Couches basses) : On garde presque tout. On laisse le détective regarder le film tranquillement pour qu'il puisse remplir sa "mémoire magique" avec les résumés importants. On ne jette rien de précipité.
2. La fin du voyage (Couches hautes) : Une fois que la mémoire est bien remplie et que le détective a compris le contexte, on commence à jeter agressivement les images inutiles. Comme il a déjà stocké l'essentiel dans sa mémoire, il ne perd rien d'important.

C'est comme si vous écoutiez un podcast : vous l'écoutez en entier d'abord pour comprendre l'histoire, et ensuite, vous ne gardez que les points clés pour en parler à un ami.

🛠️ Comment ça marche techniquement ? (Sans les maths)

Pour savoir quelles images garder, le détective utilise deux outils :

• Pour les parties "Transformer" : Il regarde ce que la question (le texte) demande et voit quelles images y répondent directement.
• Pour les parties "Mamba" (la mémoire) : C'est plus subtil. Comme le Mamba ne fait pas de "regard" direct, les chercheurs ont inventé un tricheur intelligent (un "proxy"). Ils ont créé une simulation qui imite le regard pour pouvoir aussi trier les images dans cette partie du cerveau.

🚀 Les Résultats : Vitesse + Précision

Grâce à cette méthode, ils ont obtenu des résultats incroyables :

• Vitesse : Le détective répond 4 fois plus vite (comme passer d'une voiture de ville à une Ferrari).
• Précision : Même en ne gardant que 25 % des images (75 % de réduction !), le détective donne presque la même réponse que s'il avait vu tout le film.
• Amélioration : Si on entraîne un peu le détective avec cette méthode, il devient même meilleur que s'il avait vu tout le film, car il s'est habitué à se concentrer sur l'essentiel.

🏁 En Résumé

Ce papier nous dit : "Ne coupez pas les cheveux en quatre dès le début !"

Pour les films longs, il faut laisser l'IA construire sa compréhension globale avant de commencer à supprimer les détails. En utilisant la mémoire spéciale des nouveaux modèles hybrides et en réduisant les images progressivement (peu au début, beaucoup à la fin), on rend l'IA plus rapide, moins gourmande en énergie, et tout aussi intelligente.

C'est une victoire pour pouvoir regarder des films de 2 heures sur notre téléphone sans que ça prenne 10 minutes à charger !

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) basés sur des vidéos sont de plus en plus utilisés pour la compréhension de vidéos longues. Cependant, ces vidéos génèrent un nombre massif de jetons visuels (souvent > 10 000), créant un goulot d'étranglement computationnel majeur, en particulier lors de la phase de prefilling (génération initiale).

Bien que des méthodes de réduction de jetons existent, la plupart sont conçues pour des architectures purement basées sur l'attention (Transformers). Elles échouent souvent à s'adapter aux architectures hybrides modernes qui intercalent des blocs d'attention avec des blocs d'état d'espace linéaires (comme Mamba).

• Le défi principal : Les méthodes existantes suppriment souvent les jetons de manière agressive et précoce. Or, dans les modèles hybrides, l'importance des jetons change d'une couche à l'autre. Une suppression précoce peut éliminer des informations critiques qui ne deviennent pertinentes que plus tard dans le réseau, dégradant ainsi la précision.
• La question : Comment réduire efficacement le nombre de jetons dans les architectures hybrides (Mamba-Transformer) sans perdre la précision, en tenant compte de la nature "mémoire" des blocs Mamba ?

2. Méthodologie

Les auteurs proposent une approche de réduction de jetons conditionnée par la requête et progressive, spécifiquement adaptée aux modèles hybrides.

A. Analyse de la Sparsité et de la Stabilité

Avant de proposer une solution, les auteurs analysent deux propriétés clés :

1. Sparsité : Combien de jetons capturent l'essentiel de l'information pertinente pour la requête ? (Les résultats montrent que l'importance est concentrée sur un sous-ensemble de jetons, rendant la réduction possible).
2. Stabilité de l'importance (Cross-layer) : Les jetons jugés importants à une couche le restent-ils aux couches suivantes ?
   • Résultat clé : La corrélation entre les classements d'importance des jetons d'une couche à l'autre est faible, surtout dans les premières couches.
   • Conséquence : Une suppression agressive dès le début est peu fiable car les jetons "importants" changent au fur et à mesure que le réseau traite l'information.

B. Mécanisme de Réduction Progressive (Low-to-High)

Contrairement aux méthodes qui suppriment tout d'un coup au début, cette approche propose un calendrier de réduction progressif :

• Principe : Conserver la majorité des jetons dans les premières couches (où l'importance est instable et l'état mémoire de Mamba n'est pas encore saturé) et augmenter progressivement le taux de suppression vers les couches profondes.
• Justification : Dans les modèles hybrides, les blocs Mamba maintiennent un état latent récurrent qui agit comme une mémoire compressée. Même si un jeton est supprimé, son information peut persister dans cet état. Cela permet une réduction plus agressive en profondeur sans perte d'information catastrophique, contrairement aux Transformers purs où la suppression est définitive.

C. Mécanisme de Scoring Unifié (Attention + Mamba)

Pour permettre la réduction dans tous les types de couches, les auteurs développent un score d'importance unifié :

• Pour les couches d'Attention : Utilisation des poids d'attention standard (texte vers vision).
• Pour les couches Mamba (État d'espace) : Déduction d'un proxy d'attention implicite. En déroulant la récurrence sélective de Mamba, ils extraient un terme d'alignement entre le jeton visuel et le jeton texte (similaire à une attention clé-requête) pour calculer l'importance, sans avoir besoin de recalculer une attention explicite coûteuse.

3. Contributions Clés

1. Analyse des architectures hybrides : Première étude montrant que la réduction agressive précoce est néfaste pour les modèles hybrides en raison d'une faible stabilité de l'importance des jetons à travers les couches, mais que la mémoire de Mamba permet une réduction plus tardive et efficace.
2. Calendrier de réduction "Low-to-High" : Une stratégie qui préserve les jetons au début et supprime progressivement, exploitant la robustesse de l'état récurrent de Mamba.
3. Score d'importance unifié : Une méthode pour évaluer l'importance des jetons dans les blocs Mamba via un proxy d'attention, permettant la réduction dans les blocs non-attentionnels.
4. Validation sur modèles hybrides : Application réussie sur le modèle Nemotron-Nano-V2 VL 12B (hybride) comparé à un modèle purement Transformer (Qwen3-VL 8B).

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de vidéos longues (VideoMME, LongVideoBench, LVBench) avec une compression agressive (réduction à 25% des jetons visuels).

• Accélération (Latence) :
  • Gain de vitesse significatif lors du prefilling (TTFT - Time To First Token) : 3,8x à 4,2x plus rapide que la baseline.
  • Réduction de la latence LLM de ~2,7s à ~1,1s pour une entrée de 256 images.
• Précision :
  • Modèle Hybride (Nemotron) : Avec un finetuning léger sous réduction, le modèle atteint ou dépasse la précision de la baseline (ex: +1,37% de gain moyen sur les benchmarks). Il tolère très bien la compression agressive.
  • Modèle Transformer (Qwen3) : La compression agressive (25%) entraîne une chute de performance significative (environ -3 à -4 points de moyenne), confirmant que les architectures purement Transformer sont moins tolérantes à la réduction précoce sans mécanisme de mémoire récurrente.
• Évolutivité : La méthode permet de traiter des vidéos beaucoup plus longues (jusqu'à 512 frames) sans erreur de mémoire (OOM), là où la baseline échoue.

5. Signification et Impact

Ce travail est significatif car il comble un vide important dans l'optimisation des modèles multimodaux de nouvelle génération.

• Adaptation Architecturale : Il démontre que les stratégies d'optimisation ne peuvent pas être "universelles" ; elles doivent être adaptées à la dynamique interne de l'architecture (mémoire récurrente vs attention pure).
• Efficacité pour les Vidéos Longues : En permettant une réduction agressive des jetons sans sacrifier la précision, cette méthode rend viable le déploiement de VLM pour des vidéos de très longue durée (heures de vidéo) sur du matériel standard, réduisant considérablement les coûts de calcul et d'énergie.
• Avenir des Modèles Hybrides : Cela valide l'approche hybride (Mamba + Transformer) pour les tâches de longue durée, en montrant qu'elle offre une meilleure résilience à la compression que les Transformers classiques.

En résumé, cette recherche propose une méthode intelligente et architecturalement consciente pour accélérer les VLM de vidéos longues, exploitant les propriétés uniques des blocs Mamba pour maintenir une haute performance malgré une réduction drastique des données d'entrée.