Résumé technique : Mise à l'échelle linéaire des VLM vidéo pour la compréhension de vidéos longues (StateKV)

1. Énoncé du problème

Les modèles de vision-langage (VLM) vidéo sont de plus en plus critiques pour les applications à long horizon et de streaming, telles que la conduite autonome et la robotique incarnée, qui nécessitent l'intégration d'indices sur des minutes ou des heures. Cependant, un goulot d'étranglement fondamental existe : le coût computationnel du traitement de vidéos longues dans les VLM standards croît de manière quadratique ($O(N^2)$) avec le nombre de trames ($N$). Cela est dû au fait que les architectures dominantes reposent sur l'auto-attention spatio-temporelle, où chaque trame prête attention à toutes les trames vidéo précédentes.

Les stratégies d'efficacité existantes tentent d'atténuer ce problème en :

1. Sous-échantillonnant les trames ou les jetons (tokens) : La réduction de la taille de l'entrée dégrade souvent considérablement les performances, à moins qu'une grande fraction des jetons ne soit conservée (par exemple, ~60 %).
2. Compressant le cache KV : Une compression agressive peut entraîner la perte d'indices temporels et spatiaux nécessaires au raisonnement.
3. Utilisant des heuristiques de fenêtre glissante ou de récence : Des méthodes comme ReKV traitent les trames séquentiellement à l'aide d'une fenêtre fixe de trames récentes. Bien que ces méthodes réduisent la complexité du préfill à une échelle linéaire ($O(N)$), elles reposent sur des hypothions ad hoc selon lesquelles l'information la plus pertinente est toujours récente, échouant ainsi souvent à capturer les dépendances à longue portée nécessaires à un raisonnement complexe.

Le défi consiste à atteindre un préfill vidéo en temps linéaire (coût constant par trame) sans sacrifier la précision de l'auto-attention complète ni nécessiter de changements architecturaux ou de réglages fins (fine-tuning).

2. Méthodologie : StateKV

Les auteurs introduisent StateKV, une méthode d'inférence qui adapte les VLM vidéo pré-entraînés et gelés à un préfill vidéo en temps linéaire. L'idée centrale est que l'attention à long terme dans les VLM pré-entraînés est hautement structurée : bien que la plupart des interactions se produisent au sein d'une même trame, les interactions temporelles à longue portée se concentrent sur un petit ensemble de jetons « puits temporels » (temporal sinks) qui évoluent lentement au fil du temps.

Hypothèses fondamentales

StateKV repose sur deux hypothèses empiriques concernant l'attention dans les VLM pré-entraînés :

1. Concentration de l'attention inter-trames : Pour toute trame donnée, la majeure partie de la masse d'attention inter-trame utile est concentrée sur un petit ensemble de jetons historiques ($K \ll N$), quelle que soit la longueur totale de la vidéo.
2. Évolution lente de l'état temporel : L'ensemble de ces jetons « puits » évolue lentement. L'état utile pour la trame $n+1$ peut être bien approximé par l'état de la trame $n$ combiné aux jetons de la trame $n+1$.

Architecture et mécanisme

StateKV fonctionne via une structure à deux caches par couche de transformeur, maintenant un squelette (backbone) gelé :

1. État détaillé ($D_n$) : Un cache de longueur complète qui stocke tous les jetons visuels de chaque trame traitée jusqu'à présent. Ce cache n'est jamais interrogé pendant l'étape de préfill, mais il est préservé pour l'étape finale de décodage textuel afin de garantir qu'aucune information n'est perdue lors de la génération.
2. État compressé ($C_n$) : Un état récurrent à capacité fixe (par exemple, 1024 jetons) utilisé uniquement pendant l'étape de préfill de la vidéo pour approximer les interactions inter-trames.

Le processus :

• Prefill en streaming : À mesure que les trames arrivent, le modèle les traite de manière incrémentielle. La trame $n$ prête attention à la concaténation des jetons de la trame actuelle et de l'État compressé de la trame $n-1$.
• Sélection basée sur l'importance : Après le traitement de la trame $n$, l'État compressé est mis à jour. Le modèle calcule les scores d'attention (vidéo uniquement) pour tous les jetons candidats (l'état compressé précédent + les jetons de la trame actuelle). Il sélectionne les $B$ meilleurs jetons (où $B$ est le budget fixe) pour former le nouvel État compressé $C_n$, en évincant les entrées de faible importance.
• Décodage : Une fois toutes les trames traitées, la génération textuelle autorégressive standard commence. Crucialement, le décodage conditionne sur l'État détaillé ($D_N$), qui contient tous les jetons vidéo originaux, garantissant que la phase de génération a accès au contexte complet.

Cette conception découple la complexité de l'encodage vidéo (linéaire, $O(N)$) de la fidélité de la génération finale (contexte complet).

3. Contributions clés

• Prefill en temps linéaire sans réglage fin : StateKV permet aux VLM pré-entraînés gelés de traiter des vidéos longues avec une complexité computationnelle linéaire ($O(N)$) et un coût par trame constant, sans nécessiter de modifications architecturales ou de ré-entraînement.
• Approximation principielle de l'attention complète : Contrairement aux méthodes de fenêtre glissante qui reposent sur la récence, StateKV utilise un mécanisme basé sur l'importance pour transmettre les « puits temporels ». Cela fournit une approximation plus rigoureuse de l'auto-attention complète, capturant les dépendances à longue portée que les heuristiques de récence manquent.
• Compromis Calcul-Précision : En réduissant drastiquement les FLOPs requis pour le préfill vidéo, StateKV permet aux praticiens d'utiliser des modèles plus grands avec le même budget de calcul. L'article démontre qu'un modèle plus grand avec StateKV peut surpasser un modèle plus petit utilisant l'auto-attention complète à un coût de calcul similaire ou inférieur.
• Validation empirique : La méthode est validée sur trois benchmarks de vidéos longues (VideoMME, MLVU, OVOBench) et sept modèles couvrant trois familles (InternVL3, Qwen-VL, Eagle2.5) et plusieurs échelles (de 1B à 8B paramètres).

4. Résultats

• Précision vs Auto-attention complète : Sur tous les benchmarks et échelles de modèles, StateKV reste proche des performances de l'auto-attention complète (Full SA). En moyenne, il reste à environ 1 % de la précision de la Full SA, surpassant de manière significative les baselines de fenêtre glissante comme ReKV (qui accusent souvent un retard d'environ 10 points).
• Supériorité sur les méthodes basées sur la récence : StateKV surpasse systématiquement ReKV (une méthode dominante de fenêtre glissante) sur VideoMME, MLVU et OVOBench. Les auteurs attribuent cela au fait que les motifs d'attention à longue portée dans les VLM ne sont pas purement basés sur la récence ; ils reposent souvent sur des « ancres » persistantes provenant de trames lointaines que les fenêtres glissantes rejettent.
• Comportement de mise à l'échelle (Scaling) : La performance s'améliore de manière monotone à mesure que la capacité de l'état compressé ($B$) augmente. Les modèles plus grands présentent un meilleur scaling avec la taille du cache, égalant souvent la précision de la Full SA à des budgets élevés.
• Efficacité de calcul :
  • StateKV réduit considérablement les FLOPs de préfill vidéo.
  • Analyse du point d'équilibre (Break-even) : Pour des vidéos suffisamment longues, faire tourner un modèle plus grand (ex: InternVL3-8B) avec StateKV est moins coûteux en calcul que de faire tourner un modèle plus petit (ex: InternVL3-1B) avec l'auto-attention complète.
  • Exemple : StateKV-8B avec un budget de cache de 4096 atteint 62,5 % de précision sur VideoMME pour un coût de calcul similaire à la Full SA-1B (46,2 % de précision), gagnant ainsi environ 16 points de précision pour le même budget.

5. Signification et affirmations

L'article positionne StateKV comme une étape pratique vers une compréhension de vidéo longue à grande échelle. Sa signification réside dans :

• Permettre le streaming en temps réel : En atteignant un coût constant par trame, StateKV élimine le goulot d'étranglement quadratique qui empêche actuellement les applications de streaming en temps réel pour les vidéos longues (ex: une voiture conduisant pendant une heure devient plus difficile à interroger qu'une voiture qui vient de démarrer).
• Redéfinir la frontière du calcul : La méthode déplace le paradigши de « compresser pour faire entrer » vers « compresser pour approximer ». Elle démontre que la rétention de mémoire basée sur l'importance est une meilleure approximation de l'attention complète que la récence stricte, permettant une meilleure précision à des budgets de calcul fixes.
• Généralisabilité : L'approche se transfère de manière cohérente à travers différentes familles de modèles et échelles de paramètres sans nécessiter de réglage spécifique au modèle, suggérant que la structure d'attention sous-jacente (puits temporels) est une propriété robuste des VLM pré-entraînés actuels.

Les auteurs reconnaissent des limites, notant que la validation mécaniste est actuellement limitée aux modèles existants et aux entrées testées. Ils suggèrent que les travaux futurs devraient explorer si ces motifs d'attention se maintiennent à travers des backbones et des régimes vidéo plus larges. Cependant, dans le cadre testé, StateKV offre une solution robuste et sans entraînement au problème de la mise à l'échelle des vidéos longues.