💬 NLP

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLM est un cadre de modèle vision-langage unifié qui permet une compréhension en temps réel et stable de flux vidéo infinis en alignant l'entraînement avec l'inférence en streaming grâce à une nouvelle stratégie de réutilisation du cache KV et un ajustement fin supervisé sur des segments chevauchants, atteignant ainsi des performances de pointe sur les benchmarks de longue durée tout en maintenant une faible latence.

Auteurs originaux : Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire un match de sport en direct à un ami lors d'un appel téléphonique. Vous voulez raconter exactement ce qui se passe en ce moment même — un but, une faute, une célébration — sans perdre le rythme, et vous voulez pouvoir continuer ainsi pendant des heures sans que votre cerveau ne fatigue ou que vous n'oubliiez qui a marqué le premier but.

C'est le problème que StreamingVLM résout pour les ordinateurs.

Le Problème : Les ordinateurs sont submergés

Les modèles d'IA actuels qui regardent des vidéos (appelés Modèles de Vision-Langage) sont comme des étudiants qui essaient de lire un livre.

L'étudiant à « Attention Totale » : Cet étudiant essaie de lire l'intégralité du livre, de la page 1 à la page 1 000, chaque fois qu'il veut dire une seule phrase. À mesure que le livre s'allonge, cela prend un temps infini et, finalement, l'étudiant manque de place sur son bureau (mémoire) et finit par planter.
L'étudiant à « Fenêtre Glissante » : Cet étudiant ne regarde que les dernières pages. S'il a besoin de se souvenir de quelque chose de la page 10, il doit revenir en arrière et relire ces pages encore et encore. C'est lent et cela lui fait perdre le fil de l'histoire.

Les deux méthodes échouent lorsque la vidéo est « infinie » (comme une diffusion en direct qui ne s'arrête jamais).

La Solution : StreamingVLM

Les auteurs ont créé une nouvelle IA appelée StreamingVLM. Considérez-la comme un commentateur sportif super efficace qui possède une méthode particulière pour organiser ses notes.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'astuce du « Carnet de Notes » (Le KV Cache)

Au lieu d'essayer de se souvenir de tout le match ou seulement des 5 dernières secondes, StreamingVLM utilise un système de carnet de notes intelligent :

L'« Ancre » (Attention Sinks) : Il conserve quelques notes clés du tout début (comme le nom des équipes et le score au coup d'envoi) afin de ne jamais perdre le contexte de qui joue.
L'« Historique Récent » (Text Window) : Il garde une longue liste des dernières phrases qu'il a prononcées, afin de se souvenir du flux de la conversation.
L'« Action en Direct » (Vision Window) : Il ne conserve que les détails visuels des dernières secondes du match (les joueurs qui courent, le ballon qui bouge) car c'est ce qui importe en ce moment.

Les détails visuels plus anciens (comme une action d'il y a 10 minutes) sont doucement écartés pour faire de la place aux nouveaux, mais l'« Ancre » et l'« Historique Récent » restent en sécurité. Cela permet de maintenir l'utilisation de la mémoire de l'ordinateur basse et stable, peu importe la durée de la vidéo.

2. L L'astuce de l'« Entraînement »

On ne peut pas apprendre à un ordinateur à regarder un match de 10 heures si on ne lui montre que des clips d'une minute pendant l'entraînement. Les auteurs ont résolu cela avec une astuce ingénieuse :

Ils ont montré à l'IA de courts clips de matchs de sport qui se chevauchent (comme des segments de 24 secondes qui se chevauchent de 12 secondes).
Ils ont appris à l'IA à prêter attention à tout ce qui se trouve à l'intérieur de ce court segment.
Comme les segments se chevauchent, l'IA apprend à connecter la fin d'un segment au début du suivant, apprenant ainsi efficacement à gérer un flux continu sans jamais voir de vidéo de 10 heures pendant l'entraînement.

3. L'astuce de la « Numérotation » (RoPE Contigu)

Habituellement, quand on supprime de vieilles pages d'un carnet, la numérotation des pages devient désordonnée (Page 1, 2, 3... puis soudainement Page 100). Cela perd l'IA. StreamingVLM utilise un système spécial de « re-numérotation ». Lorsqu'il supprime des données visuelles anciennes, il re-étiquette instantanément les pages restantes pour qu'elles soient toujours numérotées 1, 2, 3, 4... Cela empêche l'IA de s'embrouiller sur le moment où les choses se sont produites, même après des heures de vidéo.

Les Résultats : Un marathonien

L'équipe a testé cette nouvelle IA sur un nouveau benchmark appelé Inf-Streams-Eval, qui se compose de matchs de sport d'une durée moyenne de plus de 2 heures.

Vitesse : Elle peut regarder et commenter le match en temps réel (environ 8 images par seconde) sur une seule puce informatique puissante. Elle ne subit pas de décalage.
Mémoire : Elle peut commenter pendant plus de 3 heures sans oublier le début du match ni planter.
Qualité : Comparée à des modèles de haut niveau (comme GPT-4o mini), StreamingVLM a gagné 66 % du temps lors de comparaisons directes pour le commentaire sportif. Elle semble plus naturelle et se souvient mieux du match.
Bonus : Même si elles n'ont été entraînées que sur le commentaire sportif, elles sont devenues meilleures pour répondre à des questions générales sur les vidéos, prouvant que la méthode est une amélioration générale pour la compréhension vidéo.

En résumé

StreamingVLM est comme un commentateur sportif infatigable qui possède une mémoire magique. Il se souvient du début du match, se concentre intensément sur l'action qui se déroule en ce moment, et oublie les parties ennuyeuses d'il y a 10 minutes pour gagner de l'espace. Cela lui permet de regarder et de décrire un flux vidéo infini en temps réel, ce que les ordinateurs précédents ne pouvaient pas faire sans être submergés.

Résumé Technique : StreamingVLM

Problématique

Les modèles de vision-langage (VLM) font face à un goulot d'étranglement critique pour permettre aux assistants en temps réel et aux agents autonomes : l'incapacité de traiter des flux vidéo quasi infinis sans engendrer des coûts de latence et de mémoire prohibitifs. Les approches existantes souffrent de compromis spécifiques :

Attention Totale (Full Attention) : Entraîne une complexité de calcul quadratique ( $O(T^2)$ ) et un dépassement de mémoire (OOM) à mesure que la vidéo s'allonge, dégradant les performances au-delà de la fenêtre de contexte d'entraînement.
Fenêtre Glissante (Sans Recouvrement) : Maintient une mémoire limitée mais réinitialise fréquemment le contexte, brisant la cohérence à long terme.
Fenêtre Glissante (Avec Recouvrement) : Préserve la cohérence mais nécessite un recalcul redondant de l'attention pour chaque nouvelle fenêtre, ce qui entraîne une latence élevée empêchant l'inférence en temps réel.

De plus, un désalignement existe entre l'entraînement et l'inférence. L'entraînement sur des contextes extrêmement longs est d'une complexité prohibitive, pourtant les modèles doivent raisonner sur des flux infinis lors de l'inférence. Les stratégies actuelles d'éviction du cache Key-Value (KV) manquent souvent d'alignement avec la phase d'entraînement, ceما entraîne une instabilité lorsque des modèles entraînés sur de courtes vidéos tentent de traiter de longs flux.

Méthodologie

Le papier introduit StreamingVLM, un cadre unifié conçu pour aligner l'entraînement avec l'inférence en streaming, permettant une compréhension stable et en temps réel d'un flux visuel infini. L'approche se compose de trois composantes clés :

1. Schéma d'Inférence : Cache KV Compact et RoPE Contigu

StreamingVLM utilise une structure d'inférence spécialisée pour maintenir un état compact tout en préservant le contexte nécessaire :

Cache KV sensible au streaming : Au lieu de recalculer ou de rejeter tout l'historique, le modèle réutilise des états spécifiques :
- Puits d'Attention (Attention Sinks) : Un ensemble fixe de jetons initiaux (prompts système et texte précoce) est conservé pour stabiliser les mécanismes d'attention.
- Fenêtre de Texte Longue : Une fenêtre de jetons textuels récents est conservée pour préserver la mémoire narrative à long terme.
- Fenêtre de Vision Courte : Seule une courte fenêtre de jetons visuels récents (couvrant par exemple 16 secondes) est conservée pour suivre les actions en cours. Les jetons visuels plus anciens sont évincés en priorité.
RoPE Contigu : Pour éviter la dérive positionnelle lorsque les jetons sont évincés, le modèle applique des plongements de position rotatifs (Rotary Positional Embeddings - RoPE) contigus. Lorsque des jetons antérieurs sont supprimés, les indices des jetons suivants et entrants sont décalés pour rester numériquement contigus avec le dernier jeton conservé. Cela garantit que les valeurs positionnelles restent dans la distribution vue lors de l'entraînement, même lorsque la longueur de la vidéo dépasse la taille totale de la fenêtre. Pour les jetons visuels utilisant des plongements 3D, un RoPE 3D contigu est appliqué.

2. Stratégie d'Entraînement : Attention Totale avec Recouvrement

Pour insuffler des capacités de streaming sans entraîner sur des contextes prohibitifs, les auteurs proposent une stratégie de fine-tuning supervisé (SFT) qui imite le schéma d'attention lors de l'inférence :

Blocs avec Recouvrement (Overlapped Chunks) : Les flux vidéo longs sont divisés en blocs consécutifs avec un recouvrement temporel.
Attention Totale au sein des Blocs : À l'intérieur de chaque bloc, une attention totale est appliquée. Cela permet au modèle d'apprendre le "biais de récence" et l'interaction entre le puits d'attention, la fenêtre de texte longue et la fenêtre de vision courte.
Vision-Texte Entrelacés : Contrairement aux VLM standards qui placent tous les jetons de vision avant le texte, cette stratégie entrelace les jetons de vision et de texte à des intervalles d'une seconde. La perte est calculée uniquement sur les positions de texte alignées avec la narration. S'il n'y a pas de narration pendant une seconde, un jeton de substitution est utilisé. Cela apprend au modèle à synchroniser sa génération avec le flux, apprenant quand parler et quand rester silencieux.

3. Pipeline de Curatage de Données

Les auteurs ont construit Inf-Streams-Train et Inf-Streams-Eval :

Collecte de Données : Plus de 6 000 heures de commentaires sportifs (basket-ball, football, hockey, baseball, football américain) ont été collectées.
Nettoyage : Un pipeline basé sur des LLM a filtré les contenus non sportifs (publicités, monologues) et corrigé les erreurs d'ASR (ex: noms de joueurs), résultant en des paires vidéo-commentaire de haute qualité.
SFT vs Annealing : Deux jeux de données ont été créés. Le jeu de données SFT utilise le découpage par blocs avec recouvrement pour enseigner le schéma de streaming. Un jeu de données distinct de "High-Quality Annealing" se concentre strictement sur les actions de terrain en temps réel (clips de 16 à 64s) pour affiner la qualité des commentaires immédiats.

Principales Contributions

Cadre StreamingVLM : Un modèle unifié qui aligne l'entraînement et l'inférence pour gérer des flux vidéo infinis avec des performances stables et une faible latence.
Mécanisme d'Inférence Novateur : La combinaison de puits d'attention, de rétention de cache KV asymétrique (texte long/vision courte) et de RoPE contigu pour maintenir la cohérence sans coûts quadratiques.
Alignement Entraînement-Inférence : Une stratégie de SFT simple utilisant des blocs avec recouvrement et attention totale qui enseigne efficacement au modèle à raisonner sur de longs flux sans nécessiter de données d'entraînement à contexte long.
Benchmark Inf-Streams : L'introduction de Inf-Streams-Eval, un benchmark présentant des vidéos d'une durée moyenne de plus de 2 heures avec un alignement cadre-texte dense à la seconde près, comblant le fossé des benchmarks existants qui reposent souvent sur la recherche ou le résumé plutôt que sur le streaming en temps réel.

Résultats Expérimentaux

Évalué sur Inf-Streams-Eval et d'autres benchmarks standards, StreamingVLM démontre des améliorations significatives :

Performance de Légendage : Sur Inf-Streams-Eval, StreamingVLM obtient un taux de victoire de 66,18 % contre GPT-4o mini, surpassant nettement les bases comme LiveCC-7B-Instruct et le modèle de base Qwen-2.5-VL-7B-Instruct. Il maintient des commentaires cohérents pendant plus de 2 heures, là où les modèles à attention totale se dégradent après 2 à 5 minutes et les modèles à fenêtre glissante perdent leur cohérence.
Efficacité : Le modèle maintient des performances stables en temps réel jusqu'à 8 FPS sur un seul NVIDIA H100. Contrairement aux méthodes de fenêtre glissante avec recouvrement (qui souffrent d'une latence élevée due au recalcul) ou de l'attention totale (qui atteint l'OOM), StreamingVLM maintient une latence basse et constante.
Généralisation (VQA) : Remarquablement, sans aucun fine-tuning spécifique pour le VQA, la stratégie SFT améliore les capacités de compréhension vidéo générale. StreamingVLM améliore ses performances sur LongVideoBench de +4,30 et sur OVOBench Realtime de +5,96 par rapport au modèle de base.
Études d'Ablation :
- Le RoPE Contigu est essentiel ; le RoPE natif provoque une chute brutale des performances sur les flux infinis en raison du dépassement de l'indice de position.
- Stratégie d'Éviction : La rétention d'une fenêtre de texte et d'un puits d'attention tout en évictant le texte ancien est cruciale pour la performance.
- Fenêtre de Vision : Une fenêtre de vision de 16 secondes offre l'équilibre optimal entre le suivi de l'action et l'efficacité.

Signification et Revendications

Le papier affirme que StreamingVLM représente une étape vers une intelligence semblable à l'humaine pour les VLM en leur permettant de comprendre des segments vidéo en temps réel et de raisonner de manière stable sur des flux infinis. La signification réside dans :

Déploiement Pratique : La capacité de fournir des commentaires et une compréhension stables en temps réel pour des applications telles que la conduite autonome, les agents incarnés et les assistants en temps réel, qui étaient auparavant entravés par des contraintes de latence et de mémoire.
Changement Méthodologique : Passer du paradigire "entraîner sur de longs contextes" ou "fenêtres glissantes simples" vers une approche unifiée où l'entraînement sur de courts blocs avec recouvrement simule efficacement l'inférence infinie.
Benchmarking : La publication de Inf-Streams-Eval établit un nouveau standard pour évaluer la compréhension en temps réel au niveau de la trame dans des vidéos de longue durée, allant au-delà des tâches de recherche statique.

Les auteurs soulignent que leur approche ne nécessite pas d'entraînement sur des contextes prohibitifs et atteint pourtant des performances de pointe sur des flux infinis, comblant ainsi l'écart entre les capacités théoriques des VLM et les exigences pratiques de l'interaction en temps réel.