💬 NLP

Harnessing Streaming Video in the Wild

Ce document traite des limites des modèles vision-langage existants dans la gestion de flux vidéo illimités en introduisant un cadre complet comprenant un ensemble de données d'entraînement spécialisé (Streaming-Train-248K), un système de déploiement prêt à l'emploi (Streaming Harness) qui permet une interaction proactive, une mémoire à long terme et un traitement en temps réel, ainsi qu'un nouveau benchmark (Streaming-Eval) pour faire progresser le passage de la compréhension vidéo hors ligne vers une intelligence de streaming déployable.

Auteurs originaux : Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une diffusion sportive en direct. Vous avez un assistant intelligent assis à côté de vous.

L'ancienne méthode (Vidéo hors ligne) :
La plupart des assistants IA actuels sont comme quelqu'un qui regarde un match enregistré après qu'il soit terminé. Ils peuvent mettre en pause, revenir en arrière et analyser l'ensemble du match avant de dire : « Wow, quel but magnifique ! ». Ils sont excellents pour analyser le passé, mais ils ne peuvent pas discuter avec vous pendant que le match se déroule. Si vous leur posez une question pendant le match, ils pourraient se figer, ou commencer à deviner ce qui va se passer ensuite (ce qui est une hallucination), ou simplement parler sans arrêt même quand il ne se passe rien d'intéressant.

La nouvelle méthode (La solution de ce papier) :
Les auteurs de ce papier, « Harnessing Streaming Video in the Wild », ont construit un système qui transforme l'IA en un commentateur en temps réel capable de gérer des heures de vidéo sans se fatiguer ni oublier des choses. Ils appellent cela une « pile unifiée » car ils ont résolu trois grands problèmes d'un coup : le cerveau, la mémoire et le terrain d'essai.

Voici comment ils ont fait, en utilisant des analogies simples :

1. Le Cerveau : Apprendre à « se taire » (Streaming-Train-248K)

Le Problème : Si vous apprenez à une IA à décrire une vidéo, elle essaie souvent de décrire chaque seconde. C'est comme un narrateur qui dirait : « Le ballon est rouge. Le ballon bouge. Le ballon bouge toujours. Le ballon bouge... ». C'est agaçant et cela gaspille du temps.
La Solution : L'équipe a créé un ensemble de données massif de 248 000 clips vidéo. Ils ont appris à l'IA un nouveau tour : le Silence.

Ils ont donné à l'IA deux « boutons » spéciaux : un pour Parler et un pour Être Silencieux.
Ils ont entraîné l'IA à n'appuyer sur « Parler » que lorsqu'un événement important se produit (comme un but ou un moment drôle) et à appuyer sur « Silence » quand rien de nouveau ne se passe.
Le Résultat : L'IA a appris à agir comme un pro des commentaires sportifs qui sait quand parler et quand laisser la foule acclamer dans le silence.

2. Le Système : Le « Bibliothécaire Intelligent » (Streaming Harness)

Le Problème : Même un cerveau intelligent a besoin d'une bonne mémoire. Si vous regardez un film de 2 heures, une IA épuise généralement sa mémoire après 10 minutes. C'est comme essayer de tenir une conversation de 2 heures dans votre tête sans rien écrire : vous oublierez le début au moment où vous arriverez à la fin. De plus, la vidéo en temps réel doit être rapide. Si l'IA met 5 secondes à réfléchir, la vidéo est déjà passée.
La Solution : Ils ont construit un système « plug-and-play » appelé Streaming Harness. Voyez cela comme un Bibliothécaire Intelligent doté de trois étagères :

L'Étagère à Court Terme (Immédiat) : Contient les dernières minutes de vidéo avec un haut niveau de détail (comme des images brutes).
L'Étagère à Moyen Terme (Résumé) : Lorsque l'étagère à court terme est pleine, le bibliothécaire écrit un résumé rapide de ce qui s'est passé et range les images brutes.
L'Étagère à Long Terme (Les Archives) : Lorsque l'étagère à moyen terme est pleine, le bibliothécaire combine ces résumés en une immense chronologie organisée.
Le Tour de Magie : Ce système est conçu pour fonctionner avec « vLLM » (un moteur super rapide). C'est comme si le bibliothécaire réutilisait ses anciennes notes au lieu de relire tout le livre à chaque fois que vous posez une question. Cela permet de garder l'IA rapide (moins d'une seconde pour répondre) même après 12 heures de vidéo.

3. Le Test : Le « Test de Stress en Direct » (Streaming-Eval)

Le Problème : Auparavant, les gens testaient l'IA vidéo en lui donnant un court clip et en posant une seule question. C'est comme tester un marathonien en le faisant courir 100 mètres. Cela ne dit pas s'il peut courir 26 miles.
La Solution : Ils ont créé un nouveau benchmark appelé Streaming-Eval.

Au lieu de courts clips, ils ont utilisé des vidéos longues et désordonnées du monde réel (comme des émissions de cuisine, des projets de bricolage et des sports en direct).
Ils ont testé l'IA sur six compétences différentes :
- Proactive : A-t-elle parlé au bon moment ?
- Ponctuelle : A-t-elle attendu le moment opportun ?
- Contextuelle : Se souvient-elle de ce qui a été dit il y a 10 minutes ?
- Passé/Futur/Présent : Peut-elle répondre à des questions sur le passé, le futur ou le présent ?
Ils ont également inventé une nouvelle règle de notation (SW-F1) qui pénalise l'IA si elle répond trop tôt ou trop tard, et pas seulement si elle se trompe sur les faits.

Les Résultats

Lorsqu'ils ont placé leur IA « Streaming-Native » (celle entraînée pour le silence) dans le « Streaming Harness » (le système de mémoire), les résultats ont été impressionnants :

Mémoire : Elle pouvait se souvenir de détails datant de 12 heures auparavant.
Vitesse : Elle est restée rapide (moins d'une seconde) même après 2 heures de vidéo.
Performance : Elle a battu des modèles d'IA de haut niveau, coûteux et fermés (comme Claude Opus, GPT-5 et Gemini) pour décrire des vidéos en direct et répondre à des questions à leur sujet.

En Résumé :
Le papier affirme qu'ils ont construit un package complet pour transformer l'IA d'un « analyste d'après-match » en un « partenaire de diffusion en direct ». Ils lui ont appris à savoir quand parler, lui ont donné une mémoire qui dure des heures sans ralentir, et ont créé une nouvelle façon de tester sa capacité à gérer des flux vidéo réels et ininterrompus.

Résumé Technique : Exploiter la Vidéo en Flux Continu (Streaming) dans le Monde Réel

1. Formulation du Problème

Les modèles de vision-langage (VLM) actuels ont atteint un succès significatif dans les tâches de compréhension vidéo hors ligne (ex: questions-réponses vidéo, ancrage temporel) où le modèle traite un clip complet et préenregistré pour générer une réponse ponctuelle. Cependant, une classe croissante d'applications du monde réel — telles que les assistants d'appels vidéo, les commentaires en direct, la surveillance en ligne et la robotique incarnée — opère sur des flux vidéo illimités.

Dans ces scénarios « in-the-wild » (en conditions réelles), les hypothèses fondamentales du traitement hors ligne sont violées :

Contrainte de Causalité : Le modèle doit répondre en se basant uniquement sur les images précédemment observées, sans accès au contenu futur.
Longueur Illimitée : Les flux peuvent durer des heures, ce qui rend impossible la conservation de tous les jetons visuels en mémoire.
Contraintes de Latence : Les réponses doivent être générées en temps réel (latence inférieure à la seconde) pour rester synchronisées avec les images entrantes.
Interaction Proactive : Le système doit décider quand parler et quand rester silencieux, plutôt que de générer une sortie pour chaque image ou d'attendre une requête utilisateur.

Les méthodes existantes ne traitent généralement qu'un ou deux de ces besoins (ex: compression de la mémoire ou optimisation de la latence) de manière isolée, manquant d'un cadre unifié capable de supporter simultanément l'interaction proactive, la mémoire à long horizon et l'inférence en temps réel. De plus, les benchmarks existants réduisent souvent l'évaluation à des requêtes à tour unique de type hors ligne, échouant à évaluer les comportements de streaming fondamentaux comme le rappel de preuves lointaines ou le maintien de la cohérence à travers les tours.

2. Méthodologie

Les auteurs proposent une pile unifiée composée de trois éléments : un ensemble de données/objectif d'entraînement, un cadre d'inférence (Harness) et un benchmark d'évaluation.

2.1 Entraînement de VLM Natif pour le Streaming (Backbone)

Pour adapter les VLM à l'interaction en streaming, les auteurs introduisent Streaming-Train-248K, un ensemble de données de haute qualité avec un alignement texte-image par seconde.

Construction des Données : L'ensemble de données agrège 248K échantillons provenant de sources diverses (ex: EpicKitchens, Ego4D, LiveWhisperX), couvrant la vie quotidienne, le travail et les scénarios extérieurs. Chaque segment d'une seconde est associé soit à une réponse explicite, soit à un jeton de silence, avec des horodatages.
Taxonomie des Tâches : Les tâches sont catégorisées en Narration (émission de descriptions uniquement pour les événements saillants) et Questions-Réponses (catégorisées par invariance/variante de la réponse et timing de la preuve : passé, présent, futur).
Objectif d'Entraînement : Pour traiter le déséquilibre de classe sévère où les jetons de silence sont largement plus nombreux que les jetons de réponse, une fonction de perte pondérée est employée. Les continuations de silence sont dé-pondérées ( $w_{repeated\_silence} < 1$ ), tandis que la transition du silence vers la réponse est sur-pondérée ( $w_{response} > 1$ ). Cela encourage le modèle à apprendre quand rompre le silence efficacement.
Jetons Spéciaux : Le modèle est entraîné pour émettre deux jetons de contrôle : </response> (pour répondre ou narrer) et </silence> (pour rester silencieux), permettant une prise de décision proactive par seconde.

2.2 StreamingHarness (Infrastructure de Déploiement)

StreamingHarness est un cadre d'inférence plug-and-play conçu pour doter n'importe quel VLM de capacités de streaming. Il répond aux contraintes de mémoire et de latence via trois mécanismes :

Gestion de Mémoire à Trois Niveaux :
- Court terme : Conserve les jetons visuels bruts pour les $T_s$ secondes les plus récentes (ex: 200s).
- Moyen terme : Compresse les anciens segments de court terme en résumés textuels ( $T_m$ secondes).
- Long terme : Consolide agressivement les résumés de moyen terme en blocs ( $T_l$ secondes), plafonnés à un nombre fixe de blocs avec éviction FIFO.
- Résultat : Supporte jusqu'à 12 heures de contexte sans croissance illimitée de la mémoire.
Cache KV Sensible au Préfixe (Prefix-Aware) :
- Conçu pour la compatibilité avec les moteurs d'inférence efficaces comme vLLM.
- Le système effectue un pré-remplissage (prefill) unique du "Texte de Mémoire" (historique compressé) au début de chaque segment.
- Les étapes suivantes réutilisent les états de cache Key-Value (KV) de la mémoire et des tours précédents, ne calculant que la nouvelle image et la réponse. Cela permet une latence inférieure à la seconde même sur de longs contextes.
Déclenchement de Réponse par Événement :
- Le harness invoque le backbone chaque seconde.
- Le modèle juge si l'évidence actuelle (image actuelle + contexte) justifie une réponse. Si aucun nouveau contenu informatif n'est disponible, il émet </silence> ; sinon, il génère une réponse ancrée.

2.3 Streaming-Eval (Benchmark)

Pour mesurer les capacités de streaming réel, les auteurs introduisent Streaming-Eval, un benchmark couvrant 138 vidéos à travers 15 catégories (ex: Sports, Cuisine, Actualités).

Axes d'Évaluation :
- Interaction de Streaming : Évalue les comportements Proactifs (quand parler), Ponctuels (timing) et Contextuels (cohérence entre les tours).
- Compréhension de Streaming : Évalue le raisonnement sur les preuves Passées (backward), Présentes (present) et Futures (forward - relatives à la requête).
Métriques :
- Narration : Évaluée via un taux de victoire contre des juges humains/LLM comparant le rythme, le ton et la cohérence avec l'ASR (reconnaissance vocale) de référence.
- Questions-Réponses : Utilise la SW-F1 (Streaming Weighted F1), une métrique qui pénalise conjointement les réponses incorrectes et les réponses mal synchronisées (émettre des réponses quand le silence est requis ou manquer la fenêtre de réponse). Elle attribue des poids plus élevés aux Vrais Positifs et aux Faux Négatifs pour prioriser la justesse tout en décourageant les comportements de type "répondre systématiquement".

3. Contributions Clés

Streaming-Train-248K : Un ensemble de données à grande échelle avec alignement par seconde et un objectif d'entraînement sur mesure pour créer des VLM natifs pour le streaming capables d'interaction proactive.
StreamingHarness : Un système plug-and-play fournissant une rétention de mémoire de 12 heures, une latence inférieure à la seconde et une interaction proactive (prise de décision par seconde) compatible avec vLLM.
Streaming-Eval : Un benchmark complet et une suite de métriques (SW-F1) conçus pour évaluer les modèles sur des tâches de streaming réelles, dépassant les paradigmes hors ligne à tour unique.
Performance de l'État de l'Art : La pile proposée (VLM natif de 8B + StreamingHarness) obtient des résultats supérieurs aux modèles fermés puissants (ex: Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro) dans les tâches de narration et de QA.

4. Résultats Expérimentaux

Narration : Le modèle de 8B natif pour le streaming équipé de StreamingHarness a atteint un taux de victoire moyen de 61,4 % contre quatre bases de comparaison fermées. Il a nettement surpassé les bases en produisant des commentaires naturels de style diffusion en direct, évitant la "sur-narration" et les hallucinations communes aux modèles adaptés du hors ligne.
Questions-Réponses : Sur les tâches de QA de Streaming-Eval, le système proposé a obtenu des gains substantiels dans les tâches Passées (récupération d'évidences lointaines) et Futures (différer la réponse jusqu'à ce que l'évidence apparaisse). Les scores SW-F1 étaient nettement plus élevés que tous les benchmarks, démontrant l'efficacité du système de mémoire et de l'entraînement proactif.
Efficacité : Lors d'un test de diffusion sportive de 2 heures, le plein StreamingHarness a maintenu le Temps jusqu'au Premier Jeton (TTFT) et la Latence de bout en bout de manière constante sous 1 seconde (le seuil du temps réel). En revanche, les approches par fenêtre glissante se sont stabilisées autour de 4 secondes, et les méthodes d'attention complète ont dépassé les limites de contexte en quelques minutes. Le cache KV sensible au préfixe a été crucial pour réduire la latence de ~4s à <1s.
Ablation :
- L'ajustement du poids de répétition du silence ( $w_{repeated\_silence}$ ) a montré qu'une valeur de 0,8 offrait le meilleur équilibre, empêchant le modèle de trop s'engager dans le silence tout en évitant les réponses prématurées.
- L'ajout de StreamingHarness aux modèles hors ligne a considérablement amélioré leurs performances sur les tâches Passées, confirmant la valeur du framework comme amélioration polyvalente pour la compréhension à long horizon.

5. Signification

L'article soutient que la transition de la compréhension vidéo hors ligne vers une intelligence de streaming déployable nécessite une approche holistique traitant simultanément la capacité du modèle, l'infrastructure et l'évaluation. En ouvrant les données, le harness et le benchmark, les auteurs visent à accélérer le progrès de la communauté dans la construction de VLM capables d'opérer efficacement dans des environnements de streaming illimités et en temps réel. Ce travail démontre qu'avec les bons objectifs d'entraînement et une architecture d'inférence adéquate, même des modèles plus petits (8B) peuvent surpasser de massifs systèmes fermés dans des scénarios de streaming tout en respectant des contraintes de latence strictes.