Streaming Video Instruction Tuning

Le papier présente Streamo, un modèle de langage multimodal en streaming capable d'effectuer une large gamme de tâches interactives en temps réel grâce à un entraînement sur un vaste jeu de données d'instructions spécifiquement conçu pour la compréhension vidéo continue.

L'essentiel

Imaginez que vous regardez un film en direct, comme un match de football ou un concert, et que vous avez un ami très intelligent assis à côté de vous. Ce film ne s'arrête jamais, il défile en continu.

Le problème avec les "intelligences artificielles" (IA) actuelles pour les vidéos, c'est qu'elles sont comme des spectateurs qui regardent le film après la fin. Ils doivent attendre que tout le match soit terminé pour pouvoir dire : "Ah, c'était un beau but !" ou résumer l'action. Ils ne peuvent pas réagir en direct.

C'est là que Streamo entre en jeu. C'est un nouveau type d'IA conçu pour être votre compagnon de visionnage en temps réel.

Voici comment cela fonctionne, expliqué simplement :

1. Le Dilemme du "Quand parler ?"

Imaginez que vous regardez un magicien qui prépare un tour.

• L'ancienne IA (modèle "hors ligne") attendrait que le tour soit fini pour dire : "Il a sorti un lapin !".
• Streamo, lui, regarde le magicien et doit décider en permanence :
  • "Rien de spécial ne se passe, je me tais." (Silence)
  • "Oh, il sort un chapeau... ça va être intéressant, je me prépare à parler." (Standby / En attente)
  • "Le lapin est sorti ! Je vais maintenant expliquer ce qui vient de se passer." (Réponse)

Streamo est unique parce qu'il ne se contente pas de regarder ; il décide exactement quand il faut parler et quand il faut se taire, seconde par seconde.

2. L'Entraînement : Apprendre à ne pas bavarder

Pour entraîner Streamo, les chercheurs ont créé un énorme livre de recettes appelé Streamo-Instruct-465K.

• Imaginez que vous apprenez à un enfant à commenter un match de foot. Si vous lui donnez des instructions floues, il risque de crier "But !" tout le temps, même quand il n'y a rien.
• Ici, les chercheurs ont soigneusement annoté des milliers de vidéos pour dire à l'IA : "À cette seconde, tais-toi. À cette autre, prépare-toi. Et maintenant, explique ce qui vient d'arriver."
• Ils ont utilisé une astuce mathématique (appelée "perte focale") pour forcer l'IA à prêter une attention particulière aux moments où elle doit parler, car dans une vidéo en continu, il y a beaucoup plus de moments "silencieux" que de moments "à commenter".

3. La Magie : Un seul cerveau pour tout faire

Avant Streamo, il fallait souvent deux systèmes : un pour décider quand parler et un autre pour générer les mots. C'était comme avoir un chef d'orchestre et un musicien qui ne se parlent pas : ça crée des retards et des erreurs.

Streamo, c'est comme un musicien virtuose qui joue et dirige en même temps. Il intègre la décision et la parole dans un seul système.

• Il peut narrer la vidéo en direct (comme un commentateur sportif).
• Il peut résumer une action (ex: "L'homme a coupé le citron").
• Il peut répondre à des questions qui changent au fil du temps (ex: "De quelle couleur est la voiture ?" -> "Elle est rouge" -> "Ah, maintenant elle est bleue !").

4. Pourquoi c'est important ?

Aujourd'hui, nous sommes bombardés de flux vidéo en direct (sécurité, sports, streaming, robots).

• Avant : Les IA étaient comme des archivistes : elles classaient les vidéos après coup.
• Avec Streamo : L'IA devient un assistant interactif. Elle peut vous dire : "Attention, le feu est passé au vert !" ou "Regarde, quelqu'un est tombé !" au moment exact où cela se produit.

En résumé

Streamo est le passage d'une IA qui regarde un film en différé à une IA qui vit l'événement avec vous, en temps réel. Elle sait quand se taire pour ne pas vous ennuyer, et quand parler pour vous informer exactement au bon moment. C'est un grand pas vers un véritable assistant artificiel capable de comprendre le monde qui défile devant nos yeux, instant après instant.

Résumé technique

1. Problématique et Contexte

Les modèles de langage vidéo (Video LLM) actuels excellent dans l'analyse de vidéos préenregistrées et complètes (mode "hors ligne" ou offline). Cependant, ils échouent à répondre aux exigences des assistants interactifs en temps réel, qui doivent traiter des flux vidéo continus et non bornés.

Les défis majeurs identifiés sont :

• Latence et Flux Continu : Les modèles existants attendent souvent la fin d'un clip pour générer une réponse, ce qui est incompatible avec l'interaction en temps réel.
• Gestion du Contexte Temporel : Il est difficile de maintenir le contexte sans perdre des informations critiques tout en traitant un flux infini.
• Granularité de Réponse Variable : Un assistant doit savoir quand répondre (détection d'événement), quoi répondre (narration, réponse à une question, localisation) et avec quelle précision temporelle, le tout en fonction d'instructions dynamiques.
• Limites des Approches Actuelles : Les méthodes récentes tentent de combiner un module de décision séparé et un modèle de génération, mais cela crée un compromis entre précision et efficacité, ou sépare la perception de la réponse, empêchant une adaptation fluide aux changements rapides du flux.

2. Méthodologie : Streamo

Les auteurs proposent Streamo, un LLM vidéo en flux (streaming) conçu pour un apprentissage de bout en bout (end-to-end), unifiant la prise de décision et la génération de réponse.

Architecture et Décision d'État

Au lieu d'utiliser un contrôleur externe, Streamo intègre directement la prédiction de l'état de réponse au niveau de chaque trame dans le modèle. Trois états discrets sont prédits via des têtes de décision intégrées :

1. <Silence> : Le modèle reste silencieux car l'entrée n'est pas pertinente ou l'événement n'a pas commencé.
2. <Standby> : Le modèle détecte un événement pertinent mais attend la fin de l'action ou des informations complètes avant de répondre.
3. <Response> : Le modèle a suffisamment d'informations et génère immédiatement la sortie textuelle correspondante.

Cette structure permet une inférence en un seul passage (one-pass inference) où le modèle surveille continuellement le flux et décide du moment optimal pour émettre une réponse.

Format de Données et Entraînement

Pour simuler le streaming lors de l'entraînement, les vidéos sont segmentées en segments temporels contigus (ex: 1 seconde) et reformulées en dialogues multi-tours.

• Déséquilibre des Classes : Dans un flux vidéo, les tokens <Silence> dominent largement (>80%), ce qui biaise l'entraînement vers le silence.
• Perte Focalisée (Focal Loss) : Pour contrer ce déséquilibre, les auteurs appliquent une pondération focalisée et une pondération basée sur la fréquence aux tokens d'état spéciaux (<Silence>, <Standby>, <Response>). Cela force le modèle à se concentrer sur les tokens rares et difficiles (les moments de réponse), améliorant ainsi la précision temporelle.

3. Contributions Clés

1. Streamo-Instruct-465K :

   • Un jeu de données d'instruction à grande échelle (465 000 échantillons) spécifiquement conçu pour la compréhension vidéo en flux.
   • Il couvre des tâches hétérogènes : narration en temps réel, légendage d'actions/événements, ancrage temporel (temporal grounding), et questions-réponses sensibles au temps (Time-Sensitive QA).
   • Les données sont annotées avec des frontières temporelles unifiées et une granularité de réponse fine, permettant un apprentissage multi-tâches cohérent.

2. Framework d'Entraînement End-to-End :

   • Une méthode simple et efficace pour convertir des modèles vidéo hors ligne (comme Qwen2.5-VL, InternVL) en assistants en flux sans nécessiter de modifications architecturales majeures, en utilisant uniquement l'ajustement fin (fine-tuning) sur les connecteurs et le LLM.

3. Streamo-Bench :

   • Un nouveau benchmark complet évaluant la capacité des modèles à suivre des instructions variées dans un contexte de flux continu. Contrairement aux benchmarks existants axés sur le Q/R (Question/Réponse) à choix multiples, Streamo-Bench teste la capacité à gérer des tâches ouvertes (narration, localisation, mise à jour dynamique des réponses).

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de base de différentes tailles (3B, 7B, 8B) et comparées aux modèles State-of-the-Art (SOTA) en ligne et hors ligne.

• Performance sur les Benchmarks en Ligne (OVO-Bench) :

  • Streamo-7B surpasse les modèles SOTA existants (comme Dispider) avec une amélioration moyenne de +13,83%.
  • Il démontre une forte capacité de perception visuelle en temps réel et une prise de décision précise au niveau de la trame.
  • Le modèle entraîné à 1 fps généralise bien et peut être évalué à 2 fps sans réentraînement, gagnant encore en performance.

• Performance sur les Benchmarks Hors Ligne :

  • Contrairement à d'autres méthodes qui dégradent les capacités hors ligne, Streamo conserve et même améliore les performances sur des benchmarks vidéo classiques (MVBench, VideoMME, LongVideoBench).
  • Streamo-7B réalise une amélioration moyenne de +3,4% par rapport à son modèle de base hors ligne.

• Évaluation sur Streamo-Bench :

  • Streamo montre une capacité supérieure à suivre des instructions complexes et à changer de tâche (ex: passer d'une narration à une localisation d'événement) là où les modèles concurrents échouent souvent en raison d'une mauvaise compréhension des instructions.

5. Signification et Impact

Ce travail marque une étape significative vers la création d'assistants IA interactifs, généraux et en temps réel.

• Unification : Il comble le fossé entre la perception vidéo hors ligne (précise mais lente) et les assistants multimodaux en flux (rapides mais souvent limités).
• Efficacité : L'approche end-to-end élimine la complexité des modules de décision séparés, réduisant la latence et les coûts de calcul.
• Ressources Open Source : La publication du modèle, du code, du jeu de données (Streamo-Instruct-465K) et du benchmark (Streamo-Bench) fournit une base solide pour la recherche future sur la compréhension vidéo continue.

En résumé, Streamo démontre qu'il est possible d'entraîner un modèle unique capable de comprendre, raisonner et interagir avec un flux vidéo continu de manière aussi performante que les modèles hors ligne, tout en répondant aux contraintes de temps réel.