Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models

L'article présente « Think While Watching », un cadre de raisonnement vidéo en flux continu pour les modèles multimodaux qui, en maintenant une mémoire par segment et en superposant l'observation à la réflexion, permet des interactions multi-tours efficaces tout en améliorant la précision et en réduisant le nombre de tokens générés.

L'essentiel

🎬 Le Problème : Le Visionnage "En Mode Pause"

Imaginez que vous regardez un film en direct avec un ami très intelligent, mais un peu lent.

• L'ancienne méthode (Interleaved) : Votre ami regarde 10 secondes du film, puis s'arrête net. Il réfléchit, répond à votre question, écrit sa réponse, et ensuite il reprend le film.
  • Le problème : Pendant qu'il réfléchit et écrit, le film continue de tourner dans le lecteur. Votre ami rate des scènes ! De plus, s'il doit répondre à plusieurs questions de suite, il oublie ce qui s'est passé au début du film parce qu'il a trop de choses en tête. C'est comme essayer de retenir une conversation de 10 minutes tout en écrivant une lettre : on oublie le début.

C'est ce que font la plupart des intelligences artificielles actuelles avec les vidéos en direct : elles regardent, s'arrêtent pour répondre, puis regardent à nouveau. Cela crée des retards et des oublis.

💡 La Solution : "Think While Watching" (Penser en Regardant)

Les chercheurs proposent une nouvelle méthode où l'IA ne s'arrête jamais. Elle regarde le film en continu, tout en pensant et en répondant en même temps.

Pour y arriver, ils utilisent trois astuces magiques :

1. Le "Carnet de Notes" (La Mémoire par Segments)

Au lieu d'essayer de se souvenir de chaque seconde de la vidéo (ce qui est trop lourd), l'IA divise la vidéo en petits morceaux (des "segments").

• L'analogie : Imaginez que vous regardez un documentaire. À la fin de chaque chapitre, vous écrivez une fiche de résumé sur un post-it.
  • Post-it 1 : "Le magicien porte un manteau noir."
  • Post-it 2 : "Le juge a applaudi."
• Quand on lui pose une question sur le début du film, elle ne relit pas tout le film. Elle va chercher les post-its pertinents dans son carnet. Cela lui permet de se souvenir de ce qui s'est passé il y a 10 minutes sans être submergée.

2. Le "Double Canal" (Regarder et Écrire en Parallèle)

Dans l'ancienne méthode, l'IA utilisait un seul cerveau pour regarder et écrire. C'était comme essayer de conduire une voiture tout en écrivant un roman : impossible de faire les deux en même temps sans accident.

• La nouvelle méthode : Ils ont créé un système à deux canaux.
  • Le Canal A (les yeux) continue de regarder la vidéo en temps réel, sans jamais s'arrêter.
  • Le Canal B (la bouche) écrit la réponse à la question.
• L'analogie : C'est comme un chef de cuisine qui continue de surveiller les plats qui cuisent (le canal A) tout en servant les clients à la table (le canal B). Il ne rate rien de la cuisson pendant qu'il sert.

3. Le "Chronomètre Intelligent" (La Causalité)

Pour que l'IA ne triche pas (en utilisant des informations du futur pour répondre à une question du présent), ils ont mis en place un système de "masque".

• L'analogie : C'est comme un jeu de cartes où vous ne pouvez voir que les cartes déjà posées sur la table. Vous ne pouvez pas regarder les cartes qui sont encore dans le paquet. Cela force l'IA à être honnête et à répondre uniquement avec ce qu'elle a vu jusqu'à présent.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur des vidéos réelles (comme des émissions de télé-réalité ou des tutoriels).

1. Moins d'oubli : L'IA se souvient beaucoup mieux du début de la vidéo, même après 10 minutes de discussion.
2. Plus rapide : Comme elle ne s'arrête plus pour regarder, elle répond beaucoup plus vite.
3. Plus économe : Elle utilise moins de "mots" pour expliquer les choses car elle s'appuie sur ses notes (les post-its) plutôt que de tout réexpliquer.

🚀 En Résumé

Imaginez un assistant personnel qui regarde un match de football en direct avec vous.

• Avant : Il regardait 5 minutes, s'arrêtait pour dire "Oh, il a marqué !", puis reprenait le match. Vous aviez raté les 2 minutes suivantes.
• Aujourd'hui (Think While Watching) : Il regarde le match en continu, note mentalement les buts sur un petit carnet, et vous chuchote les commentaires en temps réel sans jamais perdre une seconde du spectacle.

C'est une avancée majeure pour rendre les intelligences artificielles capables de vivre des expériences en temps réel avec nous, comme nous le faisons nous-mêmes.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) actuels excellent dans la compréhension de vidéos hors ligne (où la vidéo complète est disponible avant l'inférence). Cependant, ils peinent dans les scénarios de flux vidéo en continu (streaming), tels que les diffusions en direct, la surveillance ou les assistants robotiques.

Deux limitations majeures affectent les approches existantes pour le streaming :

• L'érosion de la mémoire (Memory Erosion) : Les méthodes actuelles adoptent un paradigme "perception-génération entrelacé" (interleaved). Le modèle doit alterner entre ingérer des images et générer du texte. Cette sérialisation empêche la génération de maintenir des dépendances à long terme, entraînant l'oubli d'informations visuelles précoces lors de tours de conversation ultérieurs.
• Goulot d'étranglement de sérialisation (Serialization Bottleneck) : Dans les modèles auto-régressifs, la génération de texte bloque l'ingestion de nouvelles données vidéo. Cela crée une latence croissante à mesure que le nombre de tours de conversation augmente, car le modèle doit attendre la fin d'une réponse pour continuer à "regarder".

2. Méthodologie : "Think While Watching"

Les auteurs proposent Think While Watching (TWW), un cadre de raisonnement vidéo ancré sur la mémoire, conçu pour maintenir une interaction multi-tours fluide et causale.

A. Architecture et Mémoire de Niveau Segment

Au lieu de traiter la vidéo image par image ou de manière entrelacée, TWW divise le flux vidéo continu en segments.

• Mémoire Persistante : Pour chaque segment observé, le modèle génère explicitement une note de mémoire (un résumé textuel compact) qui est stockée dans une banque de mémoire.
• Raisonnement : Lorsqu'une question arrive, le modèle répond en interrogeant implicitement cette banque de mémoire via le mécanisme d'attention, plutôt que de dépendre uniquement du contexte immédiat ou de la vidéo brute. Cela permet de résoudre les références temporelles complexes (ex: "Que faisaient les personnes mentionnées dans la première question ?").

B. Découplage Perception-Génération

Pour briser le goulot d'étranglement de sérialisation, TWW découple l'ingestion visuelle de la décodage textuel :

• Pipeline Parallèle : Inspiré de l'ordonnancement des processus CPU, le système utilise un double cache KV (Key-Value) pour permettre au modèle de continuer à ingérer de nouveaux segments vidéo tout en générant des réponses textuelles.
• Encodage Positionnel Fluide : Une adaptation de l'encodage positionnel rotatif (MRoPE) est utilisée. Les entrées (vidéo) et les sorties (texte) ont des décalages positionnels indépendants, permettant au modèle de traiter de nouvelles entrées même si la longueur de la sortie n'est pas encore connue.

C. Stratégie d'Entraînement et de Données

Pour entraîner ce comportement, les auteurs ont construit un jeu de données CoT (Chain-of-Thought) en trois étapes :

1. Étape 1 (CoT mono-tour) : Apprentissage de l'écriture de notes de mémoire pour chaque segment et réponse à une question unique.
2. Étape 2 (CoT multi-tour) : Apprentissage de la cohérence sur plusieurs tours, où les réponses ultérieures doivent réutiliser les notes de mémoire précédentes sans accéder au futur.
3. Étape 3 (Capacités à long terme) : Entraînement sur de longues vidéos (YouTube) pour gérer la rétention d'évidence à long terme, la gestion de l'incertitude (ne pas répondre si l'évidence n'est pas encore visible) et la robustesse face aux segments distracteurs.

Un masque causal de niveau segment est appliqué pendant l'entraînement pour garantir une causalité stricte : un segment généré ne peut accéder qu'aux segments et questions précédents.

3. Contributions Clés

1. Framework TWW : Une approche novatrice qui maintient un état de mémoire persistant de niveau segment, permettant une interaction multi-tours cohérente et un découplage réel entre la perception et la génération.
2. Pipeline d'Entraînement et d'Inférence :
   • Création d'un jeu de données CoT en trois étapes aligné sur la stratégie d'entraînement.
   • Utilisation de masques causaux de niveau segment et d'encodages positionnels stream pour une modélisation causale stricte.
   • Mise en œuvre d'un pipeline d'inférence avec double cache KV et backends d'attention adaptatifs (Flash Attention vs attention efficace en mémoire) pour maximiser la vitesse.
3. Performance et Efficacité : Démonstration que cette méthode améliore la précision tout en réduisant considérablement le nombre de tokens générés et la latence.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks StreamingBench et OVO-Bench en utilisant les modèles de base Qwen3-VL (2B, 4B, 8B).

• Précision en Mono-tour (Single-round) :
  • Amélioration de +2,6 % sur StreamingBench et +3,79 % sur OVO-Bench par rapport au modèle de base (Qwen3-VL-4B Thinking) en mode streaming.
  • La méthode surpasse nettement les approches "entrelacées" (interleaved) qui chutent drastiquement en précision (ex: de 58,52 % à 18,13 % sans entraînement adapté).
• Performance Multi-tour (Multi-round) :
  • Le modèle maintient une précision compétitive tout en réduisant le nombre de tokens de sortie de 56 % par rapport à la baseline. Cela indique une capacité à résumer efficacement via la mémoire plutôt que de régénérer tout le contexte.
• Latence (TTFT - Time To First Token) :
  • Réduction massive de la latence de 92,6 % (de ~31 200 tokens de délai à ~2 300 tokens) par rapport à l'inférence par lots (batch), tout en maintenant une précision similaire.
• Généralisation : La méthode améliore également les performances sur des tâches de compréhension vidéo hors ligne (Video-MME, LV-Bench), suggérant que l'apprentissage du raisonnement streaming transfère positivement au raisonnement global.

5. Signification et Impact

Ce travail marque une avancée significative vers des assistants IA véritablement temps réel capables de comprendre des flux vidéo continus sur de longues durées.

• Résolution du problème de mémoire : En externalisant la mémoire dans des notes explicites, le modèle surmonte la limitation de la fenêtre de contexte et de l'érosion de l'attention dans les modèles transformer standards.
• Efficacité opérationnelle : Le découplage perception-génération rend possible des applications interactives à faible latence (robotique, surveillance, assistance en direct) où le modèle ne doit pas "geler" pour réfléchir.
• Nouveau paradigme d'entraînement : La création d'un jeu de données CoT spécifique au streaming ouvre la voie à de futures recherches sur l'interaction agent-environnement en temps réel.

En résumé, Think While Watching transforme la compréhension vidéo d'un processus passif et sériel en un processus actif, parallèle et mémorisant, essentiel pour le déploiement d'IA multimodales dans le monde réel.