🤖 AI

MOSS-Video-Preview: Toward Real-Time Video Understanding via Cross-Attention

Le document présente MOSS-Video-Preview, un cadre de compréhension vidéo en temps réel qui emploie une architecture d'attention croisée à deux canaux pour découpler la perception de la génération, permettant une perception continue, une révision des réponses et un silence opportun tout en atteignant des accélérations significatives par rapport aux bases de référence hors ligne avec une dégradation minimale des performances.

Auteurs originaux : Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shan

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shanqing Gao, Yixian Tian, Chenghao Liu, Xinghao Wang, Botian Jiang, Xipeng Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un match de sport en direct à la télévision.

L'ancienne méthode (hors ligne) : Vous attendez que le match soit complètement terminé, puis vous vous tournez vers votre ami et dites : « Bon, voici ce qui s'est passé. » Vous avez manqué l'action pendant que vous parliez.
La méthode actuelle de « streaming » : Vous parlez pendant que le match se joue, mais dès que vous ouvrez la bouche pour parler, vous arrêtez de regarder l'écran. Si un but est marqué pendant que vous êtes en pleine phrase, vous ne le savez pas tant que vous n'avez pas fini votre phrase. Vous devez attendre, puis recommencer pour vous corriger.
La nouvelle méthode (MOSS-Video-Preview) : Vous regardez l'écran et vous parlez exactement en même temps. Si un but est marqué alors que vous dites « L'équipe joue bien », vous vous interrompez immédiatement, dites « Attendez, ils viennent de marquer ! », et mettez à jour votre récit. Si rien d'intéressant ne se passe, vous restez silencieux et continuez simplement à regarder.

Ce document présente MOSS-Video-Preview, un nouveau modèle d'IA conçu pour faire exactement cela : regarder et parler simultanément sans que l'un n'arrête l'autre.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. Le problème : Le « bouchon de circulation »

La plupart des modèles d'IA actuels sont comme une route à voie unique. Pour comprendre une vidéo, le modèle doit lire chaque image, puis s'arrêter de lire pour écrire sa réponse, puis s'arrêter d'écrire pour lire plus d'images. Cela crée un bouchon de circulation. Le modèle ne peut pas « voir » de nouvelles choses pendant qu'il est en train de « parler ».

2. La solution : L'« autoroute à deux voies »

Les auteurs ont construit une architecture à deux canaux. Imaginez une autoroute avec deux voies séparées :

Voie A (Les Yeux) : Cette voie est dédiée uniquement à l'observation de la vidéo. Elle reçoit constamment de nouvelles images (des voitures).
Voie B (La Bouche) : Cette voie est dédiée uniquement à la parole (la génération de texte).

Dans les anciens modèles, les « yeux » et la « bouche » partageaient la même voie, ils devaient donc se relayer. Dans ce nouveau modèle, les « yeux » transmettent l'information à la « bouche » sur le côté, comme une équipe de stands qui tend un nouveau pneu à un pilote pendant que la voiture est encore en mouvement. La voiture (l'IA) n'a jamais besoin de s'arrêter de conduire pour obtenir la nouvelle information.

3. La recette secrète : L'« Attention Croisée » (Cross-Attention)

Pour faire fonctionner ce système à deux voies, ils ont utilisé une technique spécifique appelée Attention Croisée.

L'ancienne méthode : Imaginez essayer de lire un livre pendant que quelqu'un vous crie la page suivante dans l'oreille. Vous devez arrêter de lire pour écouter, puis arrêter d'écouter pour lire.
La nouvelle méthode : Imaginez que vous lisez un livre et qu'un ami se tient à côté de vous. Quand vous avez besoin de savoir ce qu'il y a sur la page suivante, il vous suffit de jeter un coup d'œil à la copie de votre ami. Vous n'avez pas besoin d'arrêter de lire votre propre livre pour le faire. L'ami (la vidéo) est toujours là, prêt à être consulté d'un coup d'œil, sans interrompre votre flux de lecture.

4. Apprendre à l'IA à « se taire »

Un défi majeur est que si une IA regarde une vidéo, elle peut se sentir obligée de décrire tout ce qu'elle voit, même s'il ne se passe rien.

La solution : L'équipe a créé une méthode d'entraînement spéciale. Ils ont appris à l'IA une nouvelle règle : « Si rien d'intéressant ne se passe, ne dis rien. »
Ils ont utilisé un jeton spécial appelé <|silence|>. L'IA apprend à prononcer ce jeton lorsqu'elle voit une scène statique. C'est comme un agent de sécurité qui ne parle que lorsqu'il voit un voleur ; sinon, il reste simplement là à regarder.

5. Les résultats : Plus rapide et plus intelligent

Les auteurs ont testé ce modèle (qu'ils appellent un « aperçu » ou une « preuve de concept ») et ont constaté que :

Vitesse : Parce que les « yeux » et la « bouche » ne se bloquent pas mutuellement, le modèle est beaucoup plus rapide. Sur un ordinateur puissant, il était 5 fois plus rapide pour commencer à parler et 2,7 fois plus rapide pour parler de manière continue par rapport à un modèle existant de pointe, même si leur modèle est en fait plus grand.
Précision : Il est très performant pour comprendre quand les choses arrivent et où elles arrivent (raisonnement spatial et temporel), ce qui est crucial pour l'interaction en temps réel.
Le compromis : Il est légèrement moins bon pour la culture générale ou la lecture de texte sur des images par rapport aux modèles les plus grands et les plus célèbres d'aujourd'hui. Les auteurs admettent que c'est parce qu'ils se sont concentrés sur la nouvelle architecture et le comportement en temps réel plutôt que de simplement rendre le modèle plus grand ou de lui fournir plus de données.

Résumé

MOSS-Video-Preview est un prototype d'une IA qui agit comme un observateur en temps réel. Elle n'attend pas que la vidéo se termine, et elle ne s'arrête pas de regarder pour parler. Elle regarde, parle, se corrige instantanément quand les choses changent, et reste silencieuse lorsqu'il n'y a rien à dire.

Le document affirme que cela prouve que la compréhension vidéo en temps réel est possible avec la bonne architecture, même si le modèle n'est pas encore le plus intelligent du monde. C'est une « preuve de concept » qui ouvre la porte aux futurs assistants d'IA capables de véritablement interagir avec le monde tel qu'il se déroule.

Résumé Technique : MOSS-Video-Preview

Problématique

Les modèles actuels de compréhension vidéo opèrent principalement sous un paradigme hors ligne (offline), où l'intégralité du clip vidéo est disponible avant le début de la génération. Bien que des systèmes de « streaming » soient apparus pour répondre pendant la lecture, ils traitent généralement la perception et la génération comme des phases séquentielles et mutuellement exclusives : le modèle cesse d'ingérer de nouvelles images pendant qu'il génère une réponse. Cela crée un écart de latence où le modèle ne peut pas réagir aux événements survenant durant la fenêtre de réponse, retardant les corrections d'au moins la longueur d'une réponse.

L'article identifie un besoin pour une interaction en temps réel, définie par une contrainte centrale unique : la perception ne doit pas être bloquée par la génération. Dans ce paradigme, un modèle doit percevoir continuellement de nouvelles images tout en générant du texte, lui permettant de réviser ou d'interrompre sa réponse actuelle immédiatement après avoir détecté de nouvelles preuves, et de rester silencieux lorsqu'aucun changement pertinent ne se produit. Les architectures existantes, particulièrement les conceptions de type « decoder-only », peinent à supporter cela car elles forcent les caractéristiques visuelles dans la séquence autoregressive, faisant en sorte que la perception et la génération entrent en compétition pour la même fenêtre de contexte.

Méthodologie

1. Architecture : Backbone à Attention Croisée (Cross-Attention)

Les auteurs proposent une architecture à deux canaux basée sur un backbone à attention croisée (adaptant spécifiquement Llama-3.2-11B-Vision) plutôt que sur la conception prédominante de type « decoder-only ».

Séparation des voies : Les caractéristiques visuelles sont injectées via un canal latéral (Clés et Valeurs) plutôt que de rejoindre le flux de tokens autoregressifs. Le backbone textuel génère des tokens de manière autoregressive tout en récupérant le contexte visuel depuis le canal latéral.
Avantages structurels :
- Non-bloquant : La perception (lecture des images) et la génération (sortie des tokens) s'exécutent sur des voies physiquement distinctes, permettant de procéder de manière concurrente.
- Efficacité : Les caractéristiques visuelles sont encodées une seule fois lors de la phase de prefill et récupérées uniquement dans des couches d'attention croisée spécifiques (8 sur 40), évitant ainsi l'overhead répété de l'auto-attention des grands pools de tokens visuels dans les modèles decoder-only.
- Compression indépendante : La séparation permet une compression indépendante des tokens visuels (via un pooling 2D) sans affecter la séquence textuelle.
Alignement temporel : Le modèle utilise l'encodage positionnel rotatif (RoPE) sur les côtés texte et visuel, projetant les images sur un axe temporel unifié basé sur leur ordre d'arrivée, permettant au modèle de comprendre les séquences temporelles.

2. Pipeline de Synthèse de Données

Puisque les jeux de données statiques de légendes et de QA ne contiennent pas de trajectoires de réponses évolutives ou de décisions de silence, les auteurs introduisent un pipeline de synthèse de données en temps réel pour convertir les légendes hiérarchiques denses en supervision en temps réel.

Construction sémantique : Le pipeline identifie les « points de changement » dans les descriptions vidéo où l'état du monde bascule. Il génère des instructions dépendantes de l'état (questions) où la réponse correcte change au fil du temps.
Décision-Génération : Pour chaque instruction, le modèle synthétise une trajectoire de réponse qui inclut :
- Révisions : Mise à jour de la réponse lorsque de nouvelles preuves apparaissent.
- Silence : Émission d'un token spécial <|silence|> lorsqu'aucune nouvelle information n'est disponible ou que la question n'est pas encore answerable.
Configuration temporelle : Les réponses synthétisées sont alignées sur un flux d'images par seconde, entrelaçant des placeholders 帧 avec du texte ou des tokens <|silence|> pour simuler une interaction continue pilotée par les événements.

3. Stratégie d'Entraînement

L'entraînement suit une approche « général d'abord, spécialisation ensuite » :

Entraînement de pont (Bridge Training) : Alignement de l'encodeur de vision et du projecteur avec le backbone LLM gelé.
SFT Hors ligne (Offline SFT) : Entraînement sur de larges données d'instruction générales pour établir une compréhension robuste de la vidéo et du multimodal hors ligne.
SFT en Temps Réel : Spécialisation du modèle hors ligne à l'aide des données de synthèse en temps réel. Cette étape utilise un corpus mixte de QA en temps réel et hors ligne, distingués par des prompts système, pour apprendre au modèle quand parler, quand réviser et quand rester silencieux.

Contrôle de l'inférence : Lors de l'inférence, un mécanisme de filtrage basé sur un seuil (ex: $P(\text{silence}) \geq 0.6$ ) détermine si le modèle produit du texte ou `<|silence|>$, permettant à un seul ensemble de poids de supporter à la fois les modes hors ligne et temps réel.

Contributions Clés

Formalisation du Paradigme : L'article distingue explicitement les paradigmes hors ligne, de streaming et en temps réel, définissant l'interaction en temps réel par la concomitance de la perception et de la génération et la capacité d'effectuer des « corrections opportunes ».
Conception Architecturale : Il démontre qu'un backbone à attention croisée est structurellement supérieur aux conceptions decoder-only pour l'interaction en temps réel, fournissant une voie à deux canaux non bloquante qui réduit la fréquence de traitement visuel.
Synthèse de Données : Il introduit un pipeline pour générer des données de supervision en temps réel, incluant des révisions de réponses dynamiques et des décisions de silence, absentes des jeux de données standards.
Comportement en Temps Réel : Il parvient à instaurer des comportements de perception continue, de révision de réponse et de silence proactif dans un grand modèle de langage sans sacrifier ses capacités hors ligne.

Résultats

Compréhension Hors Ligne et Multimodale

Performance Compétitive : Le modèle obtient des résultats compétitifs sur les benchmarks généraux de vidéo et de multimodalité. Bien qu'il soit légèrement en retrait par rapport à la base de référence Qwen2.5-VL-7B sur les tâches gourmandes en mémoire (ex: OCR, perception fine), il surpasse Qwen2.5-VL-7B sur les benchmarks nécessitant un raisonnement spatial et temporel fin (ex: Visuologic, VSI-Bench, Video-Holmes).
Coût de la Spécialisation : La transition de l'apprentissage hors ligne vers la spécialisation en temps réel entraîne une dégradation négligeable des capacités de compréhension hors ligne. Dans certains benchmarks vidéo, la version temps réel surpasse même la version exclusivement hors ligne.

Efficacité de l'Inférence

Accélération : Sur un seul NVIDIA H200 avec 256 images par vidéo, le modèle MOSS-Video-Preview de 11 milliards de paramètres atteint :
- Une accélération d'environ 5× du TTFT (Time to First Token) par rapport à Qwen2.5-VL-7B (1.95s vs 9.94s).
- Un débit de décodage ~2.7× plus élevé (38.41 vs 14.26 tokens/s).
- Une réduction de ~46 % de la latence totale de bout en bout.
Attribution : Ces gains sont directement attribués à l'architecture d'attention croisée (sortant la vision de la séquence autoregressive) plutôt qu'à des optimisations d'ingénierie dans la pile de service.

Signification et Revendications

L'article se positionne comme un aperçu (preview) et un article de positionnement, privilégiant la validation d'un paradigme et d'une architecture plutôt que l'obtention de performances de pointe (SOTA) sur les benchmarks généraux.

Faisabilité : L'étude valide qu'une compréhension vidéo en temps réel est réalisable grâce à un backbone à attention croisée et un pipeline de synthèse de données spécialisé.
Nécessité Architecturale : Elle soutient que la contrainte « la perception ne doit pas être bloquée par la génération » nécessite une architecture à deux canaux, faisant de l'attention croisée un choix naturel par rapport aux conceptions own-decoder.
Scalabilité : Les auteurs attribuent l'écart de performance restant avec les modèles SOTA principalement à la taille des données et du nombre de paramètres, et non à l'architecture elle-même. Ils affirment que l'architecture offre une voie viable, avec le potentiel de combler l'écart par une mise à l'échelle ultérieure.
Limites : L'article reconnaît l'absence d'un benchmark de latence au niveau de la décision standardisé pour l'évaluation en temps réel, notant que les métriques actuelles échouent souvent à capturer la « rapidité » des corrections. Il admet également que l'ingénierie des données et les études d'ablation sont préliminaires.

En résumé, MOSS-Video-Preview trace une voie viable vers la compréhension vidéo en temps réel en découplant la perception de la génération, démontrant que cette approche produit des gains d'efficacité significatifs et des capacités de raisonnement robustes, même si les scores des benchmarks généraux accusent actuellement un retard par rapport aux modèles plus larges et optimisés pour le mode hors ligne.