🤖 AI

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Cet article présente un cadre unifié de « vue humaine » pour la compréhension vidéo avec les grands modèles de langage multimodaux, organisant le domaine autour de trois capacités fondamentales — regarder, se souvenir et raisonner — afin d'analyser systématiquement les défis, les méthodes, les applications et les directions futures dans le traitement de scénarios vidéo longs et complexes.

Auteurs originaux : Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

Publié 2026-06-08

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre un film très long et complexe. Vous ne pouvez pas simplement y jeter un coup d'œil ; vous devez le regarder, mémoriser l'intrigue et résoudre le mystère. Cet article soutient que pour apprendre aux ordinateurs à faire la même chose, il faut qu'ils maîtrisent trois compétences spécifiques proches de l'humain : Regarder, Se souvenir et Raisonner.

Voici une décomposition simple de ce que dit l'article, en utilisant des analogies de la vie quotidienne.

La vue d'ensemble : L'approche par la « vision humaine »

Les auteurs affirment qu'au lieu de traiter la compréhension vidéo comme une série de problèmes mathématiques distincts, nous devrions l'aborder comme le fait un humain. Lorsque vous regardez un film de 2 heures, vous ne fixez pas chaque image avec la même intensité. Vous regardez les parties importantes, vous vous souvenez des personnages et des points clés de l'intrigue, et vous raisonnez pour comprendre l'histoire afin de répondre à des questions telles que « Qui est le coupable ? » ou « Pourquoi cela s'est-il produit ? ».

L'article organise toutes les dernières recherches en IA dans ces trois catégories.

1. Regarder : L'« œil sélectif »

Le Problème : Les vidéos sont énormes. Un film d'une heure contient des milliers d'images. Si vous montrez chaque image à un ordinateur, il est submergé (comme si on essayait de boire à l'aide d'une lance à incendie). De plus, l'indice le plus important peut être un détail minuscule qui ne dure qu'une fraction de seconde.

La Solution : L'article passe en revue les méthodes qui apprennent à l'IA à être un « observateur sélectif ».

Regard précis (Fine-Grained Watching) : C'est comme un détective qui zoome sur une empreinte digitale spécifique. L'IA apprend à localiser précisément quand et où quelque chose se produit (ex : « L'arme a été tirée à 12h05 »).
Regard exhaustif (Comprehensive Watching) : C'est comme un critique de cinéma qui résume l'ensemble du film. L'IA apprend à décrire toute la vidéo ou à la décomposer en scènes.
Regard audio-visuel (Audio-Visual Watching) : C'est comme regarder un film avec le son. L'IA apprend à écouter les dialogues et la musique tout en regardant l'action, comprenant qu'un cri correspond à un visage effrayé.
Regard efficace (Efficient Watching) : C'est la compétence de « sauter les passages ennuyeux ». L'IA apprend à ignorer les images redondantes (comme un plan fixe sur un mur) et à ne conserver que les images qui répondent réellement à la question.

2. Se souvenir : Le « classeur intelligent »

Le Problème : Même si l'IA regarde la vidéo, elle ne peut pas tout garder dans son « cerveau » en même temps. Si la vidéo dure 2 heures, l'IA pourrait oublier ce qui s'est passé dans les 10 premières minutes au moment où elle arrive à la fin.

La Solution : L'article examine comment l'IA construit un « système de mémoire ».

Mémoire hors ligne (Offline Memory) : Imaginez que vous regardez un film, puis que vous écrivez un résumé dans un carnet. Plus tard, vous pouvez feuilleter ce carnet pour retrouver des détails. Certains systèmes d'IA font cela en compressant la vidéo en un « résumé » plus petit ou une liste d'événements clés avant de répondre à une question.
Mémoire en flux (Streaming Memory) : C'est comme un présentateur de journal télévisé en direct. La vidéo arrive en temps réel, et l'IA doit se souvenir de ce qui vient de se passer tout en gardant une trace de ce qui s'est passé il y a une heure, le tout sans manquer d'espace. Elle utilise un « tampon tournant » (rolling buffer) pour conserver les informations récentes les plus importantes et une « archive à long terme » pour la vue d'ensemble.
Agentique vs Non-Agent :
- Non-Agent : L'IA rédige automatiquement son propre résumé au fur et à mesure (comme un élève qui prend des notes).
- Agentique : L'IA agit comme un bibliothécaire. Elle réalise qu'elle a oublié quelque chose, retourne à la « bibliothèque vidéo », trouve l'extrait spécifique et le ramène sur son « bureau » pour l'examiner à nouveau.

3. Raisonner : La « logique du détective »

Le Problème : Voir et se souvenir ne suffit pas. L'IA doit relier les points. Si l'IA dit : « Le majordome est le coupable », mais qu'elle ne peut pas pointer le moment précis de la vidéo qui le prouve, c'est une hallucination (un mensonge).

La Solution : L'article traite de la manière dont l'IA apprend à « réfléchir » avant de parler.

Raisonnement textuel uniquement (Text-Only Reasoning) : L'IA écrit un long processus de pensée interne (comme le carnet d'un détective) avant de donner une réponse. Elle dit : « J'ai vu X, puis Y est arrivé, donc Z doit être vrai. »
Réfléchir avec des vidéos (Thinking with Videos) : C'est l'idée la plus récente et la plus avancée. Au lieu de simplement deviner, l'IA retourne activement vérifier son travail dans la vidéo. C'est comme un détective qui dirait : « Attendez, je crois avoir vu un indice à la minute 10. Laissez-moi rembobiner et regarder à nouveau cette image précise. »
- Agentique : L'IA utilise des outils pour zoomer, recadrer une image ou rechercher un horodatage spécifique.
- Non-Agent : L'IA est entraînée pour inclure naturellement des horodatages et des descriptions de ce qu'elle a vu dans sa réponse, prouvant qu'elle a réellement examiné les preuves.

« Films » spécialisés (Sous-domaines)

L'article note également que différents types de vidéos nécessitent différentes compétences :

Égocentrique (Première personne) : Vidéos filmées du point de vue d'une personne (comme avec une GoPro). L'IA doit comprendre ce que la personne fait et ce qu'elle a l'intention de faire.
Sports : Ils sont rapides et régis par des règles. L'IA doit connaître les règles du jeu pour comprendre pourquoi un arbitre a sifflé.
Instructionnel (Cours/Tutoriels) : Ils sont longs et denses. L'IA doit suivre les étapes d'une leçon et faire correspondre la voix de l'enseignant aux diapositives.
Médical : Les enjeux sont élevés. L'IA doit être très précise concernant les instruments et les parties du corps, en observant souvent de longues procédures chirurgicales.
Films / Narration : Ils reposent sur l'intrigue et les relations entre les personnages. L'IA doit se souvenir de qui sont les personnages et de la façon dont ils évoluent tout au long de l'histoire.

La boîte à outils : Données et Tests

L'article liste les « manuels scolaires » (jeux de données/datasets) et les « examens » (benchmarks) que les chercheurs utilisent pour entraîner et tester leurs modèles d'IA.

Jeux de données (Datasets) : Ce sont de vastes collections de vidéos accompagnées de questions et de réponses, certaines incluant des notes détaillées sur la raison pour laquelle la réponse est correcte.
Benchmarks : Ce sont des tests qui vérifient si l'IA peut réellement gérer des vidéos longues, trouver des moments spécifiques ou raisonner à travers des histoires complexes sans s'embrouiller.

Le Futur : Et maintenant ?

L'article conclut que bien que nous fassions des progrès, il reste de grands obstacles :

Raisonnement spatial : L'IA est encore mauvaise pour comprendre exactement où se trouvent les objets dans un espace 3D et comment ils bougent les uns par rapport aux autres.
Multi-vidéo : La plupart des IA ne peuvent gérer qu'une seule vidéo à la fois. La vie réelle implique de passer d'un angle de caméra à un autre ou de gérer des vidéos liées.
Vidéos d'une heure : Gérer des vidéos de plusieurs heures sans perdre le fil de l'histoire reste très difficile.
Efficacité : Nous avons besoin d'une IA capable de trouver la vérité sans vérifier chaque image, afin de gagner du temps et de l'énergie.
Streaming : Créer une IA capable de regarder un flux en direct et de réagir en temps réel, comme un assistant proactif, est un objectif majeur.

En résumé, l'article affirme que pour que l'IA comprenne véritablement la vidéo, nous devons cesser de la traiter comme une image statique et commencer à la traiter comme une histoire dynamique qui nécessite un mélange humain d'observation, de mémoire et de logique.

Résumé technique : Regarder, Se souvenir, Raisonner : Compréhension de la vidéo par vue humaine avec les MLLM

1. Énoncé du problème

Le domaine de la compréhension vidéo traverse un changement de paradigme impulsé par les Modèles de Langage Multimodaux (MLLM). Alors que les premiers modèles vidéo se concentraient sur des clips courts et des tâches de perception isolées, la recherche actuelle s'oriente vers une compréhension à long terme (long-horizon), où les entrées vont de quelques minutes à plusieurs heures. Ce changement introduit une tension fondamentale entre la redondance (les vidéos longues contiennent de nombreuses images répétitives) et la rareté de la preuve (les preuves décisives sont souvent brèves, lointaines ou éparpillées).

Les approches existantes traitent souvent les tâches vidéo comme des benchmarks isolés, échouant à répondre aux exigences systémiques des scénarios du monde réel tels que les films, les diffusions sportives et les procédures médicales. Ces scénarios exigent des modèles capables de :

Sélectionner de manière sélective les moments utiles sous des budgets de calcul limités.
Préserver les informations saillantes au-delà des fenêtres de contexte finies.
Effectuer un raisonnement fidèle en reliant les réponses à des preuves spatio-temporelles explicites.
Gérer des signaux multimodaux asynchrones (visuels, audio, texte).

Les enquêtes actuelles manquent d'un cadre unifié qui intègre la perception, la mémoire et le raisonnement pour les systèmes MLLM de vidéos longues, se concentrant souvent plutôt sur des tâches, des techniques ou des paradigmes d'entraînement spécifiques.

2. Méthodologie : La taxonomie de la « Vue Humaine »

Cet article propose un cadre unifié pour analyser les systèmes de compréhension vidéo basé sur une perspective de vue humaine, décomposant le processus en trois capacités fonctionnelles fondamentales : Regarder, Se souvenir et Raisonner.

2.1 Formulation unifiée

Les auteurs formalisent un système de compréhension vidéo $F_{VU}$ comme une séquence de modules fonctionnels :

Regarder ( $F_{watch}$ ) : Extrait des preuves perceptuelles pertinentes pour la tâche ( $Z$ ) à partir de flux multimodaux ( $V, A, T$ ) conditionnés par une requête ( $q$ ). Cela implique l'ancrage spatio-temporel, la sélection de trames sensible à la requête et l'alignement cross-modal.
Se souvenir ( $F_{remember}$ ) : Met à jour l'état de la mémoire ( $m_t$ ) au fil du temps en accumulant les preuves utiles et en filtrant la redondance. Cela fait le pont entre le contexte à court terme et la mémoire à long terme ( $M$ ).
Raisonner ( $F_{reason}$ ) : Opère sur les preuves perceptuelles et la mémoire pour produire une trace de raisonnement ( $R$ ), qui peut inclure des étapes textuelles, des horodatages ancrés ou des actions d'utilisation d'outils.
Sortie ( $F_{out}$ ) : Génère la prédiction finale ( $O$ ) basée sur l'état intégré.

Le système est généralement réalisé au sein d'un MLLM autorégressif, entraîné via le Fine-Tuning Supervisé (SFT) ou des techniques d'Apprentissage par Renforcement (RL) comme le Group Relative Policy Optimization (GRPO).

2.2 Taxonomie des méthodes

L'enquête organise les méthodes représentatives selon ces trois capacités fonctionnelles :

Regarder (Perception) :
- Fine-grained (Précis) : Se concentre sur l'ancrage spatio-temporel précis (ex: TimeChat, LITA) et le suivi d'objets.
- Compréhensif : Couvre le légendage de vidéos entières, le légendage vidéo dense et les descriptions au niveau de la région.
- Audio-Visuel : Intègre des signaux auditifs pour une perception omnimodale (ex: Qwen2.5-Omni, LLaMA-Omni).
- Efficace : Traite la redondance via la sélection de trames, la compression de tokens et des mécanismes d'attention parcimonieuse (ex: AKS, Video-XL-2).
Se souvenir (Mémoire) :
- Mémoire Hors-ligne (Offline) : Divisée en Agentique (les LLM invoquent de manière autonome des outils pour construire/récupérer la mémoire, ex: VideoAgent) et Non-Agent (pipelines déterministes utilisant la compression et le stockage structuré, ex: MovieChat, LongVU).
- Mémoire de Flux (Streaming) : Gère des flux vidéo illimités via des fenêtres glissantes, l'optimisation du cache KV et des banques de mémoire hiérarchiques (ex: Flash-VStream, StreamMem).
Raisonner (Inférence) :
- Raisonnement Textuel uniquement : Les modèles génèrent des traces de pensée intermédiaires purement en langage. Les approches incluent l'Agentique (planification itérative et utilisation d'outils, ex: DoraemonGPT) et le Non-Agent (post-entraînement avec RL ou supervision CoT, ex: Video-R1).
- Raisonner avec des Vidéos : Les modèles entrelacent le raisonnement avec un ancrage visuel explicite (ex: re-regarder, zoomer, boîtes englobantes). Cela inclut les approches Agentiques (utilisant des outils pour inspecter les preuves, ex: VITAL) et les approches Non-Agent (générant des sorties structurées avec horodatages/boîtes, ex: Open-o3-Video).

3. Contributions Clés

L'article apporte trois contributions primaires au domaine :

Taxonomie de la Vue Humaine : Il introduit un cadre cohérent « Regarder–Se souvenir–Raisonner » qui connecte diverses méthodes de MLLM vidéo, clarifiant leurs rôles fonctionnels plutôt que de les regrouper par tâches isolées.
Couverture Exhaustive : Il fournit une revue large des techniques clés de l'ère des MLLM, couvrant spécifiquement la compréhension de vidéos longues, l'ancrage fine-grained, la modélisation de la mémoire, les systèmes agentiques, le traitement en streaming et le raisonnement ancré.
Résumé Systématique des Ressources : Il consolide les jeux de données d'entraînement, les benchmarks d'évaluation et les applications spécifiques au domaine (égocentrique, sport, instruction, médical, narratif), offrant des conseils pratiques pour le développement et l'évaluation des modèles.

4. Résultats et Constatations

L'article ne présente pas de nouveaux résultats expérimentaux mais synthétise l'état de l'art à travers sa taxonomie. Les conclusions clés incluent :

Changement de Paradigme : Le domaine passe d'une simple compression d'entrée et génération de réponses vers une mémoire structurée, des systèmes de streaming et un raisonnement fondé sur des preuves.
Efficacité du RL : L'apprentissage par renforcement (particulièrement GRPO et l'optimisation de préférence) s'est avéré efficace pour améliorer l'ancrage temporel, réduire les hallucinations et encourager des traces de raisonnement fidèles.
Défis de la Mémoire : Bien que les méthodes de mémoire hors-ligne arrivent à maturité, la mémoire de flux (streaming) reste un défi critique pour gérer des entrées illimitées avec une latence et des budgets mémoire constants.
Fidélité du Raisonnement : Les approches de « réflexion avec les vidéos » (entrelacer les preuves visuelles avec le raisonnement) montrent une performance supérieure pour réduire les hallucinations par rapport au raisonnement textuel seul, bien qu'elles engendrent souvent des coûts de calcul plus élevés.
Spécificité des Domaines : Différents domaines imposent des contraintes uniques. Par exemple, les vidéos médicales nécessitent un contexte procédural global et des preuves anatomiques locales, tandis que les vidéos sportives exigent une localisation temporelle précise d'actions rapides.

5. Signification et Directions Futures

L'article soutient que la perspective de la « vue humaine » est essentielle pour comprendre les rôles fonctionnels des méthodes et expliquer pourquoi la perception, la mémoire et le raisonnement doivent travailler ensemble. Il identifie plusieurs problèmes ouverts et directions futures :

Raisonnement Spatial : Combler le fossé entre le suivi d'objets et la compréhension 3D de la scène.
Ancrage Multi-Vidéo : Aller au-delà des entrées de clips uniques pour gérer les compilations de moments forts et la récupération multi-segments.
Compréhension à l'échelle de l'Heure : Développer des systèmes de mémoire structurés et multi-niveaux capables de gérer des moments rares et décisifs sur des heures sans perdre les dépendances à longue portée.
Raisonnement Efficace et Vérifiable : Équilibrer le coût computationnel avec la fidélité en traitant le raisonnement comme une recherche de preuves budgétée.
Vidéo Égocentrique en Streaming : Créer une mémoire de streaming orientée vers un but et dotée d'un état pour les assistants proactifs et les agents incarnés.

Les auteurs concluent que l'avenir de l'intelligence vidéo réside dans des systèmes scalables, conscients de la mémoire et fondés sur des preuves, avec un effort continu pour tracer les travaux connexes via leur dépôt de ressources.