💻 computer science

HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding

Cet article présente HAVEN, une nouvelle référence multimodale alignée hiérarchiquement qui répond aux limites des méthodes d'évaluation vidéo fragmentées existantes en fournissant un jeu de données entièrement granulaire et unifié ainsi qu'une suite d'évaluation complète pour évaluer rigoureusement les capacités des grands modèles de langage multimodaux dans la synthèse et le raisonnement vidéo complexes.

Auteurs originaux : Mengqi Shi, Haopeng Zhang

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengqi Shi, Haopeng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment comprendre un film. Vous lui montrez un film et lui demandez : « Que s'est-il passé ? » Le robot vous fournit un résumé très fluide, grammaticalement parfait. Cela sonne bien ! Mais si vous demandez : « Quelle scène spécifique a montré le héros en train de sauter ? », le robot pourrait pointer la mauvaise scène, ou inventer une scène qui n'a jamais eu lieu.

C'est le problème que l'article HAVEN aborde. Les auteurs soutiennent que les modèles d'IA actuels sont comme des acteurs qui peuvent mémoriser un script parfaitement mais ne comprennent pas réellement l'intrigue ni les personnages. Ils sont « fluides » mais pas « ancrés ».

Voici une explication simple de ce qu'ils ont fait et de ce qu'ils ont découvert :

1. Le Problème : Le « Puzzle Cassé »

Les tests existants pour l'IA vidéo sont comme donner à un élève un puzzle dont les pièces sont éparpillées et ne s'assemblent pas.

L'Ancienne Façon : Les tests demandent généralement à l'IA de regarder une vidéo et d'écrire un résumé, OU de sélectionner quelques images importantes. Ils traitent ces éléments comme des tâches séparées.
Le Défaut : Les vraies vidéos sont hiérarchiques. Une vidéo est constituée de frames (images individuelles), qui se regroupent en plans (courtes séquences), qui construisent la vidéo entière (l'histoire). Les anciens tests ignorent cette structure. Ils ne vérifient pas non plus si les mots de l'IA correspondent réellement aux moments spécifiques de la vidéo. L'IA peut deviner les bons mots simplement en connaissant le fonctionnement du langage, sans réellement « voir » la vidéo.

2. La Solution : HAVEN (Le « Plan Maître »)

Les auteurs ont créé un nouveau benchmark appelé HAVEN (Hierarchically Aligned Multimodal benchmark for unified Video undErstandiNg). Considérez HAVEN comme un plan maître pour un bâtiment.

Au lieu de simplement regarder la maison terminée (la vidéo), HAVEN force l'IA à comprendre les briques (frames), les murs (plans) et la maison entière (vidéo) simultanément.

Alignement Complet : Pour chaque phrase que l'IA écrit, HAVEN vérifie exactement de quelle partie de la vidéo elle provient. C'est comme avoir un traducteur qui doit pointer le mot exact dans la langue originale pour chaque mot qu'il traduit.
Trois Niveaux : Il teste l'IA à trois niveaux :
1. Niveau Frame : Pouvez-vous décrire cette image unique ?
2. Niveau Plan : Pouvez-vous décrire cette courte séquence et savoir quelles images lui appartiennent ?
3. Niveau Vidéo : Pouvez-vous résumer l'histoire entière et savoir quelles séquences sont les plus importantes ?

3. Le Test : Quatre Défis Différents

Les auteurs n'ont pas seulement demandé à l'IA d'écrire un résumé. Ils lui ont donné quatre défis distincts pour voir si elle était vraiment intelligente ou simplement bonne pour parler :

Résumé : « Écrivez une histoire sur cette vidéo. »
Voyage dans le Temps (Raisonnement Temporel) : « Voici les séquences d'une vidéo, mais je les ai mélangées. Remettez-les dans le bon ordre. »
Le Détective (Ancrage) : « Voici une phrase de l'histoire. Pointez la séquence exacte dans la vidéo qui correspond à cette phrase. »
L'Éditeur (Classement de Saillance) : « Voici 10 séquences. Classez-les de « la plus importante pour l'histoire » à « la moins importante ». »

4. Les Résultats : « L'Illusion de la Capacité »

Lorsqu'ils ont testé les modèles d'IA les plus intelligents disponibles (comme GPT-4, Qwen et autres) sur HAVEN, ils ont constaté un fossé choquant :

Les Parleurs : Les modèles étaient excellents pour écrire des résumés fluides et naturels. Ils donnaient l'impression de comprendre le film.
Les Aveugles : Lorsqu'on leur demandait de pointer les scènes spécifiques (Ancrage) ou de classer l'importance des séquences (Saillance), ils échouaient lamentablement.
Le Piège du Texte : Ils ont même testé une version « Texte Uniquement » (une IA qui ne lit que les descriptions des frames, pas les images elles-mêmes). De manière surprenante, cette IA texte-only s'en sortait souvent mieux pour trouver les bonnes scènes que l'IA vidéo complète. Cela prouve que l'IA vidéo ne faisait que deviner en se basant sur des modèles linguistiques, sans réellement analyser les preuves visuelles.

5. La Conclusion

L'article conclut que nous avons surestimé la façon dont l'IA comprend la vidéo. Le fait qu'une IA puisse écrire une belle histoire sur une vidéo ne signifie pas qu'elle a réellement « vu » la vidéo.

HAVEN est un nouveau test plus strict qui force l'IA à prouver qu'elle peut relier ses mots aux preuves visuelles réelles, garantissant que les futurs modèles d'IA ne seront pas seulement de bons parleurs, mais de véritables compreneurs du monde visuel.

(Note : L'article se concentre strictement sur l'évaluation des modèles de compréhension vidéo. Il ne propose pas d'applications spécifiques médicales, industrielles ou futures pour cette technologie, ni n'affirme que ces modèles sont prêts pour un déploiement dans le monde réel dans ces domaines.)

Résumé Technique : HAVEN – Benchmark Multimodal Hiérarchiquement Aligné pour la Compréhension Unifiée de la Vidéo

Énoncé du Problème

Bien que les Modèles de Langage Multimodaux à Grande Échelle (MLLM) aient démontré de solides performances sur des tâches vidéo standards telles que le résumé, la légende et la réponse à des questions, leur capacité à résumer fidèlement et à raisonner sur des récits complexes reste mal évaluée. Les benchmarks vidéo actuels souffrent de deux limitations systémiques :

Supervision Fragmentée : La plupart des jeux de données existants opèrent à une seule granularité temporelle (par exemple, images clés, clips ou résumés au niveau de la vidéo), ignorant la structure intrinsèquement hiérarchique des vidéos du monde réel où les images construisent des plans, et les plans construisent des récits cohérents.
Absence d'Ancrage Multimodal Précis : Les annotations textuelles sont généralement faiblement alignées avec le contenu visuel. Cela permet aux modèles de réussir en exploitant des priors linguistiques sans localiser ni raisonner précisément sur les preuves visuelles pertinentes.

Par conséquent, les protocoles d'évaluation actuels surestiment systématiquement les capacités des MLLM, créant une « illusion de capacité » où les modèles produisent un texte fluide mais échouent à ancrer leurs sorties dans des preuves visuelles correctes.

Méthodologie : Le Benchmark HAVEN

Pour combler ces lacunes, les auteurs introduisent HAVEN (Benchmark multimodal Hiérarchiquement Aligné pour la Compréhension Unifiée de la Vidéo), un jeu de données et un cadre d'évaluation fondés sur deux principes clés : l'exhaustivité hiérarchique et la continuité intermodale.

Construction du Jeu de Données

HAVEN est construit en étendant six jeux de données existants de résumé vidéo (SumMe, TVSum, OVP, YouTube, VideoXum et MR.HiSum). Le processus de construction implique :

Annotation Hiérarchique : Chaque instance vidéo est annotée à trois niveaux :
- Niveau Image : Des images échantillonnées uniformément (moyenne de 164,9 par vidéo) sont appariées à des descriptions textuelles générées par un LLM ( $D_V$ ) et à des images clés annotées par des humains ( $V_{key}$ ).
- Niveau Plan : Les images sont partitionnées en plans temporellement cohérents ( $H$ ) en utilisant la Segmentation Temporelle par Noyau (KTS). Chaque plan possède une description générée par un LLM ( $D_H$ ) et des plans clés annotés par des humains ( $H_{key}$ ).
- Niveau Vidéo : Un document global ( $T$ ) et un résumé concis ( $S$ ) sont générés en agrégeant les descriptions au niveau des plans, avec des alignements explicites phrase-à-plan.
Alignement : Le jeu de données présente un alignement explicite et continu entre le contenu visuel et les descriptions textuelles à tous les niveaux, garantissant que le langage est ancré dans des preuves localisées temporellement.
Contrôle Qualité : Une évaluation humaine sur 15 vidéos échantillonnées a confirmé des scores élevés pour la précision, l'informativité et l'exhaustivité à tous les niveaux d'annotation.

Suite d'Évaluation

HAVEN définit une suite unifiée de quatre familles de tâches pour évaluer différents aspects de la compréhension vidéo :

Résumé Multimodal : Inclut le résumé Vidéo-vers-Texte (V2T), la Sélection d'Images Clés (V2V) et le Résumé Vidéo-Texte Joint (V2VT).
Compréhension Temporelle : Demande aux modèles de retrouver l'ordre chronologique de plans vidéo mélangés, avec et sans contexte au niveau du document.
Ancrage Multimodal : Demande aux modèles d'aligner des phrases de résumé mélangées avec leurs plans visuels correspondants.
Classement de Saillance : Demande aux modèles de classer les plans vidéo par importance, avec et sans contexte de document.

Contributions Clés

Jeu de Données Novel : HAVEN inaugure un cadre entièrement granulaire (image, plan, vidéo) et entièrement multimodal avec un alignement intermodale explicite et continu, dérivé de jeux de données existants de haute qualité annotés par des humains.
Cadre de Test Rigoureux : Les auteurs établissent une évaluation multifacette couvrant quatre dimensions centrales (résumé, ancrage, raisonnement temporel et saillance), permettant une analyse contrôlée du comportement des modèles à travers les niveaux d'abstraction.
Analyse Empirique : L'article fournit une analyse extensive des MLLM de l'état de l'art, exposant une divergence sévère entre la fluidité textuelle de surface et un véritable ancrage multimodal.

Résultats Expérimentaux

Les auteurs ont évalué plusieurs MLLM commerciaux et open-source (y compris GPT-5.2, Qwen3-VL, VideoLLaMA3 et InternVideo2.5) dans un cadre zero-shot. Les principales conclusions incluent :

L'« Illusion de Capacité » : Les modèles produisent systématiquement des résumés textuels fluides mais échouent fréquemment à ancrer ces sorties dans les preuves visuelles correctes. Les scores élevés en génération de texte ne corrélent pas avec une compréhension visuelle précise.
Sensibilité à la Tâche : Les performances des modèles sont hautement sensibles à la formulation de la tâche. Par exemple, des modèles performants en résumé V2T chutent souvent significativement dans les tâches de sélection d'images clés (V2V) et d'ancrage multimodal.
Limites de la Génération Jointe : La génération multimodale conjointe (V2VT) n'améliore pas systématiquement l'alignement entre les sorties textuelles et visuelles par rapport à une génération indépendante. Dans certains cas, cela conduit à un compromis où la qualité du texte s'améliore au détriment de la précision de la sélection visuelle.
Baselines par Proxy Textuel : De manière surprenante, les baselines purement textuelles (utilisant des descriptions d'images) surpassent souvent les modèles multimodaux dans les tâches d'ancrage et de raisonnement temporel, suggérant que les MLLM actuels peinent à établir des correspondances sémantiques précises entre les modalités malgré l'accès aux données visuelles.
Saillance vs Résumé : Il existe un écart clair entre les performances en résumé et en classement de saillance. Une forte performance en résumé n'implique pas une compréhension précise de la saillance, indiquant que le résumé repose sur une notion plus holistique de l'importance, tandis que le classement de saillance nécessite une modélisation visuelle explicite.

Importance et Revendications

L'article revendique que HAVEN fait progresser l'évaluation des systèmes multimodaux au-delà des formats traditionnels de Questions-Réponses (QA). En offrant un terrain d'essai rigoureux et standardisé avec un alignement hiérarchique explicite, HAVEN vise à :

Révéler les limites des MLLM actuels qui sont masquées par des protocoles d'évaluation grossiers ou faiblement ancrés.
Orienter la recherche future vers une compréhension vidéo interprétable et hiérarchique où les modèles peuvent efficacement ancrer, aligner et raisonner sur les informations textuelles et visuelles de manière unifiée.
Fournir une ressource pour développer des modèles qui vont au-delà de la génération de langage « plausible » vers une compréhension multimodale véritable.

Les auteurs reconnaissent des limitations, notant que le benchmark hérite des biais des jeux de données sources, omet actuellement les modalités audio et se concentre sur des vidéos relativement courtes, laissant la compréhension de vidéos longues et l'intégration multimodale (y compris l'audio) comme des pistes pour les travaux futurs.