OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

Ce papier présente OmniVideoBench, un benchmark à grande échelle composé de 1000 paires question-réponse annotées et vérifiées manuellement, conçu pour évaluer rigoureusement les capacités de raisonnement synergique audio-visuel des modèles de langage multimodaux (MLLM) en mettant l'accent sur la complémentarité des modalités et la cohérence logique.

L'essentiel

🎬 Le Grand Défi des Films et de la Musique : OmniVideoBench

Imaginez que vous êtes un réalisateur de cinéma. Vous avez créé un film magnifique qui mélange des images dynamiques et une bande-son complexe (des dialogues, des bruits de pas, de la musique dramatique). Maintenant, vous voulez tester si un robot (une intelligence artificielle) est capable de comprendre ce film aussi bien qu'un humain.

Le problème ? Jusqu'à présent, les tests pour ces robots étaient un peu "tricheurs" ou trop faciles. Soit ils ne regardaient que l'image (comme un film muet), soit ils ne faisaient que écouter le son (comme une radio), soit ils se contentaient de deviner la réponse parmi plusieurs choix.

C'est là qu'intervient l'équipe de l'Université de Nanjing (NJU-LINK) avec leur nouvelle création : OmniVideoBench.

1. C'est quoi, ce "Bench" ?

Pensez à OmniVideoBench comme à un examen de conduite très strict pour les intelligences artificielles.

• L'ancien examen : On vous donnait une photo d'une voiture et on vous demandait "Est-ce qu'elle est rouge ?". C'était facile.
• Le nouvel examen (OmniVideoBench) : On vous montre un film de 30 minutes où il pleut, où le conducteur parle au téléphone, où la radio joue une musique triste, et où un piéton traverse soudainement. On vous pose une question piège : "Si le conducteur n'avait pas écouté la musique, aurait-il vu le piéton ?"

Pour répondre, le robot doit entendre la musique, voir la pluie, comprendre la conversation et relier le tout logiquement. C'est ça, le "raisonnement audio-visuel".

2. Comment ont-ils construit cet examen ?

L'équipe a été très méticuleuse, comme un chef cuisinier qui prépare un plat gastronomique :

• Les Ingrédients (Les Vidéos) : Ils ont collecté 628 vidéos réelles (des vlogs, des documentaires, des matchs de sport, des nouvelles). Certaines durent quelques secondes, d'autres jusqu'à 30 minutes ! C'est comme avoir une bibliothèque de films variés.
• Les Questions (Le Menu) : Ils ont écrit 1 000 questions très précises. Chaque question a une seule bonne réponse et ne peut pas être résolue juste en regardant l'image ou juste en écoutant le son. Il faut les deux.
• La Recette (Le Raisonnement) : C'est la partie la plus géniale. Pour chaque question, ils ont écrit pas à pas comment un humain arrive à la réponse.
  • Exemple : "Étape 1 : J'entends un bruit de verre brisé (Audio). Étape 2 : Je vois un vase tomber (Visuel). Étape 3 : Donc, le vase a cassé."
    Cela permet de vérifier que le robot ne fait pas que deviner, mais qu'il "pense" vraiment.

3. Le Résultat : Les Robots sont encore des bébés !

L'équipe a fait passer cet examen à des robots très célèbres (comme Gemini, Qwen, etc.). Le verdict est sans appel : c'est dur.

• Le score humain : Les humains ont eu environ 83 % de bonnes réponses. C'est normal, on a des yeux et des oreilles qui fonctionnent bien ensemble depuis la naissance.
• Le score des robots : Le meilleur robot (Gemini) a eu à peine 59 %. La plupart des autres robots ont fait pire que le hasard (comme s'ils avaient lancé une pièce de monnaie pour répondre).

Pourquoi est-ce si difficile pour eux ?

• La Musique : Les robots sont nuls pour comprendre l'ambiance. Si une musique est triste, ils ne comprennent pas que cela change l'humeur de la scène.
• Les Longs Films : Ils perdent le fil. Si le film dure 20 minutes, ils oublient ce qui s'est passé au début.
• Le "Trucage" : Beaucoup de robots essaient de tricher en lisant juste les sous-titres ou en regardant une seule image clé, au lieu de vraiment écouter et voir tout le film.

4. Pourquoi est-ce important ?

Imaginez que vous voulez un robot pour aider les pompiers. Il doit pouvoir regarder une vidéo d'un incendie, entendre les cris de détresse et les bruits de l'effondrement, et comprendre la situation globale pour vous aider.

Si le robot ne comprend pas que la musique de fond indique un danger ou qu'un bruit spécifique signifie une explosion, il sera inutile, voire dangereux.

OmniVideoBench est donc une boussole. Il montre aux chercheurs : "Hé, vous êtes forts pour reconnaître des chats sur une photo, mais vous êtes perdus dans un film complexe. Il faut travailler sur la connexion entre vos oreilles et vos yeux."

En résumé

C'est un grand test de réalité pour les intelligences artificielles. Il leur dit : "Arrêtez de regarder juste l'image ou juste le son. Regardez le film entier, écoutez la bande-son, et essayez de comprendre l'histoire comme un vrai humain."

Pour l'instant, les robots sont encore des élèves qui ont besoin de beaucoup d'entraînement avant de pouvoir passer leur permis de "compréhension totale".

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) ont fait des progrès significatifs dans la compréhension des images et du texte, mais leur évaluation dans le domaine de la compréhension vidéo audio-visuelle synergique reste insuffisante. Les benchmarks existants souffrent de plusieurs limitations majeures :

• Dépendance temporelle limitée : Ils se concentrent souvent sur de courts clips vidéo, négligeant les dépendances temporelles à long terme.
• Déséquilibre modalité : Ils privilégient la modalité visuelle en traitant l'audio comme secondaire, optionnel ou non intégré de manière logique.
• Manque de cohérence : Ils échouent à évaluer la capacité des modèles à raisonner de manière cohérente en combinant les indices acoustiques et visuels pour des inférences robustes.

Il existe donc un besoin urgent d'un benchmark capable de tester la complémentarité des modalités et la cohérence logique dans des scénarios vidéo réels et variés.

2. Méthodologie : OmniVideoBench

Les auteurs proposent OmniVideoBench, un benchmark à grande échelle rigoureusement conçu pour évaluer le raisonnement collaboratif audio-visuel.

A. Collecte et Composition des Données

• Source : 628 vidéos réelles provenant de YouTube et Bilibili.
• Diversité : Couverture de 8 catégories principales (Vlog, Actualités, Dessin animé, Sport, Documentaire, TV, Ego-centrique, Autres) et 68 sous-catégories.
• Durée : Les vidéos varient de quelques secondes à 30 minutes, permettant d'évaluer le raisonnement à différentes échelles temporelles.
• Qualité : Résolution minimale de 480p, avec une attention particulière à l'alignement entre l'audio et la vidéo (pas de sous-titres intégrés, pas d'audio non pertinent).

B. Annotation et Création des Questions

• Volume : 1 000 paires Question-Réponse (QA) de haute qualité.
• Types de tâches : 13 catégories de questions conçues pour couvrir des défis fondamentaux, notamment :
  • Raisonnement temporel et localisation spatiale.
  • Inférence causale, comptage et résumé.
  • Compréhension de la musique et des sentiments.
  • Raisonnement hypothétique et référentiel.
• Exigences de qualité :
  • Chaque réponse doit être unique et correcte.
  • Les questions ne doivent pas dépendre de la résolution ou du taux d'images.
  • Les options de réponse (QCM) doivent être sémantiquement équilibrées pour éviter les indices textuels.
• Traces de raisonnement (Reasoning Traces) : Chaque paire QA est annotée avec une chaîne de raisonnement étape par étape. Chaque étape est atomique et spécifie la modalité utilisée (Visuel "V" ou Audio "A"), l'évidence extraite et l'inférence déduite.

C. Assurance Qualité

Un pipeline rigoureux a été mis en place pour garantir que les questions nécessitent réellement une compréhension multimodale :

1. Filtrage par MLLM : Utilisation de modèles avancés (Gemini 2.0 Flash, DeepSeek-V3.1) pour éliminer les questions résolubles par une seule modalité (visuelle ou textuelle uniquement).
2. Révision manuelle : Vérification par des annotateurs humains pour éliminer les ambiguïtés, les réponses non uniques et enrichir les traces de raisonnement.

3. Contributions Clés

• Premier benchmark dédié au raisonnement audio-visuel synergique : Contrairement aux benchmarks précédents, OmniVideoBench force l'intégration logique des deux modalités.
• Échelle et Diversité : Avec des vidéos allant jusqu'à 30 minutes et couvrant des contextes réalistes variés, il dépasse les limites des clips courts.
• Annotations de Raisonnement : La fourniture de traces de raisonnement explicites (modale, preuve, inférence) permet non seulement d'évaluer la réponse finale, mais aussi d'analyser le processus de pensée du modèle.
• Données de référence Humaines : Établissement d'une performance humaine de référence (82,69 % de précision) pour mesurer l'écart avec les modèles actuels.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles MLLM (sources ouvertes et propriétaires) sur OmniVideoBench. Les résultats sont sans équivoque :

• Écart de performance : Aucun modèle n'a atteint un score de "réussite" (>60 %). Le meilleur modèle, Gemini-2.0-Pro, atteint seulement 58,90 %. Les modèles open-source (comme Qwen3-Omni, VITA, etc.) performent souvent près du niveau du hasard aléatoire.
• Difficulté des vidéos longues : Les modèles peinent à maintenir la cohérence sur des vidéos de longue durée, bien que Gemini-2.5-Pro montre une certaine robustesse.
• Faiblesse face à la musique : La compréhension des signaux musicaux est un point faible majeur. Par exemple, Gemini-2.5-Pro n'atteint que 38,46 % de précision sur les vidéos avec de la musique, contre plus de 60 % pour la parole.
• Limites du raisonnement abstrait : Les tâches nécessitant des indices acoustiques de faible sémantique (style musical, changements de tempo) sont très difficiles, tandis que le raisonnement relationnel basé sur la parole est plus accessible.
• Impact de la transcription (ASR) : L'utilisation de transcriptions ASR améliore les performances des modèles purement visuels, mais ne remplace pas la compréhension audio native, surtout pour la musique et les sons d'ambiance.
• Format QCM vs Réponse Ouverte : Les performances chutent drastiquement en mode "réponse ouverte" (Open-ended QA), suggérant que les modèles bénéficient excessivement des indices fournis par les options dans les QCM.

5. Signification et Impact

OmniVideoBench met en lumière les lacunes fondamentales des MLLM actuels dans la compréhension véritablement multimodale.

• Défi pour la recherche : Il démontre que l'intégration native de l'audio et de la vidéo, ainsi que la capacité à raisonner sur des séquences temporelles longues et des émotions abstraites (via la musique), sont des défis non résolus.
• Guide pour le développement : En fournissant des traces de raisonnement et des statistiques détaillées, le benchmark offre une feuille de route pour améliorer l'alignement inter-modal et les capacités de raisonnement à long terme des futurs modèles.
• Standardisation : Il établit un nouveau standard d'évaluation plus strict et plus complet que les benchmarks existants, poussant la communauté vers des systèmes de raisonnement multimodal plus robustes et généralisables.

En conclusion, OmniVideoBench révèle que malgré les avancées rapides, les modèles actuels sont loin d'atteindre le niveau humain dans la compréhension synergique de l'audio et de la vidéo, soulignant la nécessité d'architectures et de données d'entraînement plus sophistiquées.