WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs

Le papier présente WorldSense, le premier benchmark omnimodal évaluant la compréhension vidéo intégrée (visuel, audio, texte) à travers 1 662 vidéos annotées par des experts et 3 172 questions, révélant que les modèles actuels peinent encore à maîtriser les scénarios réels complexes.

L'essentiel

🌍 WorldSense : Le "Permis de Conduire" pour les Robots qui voient et entendent

Imaginez que vous apprenez à conduire. Pour le faire en sécurité, vous ne regardez pas seulement la route (la vue). Vous écoutez aussi le klaxon d'une voiture derrière vous (l'ouïe) et vous sentez les vibrations du moteur ou la dureté du frein (le toucher). Si vous ne faisiez que regarder la route sans écouter, vous risqueriez de vous faire percuter.

Aujourd'hui, les intelligences artificielles (les "robots") sont très forts pour regarder des images et lire du texte, mais elles sont souvent sourdes et aveugles aux sons du monde réel. C'est là qu'intervient WorldSense.

1. Le Problème : Des Robots qui ont un "Trou dans la Raquette" 🎾

Jusqu'à présent, on testait les robots avec des exercices où ils devaient juste regarder une vidéo et répondre à une question. C'est comme si on testait un pilote de course en lui montrant une photo de la piste, sans lui dire qu'il y a un orage qui arrive ou qu'un moteur grince.

Les chercheurs ont créé WorldSense pour combler ce trou. C'est le premier examen qui teste si un robot peut comprendre le monde en même temps avec ses yeux (vidéo) et ses oreilles (audio).

2. La Solution : Un Grand Buffet de 1 662 Scènes 🍽️

Pour créer cet examen, l'équipe (venant de Xiaohongshu et de l'Université Jiao Tong de Shanghai) a préparé un "buffet" géant :

• 1 662 vidéos de la vie réelle (de la cuisine aux concerts, en passant par la nature).
• 3 172 questions à choix multiples.
• 80 experts humains ont travaillé dur pour s'assurer que chaque question est juste et difficile.

L'astuce de WorldSense ? Les questions sont piégées si on ne regarde que l'image ou que le son.

• Exemple 1 : On voit un homme tenir un fruit. Visuellement, on ne sait pas ce qu'il fait. Mais si on écoute, on entend qu'il dit "Regardez la taille de ces myrtilles !". Sans le son, le robot est perdu.
• Exemple 2 : On entend une musique joyeuse. Pour savoir de quel pays elle vient, il faut voir les drapeaux dans la vidéo ET entendre le rythme de la musique.

C'est comme un jeu de "Qui veut gagner des millions" où la réponse se trouve dans la combinaison des indices, pas dans un seul indice.

3. Le Résultat : Les Robots sont encore des "Nouveaux" 🐣

L'équipe a passé les meilleurs robots du monde (comme Gemini, GPT-4o, et d'autres modèles open-source) à l'examen WorldSense.

Le verdict est sans appel :

• Les robots échouent lamentablement sur les tâches complexes. Le meilleur robot du monde (Gemini 2.5 Pro) n'a eu raison que 65 % du temps. C'est bien, mais loin d'être parfait pour un système qui doit gérer des voitures autonomes ou des hôpitaux.
• Les robots "open-source" (gratuits) font pire que le hasard, comme s'ils devinaient au pile ou face.
• Le constat : Quand on enlève le son, les robots s'effondrent. Quand on enlève l'image, ils s'effondrent aussi. Ils n'arrivent pas encore à "mélanger" les deux ingrédients correctement.

4. Pourquoi est-ce important ? 🚀

Imaginez un robot infirmier. S'il voit un patient tomber mais n'entend pas le cri de douleur, il ne comprendra pas la gravité de la situation. S'il entend une alarme mais ne voit pas où elle est, il ne pourra pas agir.

WorldSense nous dit : "Hé, nos robots sont encore des bébés ! Ils ne savent pas encore vraiment vivre dans notre monde à 360 degrés."

En résumé 🎯

WorldSense est comme un examen de conduite complet pour les intelligences artificielles. Il leur dit : "Ne vous contentez pas de regarder la route, écoutez aussi le moteur et sentez la route."

Pour l'instant, les robots ont encore besoin de beaucoup d'entraînement pour devenir de vrais conducteurs autonomes capables de comprendre la complexité du monde réel, où tout (le son, l'image, le contexte) est lié.

Le mot de la fin : Nous avons créé la carte routière (WorldSense) pour montrer aux ingénieurs où leurs robots perdent le nord, afin qu'ils puissent les rendre plus intelligents, plus sûrs et plus humains.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) ont connu des progrès remarquables dans la compréhension visuelle et textuelle. Cependant, la plupart des benchmarks existants se concentrent principalement sur l'interaction visuel-texte, négligeant une modalité cruciale pour la compréhension du monde réel : l'audio.

Dans des scénarios réels (comme la conduite automobile ou l'interaction sociale), les agents intelligents doivent intégrer de manière fluide des informations visuelles, auditives et textuelles. Les benchmarks actuels souffrent de plusieurs limitations :

• Ils se concentrent souvent sur des images statiques ou des vidéos sans audio synchronisé.
• Ils manquent de diversité dans les tâches et les domaines.
• Ils ne testent pas la capacité des modèles à raisonner sur la couplage fort entre l'audio et la vidéo, où l'une des modalités ne suffit pas à elle seule pour répondre correctement.

Il existe donc un besoin critique d'un benchmark évaluant la compréhension omnimodale (visuel + audio + texte) dans des contextes réels complexes.

2. Méthodologie : Le Benchmark WorldSense

Les auteurs proposent WorldSense, le premier benchmark conçu spécifiquement pour évaluer la compréhension vidéo multimodale intégrant simultanément le visuel, l'audio et le texte.

A. Collecte et Curation des Données

• Source : Les vidéos proviennent principalement de FineVideo (vidéos YouTube de haute qualité avec forte corrélation audio-visuelle) et sont complétées par des extraits de MusicAVQA pour enrichir la diversité musicale.
• Filtrage : Un pipeline rigoureux a été appliqué sur 8 000 clips initiaux, incluant un filtrage par domaine, une sélection basée sur les métriques de corrélation audio-visuelle et de contenu dynamique, et une revue humaine.
• Statistiques : Le benchmark final contient 1 662 vidéos synchronisées, d'une durée moyenne de 141,1 secondes.

B. Taxonomie et Diversité

• Domaines : Les vidéos couvrent 8 domaines principaux (Science & Technologie, Culture & Politique, Vie Quotidienne, Cinéma & TV, Performance, Jeux, Sports, Musique) et 67 sous-catégories fines.
• Modalités Audio : Le dataset inclut trois types de sons : la parole, les événements environnementaux et la musique.

C. Annotation et Qualité

• Tâches : 3 172 paires Question-Réponse (Q/R) à choix multiples ont été créées, réparties en 26 tâches cognitives distinctes (de la reconnaissance basique au raisonnement de haut niveau).
• Processus : 80 annotateurs experts ont créé les Q/R. Un système de contrôle de qualité en double boucle a été mis en place :
  1. Revue humaine : Vérification de la clarté linguistique, de la nécessité multimodale (la réponse doit exiger à la fois l'audio et la vidéo) et de la difficulté.
  2. Vérification automatique : Utilisation de MLLMs (comme Qwen2-VL, Video-LLaMA2) pour détecter les questions trop simples (répondables par un seul modèle) ou mal formulées.

D. Protocole d'Évaluation

L'évaluation mesure la précision des modèles sur des questions à choix multiples. Des études d'ablation sont menées pour tester la performance des modèles avec différentes configurations d'entrée :

• Audio uniquement.
• Vidéo uniquement.
• Vidéo + Sous-titres (transcription).
• Vidéo + Audio original.

3. Contributions Clés

1. Premier Benchmark Omnimodal Réaliste : WorldSense est la première évaluation complète des MLLMs sur la compréhension vidéo intégrant audio et visuel de manière couplée, avec une exigence stricte d'intégration des modalités.
2. Données de Haute Qualité : Une collection diversifiée de 1 662 vidéos et 3 172 questions, annotées manuellement par des experts et validées par des modèles d'IA, couvrant 8 domaines et 26 types de tâches.
3. Analyse des Limites des Modèles Actuels : Une évaluation exhaustive de nombreux modèles (open-source et propriétaires) révélant des lacunes majeures dans le raisonnement multimodal réel.
4. Insights sur l'Intégration des Modalités : Identification de l'importance cruciale des signaux audio bruts (au-delà des sous-titres) et des mécanismes d'intégration précoce pour la compréhension du monde réel.

4. Résultats Expérimentaux

Les auteurs ont évalué une large gamme de modèles, y compris des modèles vidéo-audio open-source, des modèles vidéo uniquement, et des systèmes propriétaires.

• Performance Globale Faible : Les modèles actuels peinent considérablement. Le meilleur modèle propriétaire (Gemini 2.5 Pro) atteint une précision de 65,1 %, ce qui, bien que supérieur aux autres, reste insuffisant pour des applications réelles fiables.
• Échec des Modèles Open-Source Audio-Visuel : De manière surprenante, la plupart des modèles open-source conçus pour l'audio et la vidéo (ex: Unified-IO-2, OneLLM) obtiennent des scores proches du hasard (environ 25 %), souvent inférieurs aux modèles vidéo-only. Cela suggère que la simple présence de deux modalités ne garantit pas une intégration efficace.
• Importance de l'Audio :
  • L'ajout d'audio original améliore significativement les performances par rapport à l'utilisation de simples sous-titres (ex: +13,6 % pour Gemini 1.5 Pro).
  • Les modèles échouent souvent sur les tâches liées à l'émotion, au rythme musical et aux événements sonores complexes, indiquant une mauvaise compréhension des indices paralinguistiques.
• Analyse des Échecs : L'analyse des erreurs révèle trois causes principales :
  1. Compréhension audio inadéquate : Incapacité à interpréter correctement les sons (rythme, ton, environnement).
  2. Intégration intermodale limitée : Les modèles traitent souvent les modalités de manière indépendante plutôt que de les fusionner profondément.
  3. Raisonnement complexe insuffisant : Même avec une bonne perception, les modèles échouent dans les étapes de déduction logique.

5. Signification et Perspectives

WorldSense met en lumière un fossé significatif entre les capacités actuelles des MLLMs et la compréhension véritable du monde réel, qui nécessite une synthèse fluide du visuel et de l'auditif.

• Pour la recherche : Le benchmark fournit une plateforme standardisée pour évaluer et améliorer les capacités de raisonnement omnimodal.
• Pour le développement futur : Les auteurs suggèrent plusieurs axes d'amélioration :
  • Utilisation de données d'entraînement naturellement couplées (audio-visuel-langage).
  • Amélioration des architectures pour favoriser une fusion précoce des modalités plutôt qu'une fusion tardive.
  • Renforcement des capacités de raisonnement logique et de l'alignement modal progressif.

En conclusion, WorldSense établit une nouvelle norme pour l'évaluation des MLLMs, démontrant que la prochaine génération de modèles intelligents devra maîtriser l'intégration profonde de l'audio et de la vidéo pour naviguer et interagir efficacement dans des environnements complexes.