Résumé Technique : AVI-Bench : Vers une Intelligence Audio-Visuelle de type humain pour les Omni-MLLM

1. Énoncé du Problème

Bien que les progrès récents des modèles de langage multimodaux omni (Omni-MLLM) aient permis l'intégration du texte, de la vision et de l'audio, leur Intelligence Audio-Visuelle (AVI) reste insuffisamment évaluée. Les benchmarks existants sont souvent spécifiques à une modalité (par exemple, langage-vision ou langage-audio) ou manquent d'un cadre unifié et structuré pour évaluer la nature multidimensionnelle des scénarios réels transmodaux. Les évaluations actuelles reposent fréquemment sur des métriques agrégées qui masquent des modes de défaillance spécifiques, tels que les déséquilibres de modalités, les goulots d'étranglement des stades cognitifs et la faible adaptation aux domaines inconnus. Par conséquent, il existe un manque d'outils systématiques pour diagnostiquer si ces modèles possèdent de véritables capacités de type humain pour percevoir, intégrer et raisonner à travers des entrées audio et visuelles.

2. Méthodologie

2.1. Cadre AVI-Bench

Les auteurs introduisent AVI-Bench, un benchmark d'inspiration cognitive conçu pour évaluer les Omni-MLLM à travers trois stades cognitifs intégrés et une extension unique pour les tests de robustesse :

1. Perception : Évalue la détection et la reconnaissance d'entités sémantiques fondamentales (ex. : classification multi-instances audio-visuelle, localisation audio-visuelle, correspondance audio-visuelle).
2. Compréhension : Évalue l'intégration et le raisonnement sur le contexte multimodal (ex. : légende audio-visuelle, recherche cross-modale).
3. Raisonnement : Sonde l'inférence de haut niveau, incluant la réponse à des questions basées sur une compréhension holistique et l'ancrage de références linguistiques à des objets ou événements spécifiques (ex. : AVQA, ancrage linguistique audio-visuel).
4. Sensation Primitive (AVI-Bench-PriSe) : Une extension évaluant l'adaptation du modèle à des stimuli peu sémantiques et méconnus. Ce stade teste si les modèles peuvent effectuer des tâches sensorielles de base (détection de variations de couleur, de volume, de texture, de géométrie) lorsque le contexte sémantique est minimal, sondant la « sensation primitive » au-delà des distributions d'entraînement standard.

Le benchmark comprend 5 864 échantillons répartis sur 14 tâches diverses et 9 métriques, assurant un équilibre entre les tâches dominées par l'audio, celles dominées par la vision et celles nécessitant une collaboration intensive à chaque stade.

2.2. Taxonomie à quatre niveaux

Pour aller au-delà des simples scores agrégés, l'article propose une taxonomie structurée à quatre niveaux pour classifier l'AVI :

• Niveau 1 (Adaptation à la tâche) : Performance de base sur l'ensemble des tâches.
• Niveau 2 (Adaptation à la modalité) : Mesure l'équilibre entre les capacités audio et visuelles, pénalisant les modèles agissant comme des « spécialistes visuels ».
• Niveau 3 (Adaptation au stade) : Évalue si le raisonnement est ancré dans des prérequis de perception et de compréhension, identifiant les goulots d'étranglement où le raisonnement dépasse les stades cognitifs inférieurs.
• Niveau 4 (Adaptation au domaine) : Évalue la robustesse en comparant la performance sur les domaines familiers par rapport aux domaines inconnus d'AVI-Bench-PriSe, en utilisant une moyenne harmonique pour garantir qu'aucun domaine ne domine le score.

2.3. Protocole d'évaluation

L'étude évalue 28 Omni-MLLM, incluant des modèles à code source fermé (ex. : GPT-4o, série Gemini) et à code source ouvert (ex. : Qwen2.5-Omni, Baichuan-Omni-1.5). L'évaluation utilise des prompts standardisés, des graines aléatoires fixes et un mécanisme de double confirmation pour les tâches de sensation primitive afin de minimiser les hallucinations et de garantir la précision de l'évaluation.

3. Contributions Clés

• AVI-Bench & AVI-Bench-PriSe : Un benchmark complet et ancré cognitivement couvrant la perception, la compréhension, le raisonnement et la sensation primitive, comprenant 14 tâches et 9 métriques.
• Taxonomie à quatre niveaux : Un cadre structuré (adaptatif à la tâche, à la modalité, au stade et au domaine) qui offre une vue nuancée et interprétable des capacités des modèles, révélant les limitations cachées des scores agrégés.
• Perspectives empiriques : Évaluation étendue de 28 modèles révélant des goulots d'étranglement critiques, notamment les déséquilibres de modalités (dominance visuelle), les contraintes spécifiques aux stades (la perception limitant le raisonnement) et les écarts importants dans l'adaptation aux domaines inconnus.
• Base de référence de la performance humaine : Une étude pilote comparant la performance des modèles à celle de sujets humains, soulignant des écarts substantiels, particulièrement dans la sensation primitive et les tâches d'ancrage.

4. Résultats Clés et Observations

• Synergie et Goulots d'Étranglement : La performance à travers les stades cognitifs est positivement corrélée ; cependant, la perception et la compréhension agissent comme des goulots d'étranglement critiques. Les modèles dotés d'un raisonnement fort mais d'une perception faible (ou vice versa) échouent à atteindre une AVI robuste.
• Déséquilibre de Modalité : La plupart des Omni-MLLM excellent dans les tâches à dominance visuelle mais accusent un retard significatif dans les tâches à dominance audio, indiquant un biais de « spécialiste visuel » plutôt qu'une véritable intégration audio-visuelle.
• Défis d'Ancrage : L'ancrage audio-visuel fin (ex. : localisation des sources sonores ou expressions de référence) reste un défi majeur. Même les modèles les plus performants comme Gemini-2.5-Pro obtiennent des scores faibles (ex. : ~35-39 %) sur les tâches d'ancrage, les modèles open-source étant encore moins performants.
• Écart de Sensation Primitive : Les modèles luttent considérablement avec les stimuli peu sémantiques et méconnus. L'écart de performance entre les tâches de raisonnement et les tâches de sensation primitive est substantiel (allant de 47,6 % à 82,7 %), suggérant que les modèles s'appuient lourdement sur des priors sémantiques plutôt que sur une véritable adaptation sensorielle.
• Échelle et Architecture : Les modèles plus larges surpassent généralement les plus petits, mais les choix architecturaux (ex. : mélange de LoRA) et les stratégies d'entraînement impactent significativement la performance, permettant parfois à de plus petits modèles de surpasser leurs homologues plus grands dans certaines dimensions.

5. Signification et Revendications

L'article affirme qu'AVI-Bench fournit un cadre d'évaluation rigoureux pour guider le développement d'Omni-MLLM plus robustes et généralisables. En passant de métriques fragmentées par tâche à une évaluation holistique et cognitivement alignée, le benchmark :

• Révèle les goulots d'étranglement critiques (déséquilibre de modalité, ancrage faible, mauvaise adaptation au domaine) qui entravent le progrès vers l'Intelligence Artificielle Générale (AGI).
• Offre une taxonomie structurée qui permet un diagnostic précis des modes de défaillance, distinguant les modèles qui se contentent d'ajuster des motifs de ceux qui présentent une intégration cognitive de type humain.
• Établit un fondement rigoureux pour les recherches futures, soulignant la nécessité d'une intelligence audio-visuelle équilibrée et d'une robustesse au-delà des distributions d'entraînement communes.

Les auteurs positionnent AVI-Bench non pas comme un outil d'entraînement, mais comme une ressource de diagnostic pour soutenir la recherche sur la sécurité, l'audit des modèles et l'avancement responsable des systèmes d'IA multimodaux.