Résumé Technique : SSMNBench

Énoncé du Problème

Bien que les modèles de langage de grande taille multimodaux (MLLM) aient démontré des progrès significatifs dans la perception d'images uniques, leur capacité à raisonner sur des scènes complexes centrées sur l'humain et à vues multiples reste largement non vérifiée. Les benchmarks multi-vues existants évaluent généralement les modèles en utilisant un « sac de cadres » (bag of frames) fixe et rapportent une mesure unique de précision de bout en bout. Cette méthodologie confond deux capacités cognitives distinctes :

1. Robustesse à la distraction visuelle : La capacité d'identifier une vue informative unique lorsque des vues redondantes sont présentes.
2. Fusion véritable entre les vues : La capacité d'intégrer des preuves fragmentées et complémentaires à travers plusieurs vues lorsqu'aucune vue unique ne suffit.

Par conséquent, les benchmarks actuels ne parviennent pas à diagnostiquer si les échecs des modèles proviennent de la distraction par des informations redondantes ou d'une incapacité à synthétiser des indices géométriques fragmentés. De plus, les évaluations standards récompensent souvent les modèles qui s'appuient sur des priors sémantiques ou des cadres uniques non obstrués plutôt que de réaliser une véritable intégration spatiale 3D.

Méthodologie : SSMNBench

Pour combler ces lacunes, les auteurs introduisent SSMNBench, un benchmark de diagnostic comprenant 3 300 paires questions-réponses (QA) préparées manuellement à travers 11 tâches diverses. Le benchmark est construit via un pipeline rigoureux impliquant la collecte de données à partir de jeux de données multi-vues denses et riches en occlusions (ex. : Core4D, M3GYM, Harmony4D), une annotation experte et une génération structurée de distracteurs.

Taxonomie de l'Évaluation Centrale

L'innovation centrale de SSMNBench est la catégorisation des tâches en deux types distincts basés sur la relation épistémique entre l'entrée visuelle et la compréhension sémantique :

1. Suffisance de Vue Unique (SVS - Single-View Sufficiency) : Tâches où au moins une vue (la « Vue d'Or » ou Golden View) contient toutes les preuves nécessaires pour répondre à la question. Ces tâches testent si un modèle peut identifier et utiliser une vue informative sans être distrait par des points de vue redondants additionnels.
   • Tâches : Reconnaissance d'actions fines, contact humain-humain/objet, comparaison de pose corporelle relative, articulation articulaire anatomique.
2. Nécessité Multi-Vues (MVN - Multi-View Necessity) : Tâches où aucune vue unique ne contient de preuves suffisantes ; le modèle doit fusionner des indices complémentaires à travers les vues pour résoudre les occlusions, les ambiguïtés de profondeur ou les apparences dépendantes du point de vue.
   • Tâches : Comptage d'humains distincts (avec/sans attributs), pose relative entre personnes, estimation de distance relative, identification de l'orientation globale, ordonnancement de profondeur globale.

Protocole Expérimental

Le benchmark emploie une stratégie de perturbation systématique des vues pour sonder la robustesse des modèles :

• Paramètres SVS : Normal (Vue d'Or uniquement), +1, +2, +3 (ajout de vues redondantes).
• Paramètres MVN : Normal (Sous-ensemble minimal nécessaire), -1 (suppression d'une vue critique), +1, +2 (ajout de vues supplémentaires).

Métrique d'Évaluation : Décroissance de la Distraction ($\delta_{dis}$)

Au-delà de la précision standard, les auteurs proposent la Décroissance de la Distraction ($\delta_{dis}$) pour quantifier la vulnérabilité d'un modèle à la saturation du contexte. Cette métrique mesure la chute moyenne de performance lorsque des vues redondantes sont introduites. Une valeur $\delta_{dis}$ élevée indique que l'attention croisée (cross-attention) du modèle est détournée par un bruit visuel non pertinent, tandis qu'une valeur faible suggère une attention sélective efficace.

Résultats Clés

Les auteurs ont évalué 17 MLLM de pointe (incluant des modèles propriétaires comme GPT-5.2, Gemini-2.5, et des modèles open-source comme Qwen et InternVL). Les conclusions révèlent des limitations significatives des architectures actuelles :

1. Écart de Performance : Un écart substantiel existe entre la perception humaine et celle des MLLM. Les évaluateurs humains atteignent une précision >87 %, tandis que les meilleurs modèles propriétaires plafonnent à environ 47,5 % (SVS) et 42,4 % (MVN).
2. Dégradation Universelle par la Distraction : Contrairement à l'hypothèse selon laquelle plus de vues favorisent le raisonnement, l'ajout de vues redondantes dégrade systématiquement la performance dans les tâches SVS. Les modèles peinent à isoler la « Vue d'Or » des distracteurs.
3. Paradoxe de Capacité : Les modèles à plus haute capacité présentent souvent une plus grande vulnérabilité à la distraction visuelle ( $\delta_{dis}$ plus élevé) par rapport aux modèles plus petits. Cela suggère que les modèles riches en paramètres tentent de manière agressive d'extraire des motifs de tous les jetons (tokens) visuels, ce qui les rend plus sensibles au bruit non pertinent.
4. Échec de la Fusion : Dans les tâches MVN, les modèles échouent à intégrer les preuves géométriques fragmentées. Curieusement, dans le paramètre « -1 » (suppression d'une vue), certains modèles performent aussi bien ou mieux que dans le contexte complet. Cela indique une dépendance excessive aux priors monoculaires issus du pré-entraînement 2D ; l'introduction de données multi-vues conflictuelles déclenche des conflits représentationnels que les modèles ne peuvent résoudre par triangulation géométrique.
5. Sensibilité à la Résolution : Une haute résolution d'entrée (1080p) est critique pour la perception fine et la robustesse à la distraction. La compression des images pour maintenir un budget de jetons fixe augmente considérablement la décroissance de la distraction.

Analyse des Échecs

Une analyse d'erreur manuelle sur 660 instances catégorise les échecs en :

• Erreurs au niveau de l'image (33,1 % Échec d'analyse spatiale) : Les modèles échouent à inférer les relations 3D, la profondeur ou les limites de contact au sein de cadres uniques.
• Erreurs au niveau de la vue (67,2 % Échec de fusion de conflit) : Les modèles détectent des indices conflictuels à travers les vues mais échouent à les synthétiser, s'ancrant souvent sur une vue « préférée » et ignorant les autres, ou hallucinent des interactions dues à une mauvaise localisation des limites.

Signification et Contributions

Le papier revendique les contributions suivantes au domaine de l'IA multimodale :

• Nouvelle Taxonomie d'Évaluation : SSMNBench est le premier cadre de diagnostic qui sépare explicitement la robustesse d'un modèle à la distraction visuelle (SVS) de sa capacité de fusion multi-vues (MVN).
• Benchmark Complet : Il fournit un jeu de données rigoureux, annoté par des experts, comprenant 3 300 paires QA focalisées sur la compréhension humaine dense et riche en occlusions, comblant ainsi le fossé entre les jeux de données géométriques de bas niveau et le raisonnement sémantique de haut niveau.
• Constats de Diagnostic Systématiques : En introduisant des perturbations de vues contrôlées et la métrique $\delta_{dis}$, ce travail révèle que les MLLM actuels reposent sur une « moyenne sémantique d'images uniques multiples » et des préférences de vue plutôt que sur une véritable synthèse multi-vues 3D.

Les auteurs concluent que SSMNBench sert de plateforme de diagnostic rigoureuse pour exposer les vulnérabilités fondamentales des architectures actuelles, visant à stimuler le développement de futurs systèmes multimodaux capables d'une véritable compréhension multi-vues dans des environnements complexes du monde réel.