Résumé Technique : STEMBIND

Énoncé du Problème

Les modèles de langage multimodaux (MLLM) présentent fréquemment un mode de défaillance spécifique dans les tâches de raisonnement visuel abstrait (AVR) : ils peuvent percevoir correctement les éléments visuels et identifier les règles logiques sous-jacentes, mais échouent à lier ces règles à la bonne réponse candidate. Les benchmarks d'AVR existants fusionnent la perception, l'induction de règles et la sélection de la réponse en un signal binaire unique (juste/faux), ce qui rend impossible la distinction entre un échec de perception, un échec d'inférence de la règle ou un échec d'application de la règle à l'instance spécifique. Par conséquent, les évaluations actuelles ne peuvent pas isoler le « fossé de liaison » (binding gap) — la déconnexion entre la connaissance d'une règle et son exécution sur un cas visuel spécifique.

Méthodologie : Le Benchmark STEMBIND

Pour répondre à cela, les auteurs introduisent STEMBIND, un benchmark de diagnostic à tige partagée (shared-stem) conçu pour localiser les échements de raisonnement sur des sous-étapes spécifiques à partir de la même preuve visuelle.

1. Conception de Diagnostic à Tige Partagée (Shared-Stem)

Contrairement aux benchmarks traditionnels où les sous-questions sont posées sur des images différentes, STEMBIND interroge la même tige visuelle avec trois questions alignées :

• Perception (P) : « Qu'y a-t-il dans l'image ? » (Vérification de l'encodage visuel).
• Règle (R) : « Quel motif la régit ? » (Vérification de l'induction de la règle).
• Complet (F) : « Quelle option la complète ? » (La tâche d'AVR standard).

Cette conception permet d'attribuer une erreur de réponse finale (F-faux) à des causes spécifiques :

• Incapacité de voir : P est faux.
• Incapacité de raisonner : P est vrai, mais R est faux.
• Incapacité de lier : P et R sont vrais, mais F est faux.

2. Taxonomie et Échelle

Le benchmark contient 2 298 tiges curatées, légères en connaissances, réparties sur neuf opérations visuelles auditables, divisées en deux familles :

• Induction de Règle (RI) : Transformation positionnelle, continuation stylistique, liaison d'attributs, progression quantitative et cartographie relationnelle.
• Traitement Visuel (VP) : Pliage de papier, synthèse de point de vue, rotation mentale et clôture visuelle.
  Ces tiges sont étendues en 19 533 tâches (probes P/R/F), avec une moyenne d'environ 6,5 sondages de perception par tige.

3. Annotation de Processus (S1–S4)

Chaque élément Complet (F) est annoté avec quatre étapes de raisonnement basées sur la théorie compositionnelle de l'induction de Sternberg :

• S1 Encoder : Construction du graphe de scène.
• S2 Inférer : Dérivation de l'ensemble des règles.
• S3 Mapper : Alignement inter-panneaux (lier la règle à l'instance).
• S4 Appliquer : Prédiction de la cible.

4. Protocole d'Évaluation

Les auteurs emploient un protocole d'Augmentation de Stimulus par Étapes (SSA). Cela consiste à injecter cumulativement le contenu vérifié de chaque étape (par exemple, fournir la sortie correcte de S1 ou S2 au modèle) pour tester quelle étape spécifique de l'information répare un élément ayant échoué. Cela aide à localiser le comportement du point de défaillance dominant de manière comportementale.

Résultats Clés

Les auteurs ont évalué 24 configurations de MLLM de pointe (incluant des modèles propriétaires comme GPT-5.4, Claude-Opus-4.7, et des familles open-source comme Qwen3.5, InternVL3.5 et Gemma 4). L'évaluation a produit quatre conclusions principales :

1. Le Gouffre R–F

La précision des règles (R) dépasse significativement la précision des éléments complets (F) sur 22 des 24 modèles. L'écart varie souvent de 20 à 34 points de pourcentage. Par exemple, sur Qwen3.5-27B, la précision R est de 65,4 % tandis que la précision F n'est que de 41,3 %. Cela indique que la plupart des échecs surviennent après que la règle a été identifiée avec succès.

2. Le Fossé de Liaison Persistant

Même sur le sous-ensemble strict de tiges où les modèles répondent correctement à la Perception (P) et à la Règle (R), ils répondent toujours incorrectement à l'élément Complet (F) 51,2 % du temps. Ce « Fossé de Liaison » (BG = 0,51) persiste à travers les familles et les tailles de modèles, suggérant une incapacité fondamentale à mapper les règles inférées vers des candidats visuels spécifiques.

3. Le Goulot d'Étranglement S3

Les diagnostics de processus et les interventions SSA localisent la défaillance dominante à S3 (Mapper).

• Jugement par étape : La précision de S3 est systématiquement la plus basse parmi les quatre étapes (précision moyenne de l'étape ~30,5 % pour Qwen3.5), nettement inférieure à S1, S2 et S4.
• Gains SSA : Les gains de performance les plus importants se produisent lorsque l'information d'alignement de S3 est injectée (transition H2→H3), confirmant que l'étape de « mapping de la règle à l'instance » est le principal goulot d'étranglement.

4. Le Passage à l'Échelle et la Réflexion n'Aident Pas

• Passage à l'échelle (Scaling) : Augmenter la taille du modèle (ex: au sein de la famille Qwen3.5) améliore la Perception et la précision de la Règle, mais ne réduit pas de manière fiable le fossé de liaison du côté F. Dans certains cas (ex: Qowel3.5-122B MoE), le passage à l'échelle entraîne un effondrement de la précision de la Règle.
• Mode de Réflexion : Activer les modes de « réflexion » explicite (Chaîne de Pensée / Chain-of-Thought) diminue généralement la précision des Règles et des éléments Complets sur tous les modèles testés, bien qu'elle améliore souvent la Perception. Les traces de raisonnement plus longues semblent perturber la correspondance au niveau des slots requise pour la liaison.

Signification et Contributions

L'article recadre l'évaluation de l'AVR, passant d'un « classement de réponse finale » à un « instrument de diagnostic » qui localise l'endroit où le raisonnement visuel abstrait se brise.

1. Instrument de Diagnostic : STEMBIND est le premier benchmark capable de sonder la perception, la règle et la résolution d'éléments complets sur la même tige visuelle, permettant d'isoler le mode de défaillance de liaison.
2. Attribution Sensible au Processus : En combinant les sondages à tige partagée avec les annotations S1–S4 et les interventions SSA, les auteurs fournissent un protocole pour attribuer les erreurs à des sous-étapes spécifiques plutôt que de traiter le modèle comme une boîte noire.
3. Diagnostic Empirique : Le travail identifie la liaison règle-instance comme le mode de défaillance concret et dominant des MLLM de pointe actuels, distinct des déficits de perception ou d'induction de règles.
4. Preuve Contre les Solutions Classiques : L'étude fournit des preuves empiriques que le simple passage à l'échelle des paramètres du modèle ou l'activation de modes de réflexion explicites ne résout pas le fossé de liaison, suggérant que les progrès futurs dans le raisonnement ancré visuellement nécessiteront des interventions ciblées sur l'architecture ou l'entraînement pour l'étape de mapping.

Les auteurs concluent que le défi principal pour les MLLM en AVR n'est pas de voir l'image ou de trouver la règle, mais de lier la règle connue à l'instance visuelle correcte.