Résumé technique : Sondage de l'état de décision dans les modèles de langage multimodaux

Énoncé du problème

Les modèles de langage multimodaux (MLLM) sont principalement évalués par des comportements observables de manière externe, tels que la sélection de la correspondance image-texte correcte ou la réponse précise à des requêtes visuelles. Bien que les benchmarks comme MMBench et MM-Vet mesurent efficacement ces sorties, l'article soutient que le comportement externe correct ne garantit pas la stabilité interne. Un modèle peut systématiquement sélectionner la légende correcte (comportement de correction stricte) tout en présentant un état de décision interne présentant une instabilité significative ou une « sensibilité au stress » lorsqu'il est exposé à des perturbations sémantiques structurées. Cela crée un angle mort d'évaluation où les métriques basées uniquement sur le comportement rapportent un succès, masquant un signal caché de sensibilité au stress de l'état de décision interne.

Méthodologie : Cadre S3E

Les auteurs introduisent le S3E (Structured Semantic Stress Evaluation), un cadre conçu pour analyser le découplage entre le comportement externe et les états de décision internes.

1. Protocole d'évaluation

• Choix forcé A/B ancré sur le positif : L'évaluation présente une image, une légende positive ($c^+$) soutenue par l'image, et une légende candidate ($c$). Le modèle doit choisir quelle légende correspond le mieux à l'image.
• Équilibrage de l'ordre : Pour éliminer le biais de position, les essais sont évalués dans les ordres d'options originaux ($[c^+, c]$) et inversés ($[c, c^+]$).
• Filtrage de la correction stricte : L'analyse se conditionne sur les essais de « correction stricte », où le modèle sélectionne la légende positive $c^+$ dans les deux ordres d'options face à la candidate. Cela garantit que l'analyse interne se concentre sur les cas où le comportement externe est stable et correct.

2. Conditions des candidats

Le cadre utilise un substrat « base–préserver–stress » dérivé de benchmarks publics (Winoground, SugarCrepe, ARO) :

• Positif ($c^+$) : La légende de référence, soutenue par l'image.
• Préserver ($c_{pres}$) : Une réécriture de $c^+$ préservant le sens (teste la stabilité interne des reformulations correctes).
• Lexical ($c_{lex}$) : Un contrôle de surface distinct préservant le sens (teste la variation ordinaire au niveau des mots).
• Stress ($c_{stress}$) : Un candidat modifiant le sens et introduisant un conflit sémantique (changements d'objet, d'attribut, de relation ou de compositionnalité).
• Aléatoire ($c_{rand}$) : Une légende de mésappariement générique provenant d'un autre élément source.

3. Sondage de l'état de décision

• Point d'extraction : Les états cachés sont extraits à l'état de décision pré-réponse, immédiatement avant que le modèle n'émette le jeton de choix forcé.
• Métrique : Les auteurs utilisent une distance cosinus ancrée sur le positif. Pour une condition de candidat $k$, le score $S^{(m,\ell)}_{i,o,k}$ est défini comme $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$, où $h^{(m,\ell)}_{i,o,+}$ est l'état caché pour la légende positive.
• Contraste normalisé par le contrôle : La métrique principale est l'écart de déplacement excessif de la condition de stress par rapport aux contrôles :
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (Stress sémantique vs variation lexicale).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (Stress sémantique vs reformulation préservant le sens).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (Stress sémantique vs mésappariement générique).

4. Profil de diagnostic

Les résultats sont rapportés selon quatre dimensions (CA, SO, SI, BE) :

• CA (Compression–Anisotropie) : Rang effectif et concentration de la variance.
• SO (Organisation Structurelle) : Dérive par couche et localisation du pic de couche.
• SI (Sélectivité–Identifiabilité) : Spécificité du signal de stress par rapport aux contrôles.
• BE (Exposition Comportementale) : Précision et taux de correction stricte.

Résultats clés

L'étude a été menée sur cinq modèles open-source : Qwen3VL (2B, 4B, 8B), Gemma3-4B et InternVL3-2B.

1. Existence d'une sensibilité cachée au stress : À travers tous les modèles testés, le stress sémantique a systématiquement produit un déplacement excessif de la couche sélectionnée positivement ($\Delta_{lex}$) par rapport aux contrôles lexicaux, même lorsque le modèle prenait la décision forcée correcte.

   • Pour Qwen3VL-8B, la taille d'effet standardisée appariée ($d_p$) était de 2,85 avec un $\Delta_{lex}$ de 0,1293.
   • Pour Gemma3-4B, $\Delta_{lex}$ était de 0,0093 avec un $d_p$ de 5,45.
   • Les intervalles de confiance pour $\Delta_{lex}$ excluaient zéro pour tous les runs à fort support.

2. L'échelle n'élimine pas l'écart : L'augmentation de l'échelle du modèle (Qwen3VL 2B $\to$ 8B) n'a pas réduit le découplage comportement-interne. En fait, le contraste sémantique-spécifique a crû avec l'échelle (0,0190 $\to$ 0,1293), suggérant que les modèles plus grands peuvent présenter des structures d'état de décision liées au stress sémantique plus fortes ou plus identifiables, même lorsqu'ils sont corrects à l'extérieur.

3. Spécificité du signal :

   • L'effet est sémantique-spécifique : $\Delta_{lex}$ était systématiquement positif, indiquant que le déplacement n'est pas simplement dû à la variation lexicale ou de forme de surface.
   • L'effet n'est pas un mésappariement générique : $\Delta_{rand}$ (stress vs négatif aléatoire) dépendait du modèle et était souvent négatif ou proche de zéro, confirmant que les négatifs aléatoires servent de référence de mésappariement brut plutôt que de base sémantique primaire.

4. Localisation par couche : La réponse au stress était localisée dans des couches « pics » spécifiques (identifiées via un profil de spécificité de stress E3) mais était également visible via une vérification de la moitié supérieure pré-spécifiée, suggérant que la réponse n'est pas confinée à une seule couche isolée.

Signification et affirmations

L'article formule des affirmations modestes et ciblées concernant ses conclusions :

• Lentille de diagnostic, non certificat d'échec : Les auteurs déclarent explicitement que le S3E est une cible de diagnostic ciblée, et non un certificat d'échec, d'hallucination ou de sécurité en aval. La présence d'un déplacement excessif sous un comportement de correction stricte indique une « sensibilité au stress de l'état de décision », et non nécessairement que le modèle échouera dans la génération de texte libre ou dans des tâches en aval.
• Insuffisance de la correction par choix forcé : La conclusion principale est que la correction par choix forcé seule n'est pas un certificat suffisant d'une géométrie de décision interne invariante. Un modèle peut être robuste sur le plan comportemental tout en étant sensible au stress sémantique sur le plan interne.
• Interprétation du signal : Le déplacement observé est interprété comme un signal de la manière dont la géométrie de décision pré-réponse du modèle change lorsqu'un candidat introduit un conflit sémantique. Ce signal survit aux contrôles de la variation lexicale, de la marge de réponse et du chevauchement de surface.
• Limites : Les auteurs reconnaissent que le substrat est centré sur l'anglais et dérivé de benchmarks publics, ce qui peut limiter la généralisabilité. Ils notent également que l'analyse repose sur un accès "white-box" (états cachés), limitant l'applicabilité aux modèles fermés. La métrique $\Delta_{lex}$ est une réponse géométrique dans l'état pré-réponse et ne doit pas être confondue avec la calibration ou un futur échec comportemental sans preuves supplémentaires.

En résumé, le S3E fournit une méthode pour détecter le « stress caché » dans les MLLM, révélant que les états de décision internes peuvent être instables même lorsque les sorties externes semblent correctes, ce qui motive les travaux futurs sur les estimations neutres aux couches et les tests de robustesse.