💬 NLP

When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

Cet article révèle que le texte non pertinent par rapport à la tâche dans les grands modèles de langage multimodaux biaise systématiquement les jugements visuels binaires en induisant une transformation affine prévisible dans les marges de décision, caractérisant l'effet comme une distorsion géométrique estimable plutôt que comme un bruit non structuré.

Auteurs originaux : Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

Publié 2026-08-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le paysage moderne de l'intelligence artificielle, une nouvelle génération de systèmes a émergé, capables de voir et de parler simultanément. Ces modèles multimodaux sont entraînés pour regarder une image et répondre à des questions à son sujet, ou pour décrire une scène en détail. Ce sont des outils puissants, capables d'identifier des objets, de lire du texte dans des images et de raisonner sur des situations complexes. Cependant, ces systèmes ne fonctionnent pas dans le vide. Dans les applications du monde réel, ils sont souvent alimentés par des informations supplémentaires aux côtés de l'image : les messages précédents d'un utilisateur, un article récupéré ou une entrée de base de données. Ce texte supplémentaire est censé aider le modèle à mieux comprendre l'image. Mais que se passe-t-il lorsque ce texte supplémentaire n'a aucun rapport avec l'image ? Le modèle ignore-t-il le bruit, ou est-il confus ? Cette question est au cœur d'une enquête récente sur la manière dont ces systèmes intelligents traitent l'information lorsque leur attention est divisée entre une scène visuelle et des mots sans rapport.

Les chercheurs ont entrepris de tester précisément ce scénario à l'aide d'une expérience contrôlée. Ils ont pris une série d'images et de questions, comme demander si un chien sur une photo était en train de sauter par-dessus une haie. Ils ont ensuite créé deux versions de l'entrée pour chaque question. Dans la première version, le modèle ne voyait que l'image et la question. Dans la seconde version, le modèle voyait la même image et la même question, mais avec un bloc de texte complètement non pertinent inséré dans l'invite. Ce texte était une phrase aléatoire tirée d'un livre ou d'un article, quelque chose comme une histoire sur une personne voyageant en France, qui n'avait aucun lien avec le chien ou la haie. Les chercheurs voulaient voir si ce bruit aléatoire changerait l'avis du modèle.

Les résultats ont été frappants. Lorsque le texte non pertinent était ajouté, les modèles ne se contentaient pas de l'ignorer. Au lieu de cela, ils changeaient systématiquement leurs réponses. Plus important encore, ils ne changeaient pas d'avis de manière aléatoire. Les modèles devenaient nettement plus enclins à dire « Non » à des questions, même lorsque l'image montrait clairement une situation « Oui ». Par exemple, si un modèle était convaincu qu'un chien sautait, l'ajout d'un texte sans rapport le faisait souvent hésiter et renversait sa réponse pour dire que le chien ne sautait pas. Ce changement s'est produit à travers différents types d'images et différents modèles, suggérant un défaut systématique plutôt qu'un bug aléatoire. Les modèles n'étaient pas seulement légèrement moins précis ; ils étaient poussés vers un type d'erreur spécifique, où ils doutaient des preuves visuelles qu'ils regardaient.

Pour comprendre pourquoi cela se produisait, les chercheurs ont examiné plus en profondeur que les réponses finales. Ils ont examiné les scores de confiance internes que les modèles généraient avant de prendre une décision. Ils ont découvert un schéma très spécifique dans la manière dont les modèles traitaient l'information. Lorsque les modèles voyaient l'image seule, ils avaient un certain niveau de confiance dans leur réponse. Lorsque le texte non pertinent était ajouté, cette confiance ne disparaissait pas ou ne devenait pas chaotique. Au lieu de cela, elle se déplaçait de manière prévisible et mathématique. Le nouveau niveau de confiance était une version déformée de l'original, compressée et poussée dans une direction spécifique. C'était comme si le texte supplémentaire agissait comme un filtre qui compressait la certitude du modèle et faisait pencher la balance contre les preuves visuelles.

Cette découverte a écarté l'idée que les modèles étaient simplement confus par les mots supplémentaires ou que le texte agissait comme un bruit statique aléatoire. S'il s'était agi d'un bruit aléatoire, les erreurs auraient été éparpillées et imprévisibles. Au lieu de cela, les erreurs suivaient une règle stricte. Les chercheurs ont décrit cette règle comme un décalage constant, où le jugement interne du modèle était étiré et déplacé par la présence du texte. Ils ont découvert que ce décalage pouvait être mesuré et même prédit. En comprenant le schéma du décalage, ils ont pu créer une méthode de correction simple. Cette méthode pouvait partiellement annuler les dommages causés par le texte non pertinent, restaurant la capacité du modèle à faire confiance à ce qu'il voyait dans l'image.

L'étude a également révélé que la manière dont le texte était présenté importait. Lorsque le texte non pertinent était présenté comme s'il pouvait être lié à l'image, la distorsion était encore plus forte. Les modèles semblaient traiter les mots aléatoires comme s'il s'agissait d'indices, essayant de les intégrer dans leur compréhension de l'image, ce qui entraînait une confusion encore plus grande. Cela suggère que les modèles ne sont pas seulement des récepteurs passifs d'informations, mais qu'ils essaient activement de donner un sens à tout ce qui leur est donné, même lorsque cette information est inutile. Ils ont du mal à distinguer ce qui est pertinent pour la tâche visuelle de ce qui n'est que du bruit de fond.

Ces découvertes offrent une nouvelle façon de percevoir la manière dont l'intelligence artificielle gère l'information. Il s'avère que l'ajout de texte supplémentaire à une tâche visuelle ne fait pas qu'augmenter le volume ; cela change la forme de la pensée du modèle. Les modèles sont sensibles au contexte qui leur est donné, et cette sensibilité peut les amener à douter de leurs propres yeux. Bien que les chercheurs aient démontré que cet effet peut être mesuré et partiellement corrigé, le problème sous-jacent demeure : ces systèmes ne sont pas encore assez robustes pour ignorer l'irrelevant. Alors que ces technologies sont intégrées dans des systèmes du monde réel plus complexes où elles recevront constamment des flux de données, comprendre comment elles réagissent au bruit est crucial. Ce travail fournit un outil de diagnostic clair pour repérer ces biais et une base pour construire des systèmes capables de se concentrer sur l'image, même lorsque le monde qui les entoure est plein de distractions.

Énoncé du Problème
Les modèles de langage de grande taille multimodaux (MLLM) sont fréquemment exposés à un contexte textuel auxiliaire, tel que des passages récupérés, des informations latérales fournies par l'utilisateur ou l'historique d'un dialogue, qui ne sont pas toujours alignés avec la tâche visuelle actuelle. Alors que les travaux antérieurs en traitement du langage naturel (NLP) ont établi que le texte non pertinent ou distrayant peut induire en erreur les grands modèles de langage (LLM) dans les tâches de raisonnement et de réponse aux questions, l'impact spécifique d'un tel contexte « non pertinent pour l'image » sur les tâches de compréhension visuelle dans les MLLM reste peu exploré. L'article répond à la question suivante : le contexte non pertinent affecte-t-il les prédictions des MLLM sur les tâches de vision-langage et, si oui, comment transforme-t-il le processus de prise de décision sous-jacent ?

Méthodologie
Les auteurs formulent l'investigation comme une intervention contrôlée au sein d'un cadre de jugement visuel binaire.

Configuration expérimentale : Pour chaque paire image-question, ils définissent une entrée « sans contexte » ( $x_o$ ) contenant uniquement l'image et la question, et une entrée « conditionnée par le contexte » ( $x_c$ ) où un passage textuel non pertinent (échantillonné à partir de WikiText) est inséré. Ils testent trois conditions de cadrage : sans contexte, contexte neutre (ajout du texte) et condition de contexte (présenter le texte comme « potentiellement lié » à l'image).
Analyse de la marge de décision : Pour dépasser les mesures de performance agrégées, les auteurs introduisent la marge de décision ( $m$ ), définie comme la différence de log-probabilité entre les réponses positives (« Oui ») et négatives (« Non ») : $m(x) = \log P(y_+ | x) - \log P(y_- | x)$ .
Hypothèse de transformation affine : Ils émettent l'hypothèse que la relation entre la marge sans contexte ( $m_0$ ) et la marge conditionnée par le contexte ( $m_c$ ) suit un schéma structuré plutôt qu'un bruit non structuré. Plus précisément, ils testent si $m_c \approx a \cdot m_0 + b$ , où $a$ et $b$ sont des paramètres propres au modèle.
Cadre d'interprétation : En s'appuyant sur l'interprétation bayésienne implicite de l'apprentissage en contexte, ils interprètent la pente $a$ comme la préservation de la structure de décision visuelle originale (engagement visuel) et l'ordonnée à l'origine $b$ comme un décalage directionnel de la réponse (biais) introduit par le texte.
Validation : L'étude évalue plusieurs modèles (LLaVA-1.5, Qwen2-VL, InternVL) à travers quatre benchmarks (POPE, AMBER, MME, GQA). Ils mènent également des études d'ablation sur le positionnement des prompts, la longueur du contexte et la source, et proposent une méthode de calibration post-hoc utilisant la transformation affine inverse pour atténuer les effets.

Résultats Clés

Dégradation de la performance et décalage directionnel : L'ajout d'un contexte non pertinent dégrade systématiquement la précision prédictive à travers les benchmarks. Plus critique encore, cela induit un décalage systématique de la préférence de décision vers les réponses négatives (« Non »), comme en témoigne la diminution du « Taux de Oui » et l'augmentation des inversions de prédiction.
Régularité affine : La découverte centrale est que la marge conditionnée par le contexte est bien approximée par une transformation affine de la marge sans contexte ( $m_c \approx a \cdot m_0 + b$ ). Cette relation se vérifie avec une excellente qualité d'ajustement ( $R^2$ ) à travers différents modèles et jeux de données.
Stabilité des paramètres et interprétation :
- La pente $a$ est systématiquement inférieure à 1, indiquant que le texte non pertinent atténue l'engagement visuel original (compression de la marge).
- L'ordonnée à l'origine $b$ est systématiquement négative, indiquant un biais directionnel vers le « Non ».
- Le cadrage sémantique importe : le cadrage du texte comme « potentiellement lié » (Condition) entraîne une pente $a$ plus faible (compression plus forte) par rapport à un cadrage neutre, tandis que l'offset négatif $b$ reste relativement stable.
Inversions de prédiction : Les inversions de prédiction ne sont pas réparties uniformément ; elles sont concentrées dans la « Région d'inversion » où la marge $m_0$ originale est faible (proche de la frontière de décision). Le décalage affine déplace la frontière de décision effective de $m_0 = 0$ à $m_0 = -b/a$ , provoquant le basculement d'échantillons positifs faibles vers des prédictions négatives.
Calibration : Une calibration post-hoc légère utilisant la transformation affine inverse ( $m_{cal} = (m_c - \hat{b}) / \hat{a}$ ) permet de récupérer une part significative de la précision perdue et de réduire les taux d'inversion, même dans des contextes de transfert entre jeux de données.

Signification et Revendications
L'article affirme fournir une vue diagnostique au niveau de la marge des effets du contexte non pertinent dans les MLLM. Sa principale contribution est de démontrer que le contexte non pertinent n'agit pas comme un bruit stochastique non structuré, mais plutôt comme une distorsion estimable et structurée de la préférence du modèle.

Aperçu du mécanisme : Les résultats suggèrent que les MLLM restent sensibles au contexte non pertinent même lorsqu'il ne fournit aucune preuve utile, le traitant comme un biais directionnel global et une compression de la confiance visuelle.
Robustesse : La stabilité des paramètres affines à travers différents benchmarks implique une contrainte comportementale partagée dans les MLLM concernant le texte auxiliaire.
Utilité pratique : La capacité de modéliser cette distorsion via de simples paramètres affines offre une base pour développer des stratégies de robustesse, telles que la calibration post-hoc proposée, sans nécessiter de réentraînement du modèle.

Les auteurs font preuve de modestie quant à la portée de leurs travaux, notant que leur analyse est principalement menée dans des contextes de questions-images binaires et que l'explication théorique de la loi affine demeure comportementale et interprétative plutôt qu'un compte rendu causal complet. Ils reconnaissent que le schéma affine peut être une manifestation spécifique d'un phénomène plus large d'interférence de contexte nécessitant une investigation théorique plus approfondie.

Articles similaires