💬 NLP

Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions?

Cet article introduit Distract-Bench, un nouveau benchmark démontrant que les modèles de langage-vision de raisonnement sont nettement plus vulnérables aux distractions visuelles sémantiques — des indices significatifs mais non pertinents — qu'aux corruptions perceptuelles traditionnelles, car ces distractions induisent souvent les processus de raisonnement des modèles en erreur malgré une perception visuelle correcte.

Auteurs originaux : Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Des élèves brillants face à des salles de classe distrayantes

Imaginez que vous avez un élève très intelligent (un modèle de langage-vision de raisonnement, ou VLM). Cet élève est excellent pour regarder une image et une question, réfléchir au problème étape par étape, et donner la bonne réponse. Il est comme un génie des mathématiques capable de résoudre des problèmes de géométrie complexes simplement en regardant un diagramme.

Pendant longtemps, les chercheurs ont testé la « robustesse » de ces élèves en rendant la salle de classe désordonnée. Ils allaient :

Flouter le tableau noir (flou).
Éteindre les lumières (bruit).
Secouer la caméra (effets météorologiques).

C'est ce qu'on appelle la Robustesse Perceptive. Cela revient à demander : « L'élève peut-il toujours voir la réponse si la vue est floue ? »

Cet article introduit un nouveau problème, plus sournois.

Au lieu de rendre la vue floue, les chercheurs ont gardé le tableau parfaitement net. Mais, ils ont ajouté une distraction : un morceau de papier scotché au tableau contenant un fait vrai qui n'a rien à voir avec la question.

La Question : « Combien de pommes y a-t-il dans le panier ? »
L'Image : Un panier avec 3 pommes.
La Distraction : Un panneau rouge vif collé à côté du panier qui dit : « Il y a 5 oranges dans la pièce d'à côté. » (C'est un fait vrai, mais il est non pertinent).

Les chercheurs appellent cela la Distraction Sémantique. Ils ont voulu savoir : Si l'élève voit clairement, sera-t-il piégé par l'information non pertinente ?

L'expérience : Distract-Bench

L'équipe a construit un test appelé Distract-Bench.

La Configuration : Ils ont pris 506 questions et images réelles (comme des problèmes mathématiques, des graphiques et des scènes quotidiennes).
Le Piège : Ils ont utilisé l'IA et des experts humains pour ajouter des « distracteurs » aux images. Ces distracteurs étaient :
- Factuellement vrais : Le panneau disait réellement « 5 oranges ».
- Visuellement plausibles : On aurait dit qu'ils appartenaient au tableau.
- Totalement non pertinents : Ils n'aidaient pas à répondre à la question sur les pommes.
- Préservant la réponse : La réponse correcte (3 pommes) ne changeait pas.

Ils ont ensuite testé 10 modèles différents (certains sont des modèles de « raisonnement » qui réfléchissent étape par étape, et d'autres sont des modèles standards) pour voir comment ils géraient ces pièges.

Les résultats surprenants

Les résultats étaient contre-intuitifs et ont révélé une faiblesse cachée des modèles « intelligents ».

1. Le test du « Flou » vs le test du « Distracteur »

Quand l'image était floue (Robustesse Perceptive) : Les modèles de raisonnement « intelligents » se comportaient presque exactement comme leurs versions de base « moins intelligentes ». Si le modèle de base ne pouvait pas voir à travers le flou, le modèle intelligent ne le pouvait pas non plus. Ils héritaient des mêmes limitations visuelles.
Quand l'image avait un distracteur (Robustesse Sémantique) : Les modèles de raisonnement « intelligents » étaient en fait moins performants que les modèles de base ! Même s'ils étaient meilleurs pour réfléchir, ils étaient plus facilement piégés par les faits non pertinents.

Analogie : Imaginez un élève qui est excellent en maths mais qui est distrait par une mouche qui vole dans la pièce. Un élève plus simple pourrait simplement ignorer la mouche et se concentrer sur les chiffres. L'élève « intelligent », cependant, commence à réfléchir : « Attendez, est-ce que cette mouche est un symbole ? Est-ce que cela signifie que je dois ajouter 1 à la réponse ? » Sa capacité à trop réfléchir lui a nui.

2. Le piège du raisonnement
Les chercheurs ont cherché à comprendre pourquoi les modèles échouaient. Ils ont découvert que les modèles « intelligents » ne se contentaient pas de deviner au hasard ; ils intégraient le distracteur dans leur logique.

Le mode de défaillance : Le modèle voyait le panneau rouge disant « 5 oranges », le traitait comme une preuve, et construisait une longue chaîne de raisonnement logique basée sur cet indice erroné.
Le résultat : Ils produisaient une réponse très convaincante, bien expliquée, mais complètement fausse. La partie « raisonnement » du modèle amplifiait l'erreur.

3. La « Référence Nocive »
L'étude a mesuré la fréquence à laquelle les modèles mentionnaient le distracteur dans leur réponse finale.

Les modèles intelligents mentionnaient les faits non pertinents beaucoup plus souvent que les modèles de base.
Lorsqu'ils se trompaient, ils faisaient presque toujours référence au distracteur pour justifier leur erreur.

La Conclusion

L'article conclut que être bon en raisonnement ne vous rend pas immunisé contre les distractions. En fait, pour ces modèles d'IA, la capacité à générer de longues chaînes de pensée peut parfois les rendre plus vulnérables aux informations non pertinentes.

Ancienne vision : Nous devons seulement nous inquiéter si l'image est floue ou bruitée.
Nouvelle vision : Nous devons aussi nous inquiéter si l'image contient « trop de vérité ». Si un modèle voit un fait qui est vrai mais non pertinent, il peut s'y accrocher et laisser cela faire dérailler tout son processus de pensée.

À retenir : Pour rendre ces modèles d'IA fiables dans le monde réel, nous ne pouvons pas seulement leur apprendre à mieux voir ; nous devons leur apprendre à ignorer ce qui n'est pas important, même si cela semble important et est factuellement vrai.

(Note : Cette explication est basée strictement sur les résultats présentés dans l'article. Les auteurs ne discutent pas d'applications cliniques spécifiques ou d'utilisations commerciales futures dans ce texte, donc aucune n'est incluse ici.)

Résumé technique : Les modèles de vision-langage à raisonnement sont-ils robustes aux distractions visuelles sémantiques ?

Définition du problème

Bien que les modèles de vision-langage (VLM) dotés de capacités de raisonnement aient démontré des performances solides sur des tâches multimodales complexes, leur fiabilité dans des applications réelles reste à prouver. Les évaluations de robustesse existantes se concentrent principalement sur la robustesse perceptuelle, testant les modèles contre des corruptions d'entrée telles que le bruit, le flou et les effets météorologiques. Ces corruptions dégradent la visibilité des preuves, mais n'introduisent pas de nouveau contenu sémantique.

Cet article identifie un mode de défaillance critique et sous-exploré : les distractions visuelles sémantiques. Dans des scénarios réels, les entrées contiennent souvent des indices visuels factuellement corrects mais non pertinents pour la tâche (par exemple, des objets supplémentaires, des annotations trompeuses ou des détails contextuels). Un modèle peut percevoir correctement les preuves pertinentes, mais porter son attention sur ces indices plausibles mais non pertinents, les incorporer dans sa chaîne de raisonnement et propager l'erreur vers une réponse finale incorrecte. Cela est particulièrement préoccupant pour les VLM améliorés par le raisonnement, où les processus de raisonnement de longue forme peuvent amplifier l'impact de détails initialement non pertinents, les transformant en chemins de raisonnement cohérents mais erronés.

Méthodologie

1. Le benchmark Distract-Bench

Pour combler cette lacune, les auteurs introduisent Distract-Bench, un benchmark vérifié par des humains conçu pour évaluer la robustesse des VLM face aux distractions sémantiques préservant la réponse. La construction du jeu de données suit un pipeline en quatre étapes :

Collecte d'échantillons bruts : 800 paires image-question ont été collectées à partir de benchmarks établis axés sur le raisonnement (MathVision, MathVista) et de benchmarks de domaine général (MMMU).
Distracteurs de base conçus par des experts : Des annotateurs humains ont créé 100 exemples de base en injectant des distracteurs sémantiques dans les images. Ces distracteurs devaient être : (1) sémantiquement évidents, (2) factuellement corrects et visuellement plausibles, (3) non pertinents pour la requête (préservant la réponse de vérité terrain), et (4) capables de mener à des réponses fausses plausibles.
Expansion synthétique scalable : En utilisant ces exemples de base comme base de connaissances, les auteurs ont exploité GPT-5.5 pour générer des instructions d'édition pour les échantillons restants et GPT-Image2 pour synthétiser les images éditées. Ce processus garantissait que le contenu original et la réponse restaient inchangés tout en ajoutant le distracteur.
Vérification de la qualité humaine : Des experts ont vérifié tous les échantillons générés par rapport aux quatre critères, aboutissant à un jeu de données final de 506 échantillons de haute qualité couvrant divers domaines (graphiques, mathématiques, scènes quotidiennes, médical, etc.).

2. Configuration expérimentale

L'étude a évalué 10 VLM, incluant :

Modèles de raisonnement open-source : R1-OneVision, Vision-R1, MMR1, MM-Eureka, OpenVLThinker, et Qwen3-VL-Thinking.
Modèles de base non-raisonnement correspondants : Qwen2.5-VL (Base), Qwen3-VL (Base), etc., afin de permettre des comparaisons par paires contrôlées.
Modèles fermés (closed-source) : GPT-4o et GPT-5.
Les modèles ont été testés sous trois conditions :

Entrées propres (Clean Inputs) : Performance de référence (baseline).
Corruptions visuelles conventionnelles : 20 types de dégradations perceptuelles (bruit, flou, météo, etc.).
Distract-Bench : Entrées avec injection de distracteurs sémantiques.

3. Métriques

Robustesse Relative (RR) : La fraction de la performance initiale préservée après perturbation ( $RR = P_{O}/P_{I}$ ).
Rétention (Retention) : Le taux auquel un modèle reste correct sur les échantillons auxquels il a répondu correctement dans le cadre de l'entrée propre.
Taux de Référence de Distraction (DRR) : Fréquence des mentions explicites du distracteur injecté dans les sorties du modèle.
Taux de Référence Nuisible (HFR) : Fréquence des mentions de distracteurs associées à des réponses incorrectes.

Résultats clés

1. Modes de défaillance distincts

L'étude révèle que la distraction sémantique expose un mode de défaillance de robustesse distinct de la corruption visuelle conventionnelle.

Corruption visuelle : Les VLM de raisonnement héritent largement des schémas de robustesse de leurs modèles de base non-raisonnement. Sous dégradation perceptuelle, la robustesse relative et le chevauchement d'erreurs entre les variantes de base et de raisonnement sont hautement alignés (par exemple, une corrélation moyenne de Pearson de 0,978 pour la famille Qwen2.5-VL).
Distraction sémantique : Les VLM de raisonnement présentent une robustesse systématiquement plus faible que leurs modèles de base face aux distractions sémantiques. Par exemple, dans la famille Qwen2.5-VL, le modèle de base a conservé 92,1 % de robustesse relative sur Distract-Bench, tandis que les variantes de raisonnement sont tombées à 84,4 % – 90,3 %. Cela indique que les capacités de raisonnement ne confèrent pas d'immunité aux indices sémantiques non pertinents ; en fait, elles peuvent exacerber la sensibilité.

2. Sensibilité aux indices non pertinents à la tâche

Malgré de fortes performances sur les données propres, les VLEM de raisonnement sont très sensibles aux indices sémantiques non pertinents à la tâche. La chute de précision pour les modèles de raisonnement sur Distract-Bench (8,1 à 12,8 points de pourcentage) était nettement plus importante que pour leurs homologues non-raisonnement (6,3 points de pourcentage). Cela suggère qu'un raisonnement fiable sous des entrées propres est insuffisant pour garantir une sélection robuste des preuves lorsque des indices visuels plausibles mais non pertinents sont présents.

3. Les distracteurs entrent dans le processus de raisonnement

L'analyse au niveau de la sortie confirme que les échecs ne sont pas des inversions de réponse aléatoires, mais sont pilotés par l'intégration des distracteurs dans la chaîne de raisonnement.

Taux de référence plus élevés : Les modèles de raisonnement référencent les distracteurs plus fréquemment que les modèles de base (DRR plus élevé).
Intégration nuisible : Le Taux de Référence Nuisible (HFR) était systématiquement plus élevé pour les modèles de raisonnement. Dans les cas d'échec, les modèles traitaient fréquemment le distracteur comme une preuve valide, l'utilisant pour justifier des conclusions erronées.
Preuves qualitatives : Des études de cas (par exemple, des problèmes de géométrie avec injection d'annotations d'angles) ont montré que les modèles citeraient explicitement le distracteur (ex: "On nous dit que l'angle ODC est de 30 degrés...") et en dériveraient une mauvaise réponse, alors que les modèles de base seraient plus susceptibles d'ignorer l'indice ou de le mentionner sans conséquence.

Signification et affirmations

L'article affirme que Distract-Bench recadre l'évaluation de la robustesse pour les VLM de raisonnement. Les auteurs soutiennent que le domaine doit déplacer son attention de la simple dégradation de la perception (le modèle peut-il voir la preuve ?) vers la distraction sémantique (le modèle peut-il ignorer des preuves plausibles mais non pertinentes ?).

Les affirmations clés incluent :

Un raisonnement plus fort ne signifie pas une fiabilité accrue : Améliorer les capacités de raisonnement via l'apprentissage par renforcement ou des traces supervisées ne rend pas nécessairement les modèles plus robustes aux changements de distribution impliquant du bruit sémantique ; cela peut même les rendre plus vulnérables aux "pièges de raisonnement".
L'effet d'« amplification par le raisonnement » : Le raisonnement de longue forme peut amplifier l'impact des preuves non pertinentes. Une fois qu'un distracteur est sélectionné comme faisant partie de la chaîne de preuves, le processus de raisonnement peut construire un récit cohérent mais incorrect, menant à des réponses fausses mais affirmées.
Nécessité d'une nouvelle évaluation : Les VLM fiables en conditions réelles nécessitent une évaluation sous des distractions sémantiques trompeuses, et non seulement sous des corruptions perceptuelles.

Les auteurs concluent que le développement de VLM qui soient à la fois capables de raisonner et robustes demeure une direction future critique, nécessitant potentiellement de meilleurs mécanismes de sélection de preuves, un entraînement conscient des distractions ou une vérification au moment de l'inférence. Ils précisent explicitement que leur travail est diagnostique, révélant ces risques sans proposer de méthode de mitigation spécifique.