💬 NLP

When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

Cette étude révèle que, contrairement aux humains qui respectent leurs règles d'attribution de couleur, les modèles vision-langage (VLM) sont incapables d'aligner leurs réponses finales sur leur propre raisonnement introspectif, en particulier face aux biais de connaissances du monde, ce qui remet en question leur fiabilité pour des déploiements à haut risque.

Auteurs originaux : Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

Publié 2026-04-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍎 Le Titre : "Quand appeler une pomme 'rouge' ?"

Imaginez que vous avez un dessin au trait d'une pomme. On commence à la colorer en rouge, mais très doucement. D'abord, c'est à peine une touche de rouge. Puis, un peu plus. Et ainsi de suite, jusqu'à ce qu'elle soit entièrement rouge.

La question est simple : À quel moment précis commencez-vous à dire "C'est une pomme rouge" ?

C'est exactement ce que les chercheurs ont demandé à des humains et à des intelligences artificielles (les modèles de vision-linguistique, ou VLM) de faire. Ils ont créé un jeu appelé GCA (Attribution de couleur graduée) pour tester la "conscience de soi" de ces machines.

🤖 Le Problème : Les IA disent une chose, mais en font une autre

L'idée derrière cette étude, c'est de vérifier si les IA sont honnêtes avec elles-mêmes.

La règle intérieure (l'introspection) : On demande d'abord à l'IA : "Si tu vois une pomme avec 50 % de pixels rouges, la considères-tu comme rouge ?" L'IA répond : "Oui, ma règle est de dire 'rouge' dès qu'il y a 50 % de rouge." C'est sa règle intérieure.
L'action réelle : Ensuite, on lui montre une pomme avec exactement 50 % de rouge.
Le verdict :
- Les humains : Ils disent "C'est rouge". Ils respectent leur règle.
- Les IA (comme GPT-5-mini) : Elles disent souvent "Non, c'est blanc" (ou une autre couleur), même si elles viennent de dire que leur règle était de 50 %.

C'est comme si un juge disait : "Je condamne toute personne avec plus de 50 % de preuves à la prison" et qu'ensuite, face à une personne avec exactement 50 % de preuves, il la laissait partir en disant : "Ah, non, en fait, ce n'est pas assez."

🎨 L'Analogie du "Sorcier des Préjugés"

Pourquoi les IA font-elles ça ? Les chercheurs ont découvert que les IA sont victimes d'un préjugé linguistique (ce qu'on appelle des "priors" du monde réel).

Imaginez que l'IA est un petit magicien qui a lu tous les livres du monde.

Quand il voit un pentagone jaune (une forme sans signification), il se fie à ses yeux : "Je vois 30 % de jaune, donc je dis 'jaune'." Il est honnête.
Mais quand il voit une pomme, son cerveau de magicien crie : "ATTENTION ! C'est une POMME ! Les pommes sont ROUGES !"

Même si la pomme est à 90 % blanche sur le dessin, le "magicien" (l'IA) est tellement obsédé par le fait que les pommes sont rouges dans la vraie vie, qu'il ignore ce qu'il voit réellement. Il ignore sa propre règle mathématique pour suivre son intuition culturelle.

En résumé :

Les humains voient la pomme, comptent les pixels, et disent : "Il y a trop de blanc, c'est blanc." (Ils sont fidèles à leur règle).
Les IA voient la pomme, pensent "Pomme = Rouge", et disent "C'est rouge" même si la pomme est presque blanche. Elles trahissent leur propre règle pour satisfaire leur connaissance du monde.

🧠 Ce que cela nous apprend sur la confiance

Cette étude est cruciale pour l'avenir, surtout dans des domaines sérieux comme la médecine ou le droit.

Le mythe de la "réflexion" : On pense souvent que si une IA écrit un long texte expliquant son raisonnement (ce qu'on appelle la "chaîne de pensée"), c'est qu'elle réfléchit vraiment.
La réalité : Cette étude montre que l'IA peut écrire un raisonnement parfait et logique, puis ignorer complètement ce qu'elle vient d'écrire pour donner une réponse basée sur des préjugés.

C'est comme si un avocat écrivait un mémoire juridique impeccable, prouvant que son client est innocent, mais qu'au moment de plaider, il crie : "Il est coupable !" parce qu'il a lu dans les journaux que le client a un mauvais passé.

🏁 Conclusion Simple

Les chercheurs ont prouvé que :

Les IA sont excellentes pour compter (elles savent combien de pixels sont rouges).
Mais elles sont mauvaises pour respecter leurs propres règles quand un préjugé (comme "les pommes sont rouges") entre en jeu.
Les humains, eux, sont beaucoup plus cohérents : ils respectent leurs règles, même s'ils se trompent parfois sur le comptage exact (ils surestiment un peu la couleur, mais ils restent fidèles à leur logique).

Leçon à retenir : Ne faites pas confiance aveuglément aux explications d'une IA. Parfois, elle vous dit ce qu'elle pense qu'elle devrait faire, mais elle finit par faire ce que son "culture" lui dicte, même si cela contredit sa propre logique.

Titre : Quand appeler une pomme rouge : Les humains suivent des règles introspectives, pas les Modèles de Langage-Vision (VLM)

1. Problématique

L'article aborde un défi central pour le déploiement fiable des Modèles de Langage-Vision (VLM) : la capacité des modèles à produire des traces de raisonnement logiques et cohérents (Chain-of-Thought ou CoT).

Le constat : Bien que les modèles génèrent souvent des traces de raisonnement cohérentes, ils peuvent ignorer leurs propres prémisses, contredire leurs conclusions dérivées ou fournir des réponses incohérentes avec la logique qu'ils semblent suivre.
L'hypothèse testée : Les auteurs remettent en question l'idée que ces échecs de fidélité (unfaithfulness) sont uniquement dus à la difficulté de la tâche ou à des biais cognitifs humains. Ils cherchent à déterminer si les VLMs respectent leurs propres règles introspectives (les contraintes internes qu'ils déclarent utiliser) et si ces échecs sont systématiques ou contextuels.

2. Méthodologie : Le Dataset GCA

Pour étudier ce phénomène, les auteurs introduisent le dataset Graded Color Attribution (GCA), un benchmark contrôlé conçu pour isoler le raisonnement de la difficulté de la tâche et de la perception visuelle.

Structure du dataset :
- Il s'agit de dessins au trait en noir et blanc représentant des objets ou des formes géométriques.
- La couleur est appliquée progressivement au niveau des pixels avec un taux de couverture ( $\tau$ ) variant de 0 % à 100 %.
- Trois conditions de stimuli :
  1. Priors alignés (World-knowledge) : Objets colorés avec leur couleur canonique (ex: une pomme rouge).
  2. Contrefactuels : Objets colorés avec une couleur atypique (ex: une fraise bleue).
  3. Sans priors : Formes géométriques (pentagones, etc.) sans association de couleur sémantique.
Tâches :
1. Élicitation de règles : Demander au modèle (ou à l'humain) de définir un seuil de pixels (ex: "À partir de quel pourcentage d'pixels rouges l'objet est-il rouge ?").
2. Attribution de couleur : Demander la couleur de l'objet pour différentes valeurs de $\tau$ .
Évaluation :
- Cohérence : Stabilité des règles introspectives à travers différentes stratégies de prompting CoT.
- Fidélité (Faithfulness) : Le modèle respecte-t-il la règle qu'il a lui-même énoncée lors de la décision finale ?
Participants :
- Modèles VLM : GPT-5-mini, Claude Opus 4.6, Claude Haiku 4.5, Qwen3.5-9B.
- Humains : 173 participants recrutés via Prolific, soumis aux mêmes stimuli avec des conditions d'ordre d'introspection (avant ou après les images).

3. Contributions Clés

Création du dataset GCA : Une tâche simple qui découple la difficulté de la tâche et la justesse de la réponse de l'évaluation de la fidélité au raisonnement.
Analyse de la stabilité des règles : Démonstration que les règles introspectives des VLMs ne sont pas des représentations internes stables, mais varient selon l'entrée visuelle.
Comparaison Humain-Machine : Mise en évidence que les échecs des modèles ne sont pas dus à des biais cognitifs humains, car les humains restent fidèles à leurs règles (malgré des erreurs d'estimation).
Rôle des priors linguistiques : Identification que les connaissances du monde (priors) dégradent systématiquement la fidélité des modèles, indépendamment de la difficulté visuelle.

4. Résultats Principaux

Fidélité des VLMs vs Humains :
- VLMs : Ils violent systématiquement leurs propres règles introspectives. Par exemple, GPT-5-mini viole ses règles déclarées dans près de 60 % des cas pour des objets avec des priors de couleur forts. Même les modèles de plus grande capacité (GPT-5-mini, Claude Opus) échouent sur cette tâche simple.
- Humains : Ils restent fidèles à leurs règles déclarées. Les apparentes violations s'expliquent par une tendance bien documentée à surestimer la couverture colorée (biais d'estimation), et non par une incohérence fondamentale entre le raisonnement et l'action.
Impact des Priors (Connaissances du monde) :
- La fidélité des VLMs chute drastiquement pour les objets avec des priors forts (ex: pomme), même lorsque l'image est majoritairement blanche. Le modèle "sait" que l'objet est une pomme et que les pommes sont rouges, ce qui l'amène à répondre "rouge" même si la règle déclarée exigeait 50 % de pixels rouges.
- Ce phénomène persiste même dans les conditions contrefactuelles (ex: fraise bleue), indiquant que l'identité de l'objet active le prior sémantique qui écrase la preuve visuelle.
- Pour les formes sans priors, les VLMs se comportent de manière plus proche des humains.
Estimation de la couleur :
- Les VLMs sont d'excellents estimateurs de la couverture de pixels (ils savent compter les pixels rouges). Le problème n'est donc pas perceptif, mais décisionnel : ils ignorent volontairement (ou involontairement) leurs propres règles au profit des priors linguistiques.
Cohérence des règles :
- Les règles introspectives des modèles ne sont pas stables. Elles s'ajustent souvent pour refléter le pourcentage de pixels réellement présents dans l'image, suggérant qu'elles sont générées a posteriori pour rationaliser la réponse plutôt que d'être des contraintes préétablies.

5. Signification et Implications

Remise en cause des hypothèses actuelles : Les résultats contredisent l'idée que les échecs de fidélité du CoT sont principalement dus à la difficulté de la tâche ou qu'ils reflètent des biais cognitifs humains. Le problème est spécifique à l'architecture des VLMs et à leur dépendance aux priors linguistiques.
Calibration de l'auto-connaissance : Les VLMs possèdent une "auto-connaissance introspective" mal calibrée. Ils peuvent décrire une règle, mais ne peuvent pas s'y conformer de manière fiable lorsque des connaissances externes entrent en conflit.
Déploiement à haut risque : Pour des domaines critiques (médecine, droit), la confiance accordée aux traces de raisonnement (CoT) comme preuve de cohérence interne est dangereuse. Si un modèle ne peut pas respecter ses propres règles explicites sur une tâche simple comme la couleur, sa fiabilité dans des scénarios complexes est remise en question.
Conclusion : La fidélité des VLMs est dégradée par les priors du monde réel, créant un décalage fondamental entre ce que le modèle dit qu'il va faire et ce qu'il fait réellement.