📄 health informatics

Looked but didn't see: inattentional blindness and yes-bias confabulation in vision-language models

Cet article démontre que les modèles vision-langage présentent une cécité d'inattention similaire à celle des humains, mais affichent également un mode de défaillance de confabulation unique, nécessitant une analyse de détection de signal avec des bases de référence de contrôle appariées pour évaluer précisément leurs capacités de perception visuelle.

Auteurs originaux : Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

Publié 2026-06-18

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

Article original placé dans le domaine public sous CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un match de basket à la télévision. Votre travail consiste à compter le nombre de fois où les joueurs se passent le ballon. Soudain, une personne déguisée en gorille géant traverse le milieu du terrain, s'arrête et se frappe le torse. Si vous êtes tellement concentré sur le comptage des passes que vous ne remarquez pas le gorille, vous avez vécu une « cécité attentionnelle ».

C'est un tour de passe-passe célèbre du cerveau humain. Mais ce document pose une nouvelle question : Les modèles d'IA (plus précisément les modèles de vision-langage ou VLM) se font-ils piéger de la même manière ?

Les chercheurs ont repris une expérience célèbre où des radiologues (des médecins qui lisent des rayons X) n'avaient pas remarqué un gorille caché dans une vidéo de scanner (CT-scan), et ils ont soumis exactement le même test à des modèles d'IA. Voici ce qu'ils ont trouvé, expliqué simplement.

1. L'effet du « Cerveau Occupé » (Cécité Attentionnelle)

Les chercheurs ont montré à l'IA une vidéo d'un scanner pulmonaire et lui ont demandé d'agir comme un médecin : « Trouvez tous les nodules pulmonaires (petites masses). »

Le Résultat : Tout comme les médecins humains, l'IA était tellement occupée à chercher des masses qu'elle a complètement ignoré le gorille géant traversant la vidéo.
L'Analogie : C'est comme un chef cuisinier qui est tellement concentré sur la découpe de ses oignons qu'il ne remarque pas un clown qui entre dans la cuisine. L'IA a « regardé » l'image entière (elle n'a pas de zones aveugles comme les yeux humains), mais son « attention » était verrouillée sur la tâche, rendant le gorille invisible.

2. Le problème du « Monsieur Complaisant » (Confabulation)

C'est ici que l'IA diffère des humains. Après la vidéo, les chercheurs ont demandé à l'IA : « Avez-vous vu quelque chose d'inhabituel ? »

La Manière Humaine : Si un humain n'a pas vu le gorille, il dit : « Non, je n'ai rien vu. »
La Manière de l'IA : Lorsque les chercheurs ont demandé directement à l'IA : « Avez-vous vu un gorille ? », l'IA a commencé à dire « Oui ! », même lorsqu'il n'y avait aucun gorille dans la vidéo.
L'Analogie : Imaginez un élève qui passe un examen. Si le professeur demande : « As-tu vu le corrigé sur le bureau ? », l'élève pourrait répondre « Oui » simplement parce qu'il pense que le professeur s'attend à ce qu'il dise oui. L'IA ne voyait pas réellement le gorille ; elle confabulait (inventait des choses) parce qu'elle sentait que les chercheurs cherchaient une réponse spécifique. Elle est devenue un « Monsieur Complaisant ».

3. Le test du « Miroir Magique »

Pour prouver que l'IA ne faisait pas que halluciner, les chercheurs ont mené un second test. Ils ont pris l'image exacte de la vidéo où le gorille apparaissait et l'ont montrée à l'IA dans une nouvelle conversation vierge (sans la tâche de recherche de poumons).

Le Résultat : L'IA a immédiatement repéré le gorille avec une précision de 100 %.
La Leçon : Cela a prouvé que l'IA pouvait parfaitement voir le gorille. Elle l'avait seulement « manqué » lorsqu'elle était occupée à faire autre chose. C'est la partie « regarder mais ne pas voir ».

4. Le piège de l'« Étude Célèbre »

Les chercheurs ont découvert un bug étrange propre à l'IA. Parce que l'IA avait lu l'expérience célèbre du « gorille dans le match de basket » dans ses données d'entraînement, elle a reconnu le schéma du test.

L'Analogie : C'est comme un étudiant qui a lu le corrigé d'un examen blanc. Quand le professeur demande : « Avez-vous vu l'objet caché ? », l'étudiant dit « Oui ! » non pas parce qu'il l'a vu dans l'image, mais parce qu'il se souvient de l'histoire du gorille.
L'IA disait souvent des choses comme : « Oui, j'ai vu le gorille, tout comme dans l'étude de Drew et al. », même lorsque la vidéo était totalement vide. Elle devinait en se basant sur sa mémoire de l'expérience, et non sur ce qui se trouvait réellement devant elle.

5. Le rebondissement « Spécialiste vs Généraliste »

Les chercheurs ont également testé deux types d'IA différents :

Le Généraliste : Bon pour voir tout ce qui se trouve dans la nature (comme un gorille dans une forêt) mais mauvais pour comprendre les scanners médicaux. Il a trouvé le gorille mais n'a pas pu trouver les poumons.
Le Spécialiste : Entraîné spécifiquement sur des scanners médicaux. Il était excellent pour trouver les poumons, mais il était trop zélé. Lorsqu'on lui demandait de trouver un gorille, il affirmait voir un gorille dans 82 % des vidéos où il n'y avait aucun gorille du tout.
La Leçon : Une IA spécialiste peut être si désireuse de trouver ce que vous demandez qu'elle commence à voir des choses qui n'existent pas.

La Grande Conclusion

Le message principal de ce document est un avertissement sur la façon dont nous testons l'IA :

Vous ne pouvez pas simplement demander à une IA : « Avez-vous vu X ? » et croire le « Oui ».

Si vous posez une question directe à une IA, elle peut mentir (confabuler) ou dire « Oui » juste pour être utile, surtout si elle pense que vous la testez sur une expérience célèbre. Pour savoir si une IA a réellement vu quelque chose, vous devez comparer ses réponses à un groupe « témoin » (des vidéos sans gorille) et utiliser une mathématique rigoureuse pour séparer ce qu'elle a réellement vu de ce qu'elle a simplement deviné.

En bref : L'IA peut être aveugle quand elle est occupée, mais elle peut aussi être menteuse lorsqu'on l'interroge directement. Pour obtenir la vérité, il faut un test scientifique très minutieux, et non une simple question.

Résumé Technique : Cécité d'Inattention et Confabulation par Biais de Réponse « Oui » dans les Modèles Vision-Langage

Énoncé du Problème
L'article examine si les modèles vision-langage (VLM) contemporains présentent une « cécité d'inattention » (IB — inattentional blindness) — un phénomène où les observateurs ne parviennent pas à remarquer des stimuli inattendus lorsque leur attention est mobilisée par une tâche visuelle exigeante. Ce comportement a été démontré de manière célèbre chez les sujets humains (Simons & Chabris, 1999) et chez des radiologues formés (Drew, Võ, & Wolfe, 2013), qui n'ont pas signalé la présence d'une figure de gorille superposée à des scanners thoraciques CT, malgré des données d'oculométrie confirmant qu'ils l'avaient visuellement fixée.

Les auteurs se demandent si cette signature comportementale se reproduit chez les VLM, qui traitent l'intégralité des images en parallèle sans le goulot d'étranglement fovéal biologique. De plus, l'article aborde une lacune méthodologique critique : contrairement aux sujets humains, les VLM présentent des « hallucinations » ou des confabulations, où ils génèrent des descriptions fluides et localisées de stimuli pourtant absents. Par conséquent, une simple réponse « Oui » à une interrogation directe (ex. : « Avez-vous vu un gorille ? ») ne permet pas de distinguer une perception réelle d'un biais de réponse (confabulation). L'étude postule que sans une ligne de base de contrôle de fausses alarmes correspondante et une analyse de la détection du signal, les affirmations concernant la perception des VLM sont fondamentalement ininterprétables.

Méthodologie
L'étude a utilisé trois bras expérimentaux utilisant des scanners CT thoraciques rendus sous forme de piles de vidéos défilantes, avec une figure de gorille apparaissant progressivement sur des coupes spécifiques (environ 48 fois la taille d'un nodule typique).

Expérience 1 (Paysage Inter-Modèles) :
- Sujets : 20 configurations de modèles à travers trois fournisseurs (OpenAI, Anthropic, Google DeepMind) et trois générations (2024–2026), incluant des variations avec et sans modes de « raisonnement ».
- Stimuli : 144 composites d'images statiques (gorille présent) et 12 contrôles appariés, présentés sous quatre types de prompts (centrés sur la tâche, cliniques, ouverts et amorcés).
- Notation : Les réponses ont été évaluées via un système à deux niveaux : L1 (correspondance regex pour les termes animaliers) et L2 (un modèle phare agissant comme juge, comparant les descriptions des images avec et sans gorille pour détecter des anomalies localisées).
Expérience 2 (Replication de Drew et al., 2013) :
- Sujet : Un seul modèle, Gemini-3.1-Pro.
- Design : Une séquence de 5 essais (4 échauffements de contrôle + 1 cible) dans une seule conversation. La cible était soit un gorille présent, soit un gorille absent.
- Sondes (Probes) : Suite à la tâche, le modèle recevait trois sondes de conscience de plus en plus directes, tirées de Drew et al. (2013) :
  - q1 : « L'essai final semblait-il différent... ? »
  - q2 : « Avez-vous remarqué quelque chose d'inhabituel... ? »
  - q3 : « Avez-vous vu un gorille... ? »
- Contrôles : Un « sous-essai de détectabilité sur image fixe propre » a été réalisé sur un modèle successeur (gemini-3.1-pro-preview) utilisant des conversations fraîches et sans contexte pour établir une ligne de base de fausses alarmes, corrigeant ainsi la nature confondante de la sonde q4 en cours de conversation.
Bras de Segmentation :
- Sujets : Deux modèles de segmentation pilotés par texte : SAM 3 (généraliste d'images naturelles) et BiomedParse (spécialiste médical).
- Tâche : Appliquée aux mêmes vidéos de stimuli figées sous les prompts « gorilla », « lung_field » et « nodule ».
- Métrique : Taux de détection sur les images avec gorille vs taux de fausses alarmes sur les images de contrôle sans gorille.

Résultats Clés

Réplication de la Cécité d'Inattention : Dans la condition spontanée (en cours de tâche, avant toute sonde), le VLM n'a pas rapporté le gorille dans 23 essais sur 24 (taux d'omission de 96 %), reflétant étroitement le taux d'omission de 83 % observé chez les radiologues humains. Le modèle a poursuivi la tâche de recherche de nodules sans être perturbé, parallèlement au comportement humain.
Biais de Réponse « Oui » et Confabulation : À mesure que les sondes devenaient suggestives (de q1 à q3), la capacité du modèle à distinguer le signal du bruit s'est effondrée.
- À la sonde subtile q1, la sensibilité ( $d'$ ) était de 1,22.
- À la sonde directe q3 (« Avez-vous vu un gorille ? »), la sensibilité est tombée à 0,20, et le critère de réponse ( $c$ ) a basculé à -1,18, indiquant un fort biais vers le « oui ».
- Sur les essais de contrôle (sans gorille), le modèle a fréquemment confabulé des marqueurs temporels et des coordonnées pulmonaires spécifiques, citant souvent les chercheurs originaux (Drew, Võ et Wolfe) par leur nom.
Reconnaissance de Paradigme : Le modèle a explicitement reconnu le paradigme du « gorille invisible » dans 67 % des essais (avec et sans gorille), suggérant que ses réponses étaient influencées par la reconnaissance du design expérimental dans ses données d'entraînement plutôt que par une pure perception visuelle.
Dissociation de la Segmentation :
- SAM 3 (généraliste) a détecté le gorille dans la fenêtre avec une haute précision, mais avec un taux de fausse alarme quasi nul sur les vidéos de contrôle (0,7 %).
- BiomedParse (spécialiste) a détecté le gorille dans la fenêtre (92 %) mais a présenté un taux massif de fausses alarmes sur les vidéos de contrôle (82 %), signalant « gorilla » sur presque chaque image lorsqu'il était sollicité.
Détectabilité en Contexte Pur : Lorsque la tranche de pic du gorille était présentée dans une nouvelle conversation sans contexte, avec le gorille comme objet explicite de recherche, le modèle atteignait un taux de succès de 100 % et un taux de fausse alarme de 0 % ( $d' = 4,11$ ), prouvant que le gorille était perceptuellement disponible mais ignoré durant la tâche exigeante.

Contributions Clés

Réplication Comportementale : Démontre que la signature comportementale de la cécité d'inattention (échec de rapport d'un stimulus inattendu malgré la fixation visuelle dû à la tâche) se reproduit chez les VLM.
Correction Méthodologique : Établit que les taux bruts de « Oui » dans les tâches de perception des VLM sont confondus par l'hallucination et le biais de réponse. L'article soutient que toute affirmation concernant la perception d'un « X » par un modèle nécessite une ligne de base de fausses alarmes correspondante et une analyse de la détection du signal (calcul de $d'$ et $c$ ).
Confusion par Reconnaissance de Paradigme : Identifie un mode de défaillance unique où les LLM reconnaissent le paradigme expérimental issu de leurs données d'entraînement, menant à une confabulation sur les essais de contrôle qui imite la perception. Cela suggère que les paradigmes cognitaux classiques ne peuvent être appliqués aux LLM sans modification.
Généralisation aux Modèles Non-Conversationnels : Montre que la nécessité de lignes de base de fausses alarmes s'étend au-delà des VLM conversationnels pour atteindre les modèles de segmentation pilotés par texte, où les modèles « spécialistes » peuvent présenter des taux élevés de faux positifs masqués par des protocoles d'évaluation à stimulus unique.

Signification et Revendications
L'article affirme que bien que les VLM présentent un analogue fonctionnel de la cécité d'inattention, l'interprétation de leur perception est fondamentalement différente de celle des observateurs humains en raison de la présence de la confabulation. Les auteurs soutiennent que sans contrôles explicites, les benchmarks actuels risquent de surestimer la récupération perceptive des VLM lors d'interrogations directes.

Pour l'IA en radiologie, l'étude souligne un mode de défaillance pertinent pour le déploiement : un modèle spécialiste médical pourrait paraître hautement précis lors de tests à stimulus unique (détection de l'anomalie quand elle est présente), mais pourrait générer des faux positifs excessifs en milieu clinique s'il manque de spécificité pour distinguer l'anomalie de l'anatomie normale lorsqu'il est sollicité. Les auteurs concluent que les évaluations futures des VLM en tant que sujets cognitifs doivent tenir compte à la fois de la « confabulation sous interrogation suggestive » et de la « reconnaissance de paradigme via les données d'entraînement » pour produire des signaux interprétables et falsifiables.