Résumé technique : Hearsay : Diagnostics médicaux par vision-langage sans image

Énoncé du problème

Cet article étudie un mode de défaillance critique des modèles vision-langage (VLM) de pointe au sein des pipelines cliniques : l'« effet mirage ». Ce phénomène se produit lorsqu'un VLM génère des descriptions visuelles et des diagnostics médicaux malgré l'absence d'une image jointe. Bien que des travaux antérieurs (Asadi et al. [1]) aient établi que les VLM échouent souvent à s'abstenir dans ces conditions, cette étude s'attaque à une lacune dans la compréhension de la structure de ces hallucinations. Plus précisément, l'article demande si les diagnostics fabriqués sont aléatoires ou systématiquement influencés par les descripteurs démographiques fournis dans le prompt (ex: âge, sexe, race) lorsqu'aucune image n'est présente. Les auteurs postulent que les pipelines cliniques peuvent rencontrer des scénarios où les images ne parviennent pas à être récupérées ou bien que des agents ne transmettent que des descripteurs de patients, créant un environnement à enjeux élevés pour le biais démographique dans les sorties fabriquées.

Méthodologie

L'étude utilise un design expérimental contrôlé sur trois VLM de pointe : Claude Opus 4.7, GPT-5.4 et Gemini 3.1 Pro.

• Conception du prompt : Les auteurs utilisent un modèle de prompt de mode mirage modifié, dérivé de Asadi et al. [1]. Le prompt inclut un préambule démographique à la première personne (ex: « Je suis un(e) {sexe} de {âge} ans, de race {race} ») suivi d'une requête pour décrire une image et fournir un diagnostic. Les modalités testées sont la radiographie pulmonaire, l'IRM cérébrale et la dermatologie (spécifiquement un « grain de beauté »).
• Conditions expérimentales : Un design factoriel $2 \times 2 \times 3$ a été utilisé, faisant varier l'âge (32, 65), le sexe (homme, femme) et la race (blanc, Noir, métis), résultant en 12 cellules démographiques plus une base neutre (D0) sans texte démographique.
• Schéma de sortie : Les réponses ont été contraintes dans un schéma JSON strict contenant des champs pour la présence de l'image, la capacité de diagnostic, le diagnostic primaire, les diagnostics différentiels, la confiance et le raisonnement. Cela a permis de séparer les « propos » (raisonnement) des sorties « structurées » (champ de diagnostic).
• Métriques : La métrique principale est la divergence de Jensen-Shannon (JSD) entre la distribution des diagnostics dans les cellules démographiques et la base neutre. Les analyses secondaires incluent la détection du « mirage nuancé » (où les propos reconnaissent l'absence d'image mais le champ structuré est peuplé) et la robustesse du nom de sonde (remplacement de « grain de beauté » par « lésion cutanée »).
• Échelle : L'expérience principale (E1) a impliqué 11 700 appels d'API ($3 \text{ modèles} \times 3 \text{ domaines} \times 13 \text{ conditions} \times 100 \text{ graines}$).

Principales contributions

L'article présente quatre contributions principales :

1. Biais démographique structuré : Preuve que les sorties en mode mirage ne sont pas aléatoires mais sont systématiquement structurées par le texte démographique. Les JSD par cellule ont atteint jusqu'à 0,83, avec les principaux diagnostics s'alignant sur les schémas de biais cliniques documentés (ex: sarcoïdose pour les patients noirs, mélanome pour les hommes blancs plus âgés).
2. Le régime du mirage nuancé : L'identification d'une dissociation où le raisonnement en langage naturel du modèle reconnaît l'absence d'image (suggérant un refus), tandis que le champ de diagnostic structuré est peuplé d'une maladie spécifique. Cet état « nuancé » représente 66 % des fabrications de Claude dans les cellules à haut JSD et reste invisible aux audits basés uniquement sur le texte.
3. Modes de défaillance diversifiés : Une analyse de la robustesse du nom de sonde révélant que le mirage est une famille de modes de défaillance distincts. L'effet dermatologique de Claude était déclenché par le mot (le remplacement de « grain de beauté » par « lésion cutanée » a provoqué une chute de 94 % des diagnostics de mélanome vers un refus à 100 %), tandis que l'effet de GPT-5.4 était préservateur de catégorie (les diagnostics restaient stables malgré le changement de nom).
4. Mesure à double canal : Un pipeline qui extrait les schémas JSON natifs parallèlement à l'analyse des propos, rendant le « régime nuancé » directement observable et quantifiable.

Résultats

• Structuration démographique : Les trois modèles ont présenté un biais démographique, bien qu'avec des magnitudes variables.
  • GPT-5.4 a fabriqué des diagnostics dans 36/36 cellules factorielles. Son biais était large, avec un fort glissement vers la sarcoïdose pour les jeunes patients noirs sur les radiographies pulmonaires et des changements de maladies spécifiques pour l'IRM basés sur l'âge et le sexe (ex: méningiome pour les femmes âgées, gliome pour les hommes âgés).
  • Claude Opus 4.7 a montré une transition « refus-vers-fabrication ». Il a refusé la plupart des prompts neutres mais a fabriqué massivement dans des cellules spécifiques (ex: 94 % de mélanome pour un homme blanc de 65 ans avec un « grain de beauté »). La JSD était principalement pilotée par cette transition du refus vers la fabrication.
  • Gemini 3.1 Pro a montré les magnitudes les plus faibles (médiane JSD 0,010), la plupart des cellules affichant 0 % de fabrication.
• Le régime nuancé : Dans la condition « nuancée », les modèles écrivaient un raisonnement du type « suspecté, basé sur la démographie et le profil classique » tout en peuplant quand même le champ de diagnostic structuré. Un audit basé uniquement sur le texte identifierait ces cas comme des refus ou des réponses sûres, alors qu'un pipeline de données structurées recevrait un diagnostic biaisé.
• Robustesse : Le remplacement « grain de beauté » par « lésion cutanée » a démontré que le biais de Claude était fragile et dépendant de mots déclencheurs spécifiques, tandis que le biais de GPT-5.4 était robuste aux changements de formulation.
• Signal vs Bruit : Le signal démographique (JSD) dépassait largement le seuil de bruit de paraphrase (ratios de 10,5x à 13,9x), confirmant que le biais est piloté par les descripteurs démographiques plutôt que par les variations de formulation de surface.

Signification et affirmations

L'article soutient que le déploiement de confiance des VLM en milieu clinique nécessite un changement fondamental des pratiques d'audit.

• Limites de l'audit : Se fier uniquement aux audits en langage naturel (propos) est insuffisant car cela ignore le « régime nuancé » où les champs structurés sont peuplés malgré les avertissements textuels.
• Dimensions d'évaluation : La sensibilité au mot de sonde doit être traitée comme une « dimension d'évaluation de premier rang ». Les modèles peuvent paraître robustes s'ils sont testés avec un seul mot de sonde, tout en échouant de manière catastrophique avec de légères variations (comme vu avec Claude), ou inversement.
• Nature de l'erreur : Les auteurs distinguent deux types d'erreurs : (1) le mauvais calibrage épistémique (émettre un diagnostic sans preuve) et (2) le glissement démographique (le diagnostic spécifique émis en fonction de la démographie). Bien que l'article ne distingue pas si ces glissements proviennent d'un biais de pré-entraînement ou de priors de prévalence calibrés (ex: incidence plus élevée de mélanome chez les hommes blancs âgés), il affirme que la dissociation entre le texte et la sortie structurée est un mode de défaillance critique, quelle que soit l'origine du prior.

L'étude conclut que l'atténuation de ces risques nécessite des contraintes au niveau du schéma (ex: forcer des diagnostics nuls lorsque image_present=false), du sondage au moment de l'inférence et un ajustement fin (fine-tuning) pour refuser en l'absence d'images. Les conclusions suggèrent que le mirage n'est pas un phénomène monolithique mais une famille de modes de défaillance nécessitant des stratégies d'atténuation distinctes.