PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models

Cette étude présente PSF-Med, un benchmark révélant la sensibilité des modèles de vision-langage médicaux aux paraphrases, et démontre que l'identification et la modulation d'une caractéristique neuronale spécifique permettent d'améliorer la stabilité des réponses sans compromettre la précision ni réduire la dépendance aux biais textuels.

L'essentiel

🏥 Le Problème : L'IA Médicale qui change d'avis selon la façon dont on lui parle

Imaginez que vous avez un assistant médical très intelligent, capable de regarder des radios de poumons et de répondre à des questions comme : "Y a-t-il une pneumonie ?".

Le problème découvert par les chercheurs est le suivant : Cet assistant est très sensible à la façon dont vous posez la question.

• Si vous demandez avec un langage médical strict : "Existe-t-il des signes radiographiques de pneumonie ?", l'IA répond : "Non".
• Si vous reformulez exactement la même chose avec des mots plus simples : "Est-ce qu'on voit une pneumonie sur cette radio ?", l'IA répond soudainement : "Oui".

C'est comme si un médecin changeait son diagnostic juste parce que vous avez utilisé un synonyme différent. C'est dangereux ! Si deux médecins posent la même question de deux manières différentes et obtiennent deux réponses opposées, ils ne peuvent plus faire confiance à la machine.

🔍 La Solution : Un nouveau test de "Stabilité"

Les chercheurs ont créé un nouveau test appelé PSF-Med. C'est un immense jeu de questions et de variantes (presque 100 000 paires !) basé sur de vraies radios de patients.

Ils ont demandé à six modèles d'IA différents de répondre à ces questions. Le résultat ?

• Certains modèles sont très instables : ils changent d'avis dans 58 % des cas (c'est énorme !).
• D'autres sont plus stables, mais même les meilleurs changent d'avis dans 8 % des cas.

🕵️‍♂️ Le Mystère : Est-ce qu'ils regardent vraiment la radio ?

Voici la partie la plus surprenante. Les chercheurs ont découvert un piège : Parfois, un modèle qui semble très stable (qui ne change jamais d'avis) est en fait le plus dangereux.

Imaginez un élève à un examen de géographie.

• L'élève A regarde la carte, réfléchit et répond parfois différemment selon la formulation de la question, car il analyse vraiment le terrain.
• L'élève B ne regarde même pas la carte. Il a mémorisé que la question "Y a-t-il un désert ?" se répond souvent par "Oui" dans ce livre. Peu importe comment on reformule la question, il répond toujours "Oui" car il ne regarde pas l'image.

Les chercheurs ont prouvé que certains modèles d'IA agissent comme l'élève B : ils répondent de manière cohérente non pas parce qu'ils analysent la radio, mais parce qu'ils se fient à des règles de langage qu'ils ont apprises par cœur. Ils ignorent l'image !

🧠 La "Chirurgie" de l'IA : Comment ça marche dans la tête de la machine ?

Pour comprendre pourquoi l'IA change d'avis, les chercheurs ont utilisé une loupe très puissante appelée Autoencodeurs Épars (SAE). C'est comme si on ouvrait le cerveau de l'IA pour voir quelles parties s'activent quand elle répond.

Ils ont trouvé un "interrupteur" spécifique (appelé Feature 3818) situé dans la couche 17 du modèle.

• Quand l'IA entend un langage très formel (ex: "Signes radiographiques"), cet interrupteur s'allume fort. L'IA devient conservatrice et dit "Non" par prudence.
• Quand l'IA entend un langage plus simple (ex: "Est-ce qu'on voit..."), l'interrupteur s'éteint. L'IA devient permissive et dit "Oui".

C'est cet interrupteur qui cause la confusion. Il ne regarde pas la maladie, il regarde le ton de la phrase.

🛠️ Le Remède : Calmer l'interrupteur

Une fois cet interrupteur identifié, les chercheurs ont fait une expérience de "chirurgie" : ils ont forcé l'interrupteur à rester éteint, peu importe la façon dont la question était posée.

Le résultat est incroyable :

• Le nombre de changements d'avis (les erreurs d'incohérence) a chuté de 31 %.
• La précision globale de l'IA n'a presque pas baissé (seulement 1,3 % de moins).
• Surtout, l'IA a recommencé à regarder la radio au lieu de se fier uniquement à la façon dont la question était écrite.

💡 La Leçon à retenir

Cet article nous apprend deux choses essentielles pour l'avenir de l'IA médicale :

1. La stabilité ne suffit pas : Si une IA répond toujours la même chose, ce n'est pas forcément bon. Elle pourrait juste ignorer l'image du patient. Il faut vérifier qu'elle regarde vraiment les radios.
2. La formulation compte : La façon dont nous parlons aux machines (langage formel vs langage simple) peut changer leur diagnostic. Nous devons rendre ces modèles plus robustes pour qu'ils comprennent l'intention, peu importe les mots utilisés.

En résumé, les chercheurs ont trouvé un bouton dans le cerveau de l'IA qui la rendait trop sensible au "style" de la question. En le désactivant, ils ont rendu l'outil plus fiable, plus juste et plus sûr pour les patients.

Résumé technique

1. Problématique : La Sensibilité au Reformulage dans les VLM Médicaux

Les modèles de vision-langage (VLM) adaptés à la radiologie sont de plus en plus intégrés dans les flux de travail cliniques pour répondre à des questions sur des images médicales (radiographies thoraciques, scanners, etc.). Cependant, l'article identifie un mode de défaillance critique : la sensibilité au reformulage (paraphrase sensitivity).

• Le problème : Lorsqu'un clinicien reformule une même question clinique (en conservant le sens sémantique mais en changeant la formulation linguistique), le modèle peut changer sa réponse (par exemple, passer de "Oui" à "Non").
• L'impact : Cette incohérence compromet la fiabilité clinique et la sécurité des patients. Si deux médecins posant des questions équivalentes obtiennent des réponses opposées, la confiance dans le système s'effondre.
• Le paradoxe : Les évaluations actuelles se concentrent sur la précision (accuracy) sur des jeux de questions fixes, mais négligent la cohérence. De plus, une faible sensibilité au reformulage ne garantit pas que le modèle utilise réellement l'image ; elle peut résulter d'une dépendance excessive aux priors linguistiques (réponses basées sur la probabilité textuelle plutôt que sur l'analyse visuelle).

2. Méthodologie et Benchmark PSF-Med

Les auteurs proposent une approche en trois volets : la création d'un benchmark, l'analyse des mécanismes internes via l'interprétabilité, et la proposition de mitigations.

A. Le Benchmark PSF-Med

• Données : Construction d'un ensemble de données de 19 748 questions cliniques sur des radiographies thoraciques, issues de MIMIC-CXR et PadChest.
• Paraphrases : Chaque question est associée à 3 à 5 paraphrases sémantiquement équivalentes (générées par GPT-4), totalisant environ 92 000 paires.
• Filtrage : Utilisation de BioClinicalBERT pour garantir une similarité cosinus > 0,90 et exclure les paires où le sens est inversé.
• Métrique principale : Le taux de basculement (Flip Rate), défini comme la fraction de questions pour lesquelles au moins une paraphrase entraîne un changement de réponse binaire (Oui/Non) par rapport à la question originale.

B. Analyse des Mécanismes (Interprétabilité)

Pour comprendre pourquoi les modèles basculent, les auteurs appliquent des techniques d'interprétabilité mécaniste sur le modèle MedGemma 4B :

• Sparse Autoencoders (SAE) : Utilisation de GemmaScope 2 pour décomposer les activations du réseau en caractéristiques (features) interprétables.
• FlipBank : Un sous-ensemble curaté de 158 cas de basculement à haute confiance pour l'analyse fine.
• Patching Causal : Modification des activations internes (suppression de la contribution d'une caractéristique spécifique) pour observer si le basculement est annulé, établissant ainsi un lien de causalité.

C. Stratégies de Mitigation

• Clampage de caractéristiques : Réduction à zéro de l'activation d'une caractéristique spécifique lors de l'inférence.
• Normalisation des prompts : Transformation des questions en un format clinique standardisé pour réduire la variabilité de surface.

3. Résultats Clés

A. Variabilité et Sensibilité au Reformulage

• Taux de basculement élevés : Sur six modèles VLM médicaux évalués, les taux de basculement varient considérablement, allant de 8 % à 58 %.
  • Meilleur : MedGemma-27B (~8-10 %).
  • Pire : RadFM et LLaVA-Rad (~55-58 %).
• Type de paraphrase : Les paraphrases impliquant des changements de négation adjacente (ex: "Y a-t-il X ?" vs "Y a-t-il un signe de X ?") provoquent les taux de basculement les plus élevés (25-35 %), tandis que les substitutions lexicales simples sont plus robustes.

B. Le Compromis Robustesse vs Ancrage Visuel (Grounding)

C'est l'une des découvertes les plus importantes : une faible sensibilité au reformulage n'implique pas une bonne compréhension visuelle.

• Expérience "Text-Only" : En remplaçant l'image par une image vide (gris uniforme), les modèles avec les meilleurs taux de stabilité (faible flip rate) maintiennent souvent leurs réponses.
  • Exemple : MedGemma-27B a un taux de basculement faible (9,4 %) mais un accord texte-seul très élevé (85 %), suggérant qu'il ignore souvent l'image et se fie aux priors linguistiques.
  • Contraste : MedGemma-4B a un taux de basculement plus élevé (18,2 %) mais dépend davantage de l'image (accord texte-seul plus faible, sensibilité au changement d'image plus forte).
• Conclusion : La robustesse apparente peut masquer une incapacité à raisonner visuellement.

C. Identification Mécaniste : La Caractéristique 3818

En analysant MedGemma 4B via des SAE, les auteurs identifient une caractéristique spécifique :

• Feature 3818 (Couche 17) : Cette caractéristique corrèle fortement avec le registre de la formulation (formel vs informel).
  • Activation élevée : Langage clinique formel ("Y a-t-il des preuves radiographiques de...") $\rightarrow$ Réponse plus conservatrice (tendance à dire "Non").
  • Activation faible : Langage informel ("Peut-on voir...") $\rightarrow$ Réponse plus permissive (tendance à dire "Oui").
• Validation Causale : En supprimant la contribution de cette caractéristique (patching) sur les 158 cas de basculement :
  • On récupère 44,8 % de la marge de décision (logit) moyenne.
  • On inverse complètement 15 % des basculements.

D. Efficacité des Mitigations

L'application de ces découvertes permet d'améliorer la robustesse :

• Clampage de Feature 3818 : Réduit le taux de basculement de 31 % (de 15,6 % à 10,8 % sur MIMIC-CXR) avec un coût d'accuracy minime (-1,3 points de pourcentage).
• Normalisation des prompts : Réduction supplémentaire de 21 %.
• Combinaison : Une réduction relative totale de 41 % du taux de basculement.
• Impact sur le grounding : Ces interventions réduisent la dépendance aux priors textuels (l'accord texte-seul baisse) et augmentent la sensibilité au contenu visuel, prouvant que la stabilité améliorée provient d'un meilleur traitement de l'image et non de l'ignorance de celle-ci.

4. Contributions et Signification

Contributions Principales

1. PSF-Med : Un benchmark massif et rigoureux pour évaluer la cohérence des VLM médicaux sous reformulage.
2. Analyse du compromis Grounding-Robustesse : Démonstration que la stabilité textuelle peut être un leurre si elle ne s'accompagne pas d'une analyse visuelle réelle.
3. Interprétabilité Mécaniste : Identification causale d'une caractéristique neuronale (Feature 3818) responsable des basculements liés au formatage des prompts.
4. Solutions Pratiques : Démonstration que le ciblage de caractéristiques spécifiques (via SAE) et la normalisation des prompts peuvent améliorer la fiabilité clinique sans sacrifier la précision.

Signification pour le Déploiement Clinique

• Évaluation Holistique : Les auteurs concluent que le taux de basculement seul est insuffisant. Les évaluations de déploiement clinique doivent inclure trois axes :
  1. Le taux de basculement (cohérence).
  2. Les tests "Text-Only" (détection des raccourcis linguistiques).
  3. L'analyse de l'attention (vérification de l'ancrage visuel).
• Sécurité : Comprendre et corriger les mécanismes de sensibilité au reformulage est crucial pour éviter des erreurs de diagnostic dues à des variations mineures dans la formulation des requêtes par les médecins.

En résumé, cet article fournit une boîte à outils méthodologique et technique pour passer d'une évaluation de la "précision" à une évaluation de la "fiabilité" des modèles d'IA médicale, en révélant et en corrigeant les biais internes liés à la formulation des questions.