Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering

Cet article propose un cadre d'inférence sans entraînement, nommé SDLS, qui utilise une décomposition sémantique par LLM et une orthogonalisation QR pour supprimer les hallucinations de comparaison antérieure dans la génération de rapports radiologiques tout en préservant la précision clinique.

L'essentiel

🏥 Le Problème : Le Médecin qui "Rêve" du Passé

Imaginez que vous avez un assistant médical très intelligent, capable de décrire des radios des poumons (des images en noir et blanc) en écrivant un rapport. C'est génial ! Mais cet assistant a un défaut étrange : il a tendance à halluciner le passé.

Même si vous lui montrez une seule photo d'aujourd'hui, il a l'habitude de dire des choses comme : "Les poumons sont stables par rapport à l'examen précédent" ou "L'opacité a empiré depuis la semaine dernière".

Le problème ? Il n'y a pas d'examen précédent ! C'est la seule photo. L'assistant invente une comparaison qui n'existe pas. En médecine, c'est dangereux : si le médecin croit que l'état est "stable" alors qu'il s'aggrave, il pourrait ne pas agir assez vite.

Pourquoi fait-il ça ? Parce qu'il a lu des millions de rapports médicaux où les gens comparaient toujours le présent au passé. Son cerveau (son algorithme) a appris que "parler du passé" est une habitude de style, et il le fait automatiquement, même quand c'est faux.

---

🛠️ La Solution : Le "Stylo Magique" (SDLS)

Les chercheurs ont proposé une solution appelée SDLS. Au lieu de réapprendre tout le cerveau de l'assistant (ce qui prendrait des mois et coûterait une fortune), ils ont inventé un "stylo magique" qui intervient juste au moment où l'assistant écrit.

Voici comment cela fonctionne, avec une analogie :

1. Le Mélange Dangereux (Le Nœud)

Imaginez que les pensées de l'assistant sont comme un grand bol de soupe.

• Il y a les vrais ingrédients (ce qu'on voit sur la photo : une fracture, un poumon gonflé).
• Il y a le sel de l'habitude (la tendance à parler du passé).

Le problème, c'est que dans ce bol, le "sel" et les "vrais ingrédients" sont mélangés. Si vous essayez de retirer le sel avec une cuillère (une méthode simple), vous risquez de retirer aussi des légumes importants (les vrais diagnostics). C'est ce qu'on appelle l'enchevêtrement sémantique.

2. La Recette du "Stylo Magique" (Découplage Sémantique)

Les chercheurs ont trouvé une astuce pour séparer le sel des légumes sans casser la soupe. Ils utilisent deux outils :

• Un grand chef (LLM) : Il lit les rapports et dit : "Attends, ici on parle de 'stabilité', là de 'aggravation'". Il classe les phrases par catégorie.
• Un filtre géométrique (QR) : C'est la partie la plus intelligente. Imaginez que vous avez un tas de baguettes (les pensées de l'assistant). Certaines pointent vers le "passé", d'autres vers "le poumon". Le filtre géométrique tourne ces baguettes pour s'assurer que celle qui pointe vers le "passé" est parfaitement perpendiculaire (à 90 degrés) à celle qui pointe vers le "poumon".

Grâce à cela, ils créent un vecteur (une direction précise) qui ne touche que à l'habitude de parler du passé, sans toucher aux vrais diagnostics médicaux.

3. L'Intervention (Le Coup de Stylo)

Au moment où l'assistant écrit le rapport, le système injecte ce "stylo magique" dans son cerveau.

• Il dit à l'assistant : "Arrête de penser au passé, concentre-toi uniquement sur ce que tu vois sur la photo maintenant."
• L'assistant écrit alors : "Poumon gonflé" au lieu de "Poumon gonflé, stable par rapport à hier".

---

🎯 Les Résultats : Une Victoire en Double

Habituellement, quand on essaie de corriger une erreur, on en crée une autre. Ici, c'est une victoire en "double positif" :

1. Moins de mensonges : Les phrases inventées sur le passé ont disparu (comme par magie).
2. Plus de précision : Étonnamment, le rapport est devenu plus précis sur la maladie réelle ! En enlevant le "bruit" du passé, l'assistant a pu mieux voir la vérité de la photo.

C'est comme si vous enleviez des lunettes fumées à quelqu'un : non seulement il ne voit plus de fantômes, mais il voit l'image réelle beaucoup plus nettement.

🚀 Pourquoi c'est important ?

• Pas de réapprentissage : On n'a pas besoin de rééduquer l'IA pendant des mois. On ajuste juste son comportement en temps réel.
• Sécurité : Cela rend l'IA plus digne de confiance pour les médecins.
• Universalité : Ce "stylo magique" fonctionne même sur des données qu'il n'a jamais vues (d'autres hôpitaux, d'autres types de radios).

En résumé

Les chercheurs ont créé un outil qui apprend à l'IA à oublier ses mauvaises habitudes (parler du passé quand il n'y a pas de passé) sans lui faire oublier ce qu'elle doit dire (les vrais symptômes). C'est comme donner à un élève une règle pour ne pas copier sur son voisin, tout en l'aidant à mieux comprendre son propre devoir.

Résumé technique

Titre : Suppression des Hallucinations de Comparaison Antérieure dans la Génération de Rapports Radiologiques via un Guidage Latent Sémantiquement Découplé (SDLS)

1. Le Problème : Les Hallucinations de Comparaison Antérieure

La génération automatique de rapports radiologiques à l'aide de modèles vision-langage (VLM) souffre d'un problème critique : l'hallucination de comparaison antérieure (prior-comparison hallucination).

• Définition : Le modèle génère des références à des examens historiques ou des changements temporels (ex: "pas de changement d'intervalle", "aggravation de l'opacité") qui ne sont pas étayés par l'image actuelle, souvent parce que le modèle traite une étude unique sans accès aux données historiques.
• Cause Racine : Ce phénomène découle d'un biais statistique dans les grands corpus médicaux (ex: MIMIC-CXR), où plus de 76 % des rapports contiennent des comparaisons. Les modèles internalisent ces préférences linguistiques comme des "priors" dominants, qui overrident les preuves visuelles.
• Conséquence : Cela compromet la spécificité temporelle du rapport et la confiance clinique, car un faux rapport "stable" peut retarder une intervention nécessaire, tandis qu'un faux rapport "aggravé" peut entraîner des procédures inutiles.
• Limites des approches actuelles : Les méthodes centrées sur les données (réentraînement du modèle sur des corpus nettoyés) sont coûteuses en calcul et, pire, elles dégradent la capacité du modèle à effectuer des analyses longitudinales valides lorsque des contextes historiques réels sont fournis.

2. Méthodologie : SDLS (Semantically Decoupled Latent Steering)

L'article propose SDLS, un cadre de contrôle sans réentraînement (training-free) appliqué au moment de l'inférence. L'objectif est de moduler les états internes (activations) du modèle pour repousser les représentations hors des directions propices aux hallucinations.

A. Le Défi de l'Enchevêtrement Sémantique
Contrairement aux domaines généraux, en radiologie, le "style de comparaison historique" est statistiquement enchevêtré avec les "découvertes cliniques". Une simple soustraction de vecteur (comme dans les méthodes d'ajout d'activation classiques) risque de supprimer à la fois les hallucinations et les diagnostics cliniques valides, créant une erreur sémantique.

B. Le Cœur de la Solution : Découplage Sémantique par QR
Pour résoudre ce problème, SDLS ne se contente pas d'identifier la direction du biais, mais la découple géométriquement :

1. Minage de Contexte Contrastif : Le système encode des paires de rapports (avec historique vs sans historique) pour extraire les vecteurs de différence bruts.
2. Décomposition Sémantique par LLM : Un grand modèle de langage (LLM) décompose les rapports en catégories sémantiques temporelles (ex: "amélioré", "aggravé", "inchangé"). Cela permet d'isoler les variations cliniques spécifiques.
3. Orthogonalisation QR (Étape Critique) :
   • Au lieu d'utiliser l'Analyse en Composantes Principales (PCA) standard qui capture la variance maximale (souvent un mélange de style et de contenu), SDLS applique une décomposition QR sur les vecteurs de direction sémantique.
   • Cette étape force l'orthogonalité, isolant un vecteur d'intervention SDIV (Semantically Decoupled Intervention Vector) qui est strictement orthogonal au "manifold visuel" (les caractéristiques cliniques réelles).
   • Le SDIV capture uniquement l'axe "style de comparaison historique" (le bruit) sans toucher aux signaux cliniques (le signal).

C. Stratégies d'Injection
Le vecteur SDIV est injecté dans les états cachés du modèle lors de l'inférence. L'étude compare plusieurs stratégies :

• Injection Globale : Sur toutes les couches du décodeur.
• SteerFair (Ciblé) : Injection spécifique à la sortie des modules d'attention (AttentionOutput) ou des couches de transformateur (LayerOutput).
• GentleInject : Perturbation forte uniquement sur le token initial.
• ICV-Token : Traitement du vecteur comme un pseudo-token préfixe.

3. Contributions Clés

1. Cadre SDLS : Un mécanisme de guidage sans réentraînement qui utilise l'orthogonalisation QR pour découpler le biais d'hallucination des sémantiques visuelles.
2. Explication Mécaniste : Lien démontré entre les hallucinations de comparaison et l'échec de l'ancrage visuel (visual grounding). L'analyse des cartes d'attention montre que les termes hallucinés ne se focalisent pas sur les régions anatomiques pertinentes, contrairement aux termes factuels.
3. Résultat "Positif-Somme" : Démonstration qu'il est possible de réduire les hallucinations tout en améliorant la fidélité clinique, brisant le compromis traditionnel entre suppression d'erreur et précision diagnostique.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle fondation BiomedGPT et validées sur MIMIC-CXR, CheXpert Plus et IU-Xray (transfert zéro-shot).

• Performance sur MIMIC-CXR :
  • Réduction des Hallucinations : Le score FilBERT (probabilité d'hallucination) a chuté de 0,2373 à 0,1889 (réduction significative).
  • Amélioration Clinique : Le score Macro-F1 (fidélité des labels cliniques CheXpert) a augmenté de 0,2242 à 0,3208.
  • Comparaison avec les Baselines : Les méthodes naïves (PCA globale) ont dégradé la précision clinique (Macro-F1 chuté à 0,1720), confirmant que le SDLS est nécessaire pour éviter la suppression des signaux cliniques valides.
• Transfert Zéro-Shot : Le vecteur SDIV entraîné sur MIMIC-CXR a fonctionné efficacement sur CheXpert Plus et IU-Xray sans réentraînement, prouvant la généralisabilité de l'axe de biais "historique".
• Analyse Architecturale :
  • Le succès est maximal sur les modèles avec une attention croisée profonde (BiomedGPT).
  • Les modèles à architecture "prefixe visuel" (comme LLaVA-Med) montrent une résistance au guidage linéaire, suggérant que l'interface explicite entre modalités est cruciale pour ce type de contrôle.
• Qualité des Rapports : L'analyse de cas montre que le SDLS supprime chirurgicalement les phrases hallucinées (ex: "augmenté depuis [DATE]") tout en préservant ou en améliorant la description des pathologies actuelles (ex: "œdème pulmonaire").

5. Signification et Implications

• Paradigme de Contrôle : Ce travail déplace le contrôle des hallucinations d'une approche coûteuse de réentraînement de données vers un contrôle mécaniste et dynamique à l'inférence.
• Interprétabilité : Il fournit une preuve mécanique que les hallucinations sont dues à un glissement des priorités linguistiques au détriment de l'ancrage visuel. Le SDLS rétablit cet ancrage.
• Sécurité Clinique : En démontrant qu'on peut supprimer le "bruit" statistique sans toucher au "signal" clinique, la méthode offre une voie vers des IA radiologiques plus fiables et dignes de confiance.
• Limites et Avenir : La méthode dépend de la richesse de l'espace latent du modèle (fonctionne mieux sur les grands modèles) et nécessite un réglage fin de la force d'injection ($\lambda$). Les travaux futurs visent à apprendre des vecteurs directement à partir des images et à intégrer une évaluation humaine.

En résumé, SDLS propose une solution élégante et mathématiquement fondée pour "nettoyer" les rapports radiologiques générés par IA en isolant géométriquement les biais historiques des faits cliniques, permettant ainsi aux modèles de décrire le présent sans être hantés par les statistiques du passé.