Résumé Technique : Boosts Universels, Suppresseurs Spécifiques : Pilotage par Autoencodeurs Épars de Modèles Vision-Langage Médicaux

Énoncé du Problème

Les Modèles Vision-Langage (VLM) médicaux hallucinent fréquemment des constatations lors de la génération de rapports de radiologie à partir de radiographies thoraciques. Ces erreurs se manifestent par la fabrication de constatations inexistantes, l'omission de pathologies critiques, ou la mauvaise localisation/évaluation de la sévérité des conditions observées. Bien que les stratégies d'atténuation existantes reposent sur une optimisation post-entraînement — telles que l'apprentissage par renforcement (RL) avec optimisation directe des préférences (DPO) ou l'optimisation de politique relative par groupes (GRPO) —, ces approches entraînent une surcharge computationnelle substantielle (par exemple, des centaines d'heures GPU par modèle) et nécessitent des mises à jour de gradients, des signaux de récompense optimisés et des exécutions d'entraînement spécifiques au modèle. De plus, ces méthodes de « fine-tuning » en « boîte noire » manquent souvent d'interprétabilité concernant lesquels des mécanismes internes pilotent des erreurs cliniques spécifiques.

Méthodologie

Les auteurs proposent une approche uniquement inférentielle qui pilote des VLM médicaux figés en modifiant leurs activations internes au moment du décodage, en utilisant des Autoencodeurs Épars (SAE). Le pipeline se compose de quatre étapes :

1. Collecte des Activations du Flux Résiduel : Les états cachés par token ($h^{(t)}_\ell$) sont collectés à partir de couches spécifiques du transformateur lors de la génération de rapports sur un ensemble d'entraînement/validation.
2. Entraînement de l'Autoencodeur Épars : Un SAE Top-K est entraîné à chaque couche sélectionnée pour décomposer les états cachés denses en représentations éparses de haute dimension ($z^{(t)}_\ell$). Les auteurs utilisent une taille de dictionnaire de $D=32\,768$ et une éparsité $K=64$.
3. Identification des Caractéristiques (Dépistage Causal) :
   • Préfiltrage : Les caractéristiques sont classées par l'écart absolu de l'activation moyenne entre les échantillons à forte erreur (premier quartile) et à faible erreur (dernier quartile).
   • Dépistage Causal : Une intervention sur une seule caractéristique est effectuée sur un ensemble de validation retenu. Pour chaque caractéristique candidate, les auteurs l'abattent (la mettent à zéro) ou l'amplifient et mesurent le changement résultant dans les métriques cliniques automatiques, spécifiquement la taxonomie d'erreur GREEN (Faux Positifs, Constatations Manquantes, Mauvaise Localisation, Mauvaise Sévérité).
   • Classification : Les caractéristiques sont catégorisées comme candidates de suppression (l'ablation réduit les erreurs) ou candidates de boost (l'ablation augmente les erreurs, ce qui signifie que la caractéristique favorise la qualité). Crucialement, les caractéristiques sont identifiées par type d'erreur, reconnaissant qu'une seule caractéristique peut supprimer un type d'erreur tout en boostant un autre.
4. Pilotage Résiduel : Au moment de l'inférence, les caractéristiques identifiées dans la base du SAE sont modifiées : les caractéristiques de suppression sont mises à zéro, et les caractéristiques de boost sont mises à l'échelle par $(1+\beta)$. Au lieu de remplacer l'état caché par la reconstruction du SAE (ce qui introduit une erreur de reconstruction), les auteurs appliquent une mise à jour résiduelle pure :
   $$\delta_\ell = \text{decode}_\ell(z'_\ell) - \text{decode}_\ell(z_\ell)$$
   $$h'_\ell = h_\ell + \alpha \delta_\ell$$
   Cela garantit que seul le delta spécifique causé par l'intervention est ajouté à l'état caché original, préservant ainsi les connaissances non modifiées du modèle.

Contributions Clés

• Atténuation Uniquement Inférentielle : L'article démontre que les hallucinations peuvent être atténuées sans mises à jour de poids, réentraînement ou ingénierie de prompt, réduisant considérablement les coûts computationnels par rapport au fine-tuning par RL.
• Découverte Causal des Caractéristiques : Les auteurs identifient que les caractéristiques SAE cliniquement significatives ne sont pas des « directions d'hallucination » monolithiques. Au contraire, elles présentent une structure complexe où :
  • Les caractéristiques de boost (favorisant la qualité du rapport) sont largement universelles à travers différentes architectures (RadVLM, LLaVA-Rad, CheXOne), montrant un chevauchement fonctionnel élevé (similarité cosinus ~0,91–0,95).
  • Les caractéristiques de suppression (réduisant des erreurs spécifiques) sont spécifiques au modèle, avec un faible chevauchement fonctionnel (similarité cosinus aussi basse que 0,25). Cela implique que, tandis que les mécanismes favorisant la qualité sont partagés, les voies internes menant aux hallucinations sont uniques au régime d'entraînement de chaque modèle.
• Contrôle Granulaire des Erreurs : La méthode permet des listes de pilotage séparées pour différents types d'erreurs (par exemple, Constatations Manquantes vs Faux Positifs), permettant des interventions ciblées qui répondent aux rôles causaux spécifiques des caractéristiques.
• Transfert Zero-Shot : La recette de pilotage, identifiée sur MIMIC-CXR, se transfère efficacement vers l'ensemble de données indépendant IU-Xray sans réentraînement, confirmant que les caractéristiques identifiées sont des propriétés de l'architecture du modèle plutôt que des artefacts du corpus d'entraînement.

Résultats

La méthode a été évaluée sur trois VLM médicaux (RadVLM, LLaVA-Rad et CheXOne) sur le split de test MIMIC-CXR, avec une évaluation supplémentaire zero-shot sur IU-Xray.

• Gains de Performance :
  • RadVLM : +5,4 % d'amélioration relative de la métrique composite clinique ; +3,9 % d'amélioration absolue du score GREEN.
  • LLaVA-Rad : +7,2 % d'amélioration relative de la métrique composite ; +10,2 % d'amélioration absolue du score GREEN.
  • CheXOne : +17,0 % d'amélioration relative de la métrique composite ; +11,7 % d'amélioration absolue du score GREEN. Notamment, des gains ont été observés même sur CheXOne, qui était déjà fine-tuné avec GRPO, suggérant que le pilotage par SAE est complémentaire au RL.
• Redistribution des Erreurs : Le mécanisme de pilotage récupère principalement les Constatations Manquantes (en les réduisant d'environ 654 sur RadVLM) au prix d'une augmentation modérée des Faux Positifs (~+1 112). En raison de l'asymétrie structurelle de la métrique GREEN (où récupérer une constatation manquante a un impact positif plus important que l'ajout d'un faux positif n'a d'impact négatif), le résultat net est une amélioration significative de la qualité globale du rapport et de l'utilité clinique.
• Alignement Inter-Modèles : L'analyse a confirmé que les caractéristiques de boost sont hautement cohérentes entre les modèles, tandis que les caractéristiques de suppression sont distinctes. Cela soutient la conclusion que le pilotage transférable doit traiter la suppression sur une base par squelette (backbone).

Signification et Revendications

L'article revendique que sa contribution principale est de fournir une fenêtre mécaniste sur les VLM médicaux. En décomposant le flux résiduel en coordonnées interprétables et éparse, les auteurs peuvent :

1. Nommer et localiser les mécanismes internes spécifiques responsables des erreurs cliniques.
2. Modifier ces mécanismes au moment de l'inférence pour améliorer la sécurité et la précision sans réentraînement.
3. Comprendre que l'atténuation des hallucinations n'est pas une direction globale unique, mais un compromis structuré entre la complétude (boost) et la spécificité (suppression).

Les auteurs soulignent que, bien que les gains absolus de métrique soient modérés par rapport au fine-tuning RL lourd, l'approche offre un avantage distinct en termes d'interprétabilité et d'efficacité. Elle évite la nature « boîte noire » du RL en exposant les circuits causaux du modèle, permettant des interventions ciblées et transparentes. Le travail ne revendique pas de remplacer les radiologues ni de servir d'outil autonome de prise de décision clinique, mais plutôt comme un cadre de recherche pour améliorer la fiabilité de la génération automatisée de rapports.