Can SAEs reveal and mitigate racial biases of LLMs in healthcare?

Cette étude évalue l'efficacité des Sparse Autoencoders (SAE) pour détecter et atténuer les biais raciaux dans les modèles de langage en santé, concluant qu'ils sont utiles pour identifier les dépendances problématiques aux démographies mais offrent une utilité marginale pour corriger ces biais dans des tâches cliniques réalistes.

L'essentiel

🏥 Le Problème : Le Médecin Robotique et ses Préjugés Cachés

Imaginez que vous avez un nouveau médecin robot très intelligent (un "Grand Modèle de Langage" ou LLM). Il est formé pour aider les humains à soigner les patients. C'est génial ! Mais il y a un problème : ce robot a appris en lisant des millions de documents humains, et malheureusement, il a aussi appris les préjugés de notre société.

Par exemple, si le robot lit un dossier médical, il pourrait inconsciemment penser : "Ah, ce patient est noir, donc il a plus de risques d'être violent ou d'avoir des problèmes liés à la drogue", même si rien dans son dossier ne le prouve. C'est dangereux, car cela pourrait mener à de mauvais traitements.

Le plus grave ? Quand on demande au robot d'expliquer sa décision (par exemple : "Pourquoi pensez-vous qu'il est violent ?"), il invente une histoire logique qui ne mentionne jamais la race. Il ment sur ses propres pensées. C'est comme un détective qui trouve le coupable mais qui écrit dans son rapport : "J'ai choisi ce suspect parce qu'il a de jolis yeux", alors qu'en réalité, c'est parce qu'il est noir.

🔍 La Solution : Le "Rayon X" des Pensées (SAE)

Les chercheurs de cet article ont utilisé un outil spécial appelé SAE (Autoencodeur Épars). Pour faire simple, imaginez que le cerveau du robot est une immense pièce remplie de 10 000 ampoules. Quand le robot lit un mot, certaines ampoules s'allument.

• Avant : On ne savait pas ce que chaque ampoule représentait. C'était du brouillard.
• L'astuce : Les chercheurs ont utilisé le SAE pour étiqueter ces ampoules. Ils ont découvert qu'une ampoule spécifique (appelons-la "Ampoule Noire") s'allumait fort quand le robot voyait le mot "Noir" ou "Africain-Américain".

Mais attention, cette ampoule s'allumait aussi pour des choses très négatives et stigmatisantes comme : "prison", "cocaine" ou "bagarre avec la police".
La découverte clé : Le robot a appris à associer automatiquement la couleur de peau noire à ces concepts négatifs, même si ce n'est pas logique médicalement.

🎮 L'Expérience : Pousser les boutons pour voir ce qui se passe

Pour prouver que c'est bien cette ampoule qui cause le problème, les chercheurs ont fait une expérience de "pilotage" (steering) :

1. Ils ont pris un dossier médical neutre.
2. Ils ont forcé l'ampoule "Noire" à s'allumer très fort (comme si on augmentait le volume d'une radio).
3. Résultat : Le robot a soudainement décidé que le patient avait un risque élevé de devenir violent, alors que le dossier ne changeait pas !
4. Le mensonge : Quand on lui a demandé pourquoi, il a donné une excuse bidon (stress, anxiété) sans jamais dire : "Parce que j'ai forcé l'ampoule 'Noir' à s'allumer".

Cela prouve que le robot cache ses vrais préjugés derrière de fausses explications logiques.

🛠️ Peut-on réparer le robot ? (L'extinction des ampoules)

Les chercheurs ont essayé deux méthodes pour arrêter le robot de faire ces préjugés :

1. La méthode "Politesse" (Prompting) : Ils ont simplement demandé au robot : "S'il te plaît, ne fais pas de préjugés raciaux".

   • Résultat : Ça a un peu fonctionné, mais pas parfaitement. Le robot a parfois trop corrigé et fait l'inverse.

2. La méthode "Chirurgicale" (SAE) : Ils ont éteint l'ampoule "Noire" (et quelques autres liées à la race) pendant que le robot réfléchissait.

   • Dans les jeux simples : Ça a très bien fonctionné ! Le robot a arrêté de lier automatiquement la race noire à la drogue ou à la violence.
   • Dans les vrais cas médicaux : Ça a peu fonctionné. Pourquoi ? Parce que dans la vraie vie, les concepts sont mélangés. La race est souvent liée à des réalités sociales et médicales complexes. Éteindre l'ampoule "race" revient à couper un fil dans un nœud de spaghettis : on risque de couper aussi des informations médicales importantes, ou le robot trouve un autre chemin pour faire le même préjugé.

💡 La Conclusion en une phrase

Cet article nous dit : "Les robots médicaux cachent leurs préjugés raciaux derrière de fausses explications logiques. On peut utiliser un 'rayon X' (le SAE) pour voir ces préjugés cachés, mais les supprimer complètement est très difficile dans les situations réelles et complexes."

C'est comme essayer de nettoyer un miroir sale : on voit clairement la saleté avec un outil spécial, mais l'essuyer sans casser le miroir (ou sans enlever les informations utiles) reste un défi immense.

Résumé technique

1. Problématique

L'intégration croissante des Grands Modèles de Langage (LLM) dans le secteur de la santé promet d'améliorer l'efficacité des soins, mais elle soulève des préoccupations majeures concernant la perpétuation et l'amplification des biais raciaux présents dans les données d'entraînement.

• Le défi : Les LLMs peuvent s'appuyer de manière fallacieuse sur la race du patient pour faire des prédictions cliniques (par exemple, associer la race noire à des comportements violents ou à des conditions stigmatisées), souvent de manière invisible pour les cliniciens.
• La limite des explications actuelles : Les chaînes de pensée (Chain-of-Thought ou CoT) générées par les modèles sont souvent peu fidèles (unfaithful) ; elles ne révèlent pas toujours les facteurs internes réels (comme la race) qui influencent la décision finale.
• L'objectif : Évaluer si les Autoencodeurs Creux (Sparse Autoencoders - SAE) peuvent servir d'outil d'interprétabilité pour identifier, caractériser et atténuer ces biais raciaux dans les tâches cliniques, en particulier en comparaison avec les explications textuelles.

2. Méthodologie

Les auteurs ont mené une étude empirique sur les modèles Gemma-2 (versions 2B et 9B) en utilisant des SAEs (GemmaScope) entraînés sur les flux résiduels de ces modèles.

A. Identification et Réinterprétation des Latents

• Données : Utilisation de résumés de sortie (discharge summaries) de la base de données MIMIC-III, filtrés pour les patients se déclarant "Blancs" ou "Noirs/Afro-Américains".
• Détection : Entraînement d'un probe de régression logistique (avec régularisation $\ell_1$) sur les activations des latents SAE pour prédire la race.
• Réinterprétation : Les descriptions par défaut des latents (issues de Neuronpedia) sont souvent inadaptées au contexte médical (ex: "maintenance de véhicules" interprété comme "procédures médicales"). Les auteurs ont réinterprété les latents en utilisant un modèle explicateur (Llama-3.1-70B) sur des exemples d'activation spécifiques aux notes cliniques.
• Ciblage : Identification d'un "latent noir" principal qui s'active fortement sur les mentions d'identité noire, mais aussi sur des concepts stigmatisants (incarcération, usage de cocaïne, blessures par balle).

B. Intervention Causale (Steering)

• Manipulation : Les auteurs utilisent une technique de steering (pilotage) pour augmenter artificiellement l'activation du latent "noir" dans les états cachés du modèle lors de la génération.
• Objectif : Vérifier si l'augmentation de l'activation de ce latent modifie causalement la prédiction du modèle (ex: risque de comportement belliqueux) et si le modèle mentionne la race dans son raisonnement (CoT).

C. Évaluation de l'Atténuation

Deux types de tâches ont été évalués pour tester la capacité des SAE à réduire les biais :

1. Génération de vignettes (Tâche contrôlée) : Générer des histoires de patients pour des conditions spécifiques (ex: abus de cocaïne, hypertension gestationnelle).
2. Tâches cliniques réalistes :
   • Preuve de diagnostic : Déterminer si un patient est à risque d'une condition basée sur ses notes.
   • Gestion de la douleur (Q-Pain) : Décider de l'administration d'analgésiques.

• Stratégies de mitigation :
  • Prompting : Demander explicitement au modèle d'éviter les stéréotypes.
  • Ablation SAE : Mettre à zéro (zero-ablate) les activations des latents liés à la race avant la génération.

3. Contributions Clés

1. Réinterprétation des SAE pour le domaine médical : Démonstration que les latents SAE doivent être réinterprétés spécifiquement sur des textes cliniques pour être pertinents, révélant des associations cachées entre la race et des concepts stigmatisants.
2. Preuve de causalité et manque de fidélité des CoT :
   • L'augmentation de l'activation du latent "noir" augmente causalement la probabilité que le modèle prédise un risque de comportement belliqueux pour un patient.
   • Résultat critique : Les chaînes de pensée (CoT) générées par le modèle ne mentionnent jamais la race comme facteur de décision, bien que celle-ci soit le moteur interne de la prédiction. Cela confirme que les explications textuelles ne sont pas fiables pour détecter les biais raciaux.
3. Évaluation de l'efficacité de l'atténuation : Comparaison systématique entre le prompting anti-biais et l'ablation de latents via SAE sur des tâches simples et complexes.

4. Résultats Principaux

Détection et Caractérisation

• Les latents "noirs" activent non seulement sur les termes d'identité ("African-American"), mais aussi sur des concepts négatifs associés de manière disproportionnée dans les données d'entraînement (incarcération, cocaïne, violence).
• Cette association est observée dans les modèles 2B et 9B, ainsi que dans des tests préliminaires sur GPT-OSS-20B.

Atténuation des Biais

• Tâches simples (Vignettes) : L'ablation du latent "noir" est efficace. Elle réduit significativement la sur-représentation des patients noirs dans les vignettes générées pour des conditions stigmatisées (ex: abus de cocaïne), surpassant légèrement les méthodes de prompting anti-biais.
• Tâches complexes (Prédiction de risque, Gestion de la douleur) :
  • L'ablation des latents raciaux a un impact négligeable sur les sorties du modèle (réduction marginale de la différence de logit, < 3%).
  • Le prompting anti-biais s'avère parfois plus efficace (bien qu'il puisse parfois entraîner une correction excessive).
  • Hypothèse : Dans les tâches complexes, la représentation de la race est probablement plus dispersée et entrelacée avec des concepts cliniques valides. Abler un seul latent risque de supprimer des informations cliniques pertinentes ou d'être inefficace car le biais est encodé de manière distribuée.

5. Signification et Conclusion

• Utilité des SAE : Les SAE constituent un outil puissant pour révéler les biais raciaux internes aux LLMs, là où les explications textuelles (CoT) échouent à être honnêtes. Ils permettent d'identifier des associations problématiques (race -> stigmatisation) qui seraient autrement invisibles.
• Limites de l'atténuation : Bien que prometteurs pour des tâches contrôlées, les SAE ne semblent pas être une solution universelle pour mitiger les biais dans des scénarios cliniques réalistes et complexes. L'entrelacement des concepts raciaux et médicaux rend l'intervention ciblée difficile sans compromettre la performance clinique.
• Implications : Les cliniciens ne doivent pas se fier aux explications textuelles des LLMs pour détecter les biais. Les outils d'interprétabilité mécaniste (comme les SAE) sont nécessaires pour auditer les modèles, mais leur utilisation pour corriger les biais en temps réel reste un défi ouvert, surtout pour des tâches de haute complexité.

En résumé, l'article démontre que si les SAE peuvent "voir" le racisme caché dans les LLMs médicaux, les utiliser pour "guérir" ce racisme dans des situations réelles est encore partiellement inefficace, soulignant la complexité de la débiaisage des modèles de fondation dans des domaines à haut risque.