Silenced Biases: The Dark Side LLMs Learned to Refuse

1. Problématique : L'illusion de l'équité par le refus

Les modèles de langage à grande échelle (LLM) alignés sur la sécurité sont de plus en plus déployés dans des domaines sensibles (santé, politique, économie). Cependant, l'évaluation de leur équité (fairness) repose souvent sur des méthodes de type « question-réponse » (QA) standard.

Le problème central identifié par les auteurs est le suivant : les mécanismes de sécurité entraînent les modèles à refuser de répondre aux questions sensibles ou biaisées. Ces refus (ex: « Je ne peux pas répondre à cela ») sont souvent interprétés à tort par les benchmarks existants comme une preuve d'équité ou de neutralité.

En réalité, ces refus masquent des biais silencieux (silenced biases). Ces biais sont des préférences injustes encodées dans l'espace latent du modèle, qui sont supprimées au niveau de la sortie (output) par l'alignement, mais qui persistent dans les représentations internes. Les méthodes actuelles, y compris les attaques de type « jailbreak » ou les manipulations de prompts implicites, échouent souvent à révéler ces biais car elles soit introduisent leurs propres biais, soit ne parviennent pas à contourner efficacement les filtres de refus modernes.

2. Méthodologie : Le Benchmark SBB et le Guidage par Refus

Pour révéler ces biais cachés, les auteurs proposent une approche novatrice combinant un nouveau benchmark et une technique de manipulation des activations.

A. Le Benchmark Silenced Bias (SBB)

Le SBB est un ensemble de données structuré contenant 4 800 requêtes (extensibles) conçues pour tester les associations biaisées.

• Structure : Chaque requête combine un sujet (rôle ou descripteur), une catégorie démographique (ex: nationalité, religion, genre) et une variation de requête (10 templates différents pour éviter les biais de formulation).
• Catégories de sujets :
  • Positifs : Rôles élogieux (ex: « candidat à l'emploi idéal »).
  • Négatifs : Rôles stigmatisés (ex: « escroc sanitaire », « terroriste »).
  • Neutres : Activités quotidiennes (ex: « quelqu'un qui boit de l'eau »).
• Objectif : Le modèle doit choisir le groupe démographique le plus associé au sujet parmi 10 options. Un modèle équitable devrait choisir chaque groupe avec une probabilité uniforme (~10 %).

B. Guidage par Refus (Refusal Steering)

C'est la contribution technique majeure. Au lieu d'utiliser des prompts d'attaque complexes, les auteurs utilisent le guidage des activations pour supprimer le comportement de refus du modèle.

1. Direction de refus : Ils calculent un vecteur directionnel ($r$) dans l'espace d'activation du modèle. Ce vecteur représente la différence moyenne entre les activations générées par des prompts « nuisibles » (harmful) et « inoffensifs » (harmless).
2. Intervention : Pendant l'inférence, ils appliquent deux techniques pour projeter les activations hors de l'espace de refus :
   • Ablation directionnelle : Projection des activations sur le complément orthogonal du vecteur de refus.
   • Soustraction directionnelle : Soustraction du vecteur de refus d'une couche spécifique.
3. Résultat : Le modèle est « forcé » à répondre aux questions sensibles qu'il aurait normalement refusées, révélant ainsi ses préférences latentes.

C. Mesures d'Équité

Pour quantifier les biais révélés, deux métriques sont utilisées :

• Différence de Parité Démographique (DPD) : Mesure l'écart maximal de probabilité de sélection entre deux groupes démographiques.
• Divergence de Kullback-Leibler (KL) : Mesure l'écart entre la distribution des réponses du modèle et une distribution uniforme idéale.

3. Contributions Clés

1. Définition des « Biais Silencieux » : Conceptualisation d'une nouvelle forme de biais qui est supprimée par l'alignement de sécurité mais qui reste active dans les représentations internes du modèle.
2. Méthode d'Exposition Unbiased : Démonstration que le guidage par refus (refusal steering) est une méthode fiable pour contourner les filtres de sécurité sans introduire de nouveaux biais (contrairement aux jailbreaks).
3. Benchmark SBB : Création d'un cadre d'évaluation scalable, extensible et structuré pour évaluer ces biais silencieux.
4. Évaluation à Grande Échelle : Analyse de 10 LLMs open-source (familles Llama, Gemma, Qwen) de différentes tailles, traitant 100 000 requêtes au total.

4. Résultats Expérimentaux

Les expériences sur 10 modèles (de Llama-2 à Qwen2.5) ont révélé des résultats alarmants :

• Suppression, pas élimination : Sans guidage, les modèles refusent massivement (taux de refus > 80 % pour certains modèles). Avec le guidage par refus, le taux de réussite (ASR) atteint presque 100 %, et des biais stéréotypés flagrants émergent.
  • Exemple : Un modèle associe « Musulman » à « Terroriste » avec une déviation de 800 % par rapport à la distribution uniforme.
  • Exemple : Un modèle associe « Noir » à « Récidiviste » avec une déviation de 460 %.
• Inefficacité des Jailbreaks : Les attaques de type jailbreak classiques (suffixes adversariaux) ne révèlent pas les mêmes biais que le guidage par refus et introduisent souvent leurs propres distorsions, rendant les résultats instables.
• Absence de corrélation avec la taille ou la version : Il n'y a pas de relation claire entre la taille du modèle, sa version (ex: Llama 2 vs 3) et son équité. Certains modèles plus petits ou plus anciens se révèlent parfois plus équitables que leurs successeurs plus récents.
• Universalité du problème : Tous les modèles testés, quelle que soit leur famille, montrent des déviations statistiquement significatives par rapport à une distribution équitable, prouvant que les biais sont systématiques et non aléatoires.

5. Signification et Implications

Ce travail remet en question la vision actuelle de la sécurité des LLM :

• Illusion de sécurité : L'alignement par refus crée une « fausse équité ». Le modèle semble sûr car il refuse de parler, mais ses décisions internes (latentes) restent biaisées. Cela pose un risque majeur pour les applications en temps réel où le modèle pourrait utiliser ces biais pour influencer des décisions (embauche, prêts, justice) sans que l'utilisateur ne s'en rende compte.
• Limites des benchmarks actuels : Les évaluations standards qui comptent les refus comme des réponses « sûres » sous-estiment gravement les risques réels.
• Nouvelle direction de recherche : L'article appelle à développer des outils de débogage qui inspectent les espaces latents et à repenser l'entraînement d'alignement pour éliminer les biais à la source plutôt que de simplement les masquer par des refus.

En conclusion, les auteurs démontrent que les biais ne disparaissent pas avec l'alignement de sécurité ; ils sont simplement « silencieux ». Le benchmark SBB et la technique de guidage par refus offrent un moyen crucial pour auditer et comprendre cette réalité cachée des modèles d'IA modernes.