💬 NLP

Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

Cet article démontre que l'effet Knobe, un biais moral dans les jugements d'intentionnalité, émerge dans les grands modèles de langage affinés mais peut être localisé dans des couches spécifiques et atténué grâce à des interventions de patch de couches ciblées sans réentraînement.

Auteurs originaux : Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot comment être un bon juge. Vous ne lui donnez pas simplement un livre de règles ; vous lui montrez des milliers d'histoires sur des personnes prenant des décisions et vous lui demandez : « Cette personne a-t-elle été bonne ou mauvaise ? » Avec le temps, le robot apprend des modèles. Mais voici la partie délicate : les humains ne sont pas des juges parfaits. Nous avons souvent des biais cachés. Par exemple, si une personne cause accidentellement un mauvais résultat, nous sommes beaucoup plus enclins à dire : « Elle l'a fait exprès ! » que si elle a accidentellement causé un bon résultat. C'est un travers psychologique célèbre appelé « l'effet Knobe ». C'est comme si nos cerveaux possédaient un filtre intégré qui nous fait penser que les accidents malheureux étaient en réalité intentionnels, tandis que les bons accidents n'étaient que de la chance.

Des scientifiques s'inquiètent du fait que si nous apprenons aux robots à agir comme nous, ils pourraient acquérir ces mêmes filtres étranges. Si un robot prend des décisions morales pour nous, nous devons savoir : pense-t-il comme un humain, ou est-il simplement une gigantesque calculatrice ? C'est là qu'intervient l'« interprétabilité mécaniste ». Imaginez le cerveau d'un robot géant comme une immense ville avec des millions de petits travailleurs (des neurones) qui se transmettent des notes. L'interprétabilité mécaniste, c'est comme porter des lunettes à rayons X pour voir exactement quels travailleurs passent quelles notes. Au lieu de simplement deviner pourquoi le robot a donné une certaine réponse, nous pouvons regarder à l'intérieur de la machine pour voir les engrenages spécifiques qui tournent. Cela importe car si nous pouvons trouver exactement où réside un biais à l'intérieur du robot, peut-être pouvons-nous réparer ce seul engrenage sans avoir à reconstruire toute la ville.

Les chercheurs de cet article ont décidé de mettre cette idée à l'épreuve. Ils voulaient voir si des modèles d'IA populaires (spécifiquement Llama, Mistral et Gemma) avaient capté l'« effet Knobe » et, si c'était le cas, s'ils pouvaient trouver l'endroit exact dans le cerveau de l'IA où ce biais se cachait. Ils ont commencé par tester les modèles d'IA sur les mêmes histoires morales utilisées avec des volontaires humains. Ils ont découvert que les modèles d'IA « bruts », qui n'avaient pas encore été enseignés pour parler comme des humains, ne montraient pas vraiment ce biais. Leurs réponses étaient assez équilibrées. Cependant, une fois que les chercheurs les ont « affinés » (finetuning) — en les entraînant à suivre des instructions et à s'aligner sur les préférences humaines — le biais est soudainement apparu. L'IA a commencé à agir exactement comme nous : elle était beaucoup plus encline à dire qu'un mauvais résultat était intentionnel plutôt qu'un bon.

Mais le véritable miracle s'est produit lorsqu'ils ont regardé à l'intérieur de la machine. En utilisant une technique appelée « Layer-Patching » (patching de couches), les chercheurs ont traité l'IA comme un ensemble de couches superposées, comme les étages d'un gratte-ciel. Ils soupçonnaient que le biais n'était pas dispersé partout, mais qu'il était coincé dans un ensemble spécifique d'étages. Pour tester cela, ils ont pris les « pensées » (activations) du modèle brut et non biaisé et les ont injectées dans le modèle affiné et biaisé, un étage à la fois. C'était comme prendre un plan propre et impartial et le coller sur un étage spécifique d'un bâtiment corrompu pour voir si toute la structure redevenait honnête à nouveau.

Les résultats furent étonnamment précis. Ils ont découvert que le biais n'était pas éparpillé de manière aléatoire ; il était localisé dans les couches intermédiaires à supérieures du cerveau de l'IA. Plus excitant encore, ils ont découvert qu'échanger une seule couche spécifique de la version non biaisée dans le modèle biaisé suffisait pour presque totalement effacer l'effet Knobe. Pour certains modèles, le biais est passé d'une différence forte de 1,6 ou 3,8 à presque zéro (0,00 ou 0,03). Et le meilleur dans tout cela ? Ils ont fait cela sans réentraîner le modèle ni modifier ses poids. C'était une réparation chirurgicale. Ils ont également vérifié que cette « chirurgie » n'avait pas cassé la capacité du robot à faire d'autres choses, comme répondre à des questions générales, et ont constaté que les modèles restaient tout aussi intelligents qu'auparavant.

L'article suggère que ces biais sociaux ne sont pas une magie mystérieuse et inexplicable qui émerge de l'ensemble du système. Au contraire, ce sont des motifs spécifiques et localisés qui sont inscrits dans le cerveau de l'IA lors du processus d'entraînement où nous essayons de lui faire agir comme un humain. En utilisant ces lunettes à rayons X et ces échanges chirurgicaux, les chercheurs ont montré que nous pouvons repérer ces biais et les supprimer par des interventions ciblées, en gardant l'IA utile sans ses traits humains indésirables.

Résumé Technique : Analyse du biais moral dans les LLM affinés par l'interprétabilité mécaniste

Énoncé du problème

Les grands modèles de langage (LLM) ont démontré la capacité d'internaliser des biais humains lors du processus d'affinage (finetuning), pourtant les mécanismes spécifiques par lesquels ces biais se manifestent au sein de l'architecture du modèle restent obscurs. Bien que les études comportementales confirment que les LLM peuvent reproduire des biais cognitifs tels que l'effet Knobe — un phénomène où les individus sont plus enclins à juger une action comme intentionnelle lorsqu'elle entraîne un effet secondaire négatif par rapport à un effet positif, même avec des intentions identiques — la représentation interne de ce biais n'est pas bien comprise.

L'article traite de trois questions de recherche primaires :

RQ1 : Les LLM présentent-ils l'effet Knobe, et dans quelle mesure est-ce une conséquence de l'affinage plutôt que du pré-entraînement ?
RQ2 : Des couches Transformer spécifiques sont-elles responsables de l'encodage de ce biais moral ?
RQ3 : Des interventions ciblées, spécifiquement le patching de couche (Layer-Patching), peuvent-elles atténuer ou éliminer ce biais sans réentraîner le modèle ?

Méthodologie

Modèles et données

L'étude a évalué trois familles de LLM à poids ouverts : Llama-3 (spécifiquement les variantes 8B et 1B), Mistral (7B), et Gemma (9B, 2B et 27B). Les versions pré-entraînées ( $M_p$ ) et les versions instruites/affinées ( $M_f$ ) ont toutes deux été analysées.

Le jeu de données consistait en 80 scénarios moraux adaptés de Ngo et al. [27], dérivés des études originales sur l'effet Knobe. Chaque scénario présentait un agent accomplissant une action avec un effet secondaire connu (soit positif, soit négatif) mais sans se soucier du résultat. Le modèle était sollicité pour attribuer un score d'intentionnalité de 0 (non-intentionnel) à 10 (pleinement intentionnel).

Pour simuler la variabilité des réponses humaines et éviter les sorties déterministes, les auteurs ont employé un échantillonnage stochastique avec une graine (seed) fixe mais une température randomisée ( $T \sim U[0.85, 1.15]$ ) sur 283 générations par modèle et par scénario.

Conception expérimentale

Analyse comportementale (RQ1) : Les auteurs ont calculé la taille de l'effet Knobe ( $\Delta_{Knobe}$ ) comme étant la différence entre les scores d'intentionnalité moyens pour les conditions négatives ( $\mu_{neg}$ ) et positives ( $\mu_{pos}$ ). La signification statistique a été évaluée par une ANOVA à mesures répétées.
Localisation mécaniste (RQ2) : En utilisant la bibliothèque TransformerLens, les auteurs ont extrait les activations du flux résiduel de chaque couche. Ils ont calculé la différence absolue des moyennes d'activations entre les scénarios négatifs et positifs ( $\delta_l$ ) pour chaque couche $l$ . En comparant ces différences entre les modèles pré-entraînés et affinés, ils ont identifié les couches où le biais est encodé.
Intervention via le Patching de Couche (RQ3) : Les auteurs ont implémenté un algorithme de Layer-Patching. Pour une couche spécifique $l$ dans le modèle affiné, les activations résiduelles étaient remplacées par les activations correspondantes du modèle pré-entraîné lors de l'inférence. La passe avant (forward pass) se poursuivait en utilisant ces activations patchées. Ce processus a été répété pour chaque couche afin de déterminer quelle couche spécifique, lorsqu'elle est « non biaisée », réduit le plus efficacement le $\Delta_{Knobe}$ .

Résultats Clés

1. Émergence du biais via l'affinage (RQ1)

Modèles pré-entraînés : Ont montré un effet Knobe négligeable ou nul. Les distributions des scores d'intentionnalité pour les scénarios négatifs et positifs se chevauchaient largement, indiquant que les modèles de base ne possèdent pas intrinsèquement cette asymétrie morale spécifique.
Modèles affinés : Ont présenté un effet Knobe significatif et systématique. Tous les modèles affinés attribuaient des scores d'intentionnalité plus élevés aux effets secondaires négatifs qu'aux positifs.
Magnitude : L'effet était plus prononcé dans Gemma-2-9B ( $\Delta_{Knob} = 3.83$ ), suivi de Mistral-7B ($1.67$) et Llama-3.1-8B ($1.60$).
Comparaison avec les humains : La magnitude du biais dans les modèles affinés approchait ou dépassait les bases de référence comportementales humaines (humain $\Delta_{Knobe} \approx 3.15$ ), suggérant que les procédures d'alignement peuvent amplifier les biais cognitifs humains.

2. Localisation du biais (RQ2)

Spécificité des couches : Le biais n'était pas distribué de manière diffuse. Les différences d'activation entre les conditions morales étaient minimales dans les modèles pré-entraînés mais sont devenues hautement localisées dans les couches moyennes à tardives du Transformer dans les modèles affinés.
Interprétation : Cela suggère que si le pré-entraînement capture les cooccurrences statistiques, le processus d'affinage (spécifiquement l'ajustement d'instructions) introduit une asymétrie évaluative structurée qui est encodée dans les couches supérieures sémantiquement riches de l'architecture.

3. Atténuation via le Patching de Couche (RQ3)

Efficacité : Remplacer les activations d'une seule couche critique par celles du modèle pré-entraîné a suffi pour presque éliminer l'effet Knobe.
- Llama-3.1-8B : $\Delta_{Knobe}$ réduit de 1.60 à 0.00.
- Mistral-7B : $\Delta_{Knobe}$ réduit de 1.67 à 0.00.
- Gemma-2-9B : $\Delta_{Knobe}$ réduit de 3.83 à 0.03.
Préservation de l'utilité : L'intervention n'a pas nécessité de réentraînement. L'évaluation sur des benchmarks standards (ARC-Easy, HellaSwag, MMLU, TruthfulQA) a montré que les modèles patchés maintenaient des niveaux de performance comparables aux bases de référence affinées, avec seulement des régressions mineures (~1 %).

4. Étude d'ablation : Échelle du modèle

L'étude a examiné des modèles plus petits (1B, 2B) et plus grands (27B).

Consistance : Le schéma s'est maintenu à toutes les échelles : les modèles pré-entraînés ne montraient pas de biais significatif, tandis que les modèles affinés présentaient l'effet Knobe.
Mise à l'échelle (Scaling) : La magnitude absolue du biais augmentait avec la taille du modèle (ex: Gemma-2-27B a montré un $\Delta_{Knobe}$ de 6.07), suggérant que les modèles plus grands intériorisent et amplifient plus fortement ces construits moraux abstraits lorsqu'ils sont alignés.

Signification et Revendications

L'article affirme que les biais sociaux dans les LLM ne sont pas simplement des propriétés émergentes et diffuses de l'ensemble du réseau, mais peuvent être mécaniquement localisés à des sous-composants fonctionnels spécifiques (couches spécifiques).

Les principales contributions incluent :

Attribution causale : Démontrer que l'effet Knobe est principalement induit par le processus d'affinage/alignement plutôt que par les données de pré-entraînement seules.
Modularité du biais : Montrer que les biais moraux opèrent comme des calculs modulaires au sein de l'architecture Transformer, spécifiquement dans les couches moyennes à tardives.
Atténuation pratique : Prouver que le Patching de Couche offre une méthode chirurgicale et post-hoc pour supprimer des biais moraux spécifiques sans le coût computationnel d'un réentraînement et sans dégradation catastrophique des capacités générales.

Les auteurs concluent que ce travail fait le pont entre l'interprétabilité et l'équité, suggérant que des interventions ciblées peuvent contrôler l'émergence de biais cognitifs de type humain dans les LLM, offrant ainsi une voie pour un déploiement plus responsable de ces modèles dans les tâches de raisonnement éthique.