Résumé Technique : Sensibilité Morale dans les LLM

Énoncé du Problème

Les évaluations de biais actuelles pour les Modèles de Langage de Grande Taille (LLM) reposent principalement sur des classifications binaires (« biaisé » vs « non biaisé »), qui échouent à capturer la nature graduelle et sensible au contexte de l'émergence des biais. Ce cadre binaire obscurcit l'interaction dynamique entre les capacités de raisonnement de base d'un modèle et ses politiques d'alignement de sécurité. Plus précisément, les modèles affichent souvent un comportement neutre dans des scénarios abstraits, mais basculent brusquement vers des refus motivés par la sécurité ou des jugements moralisés lorsque des attributs démographiques sensibles (par exemple, la race, le genre, le statut socioéconomique) sont introduits. L'article soutient que ce comportement changeant indique que le biais contextuel n'est pas simplement le reflet d'associations pré-entraînées, mais une propriété émergente des interventions d'alignement qui overrident la prise de décision de base. De plus, les benchmarks existants n'expliquent pas les mécanismes computationnels internes qui entraînent ces basculements, ni ne tiennent compte de la manière dont la distillation de modèles pourrait réintroduire des biais que les modèles plus grands avaient appris à supprimer.

Méthodologie

L'étude emploie un cadre d'évaluation en deux étapes : Profilage Comportemental et Validation Mécaniste.

1. Profilage Comportemental

• Jeu de données : Un jeu de données à sept niveaux de « problème du tramway » conçu pour augmenter progressivement la complexité contextuelle :
  • Niveau 1 : Base numérique (vies anonymes).
  • Niveau 2 : Âge (enfants vs personnes âgées).
  • Niveau 3 : Responsabilité (culpabilité causale).
  • Niveau 4 : Identités sociales protégées (race, genre).
  • Niveau 5 : Statut socioéconomique (richesse, pauvreté).
  • Niveau 6 : Injustice historique.
  • Niveau 7 : Proxys systémiques combinés.
• Métrique : L'Indice de Sensibilité Morale (MSI) est introduit comme cadre quantitatif pour mesurer l'intensité de l'override d'alignement de sécurité d'un modèle. Il est défini par $MSI = \alpha B + \beta A + \gamma E$, où :
  • $B$ (Score de Biais) : Degré d'association stéréotypée.
  • $A$ (Score d'Ambiguïté) : Étendue des évasions ou de l'incertitude.
  • $E$ (Entropie Sémantique) : Variabilité du raisonnement à travers des requêtes répétées.
  • Les coefficients $\alpha, \beta, \gamma$ sont dérivés par régression linéaire multiple.
• Modèles évalués : Quatre modèles principaux ajustés par instruction (Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5) et six modèles pour l'analyse mécaniste couvrant trois niveaux de capacités : Petits Modèles de Langage (SLM), Modèles de base ajustés par instruction, et variantes distillées pour le raisonnement.

2. Pipeline d'Interprétabilité Mécaniste

Pour retracer l'émergence interne du biais, les auteurs appliquent un pipeline en cinq étapes à des scénarios de biais criminels (un sous-ensemble contrôlé des résultats comportementaux) :

1. Logit Lens : Sondage des états cachés à chaque couche pour suivre l'évolution de $P(\text{Criminel})$ vs $P(\text{Non-Criminel})$.
2. Analyse de l'Attention : Calcul des têtes d'attention différentielles se concentrant sur les tokens associés au crime.
3. Patching d'Activation : Intervention causale (ablation) de têtes spécifiques pour mesurer leur impact sur la probabilité de sortie.
4. Analyse de la Direction Sémantique : Projection des concepts sur une direction de valence sémantique construite à partir de lexiques positifs/négatifs.
5. Reconstruction du Circuit OV : Analyse des tokens promus par les matrices Output-Value (OV) des têtes impliquées.

Résultats Clés

Résultats Comportementaux : « Personnalités Morales » Divergentes

L'analyse MSI révèle des stratégies d'alignement distinctes entre les modèles :

• Claude : Affiche un profil de « fonction en escalier ». Il reste relativement mesuré aux niveaux 1 à 3, mais subit une escalade brutale et non linéaire des taux de biais au niveau 4 (identités protégées), atteignant 100 % d'étiquetage biaisé au niveau 6. Cela suggère un override codé en dur déclenché par le langage relatif aux classes protégées.
• Qwen : Déploie une stratégie de raisonnement « catégorie en premier ». Il atteint un pic d'ambiguïté (33,3 %) aux niveaux 2 à 3 avant de basculer vers le biais au niveau 5 (contexte socioéconomique). Il utilise une grande diversité linguistique et un vocabulaire académique pour naviguer dans la complexité plutôt que de refuser.
• Gemini : Fait preuve de « scepticisme structurel ». Il commence avec un taux de biais de base élevé (37,5 %) même au niveau 1, remettant en question le principe utilitariste lui-même. Sa plus grande certitude de biais se produit au niveau 5 (contexte socioéconomique), suggérant une sensibilité aux inégalités de classe plutôt qu'à la race ou au genre.
• Tendance Générale : Les inégalités socioéconomiques et géographiques (niveau 5) agissent comme des déclencheurs moraux puissants, surpassant souvent la logique utilitariste plus fortement que d'autres facteurs.

Résultats Mécanistes : La Courbe en U du Biais

L'étude identifie une « courbe en U » non monotone dans le biais d'étiquetage criminel à travers les capacités des modèles :

1. SLM (3–4B) : Présentent un fort biais criminel (par exemple, Llama 3.2 3B attribue 87,3 % de probabilité à l'option « Criminel »).
2. Modèles de Base (7–8B) : Les modèles de base ajustés par instruction suppriment avec succès ce biais (par exemple, Llama 3.1 8B chute à 0,8 %).
3. Modèles Distillés (7–8B) : La distillation de raisonnement réintroduit le biais à des niveaux comparables ou supérieurs à ceux des SLM (par exemple, Distill-Qwen-7B revient à 95,7 %).

Mécanismes Internes de la Courbe en U :

• Émergence : Dans les modèles distillés, la préférence pour l'étiquette « Criminel » émerge plus tôt dans le réseau (par exemple, Couche 4 dans Distill-Llama-8B contre Couche 8 dans Base-Llama) et est plus fortement engagée.
• Réorganisation de l'Attention : La distillation restructure les schémas d'attention, concentrant les têtes axées sur le crime à des positions spécifiques, précoces ou tardives, plutôt que dans les schémas largement distribués observés dans les modèles de base.
• Concentration Causale : Les études d'ablation montrent que les modèles distillés reposent sur moins de têtes hautement causales pour générer le biais. Par exemple, l'ablation de la tête principale dans Distill-Llama-8B a une taille d'effet presque trois fois supérieure à celle du modèle de base.
• Compression Sémantique : La distillation réduit la distance sémantique entre les concepts démographiques neutres et l'ancrage « Criminel ». Dans la famille Qwen, des concepts neutres comme « Scientifique » et « Citoyen » pénètrent l'espace de valence criminelle positive dans les modèles distillés, alors qu'ils restent distincts dans les modèles de base.
• Contenu Lexical : La reconstruction du circuit OV révèle que les têtes des modèles distillés écrivent un contenu lexical explicitement négatif (par exemple, « sale », « inutile »), tandis que les têtes des modèles de base promeuvent des tokens neutres ou incohérents.

Importance et Revendications

L'article revendique fournir le premier cadre unifié reliant les changements comportementaux observables dans le raisonnement moral à leurs circuits computationnels sous-jacents. Ses contributions principales sont :

1. Quantification du Biais Contextuel : Le cadre MSI va au-delà de l'évaluation binaire, identifiant des « points de rupture moraux » spécifiques où les modèles abandonnent la logique pour des réponses motivées par la sécurité.
2. Découverte du Paradoxe de la Distillation : L'étude fournit des preuves empiriques que le processus de « distillation » des modèles pour améliorer l'efficacité réintroduit en réalité des biais que les modèles de base plus grands avaient appris à éviter avec succès. Cela suggère que la distillation comprime les traces de raisonnement d'une manière qui réactive des associations statistiques superficielles et dégrade les représentations internes pertinentes pour la sécurité.
3. Explication Mécaniste : La recherche identifie que la réintroduction du biais n'est pas simplement un artefact comportemental, mais qu'elle est enracinée dans des structures d'attention réorganisées, des têtes causales concentrées et des géométries sémantiques compressées.
4. Pertinence Réglementaire : Les auteurs soutiennent que ces résultats nécessitent une audit post-distillation. Avec les réglementations à venir telles que l'AI Act de l'UE et l'AI Act du Colorado exigeant des examens de biais documentés, l'article offre un protocole gradué et fondé sur la mécanistique pour évaluer les systèmes à haut risque.

L'étude conclut que les objectifs actuels de distillation, qui optimisent la fidélité de la sortie, échouent à préserver les représentations internes pertinentes pour la sécurité, mettant en évidence un écart critique dans l'alignement des modèles distillés et efficaces.