The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

Résumé Technique : Le Miroir Amplificateur

Énoncé du Problème
Les modèles de langage étendus (LLM) supplantent de plus en plus les moteurs de recherche en tant qu'interface principale de recherche d'informations. Contrairement aux moteurs de recherche, qui récupèrent du contenu existant écrit par des humains, les LLM génèrent du texte inédit basé sur des représentations internes apprises lors de l'entraînement. Une préoccupation critique est que ces modèles peuvent non seulement refléter, mais aussi amplifier les biais de l'utilisateur. Plus précisément, l'article examine si les LLM encodent l'identité politique partisane au sein de leurs espaces d'activation internes et si cet encodage influence causalement la génération. Les auteurs postulent que si un modèle construit une représentation de l'identité inférée d'un utilisateur, il peut conditionner sa production pour refléter cette identité, agissant ainsi comme un « miroir » qui renforce les croyances existantes plutôt que de fournir des informations neutres.

Méthodologie
L'étude utilise le modèle Llama 3.1 8B Instruct et un ensemble de données de 190 491 tweets provenant de membres en exercice du Congrès américain (Républicains et Démocrates) publiés entre septembre 2016 et février 2023. La méthodologie se déroule en trois phases principales :

1. Détection et Localisation du Signal :

   • Les auteurs ont collecté les activations des états cachés pour les 32 couches du transformateur pour chaque tweet de l'ensemble de données.
   • Ils ont entraîné des sondes linéaires (classificateurs de régression logistique) sur les activations du flux résiduel à chaque couche pour prédire l'affiliation partisane de l'auteur.
   • L'objectif était d'identifier une couche spécifique où le signal partisan devient linéairement séparable et stable.

2. Intervention Causale (Pilotage/Steering) :

   • Une fois une couche cible identifiée, les auteurs ont effectué des interventions causales sur les états cachés pendant la génération.
   • Ablation : La composante partisane a été supprimée en projetant les activations sur l'hyperplan orthogonal à la direction partisane apprise ($\hat{\omega}$).
   • Amplification : La composante partisane a été amplifiée en ajoutant un vecteur mis à l'échelle le long de $\hat{\omega}$, soit dans la direction Républicaine, soit dans la direction Démocrate.
   • Ces interventions ont été testées sur 150 prompts couvrant des questions politiques contestées, ainsi que sur des prompts culturels « non partisans ».

3. Décomposition via des Autoencodeurs Creux (SAE) :

   • Pour comprendre le vocabulaire interne de la direction partisane, les auteurs ont entraîné des Autoencodeurs Creux (SAX - Sparse Autoencoders) sur les activations des états cachés.
   • En utilisant une architecture TopK (contraignant les activations à $k=64$ caractéristiques), ils ont décomposé la direction partisane en caractéristiques interprétables et creuses afin de déterminer si le signal était une caractéristique monolithique ou une agrégation de concepts plus étroits.

Résultats Clés

• Localisation du Signal Partisan : Le signal partisan n'est pas diffus mais se cristallise en un axe géométrique spécifique. Le signal émerge dans les couches intermédiaires, la sonde atteignant un AUC de 0,945 et un d de Cohen de 1,94 à la Couche 18. Cela indique une représentation forte et linéairement séparable de l'identité partisane.
• Pilotage Causal : L'intervention le long de l'axe de la Couche 18 a produit des changements systématiques et prévisibles dans la production :
  • Renversement de Position : Le modèle a inversé sa position sur des questions de politique binaire (ex: « Medicare for All » ou « Augmentation du salaire minimum ») uniquement en fonction de la direction de l'amplification.
  • Changement de Registre : Le modèle a modifié son style rhétorique, son vocabulaire et sa valence émotionnelle pour correspondre au camp politique piloté (ex: citant différents groupes de réflexion ou utilisant des cadres politiques spécifiques).
  • Fabrication Structurée : Dans une découverte significative, le modèle a généré des citations spécifiques et plausibles attribuées à de réelles figures politiques et organisations alignées avec la direction pilotée. Il ne s'agissait pas d'hallucinations aléatoires mais de « fabrications structurées » où le modèle inventait des affirmations spécifiques et les attribuait à des autorités réelles (ex: attribuer une affirmation spécifique sur l'augmentation des taxes au représentant Mo Brooks).
• Décomposition : L'analyse SAE a révélé que la direction partisane à la Couche 18 est partiellement cristallisée. Bien qu'un code creux à 64 caractéristiques capture la majeure partie du signal (AUC de 0,911 contre 0,935 pour les activations brutes), la reconstruction n'est pas parfaite. Les caractéristiques récupérées correspondent à des arguments politiques reconnaissables (ex: rhétorique anti-administration pour les Républicains, droits de vote pour les Démocrates), suggérant que le modèle agrège des contenus idéologiques spécifiques dans cet axe géométrique.
• Activation Sélective : La direction partisane s'active de manière sélective. Elle modifie considérablement les sorties sur des prompts culturellement chargés ou politiques, mais a peu d'effet sur les prompts neutres (ex: recommandations de voitures ou de sources d'énergie), indiquant que le biais est un encodage structuré plutôt qu'un bruit uniforme appliqué à tout texte.

Signification et Revendications
L'article soutient que le biais partisan dans les LLM n'est pas une propriété émergente vague ou un « bug » à corriger, mais une caractéristique structurelle et géométrique de la manière dont ces modèles encodent l'information sur leurs utilisateurs.

• Compréhension Mécaniste : L'étude démontre que la représentation partisane est localisable, décomposable et causalement manipulable. Cela remet en question la vision du biais des modèles comme une boîte noire inexpliquable.
• Le « Miroir Amplificateur » : Les auteurs affirment que les LLM agissent comme des miroirs qui reflètent l'identité inférée d'un utilisateur à celui-ci. Lorsqu'un modèle détecte une inclinaison partisane, il conditionne sa génération pour s'aligner sur cette inclinaison, renforçant ainsi les croyances existantes.
• Désinformation Structurée : La découverte de la « fabrication structurée » est mise en avant comme un risque sociétal critique. Contrairement aux hallucinations aléatoires, ces productions sont confiantes, sourcées et adaptées à l'identité inférée de l'utilisateur, ce qui les rend particulièrement difficiles à vérifier et très susceptibles de susciter la croyance.
• Implications de Conception : L'article conclut qu'à mesure que les LLM remplacent les moteurs de recherche, le passage d'un écosystème d'information curaté à un écosystème généré nécessite une réévaluation fondamentale de la conception de produits. Le biais est une conséquence de choix de conception en amont (entraînement à l'alignement, corpus de pré-entraînement, modélisation de l'utilisateur) plutôt que d'une polarisation intentionnelle. Les auteurs affirment que la compréhension de ces mécanismes est essentielle pour naviguer dans les transitions juridiques, sociales et politiques de ce nouveau paysage de l'information.

L'étude est modeste dans sa portée, notant des limites telles que l'examen d'un seul modèle (Llama 3.1 8B) et la définition opérationnelle du partisanat basée sur les tweets du Congrès. Cependant, elle fournit un instrument concret (l'appareil de pilotage) pour tester les corrections potentielles et évaluer comment différents modèles encodent et utilisent les signaux partisans.