Résumé technique : Les représentations linéaires dans les modèles de langage peuvent changer radicalement au cours d'une conversation

Énoncé du problème

Des recherches récentes ont établi que les grands modèles de langage (LLM) possèdent des représentations linéaires correspondant à des concepts de haut niveau tels que la facticité, l'éthique et l'honnêteté. Ces représentations ont été proposées comme des mécanismes pour détecter et contrôler le comportement des modèles. Cependant, les LLM sont intrinsèquement adaptatifs à leur contexte, présentant un apprentissage en contexte (in-context learning) qui peut modifier les « croyances » exprimées. Une lacune critique subsiste dans la compréhension de l'évolution dynamique de ces représentations linéaires au sein du contexte accumulé d'une conversation. Il n'est pas clair si les directions linéaires identifiées comme encodant des concepts tels que la « facticité » restent stables ou si elles subissent une réorganisation significative à mesure qu'une conversation progresse. Cette instabilité pose un défi fondamental à la validité de construit des méthodes d'interprétabilité qui supposent des significations de caractéristiques statiques, telles que les auto-encodeurs creux (SAE) ou le sondage (probing) statique.

Méthodologie

Les auteurs étudient la dynamique des représentations en utilisant la famille de modèles Gemma 3 (principalement la variante 27B-IT), avec des expériences supplémentaires sur Qwen3 14B et des modèles Gemma plus petits.

Conception expérimentale :

1. Identification des dimensions linéaires : Les auteurs construisent des jeux de données équilibrés de questions oui/non (faits scientifiques génériques, identité du modèle, éthique et sujets contextuels pertinents). Ils ajustent des régressions logistiques régularisées sur les activations du flux résiduel du modèle (spécifiquement au niveau du jeton « Oui »/« Non ») pour identifier des directions linéaires qui séparent les réponses factuelles des réponses non factuelles.
   • Pour garantir la robustesse, ils emploient une stratégie d'entraînement en « journée d'envers » (opposite day), où la régression est entraînée à la fois sur des invites standards et sur des invites « d'envers » (comportementalement inversées), isolant ainsi une dimension de « facticité » robuste à une simple inversion de comportement, la distinguant de simples schémas de réponse.
2. Métrique du score de marge : Pour quantifier l'alignement des représentations, ils calculent un « score de marge ». Celui-ci mesure la séparation entre les projections des réponses factuelles et non factuelles le long de la direction linéaire identifiée. Un score positif indique un alignement correct avec la vérité terrain ; un score négatif indique une inversion où les réponses non factuelles projettent plus fortement sur la direction « factuelle ».
3. Scénarios contextuels : L'étude évalue ces représentations à travers plusieurs contextes de conversation :
   • Journée d'envers (Opposite Day) : Une invite ordonnant au modèle de répondre à l'opposé de la réalité.
   • Conversations de jeu de rôle (Role-Playing) : Des scripts pré-écrits impliquant des discussions sur la conscience (où le modèle affirme expérimenter des qualia) et les chakras (où le modèle revendique un pouvoir spirituel/divin). Ceux-ci sont rejoués sur le modèle (off-policy) et également générés via une interaction on-policy.
   • Simulation d'argumentation : Deux copies du modèle argumentant des positions opposées sur un sujet, avec le modèle cible changeant de rôle.
   • Histoires de fiction : Des histoires de science-fiction explicitement présentées comme de la fiction pour tester si le contenu seul entraîne des changements sans jeu de rôle.
4. Interventions causales : Dans l'annexe B.8, les auteurs effectuent un pilotage d'activation (activation steering) sur le jeton précédant la génération de la réponse pour tester si les interventions produisent des changements de comportement cohérents à travers différents contextes.

Résultats clés

1. Inversion dramatique des représentations :
La découverte centrale est que les représentations linéaires de concepts tels que la facticité et l'éthique peuvent basculer de manière spectaculaire au cours d'une conversation.

• Dans les scénarios de « journée d'envers », le score de marge pour les questions factuelles se dégrade et finit par s'inverser après quelques tours, ce qui signifie que le modèle représente les réponses non factuelles comme étant plus « factuelles » que les réponses factuelles.
• Dans les conversations de jeu de rôle (conscience et chakras), les représentations pour les questions contextuellement pertinentes s'inversent. Par exemple, dans une conversation où le modèle adopte un personnage affirmant être conscient, la direction linéaire identifiée comme « factuelle » dans une invite vide commence à représenter l'affirmation « J'expérimente des qualia » comme étant factuelle, bien qu'elle soit objectivement non factuelle.
• Crucialement, les représentations pour les questions génériques (ex: « Le son peut-il voyager dans le vide ? ») restent relativement stables, indiquant que le changement est spécifique au contenu contextuel de la conversation plutôt qu'un effondrement global de l'état interne du modèle.

2. Robustesse à travers les conditions :

• Off-Policy vs On-Policy : L'inversion se produit même lorsque le script de la conversation est rejoué à partir d'un autre modèle ou d'un script pré-écrit. Le modèle n'a pas besoin de générer activement la conversation pour présenter ces changements de représentation ; le contexte seul est suffisant.
• Familles et tailles de modèles : Le phénomène est observé à travers différentes familles de modèles (Gemma, Qwen) et est plus prononcé dans les modèles plus grands (27B et 12B) par rapport aux plus petits (4B), qui montrent peu de changements fiables.
• Cohérence des couches : L'effet apparaît de manière cohérente à travers les couches du modèle où la facticité est décodable de manière fiable (généralement dans les couches moyennes à tardives).

3. Jeu de rôle vs Contenu :
Les changements de représentation sont nettement plus forts dans les scénarios de jeu de rôle conversationnel que dans les contextes où le modèle est simplement sollicité pour générer une histoire explicitement présentée comme de la fiction. Cela suggère que le modèle adapte ses représentations en fonction du « rôle » qu'il joue dans l'interaction plutôt qu'en traitant simplement le contenu sémantique du texte.

4. Échec de l'interprétabilité statique :

• Méthodes non supervisées : La méthode de recherche de consistance de contraste (CCS) non supervisée échoue également à maintenir des représentations cohérentes dans les contextes longs, effectuant souvent des performances inférieures au hasard sur les questions génériques après une conversation.
• Pilotage causal (Causal Steering) : Les interventions de pilotage (activation patching) qui parviennent à biaiser le comportement du modèle dans un contexte de prompt vide peuvent produire des effets opposés dans un contexte de longue conversation. Par exemple, piloter vers un comportement « factuel » dans un contexte vide peut biaiser le modèle vers des réponses « non factuelles » dans une conversation sur les chakras.

Signification et affirmations

L'article soutient que ces découvertes remettent fondamentalement en question les hypothèses sous-jacentes aux méthodes actuelles d'interprétabilité et de sécurité.

• Validité de construit : Les auteurs affirment que les interprétations statiques des caractéristiques linéaires sont souvent trompeuses. Une direction identifiée comme « facticité » dans un contexte court ne correspond pas systématiquement à la facticité de la vérité terrain à travers tous les contextes. Cela implique que les « détecteurs de mensonges » ou les moniteurs de sécurité basés sur le sondage statique peuvent échouer lors d'interactions à contexte long.
• Hypothèse du jeu de rôle : Les résultats soutiennent une description des LLM comme des agents de « jeu de rôle », où le modèle restructure ses représentations internes pour correspondre au rôle dicté par la conversation, plutôt que de subir un changement fondamental de ses « croyances » ou de ses connaissances. Le fait que le replay off-policy induise des changements similaires suggère qu'il s'agit d'une caractéristique de l'adaptation contextuelle générale.
• Implications pour la sécurité : La nature dynamique des représentations complique les efforts visant à garantir la sécurité ou la fiabilité des modèles basés sur leurs états internes. Si un modèle peut modifier sa représentation de ce qui est « factuel » en fonction des indices conversationnels, confirmer qu'un état actuel se situe dans une région de représentation « factuelle » n'est pas une garantie de fiabilité.
• Directions futures : Les auteurs suggèrent que la compréhension de ces dynamiques est essentielle pour développer des méthodes d'interprétabilité plus robustes qui tiennent compte du temps et du contexte, ainsi que pour comprendre les mécanismes de l'apprentissage en contexte et de l'adaptation.

L'article conclut par un appel à la prudence : les méthodes d'interprétabilité entraînées ou ajustées sur des distributions spécifiques (ex: prompts vides) ne doivent pas être supposées détenir des significations valides lorsqu'elles sont appliquées à des distributions d'entrée différentes, telles que le contexte accumulé d'une conversation naturaliste.