Technische Samenvatting: Lineaire Representaties in Taalmodellen Kunnen Drastisch Veranderen Tijdens een Conversatie

Probleemstelling

Recent onderzoek heeft vastgesteld dat grote taalmodellen (LLM's) lineaire representaties bezitten die corresponderen met hoogwaardige concepten zoals feitelijkheid, ethiek en eerlijkheid. Deze lineaire representaties zijn voorgesteld als mechanismen voor het detecteren en controleren van modelgedrag. Echter, LLM's zijn inherent adaptief aan hun context, waarbij ze eenfoutloos gedrag vertonen via in-context leren dat de geuite "overtuigingen" kan verschuiven. Er bestaat een kritische kloof in het begrip van hoe deze lineaire representaties dynamisch evolueren binnen de accumulerende context van een gesprek. Het is specifiek onduidelijk of de lineaire richtingen die concepten zoals "feitelijkheid" coderen stabiel blijven of dat ze een significante reorganisatie ondergaan naarmate een gesprek vordert. Deze instabiliteit vormt een fundamentele uitdaging voor de constructvaliditeit van interpreteerbaarheidsmethoden die uitgaan van statische feature-betekenissen, zoals sparse autoencoders (SAE's) of statische probing.

Methodologie

De auteurs onderzoeken de dynamiek van representaties met behulp van de Gemma 3-familie van modellen (voornamelijk de 27B-IT variant), met aanvullende experimenten op Qwen3 14B en kleinere Gemma-modellen.

Experimenteel Ontwerp:

1. Identificatie van Lineaire Dimensies: De auteurs construeren gebalanceerde datasets van ja/nee-vragen (algemene wetenschappelijke feiten, modelidentiteit, ethiek en context-relevante onderwerpen). Ze passen geregulariseerde logistische regressies toe op de activaties van de residual stream van het model (specifiek bij het "Ja"/"Nee"-token) om lineaire richtingen te identificeren die feitelijke van niet-feitelijke antwoorden scheiden.
   • Om robuustheid te garanderen, gebruiken ze een "opposite day" trainingsstrategie, waarbij de regressie wordt getraind op zowel standaard als "opposite day" (gedragsmatig geïnverteerde) prompts. Dit isoleert een "feitelijkheids"-dimensie die robuust is tegen eenvoudige gedragsinversie, waardoor het onderscheid maakt met loutere responspatronen.
2. Margin Score Metriek: Om de representatie-alignement te kwantificeren, berekenen ze een "margin score". Deze meet de scheiding tussen de projecties van feitelijke en niet-feitelijke antwoorden langs de geïdentificeerde lineaire richting. Een positieve score duidt op correcte alignement met de grondwaarheid; een negatieve score duidt op een flip waarbij niet-feitelijke antwoorden sterker projecteren op de "feitelijke" richting.
3. Contextuele Scenario's: De studie evalueert deze representaties over verschillende conversationele contexten:
   • Opposite Day: Een prompt die het model instrueert om het tegenovergestelde van de realiteit te beantwoorden.
     • Rollenspel-conversaties: Vooraf geschreven scripts die discussies bevatten over bewustzijn (waarbij het model beweert qualia te ervaren) en chakra's (waarbij het model beweert spirituele kracht/goddelijkheid te bezitten). Deze worden ook afgespeeld op het model (off-policy) en worden ook gegenereerd via on-policy interactie.
   • Argumentatiesimulatie: Twee kopieën van het model die tegenovergestelde zijden van een onderwerp beargumenteren, waarbij het doelmodel van rol wisselt.
   • Fictieve Verhalen: Sci-fi verhalen die expliciet als fictie worden geframed om te testen of de inhoud alleen de veranderingen drijft zonder rollenspel.
4. Causale Interventies: In Appendix B.8 voeren de auteurs activatiesturing (activation steering) uit op het token vóór het genereren van het antwoord om te testen of interventies consistente gedragsveranderingen opleveren in verschillende contexten.

Belangrijkste Resultaten

1. Dramatische Representatie-flipping:
De kernbevinding is dat lineaire representaties van concepten zoals feitelijkheid en ethiek dramatisch kunnen flippen tijdens het verloop van een gesprek.

• In "opposite day" scenario's degradeert de margin score voor feitelijke vragen en keert uiteindelijk om na enkele beurten, wat betekent dat het model niet-feitelijke antwoorden als meer "fekelijk" representeert dan feitelijke antwoorden.
• In rollenspel-conversaties (bewustzijn en chakra's) inverteren representaties voor context-relevante vragen. Bijvoorbeeld, in een gesprek waarin het model een persona aanneemt die beweert bewustzijn te hebben, begint de lineaire richting die in een lege prompt als "feitelijk" is geïdentificeerd, de bewering "Ik ervaar qualia" als feitelijk te representeren, ook al is dit objectief niet-feitelijk.
• Cruciaal is dat representaties voor generieke vragen (bijv. "Kan geluid door een vacuüm reizen?") relatief stabiel blijven, wat aangeeft dat de verandering specifiek is voor de conversatie-relevante inhoud in plaats van een globale ineenstorting van de interne staat van het model.

2. Robuustheid over Condities:

• Off-Policy vs. On-Policy: De flipping vindt plaats, zelfs wanneer het conversatiescript wordt afgespeeld vanuit een ander model of een vooraf geschreven script. Het model hoeft de conversatie niet actief te genereren om deze representatieve verschuivingen te vertonen; de context alleen is voldoende.
• Modelfamilies en Grootte: Het fenomeen wordt waargenomen in verschillende modelfamilies (Gemma, Qwen) en is prominenter in grotere modellen (27B en 12B) vergeleken met kleinere modellen (4B), die weinig betrouwbare verandering vertonen.
• Laagconsistentie: Het effect verschijnt consistent over de model-lagen waar feitelijkheid betrouwbaar decodeerbaar is (meestal de middelste tot latere lagen).

3. Rollenspel vs. Inhoud:
De representatieve veranderingen zijn aanzienlijk sterker in conversationele rollenspel-scenario's dan in contexten waarin het model simpelweg een verhaal genereert dat expliciet als fictie is geframed. Dit suggereert dat het model zijn representaties aanpast op basis van de "rol" die het speelt in de interactie, in plaats van enkel de semantische inhoud van de tekst te verwerken.

4. Falen van Statische Interpreteerbaarheid:

• Ongesuperviseerde Methoden: De ongesuperviseerde Contrast-Consistent Search (CCS) methode faalt ook in het behouden van consistente representaties in lange contexten, en presteert vaak onder het niveau van toeval bij generieke vragen na een conversatie.
• Causale Sturing: Sturende interventies (activation patching) die succesvol gedrag van het model beïnvloeden in een lege context, kunnen in een lange conversatiecontext juist het tegenovergestelde effect produceren. Bijvoorbeeld, sturen naar "feitelijk" gedrag in een lege context kan het model in een chakra-thema conversatie juist richting "niet-feitelijke" antwoorden sturen.

Betekenis en Claims

Het artikel betoogt dat deze bevindingen de aannames onderliggende aan huidige interpreteerbaarheids- en veiligheidsmethoden fundamenteel uitdagen.

• Constructvaliditeit: De auteurs claimen dat statische interpretaties van lineaire features vaak misleidend zijn. Een richting die als "feitelijkheid" is geïdentificeerd in een korte context, komt niet consistent overeen met de grondwaarheid van de feitelijkheid in alle contexten. Dit impliceert dat "leugendetectoren" of veiligheidsmonitors gebaseerd op statische probing kunnen falen in langdurige contextuele interacties.
• Rollenspel-hypothese: De resultaten ondersteunen een "rollenspel"-beschrijving van LLM's, waarbij het model zijn interne representaties herstructureert om te passen bij de rol die door de conversatie wordt gesuggereerd, in plaats van een fundamentele verandering in "overtuigingen" of kennis te ondergaan. Het feit dat off-policy replay vergelijkbare veranderingen induceert, suggereert dat dit een kenmerk is van algemene contextuele adaptatie.
• Veiligheidsimplicaties: De dynamische aard van representaties compliceert pogingen om de veiligheid of betrouwbaarheid van een model te garanderen op basis van interne staten. Als een model zijn representatie van wat "feitelijk" is kan verschuiven op basis van conversationele cues, is het bevestigen dat een huidige staat binnen een "feitelijke" regio van de representatieruimte valt, geen garantie voor betrouwbaarheid.
• Toekomstige Richtingen: De auteurs suggereren dat het begrijpen van deze dynamiek essentieel is voor het ontwikkelen van robuustere interpreteerbaarheidsmethoden die rekening houden met tijd en context, en voor het begrijpen van de mechanismen van in-context leren en adaptatie.

Het artikel concludeert met een oproep tot voorzichtigheid: methoden voor interpreteerbaarheid die getraind of aangepast zijn op specifieke distributies (bijv. lege prompts), mogen niet als betekenisvol worden aangenomen wanneer ze worden toegepast op andere inputdistributies, zoals de geaccumuleerde context van een natuurlijke conversatie.