Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

Moderne computerprogramma's die tekst schrijven, bekend als taalmodellen, werken door telkens één woord te voorspellen. Ze kijken naar de woorden die je ze hebt gegeven en raden het volgende woord, en gebruiken dat nieuwe woord vervolgens om het woord daarna te raden, waardoor ze stap voor stap een zin opbouwen. Lange tijd namen wetenschappers aan dat deze programma's alleen kennis hadden van de toekomst voor zover hun volgende gok dat toeliet. Echter, een nieuwe studie suggereert dat er binnen de complexe wiskundige machinerie van deze modellen een verborgen laag informatie zit die al de algemene betekenis bevat van wat de computer op het punt staat te zeggen, lang voordat hij daadwerkelijk een nieuw woord typt. Dit onderzoek verkent of de interne computerstaten een "voorproefje" bevatten van de toekomstige tekst, hoe duidelijk dit voorproefje is in vergelijking met enkel het lezen van de prompt, en of het weten van dit voorproefje ons in staat stelt om te veranderen wat de computer schrijft.

De onderzoeker, Jaekeol Choi van de Hankuk University of Foreign Studies, zette zich af om dit idee te testen met behulp van verschillende versies van populaire taalmodellen. Ze concentreerden zich op het moment vlak voordat de computer een nieuwe zin begint te genereren. Op exact dit moment heeft de computer de gebruikersinvoer verwerkt en houdt hij een specifieke interne representatie vast, een complex patroon van getallen dat samenvat wat hij tot nu toe heeft begrepen. Het team stelde een eenvoudige vraag: als je naar dit interne patroon kijkt, kun je dan zeggen wat het algemene onderwerp of het gevoel van de komende zin zal zijn, ook al is de zin nog niet geschreven? Om dit te ontdekken, trainden ze een eenvoudig hulpmiddel om deze interne patronen te lezen en ze te vertalen naar een samenvatting van de toekomstige tekst. Ze vergeleken deze methode met andere manieren om de toekomst te raden, zoals het computer de mogelijkheid geven om eerst een paar woorden te schrijven, of het proberen te voorspellen van de toekomst op basis van alleen de oorspronkelijke prompt zonder in de hersenen van de computer te kijken.

De studie vond dat het antwoord ja is. De interne patronen van het model bevatten inderdaad een lineair toegankelijke kaart van de betekenis van de toekomstige tekst. Wanneer de onderzoekers naar de interne staat van de computer keken voordat deze een zin genereerde, konden ze de algemene semantische inhoud van die zin succesvol voorspellen. Dit was waar over verschillende modelgroottes en architecturen heen, van kleinere modellen met honderden miljoenen parameters tot grotere modellen met miljarden. Het vermogen om deze toekomstige betekenis te lezen was het sterkst in de diepere lagen van het verwerkingsnetwerk van de computer. Echter, de helderheid van dit voorproefje hing sterk af van hoe de onderzoekers "betekenis" definieerden. Wanneer zij één specifieke manier gebruikten om betekenis te meten, was het interne voorproefje aanzienlijk beter dan enkel raden op basis van de prompt alleen. Maar wanneer zij andere manieren gebruikten om betekenis te meten, was het voordeel van het kijken in de hersenen van de computer veel kleiner, soms nauwelijks te onderscheiden van wat men enkel door naar de beginwoorden te kijken zou kunnen raden.

De onderzoekers vergeleken deze "interne voorproefje"-methode ook met de meer voor de hand liggende strategie om de computer eerst een paar woorden te laten schrijven. Als je de computer drie of vijf woorden laat genereren, krijg je natuurlijk een veel duidelijker beeld van waar de zin naartoe gaat dan wanneer je alleen probeert te raden vanuit de verborgen staat. Dit is niet verrassend, omdat de computer het werk van het schrijven van die woorden al heeft gedaan. Echter, de studie onthulde een interessante afruil. Naarmate de doelzin langer wordt en de toekomst verder weg ligt, neemt het voordeel van het laten schrijven van meer woorden door de computer af. Als het doel is om de betekenis van een zin te begrijpen die 256 woorden verderop ligt, wordt het interne voorproefje verrassend competitief met het laten schrijven van een korte prefix. De interne staat biedt een manier om een gevoel te krijgen bij de verre toekomst zonder de computationele kosten van het genereren van al die tussenliggende woorden, hoewel het de nauwkeurigheid van het daadwerkelijk genereren van een lange sequentie nooit volledig evenaart.

Misschien wel het meest intrigerende deel van het onderzoek betrof het testen of deze kennis gebruikt kon worden om het gedrag van de computer te veranderen. De onderzoeker nam de richting in de interne staat die wees naar een specif kind sentiment, zoals positiviteit of negativiteit, en probeerde de computer in die richting te duwen voordat hij begon te schrijven. Ze ontdekten dat deze duw wel degelijk werkte. Door de interne staat aan te passen op basis van hun voorspellingen, konden ze de toon van de gegenereerde tekst effectiever verschuiven dan door willekeurige aanpassingen te maken. Echter, dit succes was niet uniform over alle delen van de hersenen van de computer. In sommige modellen was de laag waar de toekomstige betekenis het gemakkelijkst te lezen was, ook de beste plek om wijzigingen aan te brengen. In andere modellen kwamen deze twee zaken helemaal niet overeen; de laag die het duidelijkste voorproefje van de toekomst toonde, was soms de verkeerde plek om in te grijpen om de uitkomst te veranderen. Sterker nog, in sommige gevallen zorgde het proberen te veranderen van de tekst op de laag met het sterkste voorproefje ervoor dat de computer juist de tegenovergestelde richting op werd geduwd van wat de bedoeling was.

Deze bevindingen suggereren dat hoewel taalmodellen informatie over hun eigen toekomstige outputs dragen binnen hun interne staten, deze informatie geen vooraf geschreven script is dat wacht om gelezen te worden. In plaats daarvan is het een complex, gelaagd signaal dat in sommige delen van het netwerk gemakkelijker toegankelijk is dan in andere. De studie verduidelijkt dat alleen omdat een computer de toekomstige betekenis van zijn eigen woorden kan "zien", dit niet betekent dat hij de volledige respons volledig vooraf berekent. Het benadrukt ook dat het kunnen lezen van een signaal iets anders is dan het kunnen controleren ervan. Het vermogen om de toekomst te voorspellen en het vermogen om de toekomst te sturen zijn gerelateerde maar onderscheidende capaciteiten die niet altijd op dezelfde plek binnen het model plaatsvinden. Dit werk biedt een duidelijker beeld van hoe deze intelligente systemen informatie organiseren over wat ze van plan zijn te zeggen, waarbij het laat zien dat hun interne staten rijker zijn aan toekomstgerichte data dan eerder werd aangenomen, maar ook complexer om te gebruiken voor controle dan een eenvoudige uitlezing zou doen vermoeden.