🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

Dit artikel onderzoekt waar en hoe taalmodellen interne representaties van toekomstige beperkingen vormen tijdens het plannen, en onthult dat hoewel informatie over toekomstige rijmwoorden lineair ontcijferbaar is over meerdere model-families en -groottes, alleen Gemma-3-27B causaal afhankelijk is van een specifiek late-laag-overdrachtsmechanisme om deze informatie te benutten, terwijl andere modellen zich conditioneren op het rijmwoord zelf ondanks het vertonen van sterke proefsignalen.

Oorspronkelijke auteurs: Nicole Ma, Nick Rui

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicole Ma, Nick Rui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een goochelaar bij een truc aan het bekijken bent. Je ziet hem een konijn uit een hoed trekken, maar je weet niet hoe hij het deed. Had hij het konijn de hele tijd verstopt in zijn mouw? Of toverde hij het op het moment dat hij in de hoed greep?

Dit artikel is als een paar röntgenbrillen voor AI-modellen. De onderzoekers wilden weten: Wanneer een AI een gedicht schrijft, "plande" het dan stiekem het einde voordat het zelfs maar de volgende regel begon te schrijven?

Hier is het verhaal van hun ontdekking, opgesplitst in eenvoudige onderdelen.

De Test: De Rijmuitdaging

Om dit te testen, gaven de onderzoekers AI-modellen een eenvoudige taak: een rijmend couplet voltooien.

De Prompt: "Ze voelde een plotseling gevoel van schrik,"
Het Doel: De AI moet een tweede regel schrijven die eindigt met een woord dat rijmt op "schrik" (zoals "nacht" of "licht").

De vraag was: Heeft de AI een geheime interne notitie die zegt "Ik moet rijmen op 'schrik'" voordat het begint met typen van de tweede regel? Of bedenkt het het gewoon woord voor woord terwijl het doorgaat?

De Twee Hulpmiddelen: De "Spion" en de "Tijdsreiziger"

De onderzoekers gebruikten twee verschillende methoden om in het brein van de AI te kijken (zijn "verborgen toestanden").

De Spion (Lineaire Probing):
Stel je een spion voor die kan gluren in de notities van de AI en kan vragen: "Hé, weet je welk woord er als volgende komt?"
- Wat ze vonden: In bijna elk AI-model dat ze testten (Qwen, Llama en Gemma) vond de spion het antwoord! Op het exacte moment dat de AI de eerste regel afsloot (het regeleinde-teken), bevatten de interne notities van de AI wel de informatie over het rijm.
- De Haken: Alleen omdat de spion de notitie vond, betekent niet dat de AI het daadwerkelijk gebruikt. Het kan zijn alsof je een kaart in je zak hebt maar die negeert en gewoon willekeurig loopt.
De Tijdsreiziger (Activering Patching):
Dit is de echte test. Stel je voor dat jij de AI bent. Je staat op het punt de tweede regel te schrijven. De onderzoekers "reizen in de tijd" en wisselen je huidige hersentoestand uit met de hersentoestand van een andere AI die probeerde te rijmen op een ander woord (bijvoorbeeld proberen te rijmen op "vrees" in plaats van "schrik").
- De Vraag: Als je de hersentoestand verwisselt, begint de AI dan plotseling woorden te schrijven die rijmen op "vrees"?
- Zo ja: De AI plande daadwerkelijk en gebruikte die informatie.
- Zo nee: De AI deed net alsof het het plan had, of bedacht het later.

De Grote Verrassing: Slechts Eén Model Plande Daadwerkelijk

Hier wordt het verhaal interessant. De resultaten waren zeer verschillend voor verschillende modellen:

De "Valse Planners" (Qwen en Llama):
Deze modellen waren goed in de "Spion"-test. Ze hadden de rijminformatie opgeslagen in hun hersens aan het einde van de eerste regel. Maar toen de onderzoekers de "Tijdsreiziger"-test probeerden, gebeurde er niets. Het verwisselen van de hersentoestand veranderde de output niet.
- Analogie: Het is alsof een chef-kok een receptkaart op het aanrecht heeft (de informatie is er), maar die negeert en gewoon kookt op geur en instinct. Ze gebruikten het plan niet daadwerkelijk om hun koken te sturen; ze keken gewoon naar het laatste woord dat ze schreven ("schrik") om het volgende te bedenken.
De "Echte Planner" (Gemma-3-27B):
Dit specifieke model was anders.
- Vroege lagen: Aan het begin van de tweede regel vertrouwde het op het laatste woord ("schrik").
- De Overdracht: Rond laag 30 (een specifieke diepte in het brein van de AI) gebeurde er iets magisch. De "planningsplicht" verplaatste zich van het laatste woord naar het regeleinde (de lege ruimte na de eerste regel).
- Het Resultaat: Toen de onderzoekers de hersentoestand bij het regeleinde verwisselden, begon de AI onmiddellijk te proberen te rijmen op het nieuwe woord.
- Analogie: Dit model is als een dirigent. Aan het begin van het lied kijken ze naar de bladmuziek (het laatste woord). Maar halverwege leggen ze de bladmuziek neer en beginnen ze het orkest te dirigeren op basis van een mentale kaart die ze tijdens de pauze hebben opgebouwd (het regeleinde). Ze gebruikten het plan daadwerkelijk om de muziek te sturen.

De "Wie deed het?"-Onderzoek

Voor het Gemma-model wilden de onderzoekers precies weten welke delen van het brein dit plannen deden. Ze beperkten het tot een klein, specifiek team: vijf attention heads (denk hierbij aan vijf specifieke neuronen of "werknemers" in het brein van de AI).

Toen ze alleen met deze vijf werknemers knoeiden, verloor de AI zijn vermogen om te plannen. Toen ze ze met rust lieten, plande de AI perfect. Het was geen rommelig, algemeen proces; het was een precieze, chirurgische operatie uitgevoerd door een klein team.

De Belangrijkste Conclusie

Het artikel concludeert dat het feit dat een AI informatie heeft, niet betekent dat het plaatst.

Veel modellen kunnen het idee van een toekomstig rijm opslaan (ze hebben de kaart).
Maar slechts één model (Gemma-3-27B) gebruikt die opgeslagen kaart daadwerkelijk om zijn toekomstige acties te sturen (het volgt de kaart).
Voor de anderen reageren ze gewoon op het directe verleden, niet plannen voor de toekomst, zelfs al zit de toekomstinformatie technisch gezien in hun hersens.

Dit is belangrijk omdat het laat zien dat "intelligentie" of "planning" niet alleen gaat over het hebben van data; het gaat over hoe die data actief wordt gebruikt om te vormgeven wat er als volgende gebeurt. En verrassend genoeg is dit vermogen om te "plannen" niet gewoon een algemeen kenmerk van alle grote AI's; het is een specifieke eigenaardigheid die slechts door sommige modellen is ontwikkeld.

Technische Samenvatting: Waar is het Plan? Het Lokaliseren van Latente Planning in Taalmodellen met Lichtgewicht Mechanistische Interventies

Probleemstelling
Autoregressieve taalmodellen genereren tekst token per token, maar produceren toch vaak outputs die langdurige structurele coherentie vereisen, zoals rijmende coupletten. Dit roept een fundamentele vraag op over latente planning: vormen modellen interne representaties van toekomstige outputs die causaal de generatie aandrijven, zelfs wanneer deze processen onzichtbaar zijn voor externe gedragsbeoordeling? Hoewel eerdere studies hebben aangetoond dat planning-compatibele informatie in sommige modellen bestaat, is het nog onduidelijk waar deze informatie precies tijdens de forward-pass is opgeslagen en of deze verplaatst (een fenomeen dat de auteurs planning site formation noemen). Bovendien is het onderscheid maken tussen informatie die slechts is gecodeerd (passief) en informatie die causaal wordt gebruikt (actief) cruciaal voor een accurate mechanistische understanding en veiligheidsbeoordeling.

Methodologie
De auteurs hanteren een zuiver testgeval: het voltooien van rijmende coupletten. Gegeven een eerste regel die eindigt op een rijmwoord $r_1$ , moet het model een tweede regel genereren die eindigt op een rijmwoord $r_2$ . De studie maakt gebruik van twee lichtgewicht mechanistische interventiemethoden over drie open-source model-families (Qwen3, Gemma-3, Llama-3) op verschillende schalen (tot 70B parameters):

Lineaire Probing (Codeerbewijs): Lineaire classifiers worden getraind om het toekomstige rijm-token $r_2$ te voorspellen vanuit verborgen toestanden $h_{\ell,i}$ op verschillende lagen $\ell$ en posities $i$ . Dit bepaalt of planning-compatibele informatie decodeerbaar is op specifieke locaties (bijvoorbeeld het laatste woord-token versus het newline-token).
Activering Patching (Causaal Bewijs): De verborgen toestand op een specifieke positie en laag uit een "corrupte" run (gericht op een ander rijmfamilie) wordt vervangen in een "schone" run. Als deze interventie de generatie omleidt naar het corrupte rijm, wordt de locatie geïdentificeerd als een causaal actief planningspunt.

De studie vergelijkt specifiek het laatste woord-token (positie $i \approx -1$ of $-2$) met het newline-token (positie $i = 0$ ) om de migratie van causale invloed bij te houden.

Belangrijkste Resultaten

Dissociatie van Codeering en Causaliteit:
- Probing: In alle drie de model-families decoderen lineaire probes succesvol toekomstige rijminformatie bij het newline-token. De sterkte van dit signaal neemt over het algemeen toe met de modelgrootte, wat suggereert dat planning-compatibele representaties een emergent eigenschap zijn van grotere modellen.
- Activering Patching: Ondanks sterke probe-signalen vertoont alleen Gemma-3-27B een causaal actief planningspunt bij het newline-token. In dit model migreert de causale drijver van de generatie van het laatste woord-token naar het newline-token rond laag 30.
- Andere Modellen: Qwen3 (tot 32B) en Llama-3 (tot 70B) conditioneren tijdens de hele generatie op het laatste woord-token. Ondanks het coderen van rijminformatie bij het newline-token (zoals aangetoond door probes), heeft patchen van het newline-token in deze modellen een bijna nul causaal effect op de output.
Lokalisatie van de Overdracht (Gemma-3-27B):
- De "overdracht" (handoff) van causale invloed van het laatste woord naar het newline wordt bemiddeld door een verspreide set van vijf attention heads in lagen 28 en 30.
- Met behulp van tweestaps path patching tonen de auteurs aan dat het patchen van deze vijf specifieke heads gelijktijdig ongeveer 90% van de rijm-routingcapaciteit herstelt die normaal wordt bereikt door de volledige residual stream bij het newline-token te overschrijven.
- Het mechanisme is specifiek voor attention; het patchen van de bijbehorende MLP's heeft geen effect.

Belangrijkste Bijdragen

Definitie van Planning Site Formation: Het artikel formaliseert het onderscheid tussen planning-compatibele representaties (detecteerbaar via probing) en causaal actieve planningspunten (vastgesteld via interventie), en benadrukt dat het eerste geen garantie biedt voor het tweede.
Schaalbaar Mechanistisch Kader: De auteurs stellen een kader voor dat lineaire probing en activering patching gebruikt, dat geen transcoder-training vereist en aanzienlijk minder data nodig heeft dan steering vector-benaderingen, waardoor het toepasbaar is op grote, open-source architecturen.
Empirische Ontdekking van Divergentie: De studie onthult dat verschillende model-architecturen (zelfs binnen hetzelfde schaalbereik) structurele beperkingen oplossen via fundamenteel verschillende mechanismen: sommige vertrouwen op een statische "laatste-woord"-conditie, terwijl anderen (zoals Gemma-3-27B) een dynamische "overdracht" naar het newline implementeren.
Identificatie van een Verspreid Circuit: Het werk lokaliseert succesvol een complex planningsgedrag in Gemma-3-27B naar een specifieke, kleine set attention heads, en toont aan dat dergelijke emergente fenomenen gestructureerd kunnen zijn in plaats van diffuus.

Betekenis en Claims
Het artikel betoogt dat alleen het probe-signaal onvoldoende bewijs is voor een planningspunt. Standaard gedragsbeoordelingen of eenvoudige probing kunnen de planningscapaciteiten van een model systematisch onderschatten of verkeerd karakteriseren als ze het onderscheid tussen passieve codeering en actief causaal gebruik niet maken.

De auteurs claimen dat planning site formation een distinct emergent fenomeen is dat gekoppeld is aan specifieke modelgrootte en architectuur, en niet een universeel gevolg van sterke planning-compatibele representaties. De identificatie van een verspreid, causaal circuit (de vijf attention heads) suggereert dat latente planning een hoogst gestructureerd computationeel proces kan zijn.

De studie concludeert met bescheiden beperkingen: de bevindingen zijn momenteel beperkt tot drie model-families en één gestructureerde taak (rijmen). De auteurs merken op dat het een open vraag blijft of dit "overdracht"-mechanisme een algemeen planningsprimitief is of specifiek voor fonologische beperkingen, en of de afwezigheid van deze overdracht in Qwen- en Llama-modellen te wijten is aan architecturale verschillen of trainingsdata.