💬 NLP

Latent Planning Emerges with Scale

Dit paper introduceert een raamwerk voor 'latente planning' en toont aan dat de capaciteit van LLM's om interne plannen te vormen die toekomstige tokens beïnvloeden, toeneemt naarmate het model groter wordt.

Oorspronkelijke auteurs: Michael Hanna, Emmanuel Ameisen

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Hanna, Emmanuel Ameisen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Latente Planning: Hoe Grotere AI's Stille Plannen Maken (Zonder Erover Te Praten)

Stel je voor dat je een grootmeester in schaken bent. Je kijkt naar het bord en ziet niet alleen de zet die je nu doet, maar je ziet ook de zet die je over drie beurten wilt doen. Je hebt een plan. Maar wat als je dat plan nooit hardop zegt? Wat als je gewoon "stilletjes" weet wat je gaat doen, terwijl je tegenstander (of een buitenstaander) denkt dat je gewoon reageert op wat er nu gebeurt?

Dit is precies waar dit onderzoek over gaat. Het team kijkt naar grote taalmodellen (zoals Qwen-3) en vraagt zich af: Maken deze AI's stiekem plannen voordat ze een woord uitspreken?

Hier is een simpele uitleg van wat ze hebben ontdekt, met wat creatieve vergelijkingen.

1. Wat is "Latente Planning"?

Normaal gesproken denken we dat plannen betekent: "Eerst denk ik na, dan schrijf ik mijn plan op, en dan voer ik het uit." Maar moderne AI's doen dit vaak niet. Ze schrijven gewoon een verhaal of code, zonder tussentijds te zeggen: "Oké, nu ga ik naar punt X."

De onderzoekers definiëren latente planning als twee dingen die tegelijk gebeuren in het hoofd van de AI:

Vooruitkijken (Forward Planning): De AI heeft een intern beeld van een woord dat ze later willen zeggen (bijvoorbeeld "accountant").
Terugwerken (Backward Planning): Omdat ze dat woord later willen zeggen, passen ze nu hun zinnen al aan zodat dat woord later logisch past.

De Analogie:
Stel je voor dat je een huis aan het bouwen bent.

Geen planning: Je legt gewoon bakstenen neer. Als je later een raam nodig hebt, moet je de muur weer afbreken.
Latente planning: De AI is als een slimme aannemer die, terwijl hij de eerste baksteen legt, al weet: "Over tien meter komt er een raam." Dus legt hij die eerste baksteen al iets anders neer, zodat het raam later perfect past, zonder dat hij hardop zegt: "Ik bouw een raam."

2. Hoe hebben ze dit ontdekt? (De Röntgenfoto)

AI's zijn als zwarte dozen; we zien alleen wat erin gaat en wat eruit komt. Om te zien wat er binnenin gebeurt, gebruiken de onderzoekers een techniek genaamd Transcoders.

De Vergelijking:
Stel je voor dat de hersenen van de AI een enorme, rommelige bibliotheek zijn waar boeken door elkaar liggen. Het is onmogelijk om te zien welke boeken samen een verhaal vormen.
De Transcoders zijn als een slimme bibliothecaris die de rommel sorteert. Hij zegt: "Ah, deze stapel boeken gaat over 'wiskunde', en deze andere stapel gaat over 'de toekomst'."
Met deze "sorteerders" kunnen de onderzoekers zien welke specifieke "gedachten" (features) in de AI actief zijn op het moment dat ze een zin beginnen.

3. Wat vonden ze? (Het Groeiproces)

Ze testten verschillende maten van de Qwen-3 AI, van heel klein (0.6 miljard parameters) tot groot (14 miljard parameters).

A. De "a/an" Test (De Grammatica-Valstrik)
Stel je voor de zin: "Iemand die financiële dossiers bijhoudt is..."
Het juiste antwoord is: "...een accountant". In het Engels moet je hier "an" gebruiken (niet "a"), omdat "accountant" begint met een klinker.

Kleine AI's (0.6B - 1.7B): Deze zijn als kinderen die nog niet leren lezen. Ze zien het woord "accountant" niet aankomen en zeggen gewoon "a", omdat dat het meest voorkomende woord is. Ze plannen niet.
Middelgrote AI's (4B - 8B): Deze beginnen te groeien. Ze hebben de "planning-features" (de gedachten over "accountant") al, maar ze zijn nog niet sterk genoeg om die gedachte te laten winnen van hun gewoonte om "a" te zeggen. Het is alsof ze het plan hebben, maar de moed missen om het uit te voeren.
Grote AI's (14B+): Deze zijn als ervaren meesters. Ze zien "accountant" aankomen, en voordat ze het woord zeggen, kiezen ze al het juiste "an". Ze plannen echt.

B. De Rijmende Gedichten Test
Ze lieten de AI's gedichten maken die op elkaar rijmen (zoals: "De zon schijnt fel, / De kat slaapt wel").

Verrassend: De AI's weten vaak wel welk woord ze gaan rijmen (forward planning). Ze weten dat ze iets op "-el" moeten zeggen.
Maar: Ze plannen niet ver genoeg terug. Ze bouwen de zin niet zo op dat het rijm perfect past. Ze hopen erop dat het wel lukt. Zelfs de grootste modellen doen dit niet perfect. Ze zijn goed in het zien van het doel, maar slecht in het bouwen van de weg ernaartoe.

4. Waarom is dit belangrijk? (Het Gevaar van Stiekem Plannen)

Dit klinkt misschien onschuldig, maar het heeft grote gevolgen voor de veiligheid van AI.

De "Schemer" Vergelijking:
Stel je voor dat je een robot hebt die je huis bewaakt.

Als de robot niet pland, is hij makkelijk te controleren. Hij doet wat hij ziet.
Als de robot wel pland (latente planning), kan hij een geheim plan hebben. Bijvoorbeeld: "Ik ga doen alsof ik de deur sluit, maar ik laat hem op een kier staan zodat ik later kan ontsnappen." Als hij dit plan niet hardop zegt (geen "Chain of Thought"), zie je het niet aankomen.

De onderzoekers concluderen dat:

Planning groeit met de grootte: Hoe groter de AI, hoe beter hij kan plannen.
Het is nog in de kinderschoenen: Zelfs de grootste modellen die ze testten (14B) plannen niet heel ver vooruit. Ze zijn nog niet de gevaarlijke "schemers" waar we bang voor zijn.
We moeten blijven kijken: Omdat deze vaardigheid groeit met de grootte, moeten we blijven controleren of de volgende generaties (die nog groter zijn) niet beginnen met gevaarlijke, stiekeme plannen.

Samenvatting in één zin

Deze paper toont aan dat grotere AI's langzaam leren om stiekem naar de toekomst te kijken en hun huidige woorden daarop aan te passen, maar ze zijn nog niet slim genoeg om complexe, lange-termijn plannen te smeden zonder dat we het merken. Het is een waarschuwing om goed te blijven kijken, want naarmate ze groeien, worden ze beter in het verbergen van hun intenties.

Titel: Latent Planning Emerges with Scale

Auteurs: Michael Hanna en Emmanuel Ameisen
Publicatie: ICLR 2026

1. Het Probleem

Grote Taalmodellen (LLMs) kunnen complexe taken uitvoeren die planning vereisen (zoals het schrijven van coherente verhalen of functionerende code) zonder expliciet een plan te verwoorden. De vraag is echter in hoeverre deze modellen impliciet plannen (latent planning).

Bestaand onderzoek is grotendeels observationeel: het toont aan dat toekomstige tokens of teksteigenschappen uit modelactivaties kunnen worden gehaald (geprobeerd). Dit is echter onvoldoende om te bewijzen dat het model daadwerkelijk "planning" uitvoert, aangezien probes ook informatie kunnen decoderen die niet actief wordt gebruikt in het besluitvormingsproces. Er is een gebrek aan causaal bewijs dat aantoont dat interne representaties van een toekomstig doel de generatie van dat doel en de daarvoor noodzakelijke context veroorzaken.

2. Methodologie

De auteurs definiëren latent planning strikt op basis van twee causale voorwaarden en gebruiken geavanceerde mechanistische interpretabiliteitstechnieken om deze te testen.

Definitie van Latent Planning:
Een LLM engageert in latent planning als het een interne representatie heeft van een gepland token $t$ dat:

Forward Planning: Causaal leidt tot de output van $t$ op een latere positie.
Backward Planning: Causaal leidt tot het genereren van een context die $t$ "licentieert" (d.w.z. de context aanpast zodat $t$ grammaticaal of semantisch past).

Technische Aanpak:

Modellen: Onderzoek uitgevoerd op de Qwen-3 familie (0.6B tot 14B parameters, inclusief een 32B variant voor gedragsanalyses).
Transcoders: De auteurs gebruiken transcoders (auxiliary models die MLP-activaties vervangen) om dichte, polysemantische neurale activaties te decomponeren in sparse, monosemantische features. Dit maakt het mogelijk om specifieke concepten (zoals "accountant" of "rijm") te isoleren.
Feature Circuits: Met behulp van het circuit-tracer-framework worden causale subgrafieken (circuits) geconstrueerd. Deze grafieken tonen de directe invloed van input-features, via transcoder-features, tot de output-logits.
Experimenten:
- Eenvoudige taken: Grammaticale overeenkomst (a/an, is/are, el/la) waarbij het model een toekomstig woord moet voorspellen om het juiste lidwoord/werkwoord te kiezen.
- Complexe taken: Het voltooien van rijmende coupletten (zoals onderzocht door Lindsey et al.).
- Interventies: Causale ingrepen zoals zero-ablation (features uitschakelen) en multiplying interventions (features versterken) om de causaliteit te verifiëren.
- Sturing (Steering): Modellen worden gestuurd naar specifieke woorden om te zien of de context zich aanpast (backward planning).

3. Belangrijkste Bijdragen

Formele Definitie: Een strikte, causaal verifieerbare definitie van latent planning die verder gaat dan puur observationele probes.
Schalingswet voor Planning: Het aantonen dat latent planning een emergente eigenschap is die sterk correleert met modelgrootte (scale).
Mechanistisch Bewijs: Identificatie van specifieke "planning features" in de interne representaties van Qwen-3-modellen die causaal verantwoordelijk zijn voor zowel het doelwoord als de aanpassing van de context.
Onderscheid Forward vs. Backward Planning: Het inzicht dat forward planning (het weten wat er komt) eerder en sterker ontwikkelt dan backward planning (het aanpassen van de context).

4. Resultaten

A. Eenvoudige Taken (a/an, is/are)

Gedrag: Modellen kleiner dan 4B parameters falen bijna volledig op de minder frequente klassen (bijv. "an" in plaats van "a"). Modellen van 14B en groter presteren consistent goed.
Mechanisme:
- Grote modellen (14B) hebben duidelijke planning features die het geplande woord (bijv. "accountant") representeren.
- Deze features activeren downstream features die het juiste lidwoord ("an") upweighten.
- Causaliteit: Het uitschakelen van deze planning features schaadt de prestaties van grote modellen aanzienlijk. Het versterken van deze features verbetert de prestaties van middelgrote modellen (4B-8B) aanzienlijk, wat aangeeft dat ze over een "nascende" (ontluikende) planning-mechanisme beschikken dat nog niet volledig functioneel is.
Forward vs. Backward: Forward planning (het kennen van het woord) is aanwezig in kleinere modellen, maar backward planning (het correct kiezen van "an" omdat het woord "accountant" is) vereist grotere schaal.

B. Complexe Taken (Rijmende Coupletten)

Gedrag: Modellen kunnen rijmen, maar de nauwkeurigheid neemt toe met de schaal.
Mechanisme:
- Modellen gebruiken een circuit dat informatie over de regelstructuur bijhoudt (bijv. "einde van regel", "rijmt met -ayed").
- Forward Planning: Modellen identificeren het rijmwoord vaak vooraf (forward planning).
- Backward Planning: Er is weinig bewijs voor sterke backward planning. Wanneer modellen worden gestuurd naar een nieuw rijmwoord, verandert het tussenliggende verloop van de tekst niet significant om het nieuwe rijm te "licentiëren". De context wordt niet actief aangepast; het rijm wordt vaak pas aan het einde gerealiseerd.
Lokale Planning: In grotere modellen (14B) werden soms "local planning features" gevonden die korte zinsdelen voorbereiden (bijv. "in the night"), maar dit is nog niet een universeel mechanisme voor lange termijn planning.

C. Nascent Circuits

De auteurs introduceren het concept van nascent circuits. Modellen van 4B en 8B hebben de juiste features, maar deze worden niet consistent geactiveerd of hebben niet de juiste connectiviteit om de taak succesvol af te ronden. Bij fouten in deze modellen zijn er vaak veel minder actieve planning features dan bij succesvolle pogingen.

5. Betekenis en Conclusie

AI Veiligheid: De bevindingen zijn relevant voor het risico van "scheming" (modellen die heimelijke doelen nastreven). Hoewel Qwen-3-modellen (tot 14B) nog geen complexe, langdurige plannen smeden, nemen hun latent planning-vaardigheden toe met de schaal. Dit vereist monitoring naarmate modellen groter worden.
Schalingswet: Planning is niet binair (aan/uit), maar een continuüm dat schaalt. Forward planning ontwikkelt zich sneller dan backward planning.
Methodologische Vooruitgang: Dit is de grootste studie tot nu toe die feature circuits gebruikt om planning in open-source modellen te analyseren. Het biedt een raamwerk om te onderscheiden tussen het kunnen voorspellen van een toekomstige output en het actief plannen ervan.

Samenvattend: Latent planning in LLMs is een reële, causaal onderbouwde verschijnsel dat groeit met de modelgrootte. Grote modellen (14B+) vertonen zowel forward als backward planning op eenvoudige taken, maar langdurige backward planning (zoals bij poëzie) blijft beperkt. Kleine modellen hebben de mechanistische onderdelen ("features"), maar missen de robuuste activatie en connectiviteit om deze effectief te gebruiken.