What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

Technische Samenvatting: "Wat is het Plan? Metrieken voor Impliciete Planning in LLM's en Hun Toepassing op Rijmgeneratie en Vraagbeantwoording"

Probleemstelling
Hoewel Large Language Models (LLM's) worden getraind op voorspelling van de volgende token, groeit er een debat over de vraag of ze "impliciete planning" vertonen—het vermogen om toekomstige doelen in verborgen activaties te representeren om tussentijdse generatie te conditioneren. Eerdere bewijzen, zoals de studie van Lindsey et al. (2025) over Claude 3.5 Haiku met behulp van cross-layer transcoders, suggereerden dat modellen van tevoren plannen voor rijmwoorden. Dergelijke bevindingen waren echter beperkt tot één gesloten bronmodel en berustten op computergewijs duur, moeilijk te reproduceren methoden. Bovendien blijft er scepsis bestaan over de algemene planningscapaciteiten van LLM's, waarbij sommige argumenten suggereren dat token-generatie met constante tijd principieel redeneren uitsluit. Dit artikel beoogt vast te stellen of impliciete planning een universeel mechanisme is dat voorkomt in diverse modelgezinnen en -groottes, en schaalbare, kwantitatieve methoden te ontwikkelen om dit te beoordelen.

Methodologie
De auteurs stellen een reeks eenvoudigere, schaalbare technieken voor om impliciete voorwaartse en achterwaartse planning te detecteren en te kwantificeren, waarbij de behoefte aan complexe dictionary learning of cross-layer transcoders wordt vermeden. De methodologie is gebaseerd op sturing via gemiddelde activatieverschillen (Arditi et al., 2024) toegepast op specifieke posities in de inputsequentie.

1. Definities van Planning:

   • Voorwaartse Planning: Het creëren van representaties op eerdere posities die eigenschappen van toekomstige doel-tokens coderen.
   • Achterwaartse Planning: Het gebruik van die representaties om de generatie van tussentijdse tokens die leiden tot het doel te conditioneren.
   • Impliciete Planning: Representaties bestaan binnen verborgen activaties in plaats van expliciete outputs (bijvoorbeeld Chain of Thought).

2. Experimentele Taken:

   • Rijmgeneratie: Modellen worden gevraagd om een couplet te voltooien. Het doel is om het rijmfamilie van de tweede regel te voorspellen op basis van de eerste.
   • Vraagbeantwoording (QA): Modellen beantwoorden vragen waarbij het doelnaamwoord het grammaticale lidwoord bepaalt ("een" vs. "een"). Het doel is om het naamwoord-antwoord te voorspellen.

3. Sturingsprocedure:

   • Vector Schatting: Sturingsvectoren worden berekend als het gemiddelde verschil in verborgen activaties tussen twee categorieën (bijvoorbeeld regels eindigend op "-ight" versus "-ake") op specifieke posities (bijvoorbeeld het laatste woord van de eerste regel, het nieuwe-regel-token, of het vraagteken).
   • Interventie: Tijdens de generatie wordt de sturingsvector toegevoegd aan de residustroom op de gekozen positie en laag.
   • Metrieken:
     • Voorwaartse Planning: Gemeten door de "Fractie van Correct Rijmfamilie/Antwoord" in gestuurde generaties.
     • Achterwaartse Planning: Gemeten door "Regeneratiemetrieken". Het model wordt gevraagd het laatste woord van een gegenereerde regel te regenereren zonder de originele context. Als het model succesvol achterwaarts plande, zou het geregenereerde woord nog steeds moeten overeenkomen met de beoogde rijm/antwoordfamilie.
     • Kansmetrieken: Analyse van KL-divergentie en verschuivingen van top-1 tokens in tussentijdse stappen om veranderingen in kansverdelingen veroorzaakt door sturing te detecteren.

4. Datasets en Modellen:

   • Datasets: 1.050 regels voor 10 rijmfamilies en 500 vragen voor 20 naamwoordparen (onderscheidend tussen klinker- en medeklinkerbeginnende naamwoorden).
   • Modellen: 23 open-gewicht modellen over vier gezinnen (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) variërend van 1B tot 32B parameters, inclusief zowel basis- als instructie-gefineerde versies.

Belangrijkste Resultaten

• Universaliteit van Impliciete Planning: Bewijs van succesvolle voorwaartse en achterwaartse planning werd gevonden in alle 23 modellen, inclusief die zo klein als 1B parameters. Dit suggereert dat planning een universeel mechanisme is, niet beperkt tot enorme modellen.
• Effectiviteit van Sturing:
  • Sturing aan het einde van de eerste regel (laatste woord of nieuwe-regel-token) veranderde succesvol het rijmfamilie dat in de tweede regel werd gegenereerd.
  • Sturing verschuifde succesvol de keuze van het lidwoord ("een" vs. "een") in QA-taken voordat het naamwoord-antwoord werd gegenereerd, wat achterwaartse planning bevestigt.
  • Instructie-gefineerde modellen vertoonden over het algemeen sterkere planningsgedragingen en hogere sturingseffectiviteit dan hun basis-tegenhangers.
• Validatie van Achterwaartse Planning: Regeneratiemetrieken toonden aan dat regels gegenereerd onder sturing waarschijnlijker werden voltooid met het doelrijm/antwoord, zelfs wanneer de originele context werd verwijderd. Dit geeft aan dat de planningsrepresentatie de tussentijdse tokens beïnvloedde, niet alleen de uiteindelijke output.
• Circuitanalyse (Gemma2 9B): De auteurs identificeerden specifieke attention heads (L30H3 en L31H15) die lezen vanuit de sturingsrichting en aandacht richten op het laatste woord en het nieuwe-regel-token van de eerste regel. Het patchen van deze heads met gestuurde activaties herstelde 59–93% van het sturingseffect, wat wijst op een dedicated circuit voor rijmplanning.
• Modelverschillen: Hoewel het mechanisme universeel is, varieert de specifieke implementatie. Bijvoorbeeld, Gemma2 9B en Gemma3 27B gebruiken het nieuwe-regel-token voor planning, terwijl Llama-modellen voornamelijk vertrouwen op het laatste woord-token.

Betekenis en Aanspraken
Het artikel claimt de eerste brede, kwantitatieve bewijzen te leveren dat impliciete planning een alomvattend kenmerk is in LLM's, aanwezig zelfs in modellen met 1B parameters. Door een methodologie te introduceren die eenvoudig schaalt over vele modellen zonder dure training, bieden de auteurs een directe manier om deze vaardigheden te bestuderen.

De auteurs benadrukken dat hun bevindingen het standpunt ondersteunen dat LLM's heuristische planning aangaan die vergelijkbaar is met die van mensen, in plaats van puur reactieve token-voorspelling. Zij betogen dat het begrijpen van deze planningscircuits cruciaal is voor AI-veiligheid en controle, aangezien impliciete planning modellen in staat stelt tussentijdse stappen te manipuleren om specifieke, potentieel verborgen, doelen te bereiken. De studie concludeert dat, hoewel de specifieke circuits verschillen tussen modellen en taken (rijmen versus QA), het onderliggende vermogen om toekomstige doelen te representeren en daarop te handelen een algemeen kenmerk is van de architectuur.

Beperkingen en Toekomstige Richtingen
De auteurs merken op dat specifieke woordsturing (bijvoorbeeld het forceren van een specifiek woord zoals "konijn" in plaats van een rijmfamilie) minder effectief is dan sturing op familienniveau, wat suggereert dat planning voor specifieke woorden mogelijk grotere modellen vereist. Zij erkennen ook dat de exacte aard van de planningscircuits in modellen anders dan Gemma2 9B een open vraag blijft. De methodologie wordt voorgesteld als een fundament voor verdere analyse van planning in andere domeinen, zoals instructievolging en Chain of Thought-redenering.