💬 NLP

A Shared Subcircuit Lets LLMs Count Down Across Tasks

Dit artikel identificeert een gedeelde "countdown subcircuit" in Llama-3.1-70B-Instruct dat taalmodellen in staat stelt om resterende tokens over diverse taken heen bij te houden, wat een generaliseerbaar mechanisme onthult voor het schatten van de tijd-tot-doel die overdraagbaar is naar verschillende modellen en contexten.

Oorspronkelijke auteurs: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spel speelt waarbij je een zin moet schrijven, maar er is een strikte regel: de zin moet precies 10 woorden lang zijn, en het allerlaatste woord moet "telescope" zijn. Als je 9 woorden schrijft, verlies je. Als je er 11 schrijft, verlies je.

Lama tijd dachten we dat Large Language Models (LLM's) — de superintelligente AI-hersenen achter chatbots — deze taken gewoon door te gokken volbrachten. Maar een nieuwe studie suggereert dat er binnen de machine iets veel organisatorscher gebeurt. De onderzoekers ontdekten dat de AI beschikt over een kleine, gespecialiseerde "countdown subcircuit" die werkt als een ingebouwde stopwatch, die aftelt naar de resterende woorden totdat het de finishlijn bereikt.

De Verborgen Stopwatch

De onderzoekers begonnen een specifiek model, Llama-3.1-70B-Instruct, aan te sturen om zinnen van een vaste lengte te schrijven. Ze wilden weten hoe het model wist wanneer het moest stoppen. Door in de "hersenen" van het model te kijken (specifiek naar hoe het informatie laag voor laag verwerkt), ontdekten ze een specifieke groep van drie attention heads (denk hierbij aan kleine, gespecialiseerde werkers) in laag 18 die verantwoordelijk zijn voor deze countdown.

Deze drie werkers — gelabeld als L18H24, L18H28 en L18H30 — gokken niet zomaar. Ze meten daadwerkelijk de afstand tussen waar de zin nu is en waar deze moet eindigen.

Eén werker wordt vroeg in de zin actief.
Een andere komt in actie tijdens het middenstuk.
De derde wordt geactiveerd vlak aan het einde.

Samen creëren ze een vloeiend "countdown"-signaal dat sterker en sterker wordt naarmate het model dichter bij het doel aantal woorden komt. Het is alsof er drie verschillende wekkers zijn ingesteld om op verschillende momenten af te gaan, zodat het model precies weet hoeveel tijd (of in dit geval, hoeveel woorden) het nog heeft.

De Magie van "Impliciet" Tellen

Hier wordt het echt interessant. Je zou denken dat deze countdown alleen werkt als je de AI expliciet vertelt: "Schrijf een zin van 10 woorden." Maar de onderzoekers ontdekten dat het model slimmer is dan dat.

Ze testten het model met prompts die helemaal geen getal bevatten. In plaats daarvan gaven ze het model een patroon. Bijvoorbeeld, ze lieten het model een lijst met DNA-sequenties of base64-codes zien, die allemaal exact dezelfde lengte hadden. Wanneer het model werd gevraagd om de lijst voort te zetten, had het geen getal nodig; het "begreep" simpelweg het patroon. Het concludeerde de doel-lengte uit de voorgaande voorbeelden en gebruikte diezelfde countdown subcircuit om op de juiste plek te stoppen.

De studie suggereert dat het model deze "onzichtbare" lengte-informatie direct aan het einde van de vorige reeksen opslaat (zoals een verborgen briefje met: "De volgende moet deze lengte hebben"). Wanneer het model het einde van één reeks ziet, leest het dat briefje en start het zijn countdown voor de volgende.

Een Universele Tool voor Modellen en Taken

De onderzoekers stopten daar niet. Ze gebruikten een techniek genaamd "unsupervised probing" om te zien waar deze countdown-tool nog meer in het wild verborgen zat. Ze scanden enorme hoeveelheden tekst, inclusief nieuwsartikelen, chatlogs en code, op zoek naar plaatsen waar deze specifieke werkers actief waren.

Ze vonden de countdown subcircuit op allerlei verrassende plekken terug:

Ingebedde Tweets: Het model realiseerde zich dat het een tweet las en telde af naar de limiet van 280 tekens, ook al stond er nergens "tweet".
ASCII-tabellen: Bij het formatteren van een tabel telde het model de spaties om te zorgen dat elke kolom even breed was.
Haiku's: Het hield het aantal lettergrepen bij voor de 5-7-5 structuur.
SHA-hashes: Het wist precies wanneer een 64-tekens code voltooid was.

Dit suggereert dat het model niet alleen regels voor specifieke taken uit het hoofd leert; het heeft een algemene "countdown engine" die het hergebruikt voor bijna alles wat het bijhouden van een lengte vereist.

Een Gedeeld Blauwdruk?

Misschien wel de meest fascinerende bevinding is dat dit niet slechts een eigenaardigheid van het Llama-model is. De onderzoekers vergeleken de interne "geometrie" (de vorm van de data) van deze countdown subcircuit met een ander model, Claude 3.5 Haiku, dat werd bestudeerd op een andere taak (het ombreken van tekst om op een regel te passen).

Ze ontdekten dat beide modellen exact dezelfde wiskundige vorm gebruiken om lengte-informatie op te slaan en te verwerken. Het is alsof twee verschillende automakers, werkend in verschillende fabrieken, beiden besloten exact hetzelfde motordesign te gebruiken voor hun auto's. Dit suggereert dat dit "countdown motif" een fundamentele bouwsteen kan zijn die veel AI-modellen uit zichzelf ontdekken wanneer ze tijd of ruimte moeten bijhouden.

Wat dit Betekent (en Wat het Niet Betekent)

Het paper is voorzichtig in de opmerking dat zij deze specifieke gedragingen hebben reverse-engineered. Ze hebben bewezen dat als je de signalen in deze specifieke heads verstoort, het model niet meer correct telt. Ze hebben de signalen gemeten en de patronen geobserveerd.

Ze beweren echter niet het mysterie van hoe AI in het algemeen denkt te hebben opgelost. Ze laten simpelweg zien dat voor de specifieke taak van "weten wanneer je moet stoppen", de AI een zeer specifieke, herbruikbare en verrassend universele tool gebruikt. Het is een klein maar krachtig puzzelstukje dat laat zien dat er, zelfs in de complexe, chaotische wereld van AI, nette, georganiseerde subroutines bestaan die de machine helpen de wereld te begrijpen.

Dus, de volgende keer dat je een AI een perfecte haiku ziet schrijven of een tabel laat formatteren zonder dat er precies staat hoeveel spaties er nodig zijn, onthoud dan: ergens diep vanbinnen zijn drie kleine werkers in laag 18 rustig de klok aan het aftellen, om ervoor te zorgen dat alles precies goed eindigt.

Technische Samenvatting: Een gedeeld subcircuit laat LLM's aftellen over taken heen

Probleemstelling

Large Language Models (LLM's) voeren frequent taken uit die het bijhouden van token-aantallen ten opzichte van een doel vereisen, zoals het schrijven van een zin van een specifieke lengte, het formatteren van ASCII-tabellen, of het beëindigen van DNA-sequenties bij het juiste codon. Hoewel LLM's bekwaam zijn in deze taken, worden de interne mechanismen die hen in staat stellen om "resterende tijd" bij te houden tot een doel-lengte te volgen, niet volledig begrepen. Specifiek is het onduidelijk of modellen beschikken over een generaliseerbaar mechanisme voor het aftellen dat werkt over verschillende contexten heen (expliciete versus impliciete doelen) en of dit mechanisme gedeeld wordt door verschillende modellen.

Methodologie

De auteurs hanteerden een bottom-up benadering van mechanistische interpreteerbaarheid, waarbij de focus lag op het Llama-3.1-70B-Instruct model. De methodologie verliep in drie stadia:

Causale Lokalisatie via Patching:
- Taak: Het model kreeg een "zin-planning" prompt: het schrijven van een zin van een opgegeven lengte ( $N$ ) eindigend in een specifiek woord.
- Techniek: De auteurs voerden residual stream patching uit. Ze construeerden "bron" prompts (doellengte $n_{src}$ ) en "bestemmings" prompts (doellengte $n_{dst}$ , waarbij $n_{dst} > n_{src}$ ). Activaties van de doel-lengte token en de lengte-eenheid token van de bron-prompt werden gepatcht in de bestemmings-prompt op verschillende lagen.
- Doel: Om de specifieke lagen en tokens te identificeren waar lengte-informatie causaal voldoende is om de output-lengte te bepalen.
Identificatie van Attention Heads:
- Zodra de kritieke laag was geïdentificeerd, analyseerden de auteurs de output-normen van de attention heads op die laag, specifiek kijkend naar de informatiestroom van de lengte-eenheid token naar downstream tokens.
- Ze onderzochten de geometrie van de representaties (keys en queries) die door deze heads worden gebruikt om de huidige positie te vergelijken met de doel-lengte.
Ongesuperviseerde Probing en Generalisatie:
- Impliciete Lengte: De auteurs onderzochten settings waar de doel-lengte niet expliciet werd vermeld maar werd afgeleid uit de context (bijv. herhaalde strings van identieke lengte in Base64 of DNA-sequenties). Ze gebruikten patching om te verifiëren of eind-delimiters in deze strings causaal lengte-informatie opslaan.
- Geometrische Analyse: Ze vergeleken de geometrische manifolds van het geïdentificeerde subcircuit in Llama-3.1-70B met een eerder geïdentificeerd "regel-omloop" (line-wrapping) subcircuit in Claude 3.5 Haiku met behulp van Principal Component Analysis (PCA) en cosine similarity.
- Ongesuperviseerde Ontdekking: Gebruikmakend van de output-activaties van de geïdentificeerde "countdown heads", construeerden ze lineaire probes. Deze probes werden gedraaid op een grote, ongelabelde corpus (The Pile en LMSYS-1M chat dataset) om diverse, hoog-geactiveerde voorbeelden te vinden waar het model impliciet aan het aftellen was.

Belangrijkste Bijdragen en Resultaten

1. Identificatie van het Countdown Subcircuit

De studie heeft succesvol een specifiek subcircuit in Llama-3.1-70B-Instruct geïsoleerd dat verantwoordelijk is voor het bijhouden van resterende tokens:

Lokalisatie: Lengte-informatie wordt naar de "lengte-eenheid token" verplaatst vanaf ongeveer Laag 4 en wordt causaal gebruikt tot en met Laag 18.
Specifieke Heads: Drie attention heads op Laag 18 (L18H24, L18H28, L18H30) werden geïdentificeerd als de "countdown heads".
Mechanisme: Deze heads vertonen een patroon van overlappende receptieve velden. L18H28 activeert vroeg, L18H24 in het midden, en L18H30 nabij het einde. Hun gecombineerde output-norm piekt onmiddellijk vóór de doel-lengte, wat wijst op een continu aftelmechanisme in plaats van een plotselinge piek bij de doel-lengte.

2. Impliciete Lengteopslag en Universaliteit

De auteurs toonden aan dat dit subcircuit functioneert zelfs wanneer de doel-lengte niet expliciet in de prompt wordt gegeven:

Impliciete Opslag: In "herhaalde string" settings (bijv. meerdere Base64-strings van dezelfde lengte), leidt het model de doel-lengte af uit de context. Patching-experimenten bevestigden dat eind-delimiters van deze strings causaal de impliciete doel-lengte informatie opslaan.
Representatie Gelijkenis: Cosine similarity-analyse toonde aan dat de key-activaties voor impliciete lengtes (in delimiters) en expliciete lengtes (in prompt tokens) op vergelijkbare manifolds liggen. De relatie tussen impliciete en expliciete lengtes is zeer lineair ( $0.93 \le r^2 \le 0.97$ ), wat wijst op een verenigde representatie van lengte-informatie.
Cross-Model Motief: De geometrische structuur van het countdown subcircuit (gebogen manifolds voor keys en queries met specifieke uitlijningseigenschappen) bleek identiek aan het "regel-omloop" subcircuit dat eerder werd geïdentificeerd in Claude 3.5 Haiku. Dit suggereert dat het motief gedeeld wordt door verschillende modellen en taken.

3. Ongesuperviseerde Ontdekking van Diverse Toepassingen

Door middel van ongesuperviseerde probing met de output van de countdown heads, identificeerden de auteurs een breed scala aan taken waarbij dit subcircuit actief is, waaronder:

Embedded Tweets: Het voorspellen van het einde van een 280-tekens tweet ingebed in nieuws tekst.
DNA-sequenties: Sequenties beëindigen bij het juiste codon op basis van voorgaande sequenties.
SHA-256 Hashes: Het detecteren van het einde van een 64-karakter hex-string.
Haiku Generatie: Het bijhouden van lettergreep-aantallen en regelafbrekingen.
ASCII-tabellen: Cellen uitlijnen naar een specifieke breedte.
Muntworpen en Afrondingen: Het bijhouden van karakter- of cijferaantallen in gegenereerde sequenties.

Betekenis en Claims

Het artikel beweert dat het reverse-engineeren van een subcircuit vanuit een enkele, smalle taak (zin-planning) onderzoekers in staat stelt om te begrijpen hoe specifieke gedragingen generaliseren naar een breed spectrum aan taken en zelfs over verschillende modellen heen.

Generalisatie: Het werk demonstreert dat een enkel subcircuit wordt hergebruikt voor zowel expliciet tellen (prompt-gespecificeerd) als impliciet tellen (uit context afgeleid).
Gedeelde Mechanismen: De identificatie van hetzelfde geometrische motief in Llama-3.1 en Claude 3.5 Haiku suggereert dat bepaalde computationele primitieven voor het volgen van tijd/lengte fundamenteel zijn en gedeeld worden door frontier-modellen.
Methodologische Aanpak: De auteurs stellen een "bottom-up" workflow voor voor mechanistische interpreteerbaarheid: isoleer een subcircuit op een gecontroleerde taak, reverse-engineer de geometrie, en gebruik vervolgens ongesuperviseerde probing om het gebruik ervan over de gehele operationele ruimte van het model in kaart te brengen. Ze suggereren dat deze aanpak geautomatiseerd kan worden, vergelijkbaar met feature dictionary analyse, om andere gegeneraliseerde gedragingen in LLM's systematisch te ontdekken.

De auteurs blijven bescheiden en merken op dat, hoewel ze een gedeeld motief hebben geïdentificeerd, het werk zich richt op de causale interventies en de geometrie van lengte-verwerking, in plaats van te claimen dat ze alle aspecten van LLM-planning of generalisatie hebben opgelost.