💬 NLP

States Hidden in Hidden States: Implicit Discrete State Representations Emerge in LLMs' Hidden States

Dit artikel onderzoekt hoe Large Language Models uitgebreide berekeningen uitvoeren zonder expliciete chain-of-thought redenering door het vormen en benutten van Imperfecte Impliciete Discrete Toestandsrepresentaties binnen hun verborgen toestanden, terwijl het ook hun vorming karakteriseert en hun bijdrage aan computationele fouten identificeert.

Oorspronkelijke auteurs: Junhao Chen, Shengding Hu, Zhiyuan Liu, Maosong Sun

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junhao Chen, Shengding Hu, Zhiyuan Liu, Maosong Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goochelaar kijkt die een konijn uit een hoed tovert. Je weet dat het konijn niet zomaar uit het niets is verschenen, maar je kunt de truc niet zien. Lange tijd waren wetenschappers die AI (Artificial Intelligence) bestuderen in een vergelijkbare situatie. Ze weten dat deze gigantische computerbreinen, genaamd Large Language Models (LLM's), verbazingwekkende dingen kunnen doen zoals gedichten schrijven, wiskundige problemen oplossen en chatten als mensen. Maar hoe ze dat doen in hun "geest" (wat eigenlijk gewoon een enorme verzameling getallen en lagen is) is een beetje een black box geweest.

Om dit artikel te begrijpen, moet je twee eenvoudige dingen weten. Ten eerste werken LLM's door het volgende woord in een zin te voorspellen, één woord tegelijk. Ten tweede creëren ze bij het doen hiervan een tijdelijk "kladblok" van informatie, een hidden state genoemd. Denk aan deze hidden state als een mentale notitie die de AI maakt terwijl hij nadenkt. Meestal gaan we ervan uit dat de AI de hele vraag leest en dan het antwoord raadt. Maar wat als de AI, terwijl hij een lange lijst met getallen leest, stiekem een lopend totaal bijhoudt in zijn hoofd, precies zoals jij dat doet wanneer je in je hoofd de kosten van je boodschappen optelt zonder iets op te schrijven? Dit artikel vraagt zich af: is de AI daadwerkelijk die mentale som aan het maken, of is hij gewoon aan het raden?

De Goocheltruc van het Mentale Rekenen

Stel je voor dat je op een feestje bent en iemand geeft je een lange lijst met getallen: 17, 38, 32, 87... en vraagt je om ze allemaal direct bij elkaar op te tellen, zonder iets op te schrijven of de stappen hardop uit te spreken. De meeste mensen zouden moeite hebben, maar de slimste AI-modellen ter wereld beginnen hier heel goed in te worden. Ze kunnen een reeks van tot wel 15 getallen bekijken en direct het juiste totaal uitspugen, zonder hun berekening te laten zien.

Dit artikel, getiteld "States Hidden in Hidden States", onderzoekt precies hoe deze AI-modellen deze truc uitvoeren. De onderzoekers van de Tsinghua Universiteit hadden de hypothese dat deze modellen niet alleen raden, maar stiekem Implicit Discrete State Representations (IDSR's) opbouwen.

Laten we die ingewikkelde term even uit elkaar rafelen. Stel je voor dat de AI een team van arbeiders is dat een emmer water in een lijn doorgeeft.

Implicit (Impliciet): Ze roepen het getal niet hardop (het genereren van tekst).
Discrete State (Discrete Toestand): Ze houden een specifiek, exact getal in hun handen (zoals "37" nadat er 17 en 20 zijn opgeteld).
Representation (Representatie): Dit getal bestaat als een patroon binnen de interne lagen van de AI.

De onderzoekers wilden bewijzen dat de AI deze tussenliggende getallen daadwerkelijk vasthoudt terwijl hij de lijst leest, in plaats van te wachten tot het allerlaatste moment om alles in één keer te proberen te berekenen.

Het Detectiewerk: In de Brein Loeren

Om te zien of dit "mentale kladblok" echt bestaat, speelden de onderzoekers een spelletje "20 Vragen" met de interne lagen van de AI. Ze gebruikten een hulpmiddel genaamd een probe. Denk aan een probe als een kleine, supersnelle detective die op elk specifiek moment in de interne aantekeningen van de AI kan loeren en vraagt: "Welk getal ben je nu aan het denken?"

Ze testten dit op een verscheidenheid aan modellen, van kleinere (zoals Llama2-7B) tot de reuzen (zoals GPT-4 en Qwen-72B). Ze vroegen de modellen om optelsommen op te lossen met ergens tussen de 2 en 14 getallen.

Wat ze vonden:

De Grote Worden Groter: Het vermogen om dit mentale rekenwerk te doen "emergeert" (komt tevoorschijn) naarmate de modellen groter worden. Kleine modellen kunnen twee of drie getallen optellen, maar zodra de lijst acht getallen bereikt, storten ze in. De grootste modellen kunnen echter lijsten van 11 of zelfs 15 getallen met verrassende nauwkeurigheid aan.
De Verborgen Notitie is Echt: Toen de onderzoekers hun "detective-probes" gebruikten op de verborgen lagen van de AI, ontdekten ze dat de modellen de lopende totalen inderdaad vasthielden. Bijvoorbeeld, nadat de AI "17 + 24" had gelezen, bevatte de interne staat van het model een representatie van "41", ook al had de AI het woord "41" nog niet hardop uitgesproken.
Het is Niet Perfect: Het slechte nieuws is dat deze mentale notitie niet perfect is. Naarmate de lijst met getallen langer wordt, wordt de "notitie" een beetje wazig. De onderzoekers ontdekten dat terwijl de AI het getal voor de eerste paar stappen perfect kan vasthouden, de interne representatie tegen de tijd dat het bij het 15e getal is, aan detail begint te verliezen. Deze "lossy" (verlieslatende) compressie is de reden waarom zelfs de slimste modellen soms het uiteindelijke antwoord fout hebben.

Hoe de AI het Getal Opbouwt

Het artikel ontdekte ook hoe de AI deze getallen opbouwt, wat verrassend veel lijkt op hoe mensen dat doen.

Eén Digitale Positie per Keer: De AI berekent het getal niet in één keer. Het bouwt het antwoord cijfer voor cijdig op, beginnend bij de rechterkant (de eenheden), dan de tientallen, dan de honderdtallen. Het is als het optellen van kolommen op papier, maar dan volledig binnen het brein van de AI.
De "Ondiepe" vs. "Diepe" Lagen: De AI heeft vele lagen van verwerking. De onderzoekers ontdekten dat de eerste 10 lagen de "rekenmachine"-kant van het brein zijn—ze doen alleen de ruwe berekeningen. Maar naarmate de informatie naar de diepere lagen beweegt (rond laag 10 en verder), begint de AI de context van de zin erbij te mengen. Het is alsoast de rekenmachine die wordt afgeleid door het gesprek eromheen. Deze vermenging is wat zorgt voor de "wazigheid" of fouten in het uiteindelijke antwoord.
Lineair, Niet Magisch: De AI doet de wiskunde niet op een magische, alles-in-één manier. Het verwerkt de lijst in een rechte lijn. Als je de getallen A, B, C en D hebt, berekent het (A+B), neemt dan dat resultaat en telt daar C bij op, en vervolgens D. Het doet niet (A+B) en (C+D) apart en combineert ze daarna.

Het "Brug"-Experiment

Om te bewijzen dat de AI daadwerkelijk deze verborgen notities gebruikte en niet gewoon aan het raden was, deden de onderzoekers een slimme truc. Ze bouwden een "brug" in het aandachtsmecanisme (attention mechanism) van de AI. Stel je voor dat de AI een lange zin leest, en zij blokkeerden het vermogen om terug te kijken naar het begin van de zin, waardoor de AI gedwongen werd alleen naar het allerlaatste ding te kijken dat het had gelezen.

Als de AI alleen op basis van de hele zin zou raden, zou deze blokkade het proces volledig breken. Maar de AI kon de wiskundige som nog steeds oplossen als de AI de "brug" kon "zien" (het meest recente plusteken). Dit bewees dat de AI het lopende totaal doorgaf van de ene stap naar de volgende, precies zoals een mens dat zou doen.

De Conclusie

Dit artikel suggereert dat wanneer gigantische AI-modellen wiskunde doen zonder hun werk te tonen, ze inderdaad het werk verrichten. Ze creëren onzichtbare, interne "plaknotities" die het lopende totaal bijhouden terwijl ze lezen.

Er is echter een addertje onder het gras. Deze plaknotities zijn niet perfect. Naarmate de lijst met getallen langer wordt, worden de notities een beetje veeg en begint de AI fouten te maken. De onderzoekers geloven dat als we kunnen ontdekken hoe we deze interne notities duidelijker en minder "lossy" kunnen maken, we AI veel beter kunnen maken in complexe redeneertaken, niet alleen in wiskunde.

Voor nu weten we dat de AI niet magisch is; het is gewoon heel goed in het bijhouden van een mentaal totaal, ook al wordt dat totaal aan het einde van een lange lijst soms een beetje wazig.

Technische Samenvatting: Toestanden verborgen in verborgen toestanden

Probleemstelling

Grote taalmodellen (LLM's) hebben emergente vermogens vertoond om rekenkundige berekeningen uit te voeren, specifiek iteratieve optellingen, zonder tussenliggende chain-of-thought (CoT) tokens te genereren. Terwijl eerder onderzoek zich richtte op binaire aritmetica of de algemene interpreteerbaarheid van wiskundige taken, blijft het mechanisme waarmee modellen tussenliggende resultaten bij meerstaps-iteratieve redeneringen bijhouden onduidelijk. Specifiek is het onbekend of modellen trainingsdata memoriseren, vertrouwen op expliciete redenering, of interne representaties van tussenliggende toestanden vormen om deze problemen direct op te lossen. Dit artikel onderzoekt de hypothese dat LLM's Impliciete Discrete Toestandsrepresentaties (IDSR's) vormen binnen hun verborgen toestanden om sequentiële symbolische berekening te faciliteren.

Methodologie

De auteurs maken gebruik van een combinatie van synthetische datasetgeneratie en probing-technieken om het bestaan en de eigenschappen van IDSR's te valideren.

1. Constructie van de Dataset

Een synthetische dataset van 131.300 iteratieve optellings- en aftrekkingsproblemen werd gecreëerd. De dataset bevat:

Variabele Lengte: Sequenties variërend van 2 tot 14 operanden.
Operanden: Gehele getallen die uniform zijn gesampled van 1 tot 100 (1 tot 3 cijfers).
Prompt Diversiteit: Drie prompt-typen werden gebruikt: standaard optelling, aftrekking, en "prompting" (waarbij de prompt het model instrueert de formule te negeren of te antwoorden met een specifiek token zoals "apple").
Splitsing: De data werd verdeeld in trainings (80%), validatie (10%) en testsets (10%) voor de training van de probes.

2. Experimentele Opzet

Geëvalueerde Modellen: Een divers scala aan open-source (bijv. Llama2, MiniCPM, Mistral, Qwen, DeepSeek) en closed-source (bijv. GPT-3.5, GPT-4, Claude) modellen werden getest.
Extractie van Verborgen Toestanden: Tijdens inferentie werden verborgen toestanden ( $H_{i,j}$ ) die specifiek overeenkomen met operator-tokens (bijv. de "+" tekens) geëxtraheerd om bias door operand-representaties te vermijden.
Probing Mechanisme: Multi-layer perceptrons (MLP's) en single-layer perceptrons werden getraind om de verborgen toestanden te classificeren. De probes voorspelden:
- Whole Number Probing: Het totaal van de som als geheel getal.
- Digit-wise Probing: Individuele cijfers (eenheden, tientallen, honderdtallen) van de tussenliggende som.
Interventie Experimenten: Een "Attention Bridge" experiment werd uitgevoerd waarbij attention masks voorkamen dat opeenvolgende tokens aandacht besteedden aan eerdere operanden, waardoor ze gedwongen werden uitsluitend te vertrouwen op de informatie die via een specifiek "bridge" token (het eerste opteken) wordt doorgegeven.

Belangrijkste Bevindingen en Resultaten

1. Emergentie van Impliciete Berekening

Schaalcorrelatie: Er is een sterke correlatie tussen de modelgrootte en het vermogen om iteratieve optelling uit te voeren. Kleinere modellen (bijv. 7B) vertonen een snelle afname van de nauwkeurigheid naarmate de sequentielengte toeneemt (bijna nul nauwkeurigheid bij 8 operanden), terwijl grotere modellen (bijv. 72B, GPT-4) een nauwkeurigheid van >50% behouden voor sequenties tot 8 operanden en niet-nul prestaties voor 11+ operanden.
Niet-memorisatie: De capaciteit is onwaarschijnlijk gememoriseerd, aangezien de benodigde parameterruimte om alle mogelijke sommen van lange sequenties op te slaan ( $O(99^L)$ ) de modelcapaciteit overstijgt, en de taak een verwaarloosbare bruikbaarheid heeft voor algemene pretraining-optimalisatie.

2. Bestaan en Eigenschappen van IDSR's

Bestaan: Probing-experimenten bevestigden dat verborgen toestanden bij operator-tokens informatie bevatten over de huidige tussenliggende som. Voorspellingsnauwkeurigheden overtroffen aanzienlijk de kans op toeval over alle modellen heen.
Lossy Transmissie: De transmissie van IDSR's is niet verliesloos. De nauwkeurigheid daalt naarmate de sequentie vordert (bijv. van 100% bij het tweede "+" teken naar 37% bij het laatste "=" teken in Qwen-72B), wat bijdraagt aan fouten in de uiteindelijke output.
Lineariteit vs. Non-lineariteit:
- Ondiep Lagen (0–10): Representaties zijn grotendeels lineair en taak-agnostisch ("shallow-semantic"). Ze berekenen rekenkundige waarden ongeacht de specifieke prompt-context (bijv. aftrekken vs. optellen).
- Diepe Lagen (>10): Representaties gaan over naar non-lineaire kenmerken ("semantic layers"). Deze lagen integreren de taakcontext, wat de IDSR-vorming herinitialiseert maar de resolutie vermindert ten opste de ondiepe lagen.
Cijferniveau Vorming: IDSR's vormen zich onafhankelijk voor elk cijfer. De volgorde waarin cijfers voorspelbaar worden volgt de menselijke berekeningsvolgorde (eenheden $\to$ tientallen $\to$ honderdtallen), wat suggereert dat modellen meercijferige optellingen uitvoeren via iteratieve enkelcijferige optellingen.

3. Gebruik van IDSR's

Sequentiële Verwerking: Modellen maken gebruik van IDSR's sequentieel in plaats van op een logaritmische (boom-achtige) wijze. Probing-experimenten toonden aan dat de nauwkeurigheid voor een som van $n$ getallen pas piekt nadat de nauwkeurigheid voor de som van $n-1$ getallen heeft gepiekt, wat parallelle combinatiestrategieën uitsluit.
Attention Bridge Validatie: Wanneer directe aandacht naar eerdere operanden werd gemaskeerd, behielden modellen een niet-triviale nauwkeurigheid als informatie via het "bridge" token kon passeren. Dit bevestigt dat modellen vertrouwen op de tussenliggende staat die in operator-tokens is gecodeerd om daaropvolgende stappen te berekenen.

Belangrijkste Bijdragen

Hypothese Validatie: Het artikel levert empirisch bewijs dat LLM's Impliciete Discrete Toestandsrepresentaties (IDSR's) vormen in verborgen toestanden om iteratieve aritmetica uit te voeren zonder expliciete CoT.
Karakterisering van Vorming: De studie brengt de vorming van IDSR's in kaart vanuit drie perspectieven:
- Cijfer-gewijs: Onafhankelijke, sequentiële vorming beginnend vanaf het minst significante cijfer.
- Laag-gewijs: Een transitie van lineaire, taak-agnostische aritmetische berekening in ondiepe lagen naar non-lineaire, context-bewuste semantische verwerking in diepere lagen.
- Sequentie-gewijs: Informatiepropagatie langs de sequentie, waarbij latere tokens gebruikmaken van de staat die in eerdere operator-tokens is gecodeerd.
Mechanisme van Falen: De auteurs identificeren dat het "lossy" karakter van de IDSR-transmissie in huidige open-source modellen een primaire bijdrage is aan berekeningsfouten in lange sequenties.

Betekenis en Claims

De auteurs positioneren dit werk als een initiële verkenning naar de interne mechanismen van LLM's met betrekking tot symbolische berekening en meerstaps-redeneren. De betekenis ligt in:

Interpreteerbaarheid: Het biedt een concreet voorbeeld van hoe LLM's "intrinsieke iteratieve redenering" uitvoeren door discrete toestanden bij te houden, wat dient als een fundamentele stap voor het begrijpen van complexe redeneervermogens.
Modelbeperkingen: Het benadrukt dat huidige modellen niet "verliesloos" zijn in hun staat-tracking, wat verklaart waarom ze falen op langere sequenties ondanks hun emergente vermogens.
Toekomstige Richtingen: Het artikel suggereert dat het begrijpen van en potentieel het verminderen van het verlies in de generatie van IDSR's de wiskundige en redeneer-capaciteiten van LLM's kan verbeteren. Het merkt expliciet op dat de bevindingen momenteel gevalideerd zijn op synthetische wiskundige datasets en dat het vermogen een emergent kenmerk is dat afhankelijk is van de schaal van het model.

Het artikel concludeert door beperkingen te erkennen, zoals het gebrek aan diversiteit in taaktypen buiten synthetische wiskunde, en roept op tot verder onderzoek naar de factoren die de IDSR-resolutie en de schaalbaarheid van deze representaties over verschillende modelgroottes beïnvloeden.