💻 computer science

When Does a Readout Reflect Computation? Dose-Response Interventions in Continuous Thought Models

Dit artikel toont aan dat in continue denkmodellen interpreteerbaarheid op basis van uitlezing vaak faalt om de onderliggende berekening te reflecteren, omdat de latente toestanden die vereist zijn om het antwoord van het model te veranderen aanzienlijk groter zijn dan die nodig zijn om de geprojecteerde uitlezing te wijzigen, wat dosis-respons-curves noodzakelijk maakt in plaats van interventies met een enkele magnitude voor een nauwkeurige causale analyse.

Oorspronkelijke auteurs: ChaeWoo Son

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: ChaeWoo Son

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een superintelligente robot denkt. Meestal, wanneer we met deze robots praten, spreken ze in woorden, zodat we hun "gedachten" kunnen lezen terwijl ze plaatsvinden. Maar er is een nieuw soort robot dat denkt in een geheime, onzichtbare taal—een continue, kolkende wolk van getallen die "latente ruimte" wordt genoemd. Deze robot voert al zijn berekeningen en redeneringen uit binnen die wolk van getallen, zonder ooit een woord te zeggen totdat hij klaar is om het uiteindelijke antwoord te geven. Dit is als een chef die een complex gerecht bereidt in een afgesloten keuken; je kunt het hakken of roeren niet zien, alleen het uiteindelijke gerecht.

Om in deze geheime keuken te kunnen gluren, gebruiken wetenschappers een speciaal hulpmiddel genaamd een "readout" (uitlezing). Denk aan een magisch venster dat de onzichtbare getallenwolk van de robot op een muur van vocabulaire projecteert. Als de robot aan "Parijs" denkt, kan het venster het woord "Parijs" helder laten oplichten. Lange tijd namen onderzoekers aan dat als het venster een woord liet flitsen, de robot ook echt dat woord dacht. Ze geloofden dat het venster een perfecte spiegel was van de hersenen van de robot. Maar wat als het venster een beetje een bedrieger is? Wat als het een woord laat flitsen simpelweg omdat je zachtjes tegen het glas tikte, zelfs als de robot eigenlijk niet van gedachten is veranderd? Dit is de grote vraag die dit artikel stelt: Laat het venster echt zien wat de robot berekent, of reageert het slechts op de tik?

De onderzoekers, onder leiding van ChaeWoo Son, besloten dit te testen door een spel van "touwtrekken" te spelen met de hersenen van de robot. Ze gebruikten een specifiek type robot genaamd "Coconut" (Chain of Continuous Thought), die redeneert in die geheime wolk van getallen. Om de test eerlijk te maken, trainden ze eerst de robot zodat zijn "venster" (een hulpmiddel genaamd een J-lens) betrouwbaar een specifiek woord zou tonen, zoals een brug tussen twee feiten. Daarna begonnen ze de hersenen van de robot te prikkelen met kleine, gecontroleerde duwtjes. Ze duwden niet zomaar willekeurig; ze maten precies hoe hard ze duwden (de "dosis") en observeerden twee dingen: veranderde het woord in het venster, en veranderde het uiteindelijke antwoord van de robot?

De resultaten waren een enorme verrassing. Ze ontdekten dat het venster en de werkelijke hersenen van de robot heel verschillende "gevoeligheidsdrempels" hebben. Stel je voor dat het venster een zeer gevoelige bewegingssensor is die piept als je langsloopt, terwijl de hersenen van de robot een zware kluis zijn die alleen opent als je met veel kracht op de knop drukt. De onderzoekers ontdekten dat wanneer ze de robot net genoeg een duwtje gaven om het venster naar een nieuw woord te laten flitsen (een klein duwtje van ongeveer 0,13 tot 0,16 eenheden kracht), de hersenen van de robot helemaal niet bewogen. De robot hield vast aan zijn oorspronkelijke antwoord. Sterker nog, op een bepaand type taak had de hersenen van de robot een push nodig die meer dan twee keer zo hard was (2,03 keer sterker) om van gedachten te veranderen.

Nog vreemder was dat ze een "geheime tunnel" in de hersenen van de robot vonden. Ze vonden een richting om te duwen die het venster helemaal niet kon zien. Zelfs terwijl het venster bevroren bleef op het oude woord, veranderden de hersenen van de robot in 96–97% van de gevallen volledig van antwoord naar een nieuw antwoord! Het was alsof de robot een nieuw geheim tegen zichzelf fluisterde, terwijl het venster het oude woord bleef schreeuwen. Wanneer ze in een willekeurige richting probeerden te duwen met dezelfde kracht, gebeurde er niets, wat bewees dat het niet alleen ging over hoe hard ze duwden, maar om waar ze duwden.

Het artikel geeft ook een grappige fout toe die ze maakten. Eerst probeerden ze te testen of de robot zijn "brug"-gedachten gebruikte door net genoeg te duwen om het venster te laten veranderen. Ze stopten met duwen op het moment dat het venster versprong, denkend dat ze genoeg hadden gedaan. Maar omdat het venster zo gevoelig is, stopten ze veel te vroeg—voordat de hersenen van de robot überhaupt begonnen waren te veranderen. Ze kregen een resultaat dat zei "er gebeurde niets", maar het was een vals alarm omdat ze niet hard genoeg hadden geduwd.

De belangrijkste les is een waarschuwing voor iedereen die probeert de geest van een robot te lezen: Je kunt niet alleen naar het venster kijken en aannemen dat je weet wat de robot denkt. Het venster kan van gedachten veranderen lang voordat de robot dat doet, of het kan helemaal niet veranderen terwijl de robot iets enorms aan het doen is. Om de robot echt te begrijpen, moet je meten hoe hard je duwt en hoe de robot op elk stap reageert, en niet alleen op één enkel moment. Het venster is een nuttig hulpmiddel, maar het is geen perfecte spiegel van de berekening die binnenin plaatsvindt.

Technische Samenvatting: Wanneer weerspiegelt een readout werkelijke computatie? Dose–Response Interventies in Continuous Thought Modellen

1. Probleemstelling

Chain of Continuous Thought (Coconut) modellen voeren redeneringen uit in een continue latente ruimte door de laatste verborgen toestand (hidden state) terug te voeren als de volgende input-embedding, in plaats van tussenliggende stappen te decoderen naar natuurlijke taal-tokens. Hoewel dit expressiviteit biedt, creëert het een "monitorbaarheidsprobleem": de tussenliggende computatie kan niet direct worden geobserveerd.

Huidige interpretatiepraktijken vertrouwen op readouts—projecties van verborgen toestanden naar de vocabulaire-ruimte (bijv. via een Logit Lens of Tuned Lens). De standaardinferentie is: als de readout verandert, is de onderliggende computatie veranderd. Echter, deze inferentie is historisch gezien getest bij een enkele interventie-amplitude. Het artikel stelt dat als de readout en de computatie verschillende sensitiviteiten hebben voor dezelfde interventierichting, een test met een enkele amplitude de discrepantie niet kan onthullen, wat kan leiden tot foutieve conclusies over de interne redenering van het model.

2. Methodologie

Om de sensitiviteit van de readout versus de computatie te meten als functie van de interventie-amplitude, heeft de auteur een gecontroleerde testomgeving en een dose–response protocol geconstrueerd.

2.1 Constructie van de Gecontroleerde Testomgeving

J-Lens Supervisie: De auteur trainde een 2B-parameter Coconut-model op twee-staps feitelijke recall-taken. Er werd een J-lens term toegevoegd aan de loss-functie om de continue gedachte (latente toestand) te dwingen tot uitlijning met een specifieke "bridge entity" token, terwijl de answer loss ongewijzigd bleef.
Validatie: Deze supervisie bereikte een waarschijnlijkheidsmassa van >0,95 op de bridge token in de readout, terwijl de answer accuracy 100% behield. Dit garandeerde dat de readout "gecontroleerd" was (gericht op een bekend token) zonder de computationele capaciteit van het model te verslechteren.
Zelf-labeling: De auteur toonde aan dat het model zijn eigen bridge-labels kon genereren via de J-lens readout, waardoor de noodzaak voor extra menselijke annotatie voor het supervisiesignaal werd weggenomen.

2.2 Dose–Response Interventie Protocol

De kerninnovatie is een protocol dat de interventie-amplitude ontkoppelt van de richting:

Vaste Relatieve Amplitude ( $\alpha$ ): Interventies worden toegepast met een vaste relatieve amplitude $\alpha = \|\delta\|/\|h\|$ , die bij elke latente stap opnieuw wordt berekend om divergentie van de toestand te compenseren.
Orthogonale Decompositie: De causale delta ( $d = h_{donor} - h_{recipient}$ $d = h_{d o n or} - h_{r ec i p i e n t}$ ) wordt gedecomponeerd in twee orthogonale componenten:
- $d_{\parallel}$ : de component parallel aan de lens-gradiënt (de richting die de lens detecteert).
- $d_{\perp}$ : de component orthogonaal aan de lens-gradiënt (de richting waar de lens "blind" voor is).
Matched Random Control: Een willekeurige richting wordt gegenereerd die orthogonaal is aan de lens-gradiënt en in norm overeenkomt met $d_{\perp}$ . Dit controleert voor magnitude en lens-onzichtbaarheid, waardoor het effect van de richting wordt geïsoleerd.
Dose Sweep: De auteur voerde een sweep uit van $\alpha$ over een grid (0,10 tot 0,60) om dose–response curves te genereren voor zowel de readout (tokenverandering) als de computatie (antwoordverandering).

3. Belangrijkste Resultaten

3.1 Dissociatie van Drempelwaarden (Lens-Zichtbare Richting)

Langs de richting die de lens detecteert ( $d_{\parallel}$ ), hebben de readout en de computatie significant verschillende activatiedrempels:

Readout Sensitiviteit: De readout springt naar de donor-token bij relatieve amplitudes van 0,125–0,158.
Computatie Sensitiviteit: Het antwoord verandert niet bij deze amplitudes.
- Op de lmk (landmark $\to$ land $\to$ hoofdstad) relatie, is de antwoord-drempel 2,03 $\times$ hoger (0,253) dan de readout-drempel.
- Op de typeA (hoofdstad $\to$ land $\to$ continent) relatie, bereikt het antwoord nooit een meerderheids-flip voordat het model breekt (ongerelateerd token output) bij hoge amplitudes.
Implicatie: Een interventie met minimale norm die stopt zodra de readout flipt (de standaardprocedure), stopt bij ongeveer de helft van de causale drempel (of daaronder volledig), waardoor de causale link niet wordt gedetecteerd.

3.2 Het "Onzichtbare" Kanaal

Langs de richting die de lens niet detecteert ( $d_{\perp}$ ):

Computatie: Interventies slaagden erin het antwoord te transplanteren in 96–97% van de gevallen (drempels $\approx$ 0,45–0,48).
Readout: De readout veranderde nooit (0/900 gevallen) en bleef vastgezet op de recipient-token.
Controle: De gematchte random control produceerde geen veranderingen in noch de readout, noch het antwoord, wat bevestigt dat het effect toe te schrijven is aan de specifieke richting van $d_{\perp}$ , en niet enkel aan de magnitude.

3.3 De "False Null" Valstrik

De auteur rapporteert een vooraf geregistreerd initieel experiment dat in deze valstrik trapte:

Zij intervenieerden totdat de readout flipt (stoppende magnitude $\approx$ 0,119).
Resultaat: 0/90 antwoord-flips. Zij concludeerden aanvankelijk dat de bridge niet werd gebruikt in de computatie.
Correctie: De dose–response curve onthulde dat de antwoord-drempel 0,253 was. De initiële test faalde omdat deze te vroeg stopte, onder de causale drempel meten.

3.4 Robuustheid

De drempel-gap blijft bestaan (1,74 $\times$ ) zelfs zonder J-lens supervisie, wat aangeeft dat de dissociatie geen artefact is van het trainingssignaal, maar een structurele eigenschap van het model.
De gap wordt niet verklaard door het model te laten "breken" bij hoge magnitudes; de dissociatie vindt plaats binnen het stabiele operationele venster.

4. Bijdragen

Dose–Response Protocol: Een methode om de readout-sensitiviteit te scheiden van de computationele sensitiviteit met behulp van vaste magnitude, orthogonale decompositie en gematchte random controls.
Gekwantificeerde Dissociatie: Bewijs dat de readout en de computatie verschillende drempels hebben langs dezelfde richting, en dat computatie getransplanteerd kan worden langs richtingen die de readout niet registreert.
Diagnose van Minimum-Norm Interventies: Een demonstratie dat standaard op de readout gerichte interventies systematisch "false negatives" (false nulls) produceren omdat ze stoppen voordat de computatie verandert.
Gecontroleerde Testomgeving: Een methode om readouts uit te lijnen met specifieke tokens zonder verlies van accuratesse, wat nauwkeurige causale meting mogelijk maakt.

5. Betekenis en Claims

Het artikel betoogt dat readout-sensitiviteit een eigenschap is van de readout, niet van de computatie. Het feit dat een readout verandert, impliceert niet dat de computatie ook is veranderd, noch impliceert een gebrek aan readout-verandering een gebrek aan computationele verandering.

Methodologische Waarschuwing: Interpretatieclaims gebaseerd op interventies met een enkele magnitude zijn onvoldoende. Een nulresultaat (geen antwoordverandering) kan niet onderscheiden tussen "de richting is niet causaal" en "we hebben niet hard genoeg geduwd".
Voorschrift: Op de readout gebaseerde causale claims moeten worden gerapporteerd als dose–response curves die het volgende bevatten:
1. De magnitude waarbij de readout reageert.
2. De magnitude waarbij de output reageert.
3. Een random control gematcht op magnitude en invarianten.
Reikwijdte: De auteur is bescheiden over de generalisatie en merkt op dat de metingen zijn gedaan op één model, één laag en synthetische relaties. Er wordt niet beweerd dat de volledige latente ruimte in kaart is gebracht, maar wel dat een structurele beperking in hoe readouts momenteel worden geïnterpreteerd, is blootgelegd.

Het artikel concludeert dat werk dat vraagt "wat er uit een readout af te lezen valt", ook moet vragen "bij welke magnitude wat er wordt gelezen overeenkomt met de computatie".