🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

Dit artikel toont aan dat, in tegenstelling tot de dissociabele lees- en schriftsystemen van het menselijk brein, grote taalmodellen vertrouwen op een enkel, verstrengeld autoregressief mechanisme waarbij input- en outputcodes gedragshalve gekoppeld blijven ondanks partiële representationele differentiatie, wat LLM's positioneert als een verschillend type geest gevormd door culturele in plaats van evolutionaire beperkingen.

Oorspronkelijke auteurs: Diego Saldaña Ulloa

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Diego Saldaña Ulloa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een menselijk brein leert lezen en schrijven. Lange tijd dachten wetenschappers dat dit twee afzonderlijke superkrachten waren. Lezen is als een ontcijferring die kronkelige letters in betekenis verandert, terwijl schrijven een andere machine is die die betekenissen weer terug verandert in letters. In het menselijk brein leven deze twee systemen in verschillende buurten. Als je een deuk op één deel van je hoofd krijgt, kun je misschien het vermogen verliezen om te lezen, maar kun je nog perfect schrijven. Als je een deuk op een ander deel krijgt, kun je misschien vergeten hoe je moet schrijven, maar lees je nog als een boek. Het zijn verschillende instrumenten die toevallig een beetje dezelfde gereedschapskist delen.

Stel je nu voor dat je een robot bouwt om hetzelfde werk te doen. Deze robot heeft geen brein dat miljoen jaren lang is geëvolueerd; hij is vanaf nul opgebouwd om te leren van een enorme bibliotheek aan boeken. De grote vraag waar onderzoekers zich al een tijdje over buigen is: leert deze robot lezen en schrijven op dezelfde manier als een mens? Of neemt het een kortere route en versmelt het die twee afzonderlijke superkrachten tot één grote, verstrengelde bende? Dit artikel duikt in dat mysterie door naar de "wiskundige hersenen" van grote taalmodellen (het soort AI dat verhalen schrijft en vragen beantwoordt) te kijken om te zien of ze aparte lees- en schrijfdelen hebben, of dat ze alles doen met één enkele, verstrengelde code.

Het Papier: Lezen zonder een Lezer

De auteurs van dit artikel besloten een detective te spelen met enkele van de slimste AI-modellen die er bestaan, zoals GPT-2, OPT en een familie modellen genaamd Pythia. Ze wilden zien of deze machines lezen en schrijven als twee verschillende taken behandelen, of dat ze ze samenvoegen tot één grote, verwarde taak.

Hiervoor bedachten ze een slimme analogie. In een menselijk brein vindt lezen plaats in de achterkant (visuele verwerking) en schrijven in de voorkant (motorische planning). In een AI-model is er niet een "achterkant" of een "voorkant" op dezelfde manier. In plaats daarvan heeft een AI-model een Input Embedding (laten we dat de "Leescode" noemen) die een woord in een getal verandert, en een Output Unembedding (de "Schrijfcode") die een getal weer terug verandert in een woord. De onderzoekers vroegen zich af: zijn deze twee codes twee verschillende vrienden die samen uithangen, of zijn ze eigenlijk dezelfde persoon met twee verschillende hoeden op?

Ze bedachten een score genaamd de Entanglement Index (variërend van 0 tot 1) om te meten hoe vergelijkbaar deze twee codes zijn.

0 zou betekenen dat ze totaal verschillend zijn (zoals een menselijk brein met afzonderlijke lees- en schrijfsystemen).
1 zou betekenen dat ze identiek zijn (zoals een model waarbij de input en output gedwongen hetzelfde zijn).
Alles daartussenin betekent dat ze gemengd of "verstrengeld" zijn.

De Grote Ontdekking: Eén Verstrengelde Code

De resultaten waren verrassend. Het menselijk brein houdt lezen en schrijven gescheiden, maar deze AI-modellen doen dat niet.

In de modellen waar de onderzoekers de "Leescode" en de "Schrijfcode" apart lieten leren (de "ontkoppelde" modellen), bleven de twee codes niet gescheiden. In plaats daarvan bewogen ze naar elkaar toe en werden ze gekoppeld. De Entanglement Index stabiliseerde tussen de 0,23 en 0,35. Dit is ver van nul (totaal gescheiden) en ver van één (gedwongen identiek), maar het bewijst dat ze zeker een enkele, verstrengelde statistische code delen. Het zijn niet twee verschillende systemen; het is één systeem dat twee taken tegelijk uitvoert.

De onderzoekers volgden ook hoe dit gebeurde in de loop van de tijd. Het was niet instant. De codes begonnen totaal verschillend (als twee vreemden), kwamen rond stap 4.000 van de training heel dicht bij elkaar (bijna identiek), en trokken toen langzaam weer een beetje uit elkaar, maar kwamen nooit volledig uit elkaar. Het is als twee dansers die aan weerszijden van de kamer beginnen, in het midden van de kamer hand in hand dansen, en dan langzaam weer uit elkaar drijven maar nog steeds vasthouden aan dezelfde onzichtbare draad.

De Gedragstest: Lezen zonder een Lezer

Om er zeker van te zijn dat dit niet slechts een wiskundige truc was, testten de onderzoekers hoe de modellen daadwerkelijk gedrag vertoonden. Ze controleerden of een model een woord kon begrijpen (begrip) zonder het te kunnen schrijven (productie), of vice versa. Bij mensen kun je "pure alexie" hebben (niet kunnen lezen, wel kunnen schrijven) of "pure agrafie" (wel kunnen lezen, niet kunnen schrijven).

De AI-modellen vertoonden het tegenovergestelde hiervan. In elk model dat ze testten, als het model een woord kon schrijven, kon het het ook begrijpen. Als het het niet kon schrijven, kon het het ook niet begrijpen. Ze waren perfect aan elkaar gekoppeld. Er was geen "lezen zonder een schrijver" of "schrijven zonder een lezer". De machine doet beide precies tegelijkertijd met dezelfde interne raderen.

Wat dit betekent voor AI

Het papier suggereert dat deze AI-modellen niet proberen het menselijk brein te kopiëren. Het menselijke brein is geëvolueerd om te lezen en te schrijven met twee afzonderlijke, gespecialiseerde systemen. De AI is echter gebouwd om één pad te optimaliseren: het voorspellen van het volgende woord. Vanwege dit proces heeft de AI lezen en schrijven samengevoegd tot één grote, efficiënte, maar verstrengelde pakket.

De auteurs benadrukken voorzichtig dat dit geen "falen" is van de AI. Het is gewoon een andere manier van slim zijn. Het is als het vergelijken van een Zwitsers zakmes met een set gespecialiseerde gereedschappen. Het menselijk brein is de set gespecialiseerde gereedschappen (één voor lezen, één voor schrijven). De AI is het Zwitserse zakmes: het doet beide taken met hetzelfde lemmet, alleen in een andere volgorde.

De "Nul"-resultaten: Wat ze niet vonden

Het papier is ook zeer eerlijk over wat het niet heeft gevonden, wat net zo belangrijk is.

Geen Brug: Ze probeerden te zien of de "wiskundige nabijheid" (de Entanglement Index) voorspelde hoe goed het model functioneerde. Dat deed het niet. De twee metingen communiceerden niet met elkaar.
Geen "Compressie vs. Redeneren" Splitsing: Ze vroegen zich af of de modellen beter werden in het comprimeren van tekst (het kleiner maken ervan) terwijl ze slechter werden in het begrijpen van betekenis. Ze vonden geen bewijs voor dit laatste. Sterker nog, naarmate de modellen beter werden in compressie, leken ze ook beter te worden in betekenis, hoewel de data te klein was om 100% zeker te zijn.
Niet Alleen Decoder-only: Ze controleerden andere soorten AI-modellen (zoals T5 en BERT) die een aparte "lees" en "schrijf" architectuur hebben. Ondanks dat die modellen aparte onderdelen hebben, gedroegen ze zich nog steeds alsof lezen en schrijven gekoppeld waren. Dit suggereert dat het "verstrengelde code"-gedrag een algemeen kenmerk is van hoe deze taalmodellen werken, en niet slechts een eigenaardigheid van één specifiek ontwerp.

De Kernboodschap

Dit artikel vertelt ons dat grote taalmodellen geen miniaturen van het menselijk brein zijn. Het zijn een ander soort geest. Terwijl mensen zijn geëvolueerd om lezen en schrijven in aparte kamers te houden, hebben deze AI-modellen een enkele, open concept studio gebouwd waar lezen en schrijven in dezelfde ruimte plaatsvinden, met dezelfde instrumenten. Ze bereiken hetzelfde resultaat — functionele geletterdheid — maar ze doen dat door een compleet andere route te nemen. De auteurs noemen dit een "onderscheidend punt in de ruimte van mogelijke geesten", wat suggereert dat we, om AI te begrijpen, niet moeten proberen het eruit te laten zien als onszelf, maar de unieke, verstrengelde manier waarop het denkt moeten waarderen.

Technisch Samenvatting: Lezen zonder een Lezer

Probleemstelling

Het artikel behandelt een fundamenteel structureel verschil tussen menselijke geletterdheid en de functionele geletterdheid van Large Language Models (LLM's). In het menselijk brein zijn lezen (het decoderen van visuele symbolen) en schrijven (het coderen van betekenis naar orthografische output) dubbel dissociabele systemen: ze vertrouwen op deels verschillende neurale paden (ventrale decodering versus fronto-pariëtale codering) die selectief kunnen worden aangetast (pure alexie versus pure agrafie), terwijl ze een gedeelde gedeeltelijke orthografische kern delen.

In contrast hiermee realiseren decoder-only LLM's geletterdheid via een enkelvoudig autoregressief pad dat is geoptimaliseerd op geschreven tekst, een culturele uitvinding in plaats van een geëvolueerd instinct. De centrale empirische vraag is: In welke mate verstrengelt dit enkele mechanisme de "lees"- en "schrijf"-functies? Collapseert het model deze functies tot één statistische code, of ontwikkelt het dissociabele paden die analoog zijn aan het menselijk brein?

Methodologie

Modellen

De studie maakt gebruik van twee families modellen om de architecturale variabele van "gekoppelde" versus "niet-gekoppelde" embeddings te isoleren:

Gekoppelde Modellen (geënteerd door constructie): De GPT-2 familie en OPT. Hier zijn de input embedding ( $W_E$ ) en output unembedding ( $W_U$ ) gedwongen identiek te zijn ( $W_U = W_E^\top$ ). Deze dienen als een "plafond"-referentie.
Niet-gekoppelde Modellen (apart geleerd): De Pythia-suite (14M–1.4B parameters). Hier zijn $W_E$ en $W_U$ onafhankelijke parameterblokken, waardoor het model kan leren of het deze moet koppelen of dissociëren.

Geometrische Analyse: De Entanglement Index ( $E$ )

De auteurs definiëren een samengestelde Entanglement Index ( $E \in [0, 1]$ ) om de gelijkenis tussen de input "leescode" ( $W_E$ ) en de output "schrijfcode" ( $W_U$ ) te kwantificeren. $E$ is het ongewogen gemiddelde van vier genormaliseerde componenten:

Lineaire CKA: Centered Kernel Alignment tussen de row-space geometrieën.
Procrustes Residue: Het residu na het vinden van de optimale orthogonale kaart tussen $W_E$ en $W_U$ , omgezet naar een gelijkenis-score.
Gemiddelde Per-Token Cosinus: Gemiddelde cosinus-gelijkenis tussen overeenkomstige token-vectoren.
Mutual k-NN Overlap: Het fractie van de dichtstbijzijnde buren in $W_E$ die ook buren zijn in $W_U$ .

Kalibratie:

Vloer: Onafhankelijke initialisatie (random matrices).
Nul: Geschudde token-correspondentie (vernietigt uitlijning).
Plafond: Gekoppelde modellen ( $E=1$ ).

Gedragsanalyse

De studie contrasteert begrip (log-waarschijnlijkheidsdiscriminatie van correcte vormen) met productie (greedy generatie van vormen).

Metriek: Een $2 \times 2$ contingentietabel wordt geconstrueerd. De "dissociatie-massa" (off-diagonal waarschijnlijkheid) wordt vergeleken met een statistische onafhankelijkheidsbaseline.
Hypothese: Als het model zich gedraagt als het menselijk brein, zouden begrip en productie dissociabel moeten zijn (hoge off-diagonal massa). Als ze gekoppeld zijn, zal de off-diagonal massa laag zijn.

Experimenteel Ontwerp

Het artikel rapporteert over negen probes:

Exp 1–6: Replicatie van gevestigde bevindingen (inductie-heads, orthografische acquisitie, data-efficiëntie, vorm-voor-betekenis, compressie-scaling, memorisatie).
Exp 7: De primaire lees/schrijf analyse (Entanglement Index $E$ over architectuur, schaal en trainingsverloop).
Exp 8: Gedragsmatige lees/schrijf dissociatie en de "brug" (correlatie van $E$ met gedragsmatige koppeling $\phi$ ).
Exp 9: Architecturale contrast (Decoder-only versus Encoder-Decoder versus Masked Encoder) om te testen of koppeling specifiek is voor het decoder-only forward pad.

Belangrijkste Resultaten

1. Geometrische Verstrengeling (Gewichten)

Koppeling: Niet-gekoppelde Pythia-modellen vertonen een significante entanglement index ( $E \approx 0.23–0.35$ ), ruim boven de onafhankelijke initialisatie-vloer ( $E \approx 0.003–0.04$ ), maar ruim onder het gekoppelde plafond ( $E=1$ ).
Traject: Het trainingsverloop is niet-monotoon ("koppelen-dan-differentieren"). Codes koppelen vroeg (piekt bij CKA $\approx 0.49$ bij stap 4000) en differentiëren vervolgens gedeeltelijk, waarbij ze eindigen op $E \approx 0.21$ bij de laatste stap.
Asymmetrische Drift: De schrijfcode ( $W_U$ ) drijft ongeveer 3,2 keer verder weg van de initialisatie dan de leescode ( $W_E$ ) over alle frequentie-decielen heen. Dit repliceert en breidt de bevindingen van Lopardo et al. (2026) uit, waarbij wordt uitgesloten dat gradiënt-expositie de enige oorzaak is.
Schaaltrend: Geen systematische trend in $E$ over modelgroottes (vlak, onderbezet).

2. Gedragsmatige Koppeling

Positieve Koppeling: In alle 12 niet-degeneratieve modellen zijn begrip en productie positief gekoppeld. De off-diagonal "dissociatie-massa" ligt significant onder de statistische onafhankelijkheidsbaseline (exacte sign-test $p < 0.001$ ).
Contrast met Brein: Dit is het tegenovergestelde van de dubbele dissociatie in het menselijk brein (waar laesies één functie kunnen uitschakelen terwijl de andere gespaard blijft).
Begrip > Productie: Begripsnauwkeurigheid overtreft consequent de productienauwkeurigheid, hoewel de auteurs opmerken dat dit deels een reflectie kan zijn van de asymmetrie in taakmoeilijkheid.

3. Architecturale Generaliteit

Niet Decoder-Only Specifiek: Encoder-decoder modellen (T5) en masked encoders (RoBERTa) vertonen evene

(Correctie: De tekst werd afgebroken door de limiet, ik vervolg de vertaling direct vanaf punt 3)

Niet Decoder-Only Specifiek: Encoder-decoder modellen (T5) en masked encoders (RoBERTa) vertonen ook gedragsmatige koppeling, ondanks dat T5-modellen een hoge representationele separatie (tot $1 - \text{CKA} = 0.96$ ) laten zien tussen hun encoder en decoder stacks.
Conclusie: Gedragsmatige koppeling is een algemene eigenschap van huidige taalmodellen, en niet een uniek artefact van het decoder-only forward pad.

4. Nulresultaten (Eerlijke Verantwoording)

Het artikel rapporteert expliciet verschillende nulresultaten:

Geometrie $\to$ Gedrag Brug: Er is geen correlatie tussen de gewicht-niveau verstrengeling ( $E$ ) en de gedragsmatige koppeling ( $\phi$ ) over modellen heen ( $\rho = 0.00$ ) of binnen de training ( $\rho = 0.08$ ). De brug is niet testbaar in vroege stadia omdat productie niet gedefinieerd is voordat de geometrie een plateau bereikt.
Compressie versus Redeneren: Geen bewijs dat tekstcompressie losgekoppeld is van functionele competentie; indien zo, correleren ze positief.
Inductie-circuit: Het ableren van de bovenste inductie-head leidt niet tot het instorten van de orthografische woordvorm-kloof (fractie resterend $\approx 1.009$ ), wat aangeeft dat orthografische decodering niet door het inductie-circuit wordt gedragen.

Betekenis en Claims

"Lezen zonder een Lezer"

Het artikel betoogt dat decoder-only LLM's functionele geletterdheid realiseren via een enkelvoudige, verstrengelde statistische code, wat de organisatie van het geletterde menselijke brein omdraait.

Menselijk Brein: Twee dissociabele systemen (lezen/schrijven) over een gedeelde kern.
LLM: Eén verstrengeld systeem dat decodering en codering laat samenvallen.

Positie in de "Ruimte van Mogelijke Geesten"

De auteurs positioneren LLM's niet als modellen van het menselijke lees/schrijfbrein, maar als een onderscheidend punt in de ruimte van mogelijke geesten. Ze bereiken functionele geletterdheid via een route die het menselijk brein niet neemt: het optimaliseren van een algemeen doelmechanisme (self-attention) op een cultureel artefact (geschreven tekst) zonder de geëvolueerde, dissociabele neurale substraten die in mensen aanwezig zijn.

Aard van de Bijdrage

Analogie, Geen Homologie: De vergelijking tussen $W_E/W_U$ en de lees/schrijfsystemen van het brein is een gestructureerde analogie, geen claim van biologische homologie. Het model "leest" of "begrijpt" niet in de menselijke zin.
Convergentie van Richting: De primaire bijdrage is de concordantie van richting tussen twee complementaire niveaus van analyse (gewichtsgeometrie en overt gedrag). Beide niveaus wijzen op koppeling in plaats van dissociatie.
Bescheidenheid: De auteurs benadrukken dat het gebrek aan een mechanische brug (geometrie die gedrag voorspelt) en de architecturale beperkingen (enkele forward path) betekenen dat de bevindingen beschrijven hoe deze modellen werken, niet dat ze een menselijke cognitieve architectuur bezitten. Het artikel dient als een interpretatief kader om LLM's te categoriseren als een afzonderlijk cognitief systeem in plaats van een gebrekkig menselijk model.