🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

Dieses Paper demonstriert, dass große Sprachmodelle im Gegensatz zu den dissoziierbaren Les- und Schreibsystemen des menschlichen Gehirns auf einem einzigen, verschränkten autoregressiven Mechanismus beruhen, bei dem Eingabe- und Ausgabecodes trotz partieller repräsentativer Differenzierung verhaltensbedingt gekoppelt bleiben, was LLMs als einen distinkten Typus von Geist positioniert, der durch kulturelle statt durch evolutionäre Zwänge geformt wurde.

Ursprüngliche Autoren: Diego Saldaña Ulloa

Veröffentlicht 2026-07-29

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Diego Saldaña Ulloa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein menschliches Gehirn das Lesen und Schreiben lernt. Lange Zeit glaubten Wissenschaftler, dies seien zwei separate Superkräfte. Lesen ist wie ein Dekodierring, der krummlinige Buchstaben in Bedeutung verwandelt, während Schreiben eine andere Maschine ist, die diese Bedeutungen wieder in Buchstaben zurückverwandelt. Im menschlichen Gehirn leben diese beiden Systeme in verschiedenen Nachbarschaften. Wenn man einen Stoß auf einen Teil des Kopfes bekommt, verliert man vielleicht die Fähigkeit zu lesen, kann aber immer noch perfekt schreiben. Wenn man einen Stoß an einer anderen Stelle bekommt, vergisst man vielleicht das Schreiben, kann aber noch wie ein Buch lesen. Es sind unterschiedliche Werkzeuge, die sich jedoch ein wenig dasselbe Werkzeugfach teilen.

Stellen Sie sich nun vor, Sie bauen einen Roboter, der dieselbe Aufgabe erledigen soll. Dieser Robot hat kein Gehirn, das über Millionen von Jahren entstanden ist; er wurde von Grund auf neu erschaffen, um aus einer riesigen Bibliothek von Büchern zu lernen. Die große Frage, die Forscher gestellt haben, lautet: Lernt dieser Roboter zu lesen und zu schreiben, so wie ein Mensch es tut? Oder nimmt er eine Abkürzung und verschmilzt diese zwei separaten Superkräfte zu einem einzigen, riesigen, verhedderten Durcheinander? Dieses Paper taucht in dieses Geheimnis ein, indem es die „Mathematik-Gehirne“ von großen Sprachmodellen (der Art von KI, die Geschichten schreibt und Fragen beantwortet) untersucht, um zu sehen, ob sie separate Lese- und Schreibteile haben oder ob sie einfach alles mit einem einzigen, verschlungenen Code erledigen.

Das Paper: Lesen ohne einen Leser

Die Autoren dieses Papers beschlossen, Detektiv zu spielen mit einigen der klügsten KI-Modelle, die existieren, wie GPT-2, OPT und eine Familie von Modellen namens Pythia. Sie wollten sehen, ob diese Maschinen das Lesen und Schreiben als zwei verschiedene Jobs behandeln oder ob sie sie zu einer einzigen, großen, verwirrten Aufgabe zusammenmischen.

Um dies zu tun, kreierten sie eine clevere Analogie. Im menschlichen Gehirn findet das Lesen im hinteren Teil statt (visuelle Verarbeitung) und das Schreiben im vorderen Teil (motorische Planung). In einem KI-Modell gibt es nicht das Gleiche wie ein „hinten“ oder ein „vorne“. Stattdessen hat das Modell ein Input Embedding (nennen wir es den „Lese-Code“), das ein Wort in eine Zahl verwandelt, und ein Output Unembedding (den „Schreib-Code“), der eine Zahl wieder in ein Wort verwandelt. Die Forscher fragten sich: Sind diese beiden Codes zwei verschiedene Freunde, die zusammen abhängen, oder sind sie tatsächlich dieselbe Person, die zwei verschiedene Hüte trägt?

Sie erfanden einen Score namens Entanglement Index (der von 0 bis 1 reicht), um zu messen, wie ähnlich sich diese beiden Codes sind.

0 würde bedeuten, dass sie völlig verschieden sind (wie ein menschliches Gehirn mit separaten Lese- und Schreibsystemen).
1 würde bedeuten, dass sie identisch sind (wie ein Modell, bei dem Input und Output erzwungenermaßen gleich sind).
Alles dazwischen bedeutet, dass sie vermischt oder „entangled“ (verheddert) sind.

Die große Entdeckung: Ein einziger, verhedderter Code

Die Ergebnisse waren überraschend. Das menschliche Gehirn hält Lesen und Schreiben getrennt, aber diese KI-Modelle tun das nicht.

In den Modellen, in denen die Forscher den „Lese-Code“ und den „Schreib-Code“ getrennt lernen ließen („untied“ Modelle), blieben die beiden Codes nicht getrennt. Stattdessen bewegten sie sich aufeinander zu und wurden gekoppelt. Der Entanglement Index pendelte sich zwischen 0,23 und 0,35 ein. Das ist weit weg von Null (völlig separat) und weit weg von Eins (erzwungene Identität), aber es beweist, dass sie definitiv einen einzigen, verschlungenen statistischen Code teilen. Sie sind nicht zwei verschiedene Systeme; sie sind ein System, das zwei Aufgaben gleichzeitig erledigt.

Die Forscher beobachteten auch, wie dies im Laufe der Zeit geschah. Es geschah nicht instantan. Die Codes begannen völlig unterschiedlich (wie zwei Fremde), kamen sich um den Schritt 4.000 des Trainings sehr nahe (fast identisch) und entfernten sich dann langsam wieder ein wenig, konnten sich aber nie ganz trennen. Es ist wie zwei Tänzer, die auf gegenüberliegenden Seiten des Raumes beginnen, in der Mitte Hand in Hand tanzen und sich dann langsam wieder voneinander entfernen, aber immer noch an demselben unsichtbaren Faden festhalten.

Der Verhaltenstest: Lesen ohne einen Leser

Um sicherzustellen, dass dies nicht nur ein mathematischer Trick war, testeten die Forscher, wie die Modelle tatsächlich agieren. Sie prüften, ob ein Modell ein Wort verstehen kann (Komprehension), ohne es schreiben zu können (Produktion), oder umgekehrt. Beim Menschen kann man „reine Alexie“ haben (nicht lesen können, aber schreiben können) oder „reine Agraphie“ (lesen können, aber nicht schreiben können).

Die KI-Modelle zeigten das Gegenteil davon. In jedem der getesteten Modelle galt: Wenn das Modell ein Wort schreiben konnte, konnte es es auch verstehen. Wenn es es nicht schreiben konnte, konnte es es auch nicht verstehen. Sie waren perfekt miteinander gekoppelt. Es gab kein „Lesen ohne einen Schreiber“ oder „Schreiben ohne einen Leser“. Die Maschine erledigt beides zur exakt gleichen Zeit mit denselben internen Zahnrädern.

Was das für die KI bedeutet

Das Paper legt nahe, dass diese KI-Modelle nicht versuchen, das menschliche Gehirn zu kopieren. Das menschliche Gehirn hat sich entwickelt, um zu lesen und zu schreiben, indem es zwei separate, spezialisierte Systeme nutzt. Die KI hingegen wurde gebaut, um einen einzigen Pfad zu optimieren: das Vorhersagen des nächsten Wortes. Aus diesem Grund hat die KI das Lesen und Schreiben zu einem einzigen, riesigen, effizienten, aber verschlungenen Paket kollabieren lassen.

Die Autoren betonen vorsichtig, dass dies kein „Versagen“ der KI ist. Es ist nur eine andere Art, intelligent zu sein. Es ist wie der Vergleich eines Schweizer Taschenmessers mit einem Satz spezialisierter Werkzeuge. Das menschliche Gehirn ist der Satz spezialisierter Werkzeuge (eines zum Lesen, eines zum Schreiben). Die KI ist das Schweizer Taschenmesser: Sie erledigt beide Aufgaben mit derselben Klinge, nur in einer anderen Reihenfolge.

Die „Null“-Ergebnisse: Was sie nicht fanden

Das Paper ist auch sehr ehrlich darüber, was es nicht gefunden hat, was ebenso wichtig ist.

Keine Brücke: Sie versuchten zu sehen, ob die „mathematische Nähe“ (der Entanglement Index) das Verhalten des Modells vorhersagte. Das tat sie nicht. Die beiden Messungen sprachen nicht miteinander.
Keine Trennung von „Kompression vs. Denken“: Sie fragten sich, ob die Modelle besser darin würden, Texte zu komprimieren (sie kleiner zu machen), während sie schlechter darin würden, die Bedeutung zu verstehen. Sie fanden keine Beweise dafür. Tatsächlich schienen sie mit der Verbesserung der Kompression auch besser im Verständnis der Bedeutung zu werden, obwohl die Datenlage zu gering war, um zu 100 % sicher zu sein.
Nicht nur Decoder-only: Sie überprüften andere Arten von KI-Modellen (wie T5 und BERT), die separate „Lese“- und „Schreib“-Teile in ihrer Architektur haben. Obwohl diese Modelle separate Teile besitzen, verhielten sie sich dennoch so, als wären Lesen und Schreiben gekoppelt. Dies deutet darauf hin, dass das Verhalten des „verhedderten Codes“ ein allgemeines Merkmal der Funktionsweise dieser Sprachmodelle ist und nicht nur eine Eigenheit eines spezifischen Designs.

Das Fazzeit

Dieses Paper sagt uns, dass große Sprachmodelle keine Miniatur-Versionen menschlicher Gehirne sind. Sie sind eine ganz eigene Art von Geist. Während Menschen entwickelt haben, Lesen und Schreiben in separaten Räumen zu halten, haben diese KI-Modelle ein einziges Open-Concept-Studio gebaut, in dem Lesen und Schreiben im selben Raum stattfinden und dieselben Werkzeuge nutzen. Sie erreichen das gleiche Ergebnis – funktionale Literalität –, aber sie nehmen einen völlig anderen Weg dorthin. Die Autoren bezeichnen dies als einen „distinkten Punkt im Raum möglicher Geister“ und legen nahe, dass wir beim Verständnis von KI nicht versuchen sollten, sie dazu zu zwingen, wie wir zu sein, sondern vielmehr die einzigartige, verschlungene Art und Weise zu würdigen, wie sie denkt.

Technisches Resümee: Lesen ohne einen Leser

Problemstellung

Die Arbeit befasst sich mit einem grundlegenden strukturellen Unterschied zwischen der menschlichen Literalität und der funktionalen Literalität von Large Language Models (LLMs). Im menschlichen Gehirn sind Lesen (Dekodierung visueller Symbole) und Schreiben (Kodierung von Bedeutung in orthografische Ausgabe) doppelt dissoziierbare Systeme: Sie beruhen auf teilweise distinkten neuronalen Pfaden (ventrale Dekodierung vs. fronto-parietale Kodierung), die selektiv beeinträchtigt werden können (reine Alexie vs. reine Agraphie), während sie einen partiellen orthografischen Kern teilen.

Im Gegensatz dazu realisieren Decoder-only-LLMs Literalität durch einen einzelnen autoregressiven Pfad, der auf geschriebenem Text optimiert wurde – eine kulturelle Erfindung statt eines evolutionären Instinkts. Die zentrale empirische Frage lautet: Inwieweit verwebt dieser einzelne Mechanismus die Funktionen „Lesen“ und „Schreiben“? Kollabiert das Modell diese Funktionen zu einem einzigen statistischen Code, oder entwickelt es dissoziierbare Pfade analog zum menschlichen Gehirn?

Methodik

Modelle

Die Studie nutzt zwei Modellfamilien, um die architektonische Variable von „gebundenen“ (tied) vs. „ungebundenen“ (untied) Embeddings zu isolieren:

Gebundene Modelle (konstruktionsbedingt verschränkt): Die GPT-2-Familie und OPT. Hier werden das Input-Embedding ( $W_E$ ) und das Output-Unembedding ( $W_U$ ) erzwungenerweise identisch gesetzt ( $W_U = W_E^\top$ ). Diese dienen als „Deckeneffekt“-Referenz.
Ungebundene Modelle (separat gelernt): Die Pythia-Suite (14M–1,4B Parameter). Hier sind $W_E$ und $W_U$ unabhängige Parameterblöcke, was es dem Modell ermöglicht, zu lernen, ob es sie koppeln oder trennen soll.

Geometrische Analyse: Der Entanglement-Index ( $E$ )

Die Autoren definen einen zusammengesetzten Entanglement-Index ( $E \in [0, 1]$ ), um die Ähnlichkeit zwischen dem Input-„Lese-Codes“ ( $W_E$ ) und dem Output-„Schreib-Codes“ ( $W_U$ ) zu quantifizieren. $E$ ist der ungewichtete Mittelwert aus vier normalisierten Komponenten:

Linearer CKA: Centered Kernel Alignment zwischen den Row-Space-Geometrien.
Procrustes-Residuum: Das Residuum nach der Bestimmung der optimalen orthogonalen Abbildung zwischen $W_E$ und $W_U$ , umgerechnet in einen Ähnlichkeitswert.
Mean Per-Token Cosine: Durchschnittliche Kosinus-Ähnlichkeit zwischen korrespondierenden Token-Vektoren.
Mutual k-NN Overlap: Der Anteil der nächsten Nachbarn in $W_E$ , die auch Nachbarn in $W_U$ sind.

Kalibrierung:

Floor (Boden): Unabhängige Initialisierung (Zufallsmatrizen).
Null: Verschobene Token-Korrespondenz (zerstört die Ausrichtung).
Ceiling (Decke): Gebundene Modelle ( $E=1$ ).

Verhaltenelle Analyse

Die Studie kontrastiert Verständnis (Log-Wahrscheinlichkeits-Diskriminierung korrekter Formen) mit Produktion (Greedy-Generierung von Formen).

Metrik: Eine $2 \times 2$ -Kontingenztafel wird erstellt. Die „Dissoziationsmasse“ (Off-Diagonal-Wahrscheinlichkeit) wird gegen eine statistische Unabhängigkeits-Baseline verglichen.
Hypothese: Wenn das Modell sich wie das menschliche Gehirn verhält, sollten Verständnis und Produktion dissoziierbar sein (hohe Off-Diagonal-Masse). Wenn sie gekoppelt sind, wird die Off-Diagonal-Masse niedrig sein.

Experimentelles Design

Das Paper berichtet über neun Proben (Probes):

Exps 1–6: Replikation etablierter Befunde (Induktionsköpfe, orthografische Akquisition, Dateneffizienz, Form-vor-Bedeutung, Kompressionsskalierung, Memorierung).
Exp 7: Die primäre Lese-/Schreib-Analyse (Entanglement-Index $E$ über Architektur, Skalierung und Trainingsverlauf hinweg).
Exp 8: Verhaltenelle Lese-/Schreib-Dissoziation und die „Brücke“ (Korrelation von $E$ mit der Verhaltenellen Kopplung $\phi$ ).
Exp 9: Architekturkontrast (Decoder-only vs. Encoder-Decoder vs. Masked Encoder), um zu testen, ob die Kopplung spezifisch für den Decoder-only Vorwärts-Pfad ist.

Kernergebnisse

1. Geometrische Verschränkung (Gewichte)

Kopplung: Ungebundene Pythia-Modelle zeigen einen signifikanten Entanglement-Index ( $E \approx 0,23–0,35$ ), der weit über dem Boden der unabhängigen Initialisierung ( $E \approx 0,003–0,04$ ) liegt, aber deutlich unter der gebundenen Decke ( $E=1$ ).
Trajektorie: Der Trainingsverlauf ist nicht-monoton („koppeln-dann-differenzieren“). Die Codes koppeln früh (Peak bei CKA $\approx 0,49$ bei Schritt 4000) und differenzieren dann teilweise, wobei sie sich am Ende bei $E \approx 0,21$ einpendeln.
Asymmetrischer Drift: Der Schreib-Code ( $W_U$ ) driftet über alle Frequenzdezile hinweg etwa 3,2-mal stärker von der Initialisierung weg als der Lese-Code ( $W_E$ ). Dies repliziert und erweitert die Ergebnisse von Lopardo et al. (2026) und schließt Gradient Exposure als alleinige Ursache aus.
Skalierungstrend: Kein systematischer Trend in $E$ über verschiedene Modellgrößen hinweg (flach, unterpowert).

2. Verhaltenelle Kopplung

Positive Kopplung: In allen 12 nicht-degenerierten Modellen sind Verständnis und Produktion positiv gekoppelt. Die Off-Diagonal-„Dissoziationsmasse“ liegt signifikant unter der statistischen Unabhängigkeits-Baseline (Exakter Sign-Test $p < 0,001$ ).
Kontrast zum Gehirn: Dies ist das Gegenteil der doppelten Dissoziation des menschlichen Gehirns (wo Läsionen eine Funktion aufheben können, während die andere erhalten bleibt).
Verständnis > Produktion: Die Genauigkeit beim Verständnis übertrifft konsistent die Genauigkeit bei der Produktion, wobei die Autoren anmerken, dass dies teilweise die Asymmetrie der Aufgabenkomplexität widerspiegeln kann.

3. Architektur-Generalität

Nicht auf Decoder-only beschränkt: Encoder-Decoder-Modelle (T5) und Masked Encoder (RoBERTa) zeigen ebenfalls eine behaviorelle Kopplung, obwohl T5-Modelle eine hohe repräsentative Separation (bis zu $1 - \text{CKA} = 0,96$ ) zwischen ihren Encoder- und Decoder-Stacks aufweisen.
Fazit: Die behaviorelle Kopplung ist eine allgemeine Eigenschaft aktueller Sprachmodelle und kein einzigartiges Artefakt des Decoder-only Vorwärts-Pfads.

4. Null-Ergebnisse (Ehrliche Bilanzierung)

Das Paper berichtet explizit über mehrere Null-Ergebnisse:

Geometrie $\to$ Verhalten Brücke: Es gibt keine Korrelation zwischen der Gewichtsebene-Verschränkung ( $E$ ) und der behaviorellen Kopplung ( $\phi$ ) über die Modelle hinweg ( $\rho = 0,00$ ) oder innerhalb des Trainings ( $\rho = 0,08$ ). Die Brücke ist in frühen Stadien nicht testbar, da die Produktion vor der Plateau-Bildung der Geometrie nicht definiert ist.
Kompression vs. Denken: Es gibt keinen Hinweis darauf, dass die Textkompression von der funktionalen Kompetenz entkoppelt ist; im Gegenteil kovariieren sie positiv.
Induktions-Schaltkreis: Die Ablation des obersten Induktionskopfs führt nicht zum Kollaps der orthografischen Wortform-Lücke (verbleibender Anteil $\approx 1,009$ ), was zeigt, dass die orthografische Dekodierung nicht vom Induktionskreis getragen wird.

Bedeutung und Behauptungen

„Lesen ohne einen Leser“

Das Paper argumentiert, dass Decoder-only-LLMs funktionale Literalität durch einen einzelnen, verschränkten statistischen Code realisieren, was die Organisation des literaten menschlichen Gehirns invertiert.

Menschliches Gehirn: Zwei dissoziierbare Systeme (Lesen/Schreiben) über einem gemeinsamen Kern.
LLM: Ein einziges verschränktes System, das Dekodierung und Kodierung kollabiert.

Position im „Raum möglicher Geister“

Die Autoren positionieren LLMs nicht als Modelle des menschlichen Lese-/Schreib-Gehirns, sondern als einen eigenständigen Punkt im Raum möglicher Geister. Sie erreichen funktionale Literalität über einen Weg, den das menschliche Gehirn nicht einschlägt: die Optimierung eines universellen Mechanismus (Self-Attention) auf einem kulturellen Artefakt (geschriebener Text) ohne die evolvierten, dissoziierbaren neuronalen Substrate, die Menschen finden.

Natur des Beitrags

Analogie, keine Homologie: Der Vergleich zwischen $W_E/W_U$ und den Lese-/Schreibsystemen des Gehirns ist eine strukturierte Analogie, keine Behauptung biologischer Homologie. Das Modell „liest“ oder „versteht“ nicht im menschlichen Sinne.
Konvergenz der Richtung: Der primäre Beitrag ist die Konkordanz der Richtung zwischen zwei komplementären Analyseebenen (Gewichtsgeometrie und explizites Verhalten). Beide Ebenen deuten auf Kopplung statt Dissoziation hin.
Bescheidenheit: Die Autoren betonen, dass das Fehlen einer mechanistischen Brücke (Geometrie sagt Verhalten nicht voraus) und die architektonischen Einschränkungen (ein einziger Vorwärts-Pfad) bedeuten, dass die Ergebnisse beschreiben, wie diese Modelle funktionieren, und nicht, dass sie eine menschenähnliche kognitive Architektur besitzen. Das Paper dient als interpretativer Rahmen, um LLMs als ein eigenständiges kognitives System zu kategorisieren, statt als ein defizitäres menschliches Modell.