💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

Diese Arbeit untersucht, wie große Sprachmodelle abstrakte strukturelle Informationen aus Beobachtungsdaten erlernen und anwenden, wobei sie aufzeigt, dass das Entstehen eines solchen Lernens zwar mit komplexem Denken korreliert, die Fähigkeit der Modelle zur kompositionellen Generierung zur Testzeit jedoch begrenzt bleibt.

Ursprüngliche Autoren: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Language Models (LLMs) wie unglaublich talentierte Köche vor, die jedes Kochbuch der Welt gelesen haben. Sie können Rezepte perfekt rezitieren und sogar Zutaten mischen, die sie schon einmal gesehen haben, um neue Gerichte zu kreieren. Aber verstehen sie wirklich die Logik des Kochens? Können sie eine einfache Regel (wie „wenn man Salz hinzufügt, schmeckt es salzig“) auf eine völlig neue Zutat anwenden, die sie noch nie gesehen haben, oder merken sie sich nur spezifische Gerichte?

Dieses Paper, „On the Emergence and Test-Time Use of Structural Information in Large Language Models“, ist wie ein wissenschaftliches Küchenexperiment, das darauf ausgelegt ist, genau diese Frage zu beantworten. Die Forscher wollten herausfinden, ob diese KI-Köche die zugrunde liegenden „Grammatikregeln“ (die Struktur) lernen oder ob sie nur die spezifischen Sätze auswendig lernen, mit denen sie trainiert wurden.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Der Spielplatz: Ein „Grammatik-Fitnessstudio“

Um die Modelle zu testen, haben die Forscher ihnen nicht einfach wahllos Sätze vorgeworfen. Sie bauten ein spezielles „Grammatik-Fitnessstudio“ basierend auf einem Konzept namens Transformationaler Grammatik.

Stellen Sie sich Sprache wie einen Satz Lego-Steine vor.

Deep Structure (Tiefe Struktur): Der Kern einer Idee eines Satzes (z. B. „John ist glücklich“).
Surface Structure (Oberflächenstruktur): Wie wir es tatsächlich aussprechen (z. B. „Es scheint, dass John glücklich ist“).

Die Forscher erstellten einen Datensatz, bei dem die KI spezifische „Transformationen“ an Sätzen durchführen musste, wie zum Beispiel eine Aussage in eine Frage umzuwandeln, das Aktiv in das Passiv zu ändern oder ein Subjekt an den Anfang des Satzes zu stellen. Es ist, als würde man den Koch bitten, ein Kuchenrezept sofort in ein Tortenrezept umzuschreiben, indem strikte Regeln befolgt werden.

2. Die Entdeckung: Wann „versteht“ die KI es?

Die Forscher beobachteten die KI während des Trainings und analysierten ihre internen „Gehirnwellen“ (mathematische Repräsentationen), um zu sehen, wann sie begann, diese Regeln zu verstehen.

Der „Aha!“-Moment: Sie fanden heraus, dass die KI diese Regeln nicht schrittweise lernt. Stattdessen durchlief sie einen Phasenübergang. Stellen Sie sich vor, ein Lichtschalter wird umgelegt. An einem bestimmten Punkt im Training (um den Schritt 64.000) begann die KI plötzlich, zwischen verschiedenen Arten von Satzänderungen zu unterscheiden.
Die Verbindung zum logischen Denken: Interessanterweise korrelierte dieser „Schalter“ nicht nur damit, dass die KI das nächste Wort besser vorhersagen konnte. Er korrelierte auch damit, dass die KI besser in komplexen Denkaufgaben wurde. Dies deutet darauf hin, dass die KI, um schwierige Logikrätsel zu lösen, die zugrunde liegende Struktur der Sprache verstehen muss und nicht nur die Wörter.

3. Der Test: Kann die KI Regeln kombinieren? (Das „Kompositions-Problem“)

Dies ist der kritischste Teil des Experiments. Die Forscher fragten: Wenn wir der KI Regel A und Regel B separat beibringen, kann sie dann Regel A + Regel B auf einen Satz anwenden, den sie noch nie zuvor gesehen hat?

Das Ergebnis: Die KI hatte Schwierigkeiten.
- Wenn die KI den Zwischenschritt erhielt (z. B. „Zuerst mache Regel A, dann mache Regel B“), war sie gut.
- Aber wenn sie gebeten wurde, die gesamte Kette in einem Schritt ohne Hilfe zu vollziehen, scheiterte sie oft.
Die Metapher: Stellen Sie sich vor, Sie bringen einem Schüler bei, wie man den linken Schuh bindet und wie man den rechten Schuh bindet. Wenn Sie ihn dann bitten, beide gleichzeitig zu binden, ohne auf die einzelnen Schritte zu achten, könnte er verwirrt sein. Die KI scheint die spezifische Kombination der Schritte auswendig zu lernen, anstatt die unabhängigen Regeln so gut zu verstehen, dass sie diese frei mischen und kombinieren kann.

4. Im Inneren der Maschine: Wo geschieht die Magie?

Die Forscher führten auch eine „Operation“ am Gehirn der KI durch (eine sogenannte Ablationsstudie), um zu sehen, welche Teile die Hauptarbeit leisten.

„Muskel“ vs. „Gehirn“: Sie fanden heraus, dass die MLP-Layer (denken Sie an diese als die „Muskeln“ oder Verarbeitungseinheiten der KI, die die schweren Berechnungen durchführen) für etwa 65 % des Erfolgs dieser Transformationen verantwortlich waren. Die Attention Heads (das „Gehirn“, das entscheidet, worauf man sich konzentriert) trugen nur etwa 35 % bei.
Die letzte Schicht: Die eigentliche Entscheidung darüber, „wie man diesen Satz transformiert“, findet hauptsächlich in den letzten Schichten des Netzwerks statt. Es ist, als würde die KI den Großteil der Zeit nachdenken, und im allerletzten Moment entscheidet sie, welche Regel anzuwenden ist.

5. Das Fazit

Das Paper schließt mit einer Mischung aus guten Nachrichten und einer Realitätsprüfung ab:

Gute Nachrichten: LLMs lernen tatsächlich strukturelle Informationen. Sie memorieren nicht nur Texte; sie entwickeln eine interne Landkarte, wie Sätze funktionieren, und diese Landkarte wird präziser, je besser sie im logischen Denken werden.
Realitätsprüfung: Dieses Lernen ist jedoch noch nicht perfekt. Wenn es darum geht, diese Regeln zu kombinieren, um zur Laufzeit (Test-Time) genuin neues, komplexes Wissen zu generieren, ist die KI noch begrenzt. Sie verlässt sich stark auf die Sichtung von Zwischenschritten und hat Schwierigkeiten, die Regeln zu „entwirren“, um sie flexibel in neuen Situationen anzuwenden.

Kurz gesagt: Die KI lernt die Regeln des Spiels, aber sie ist noch ein wenig wie ein Schüler, der zwar die mathematischen Formeln kennt, aber die Beispiellösung Schritt für Schritt sehen muss, bevor er eine neue Aufgabe allein lösen kann. Sie haben die Kunst der rein flexiblen Kreativität noch nicht ganz gemeistert.

Technische Zusammenfassung: Über das Entstehen und die Anwendung struktureller Informationen zur Testzeit in Large Language Models

Problemstellung
Die Arbeit untersucht die Fähigkeit von Large Language Models (LLMs), abstrakte strukturelle Informationen aus Beobachtungsdaten zu lernen und dieses Wissen zu nutzen, um zur Testzeit genuin neue Kombinationen zu generieren. Während Menschen grundlegende linguistische Bausteine reorganisieren können, um ungesehene Kombinationen zu verstehen (kompositionale Generalisierung), haben aktuelle Modelle oft Schwierigkeiten mit der systematischen Generalisierung auf Out-of-Distribution (OOD)-Konzepte. Die Autoren postulieren, dass das Verständnis darüber, wie LLMs strukturelle Informationen lernen und zusammensetzen, zentral für die Erzeugung neuen Wissens außerhalb des Trainingskorpus ist – eine Fähigkeit, die mit mechanistischem Verständnis und robuster Vorhersage verknüpft ist. Um dies in einem kontrollierten Rahmen zu untersuchen, bewegen sich die Autoren über Standard-Benchmarks hinaus und konzentrieren sich auf linguistische strukturelle Transformationen, die aus der Transformationalen Grammatik abgeleitet sind.

Methodik
Die Autoren führen einen kontrollierten synthetischen Spielplatz basierend auf der Transformationalen Grammatik (TG) ein.

Datensatzkonstruktion: Sie generierten einen natürlichen Sprachdatensatz, der zehn verschiedene Transformationstypen (z. B. NP-Raising, Passivierung, I-Movement) umfasst, die in fünf syntaktische Kategorien gruppiert sind. Der Datensatz beinhaltet:
- Ein-Ebenen-Transformationen: Anwendung eines Operators auf einen Basissatz.
- Verschachtelte Transformationen: Sequenzielle Anwendung von Operatoren (z. B. $B(A(s))$ ).
- Kompositionale Ambiguität: Fälle, in denen bestimmte Transformationen nicht sinnvoll kombiniert werden können, was das Modell dazu zwingt, implizit kompatible Muster zu identifizieren.
- Der Datensatz wurde unter Verwendung von DeepSeek-V3 mit spezifischen Prompts erstellt, um Konsistenz zu gewährleisten, was etwa 2000 Stichproben für Ein-Ebenen-Transformationen und etwa 500 für verschachtelte Transformationen ergab.
Experimentelles Setup:
- Emergenz-Analyse: Unter Verwendung des Pythia-410M-Modells verfolgten die Autoren die Evolution struktureller Repräsentationen während des Trainings. Sie berechneten die $L_2$ -Distanz zwischen den Repräsentationen des Residual-Streams von Basissätzen und deren transformierten Versionen ( $\Delta A(s)$ ), um die strukturelle Sensitivität zu messen.
- Kompositionale Generalisierung: Sie evaluierten LLaMA3-8B sowohl mittels Full-Parameter Fine-Tuning als auch mittels Parameter-Efficient Fine-Tuning (LoRA). Die Evaluierung testete die Fähigkeit des Modells, verschachtelte Transformationen und OOD-Kombinationen durchzuführen (z. B. Training auf $A(B(s))$ und $B(C(s))$ , dann Test auf $A(C(s))$ ), ohne dass während der Inferenz Zwischenschritte bereitgestellt wurden.
- Mechanistische Interpretierbarkeit: Die Autoren führten eine kausale Interventionsanalyse (Nullsetzen von Attention-Heads und MLP-Blöcken) sowie lineares Probing (LDA) durch, um zu identifizieren, welche Netzwerkkomponenten und Schichten für syntaktische Transformationen verantwortlich sind.

Wesentliche Beiträge

Datensatz: Einführung eines Datensatzes natürlicher Sprache basierend auf linguistischen strukturellen Transformationen, um das Lernen struktureller Informationen formal zu untersuchen.
Empirische Korrelationen: Demonstration, dass das Entstehen struktureller Informationen während des Lernens mit dem Erfolg bei komplexen Denkaufgaben korreliert und nicht nur mit der Standard-Sprachmodellierungs-Perplexität.
Limitierungen in der Komposition: Belege dafür, dass Modelle zwar strukturelle Repräsentationen lernen, ihre Fähigkeit zur testzeitlichen kompositionalen Generierung (speziell für ungesehene verschachtelte Transformationen) unter Fine-Tuning jedoch begrenzt bleibt.
Mechanistische Erkenntnisse: Identifizierung spezifischer Netzwerkkomponenten, die für das strukturelle Lernen verantwortlich sind, wobei eine Konzentration der transformationsrelevanten Berechnungen in den späten Schichten und eine Dominanz der MLP-Blöcke gegenüber den Attention-Mechanismen festgestellt wurde.

Ergebnisse

Entstehen von Struktur:
- Unterschiedliche Satztransformationen bilden im Embedding-Raum distinkte, separierbare Cluster.
- Die $L_2$ -Norm zwischen den Repräsentationen von Basis- und transformierten Sätzen steigt während des Trainings stetig an, mit einem scharfen Anstieg um Schritt 64k, was auf einen Phasenübergang hindeutet, bei dem strukturelle Unterscheidungen deutlich werden.
- Diese strukturelle Verfeinerung korreliert stärker mit Gewinnen in komplexen Denkaufgaben als mit der Standard-Next-Word-Prediction-Perplexität.
Kompositionale Generalisierung:
- Full-Parameter Fine-Tuning schnitt schlecht ab, wahrscheinlich aufgrund von Overfitting auf den begrenzten Datensatz.
- LoRA Fine-Tuning zeigte signifikante Verbesserungen gegenüber dem Full-Parameter-Tuning. Dennoch hatte das Modell Schwierigkeiten mit exakten Treffern bei verschachtelten Transformationen, wenn keine Zwischenergebnisse während der Inferenz bereitgestellt wurden.
- Die Leistung bei OOD-verschachtelten Transformationen (z. B. $A+C$ ) blieb niedrig (0,00 % exakter Treffer, ~45–49 % Teiltreffer), was darauf hindeutet, dass das Modell die Transformationsoperationen nicht vollständig entkoppelt, um sie zur Testzeit flexibel zu kombinieren.
- Die Bereitstellung expliziter Zwischenschritte während des Trainings und der Inferenz verbesserte die Leistung, was darauf hindeutet, dass das Modell von struktureller Führung profitiert, aber noch nicht in der Lage ist, ohne diese robust zu ungesehenen Kompositionen zu generalisieren.
Ablation und Interpretierbarkeit:
- Schichtkonzentration: Die Wahrscheinlichkeit, das korrekte Transformations-Token vorherzusagen, steigt in der letzten Drittel des Netzwerks (Schichten 24–32) steil an, wobei 38 % der Beitrag dort konzentriert sind.
- Komponenten-Präferenz: MLP-Blöcke tragen mehr zur Erfolgsrate der syntaktischen Transformation bei (65 % des kausalen Beitrags) als Attention-Mechanismen (35 %).
- Lineare Separierbarkeit: Lineare Probes zeigen eine nahezu perfekte Trennung zwischen Transformationstypen im Residual-Stream, was die Hypothese der linearen Repräsentation stützt.

Bedeutung und Behauptungen
Die Arbeit behauptet, Belege für die Grenzen und Mechanismen von LLMs bei der Erzeugung neuen Wissens durch strukturelle Komposition zu liefern. Die Autoren kommen zu dem Schluss, dass LLMs zwar strukturelle Informationen lernen können und während des Trainings einen Phasenübergang in der strukturellen Sensitivität aufweisen, sie jedoch derzeit nicht in der Lage sind, Out-of-Distribution-Strukturen flexibel neu zu kombinieren, um ohne explizite Zwischenführung neues Wissen zu produzieren. Die Ergebnisse legen nahe, dass logisches Denken strukturelle Informationen erfordert, aktuelle Fine-Tuning-Regime auf Modellen wie LLaMA3-8B jedoch noch keine robuste kompositionale Generalisierung erreichen. Die Arbeit hebt hervor, dass syntaktische Transformationen stark auf späte MLP-Schichten angewiesen sind und dass die Trennung von Konzepten im Verlauf des Fine-Tunings linear im Residual-Stream entsteht.

Limitierungen
Die Autoren räumen ein, dass ihre Analyse auf das Englische beschränkt ist, was die Generalisierbarkeit auf kreuzlinguistische Muster einschränken könnte. Die Verwendung von Ein-Ebenen-Transformationen für die kausale Attribution kann Sub-Operationen vermischen. Zudem lassen sich die Ergebnisse eines 8B-Modells möglicherweise nicht direkt auf größere Modelle übertragen, die komplexere Datensätze benötigen würden, um Memorierung zu vermeiden.