💬 NLP

Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Dieser Artikel zeigt, dass große Sprachmodelle formal-syntaktische Abstraktionen wie Phasengrenzen und Kohäsion des Minimalistischen Programms kodieren – Konzepte, die für Universal Dependencies unsichtbar sind –, indem er offenbart, dass strukturelle Proben Phasenanzahl-Gradienten und Vorzeichenasymmetrien in wh-Bewegungsstimuli detektieren, die eine standardmäßige auf UD basierende Probenahme nicht erfassen kann.

Ursprüngliche Autoren: Yuanhao Chen, Peter Chin

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanhao Chen, Peter Chin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein riesiger, supersmartter Roboter (ein Large Language Model oder LLM) die Struktur eines Satzes versteht. Seit Jahren nutzen Forscher eine „Karte" namens Universal Dependencies (UD), um dies zu überprüfen. Betrachten Sie UD als eine standardisierte, flache Karte, die zeigt, wie Wörter miteinander verbunden sind, ähnlich einem Stammbaum. Sie verrät Ihnen, wer im Satz das „Eltern"- und wer das „Kind"-Element ist.

Die Autoren dieses Papers argumentieren jedoch, dass diese Karte einige entscheidende Geländemerkmale vermisst. Sie zeigt nicht die „Wände" oder „Grenzen" zwischen verschiedenen Räumen in einem Haus. In der Linguistik werden diese Wände Phasen genannt.

Hier ist die Kernaussage des Papers, einfach zusammengefasst:

1. Das Problem: Die Karte ist zu einfach

Die Forscher wollten wissen, ob diese KI-Roboter diese unsichtbaren „Wände" (Phasen) tatsächlich verstehen oder ob sie nur die flache Karte (UD) sehen.

Die Falle: Wenn Sie den Roboter einfach bitten, einen Satz zu zeichnen, könnte es so aussehen, als würde er die Wände verstehen. Vielleicht hat er aber nur die flache Karte auswendig gelernt.
Die Lösung: Das Team entwickelte einen speziellen Test, bei dem die „flache Karte" (UD) für drei verschiedene Satztypen exakt gleich aussieht. Wenn der Roboter dennoch unterschiedlich auf diese Sätze reagiert, bedeutet dies, dass er etwas sieht, was die Karte nicht zeigt.

2. Das Experiment: Drei Arten von „Räumen"

Sie erstellten drei Arten von Sätzen, bei denen ein Fragewort (wie „Was") vom Ende des Satzes an den Anfang wandert.

Typ A (Bare): Ein kleiner, offener Raum. (z. B. „Was sah sie ihn essen?")
Typ B (Infinitival): Ein Raum mit einem Flur. (z. B. „Was erwartete sie, dass er essen würde?")
Typ C (Finite): Ein Raum mit einem Flur und einer verschlossenen Tür. (z. B. „Was dachte sie, dass er aß?")

In allen drei Fällen ist der Abstand auf der „flachen Karte" zwischen dem Fragewort und dem Subjekt identisch. Doch in der „Minimalistischen" Grammatiktheorie nimmt die Anzahl der „Wände" (Phasen), die das Fragewort überqueren muss, von Typ A bis Typ C zu.

3. Die Ergebnisse: Der Roboter sieht die Wände

Die Forscher „untersuchten" 13 verschiedene KI-Modelle (aus Familien wie Llama, Gemma, Mistral und Qwen), um zu sehen, wie sie diese Sätze repräsentierten.

Der „Tiefe"-Test: Sie maßen den Abstand zwischen dem Fragewort und dem Subjekt.
- Ergebnis: Die Roboter behandelten die Sätze konsistent so, als würden sie „tiefer" oder komplexer werden, je mehr „Wände" hinzukamen. Obwohl die flache Karte sagte, der Abstand sei gleich, zeigte die interne Mathematik des Roboters einen Gradienten: Einfach < Mittel < Komplex.
- Die Statistik: 12 von 13 Modellen zeigten dieses Muster deutlich.
Der „Kohäsions"-Test (Die große Überraschung): Sie untersuchten die Beziehung zwischen dem Subjekt und dem Verb innerhalb des kleinen Raums.
- Die Vorhersage: Im „finiten" Satz (Typ C) befinden sich Subjekt und Verb im selben „Raum" (Phase). In den anderen sind sie durch eine Wand getrennt.
- Das Ergebnis: Die Roboter zogen Subjekt und Verb in ihrem internen Gedächtnis näher zusammen, und zwar nur beim finiten Satz.
- Warum das wichtig ist: Die flache Karte sagt, der Abstand sei für alle drei gleich (1 Schritt). Die Roboter hätten keinen Unterschied bemerken sollen. Aber sie taten es. Sie behandelten die Wörter im „finiten" Raum als ein eng verbundenes Team, während die anderen lockerer waren. Dies beweist, dass sie ein Konzept namens phaseninterne Kohäsion nutzen, das die Standardkarte nicht erkennen kann.

4. Beweis, dass es echt ist (nicht nur ein Fehler)

Skeptiker könnten sagen: „Vielleicht rät der Roboter nur, oder die Zahlen sind zufällig." Um zu beweisen, dass der Roboter diese Information tatsächlich nutzt, führten die Forscher eine „Operation" durch (genannt Activation Patching).

Sie nahmen den „Gehirnzustand" des Subjektworts aus einem komplexen Satz und fügten ihn in einen einfachen Satz ein.
Ergebnis: Die internen Abstandsmessungen des Roboters änderten sich genau wie vorhergesagt. Dies bestätigt, dass der Roboter nicht nur Muster auswendig lernt; er nutzt diese strukturellen „Wände" aktiv, um seine Mathematik zu betreiben.

5. Die Hauptaussage

Das Paper kommt zu dem Schluss, dass Universal Dependencies (die Standardkarte) eine „untere Schranke" und keine „obere Schranke" ist.

Stellen Sie es sich so vor: Wenn Sie das Wissen eines Roboters mit einer flachen Karte überprüfen, denken Sie vielleicht, er kenne die Grundlagen. Aber dieses Paper zeigt, dass der Roboter tatsächlich die Architektur des Gebäudes kennt – die Wände, die Etagen und die Räume –, auch wenn die Karte sie nicht zeichnet.

Kurz gesagt: Large Language Models haben durch ihr Training spontan gelernt, interne Karten zu erstellen, die mit tiefgreifenden, formalen linguistischen Theorien über „Phasen" und „Grenzen" übereinstimmen und weit über das hinausgehen, was Standard-Annotationstools erkennen können. Sie imitieren nicht nur oberflächliche Muster; sie bauen ein strukturelles Verständnis von Sprache auf, das unsichtbare Wände einschließt.

Technisches Fazit: Untersuchung der minimalistischen Phasenstruktur in LLMs

Problemstellung
Strukturelles Probing hat gezeigt, dass Large Language Models (LLMs) syntaktische Strukturen in ihren versteckten Repräsentationen kodieren, die typischerweise trainiert werden, um die Distanzen von Universal Dependencies (UD)-Bäumen wiederherzustellen. UD ist jedoch ein Annotationschema und keine generative Grammatik; es fehlen formale syntaktische Abstraktionen wie Phasengrenzen (aus dem Minimalistischen Programm) oder phaseninterne Kohäsion. Folglich können standardmäßige UD-basierte Probing-Verfahren nicht bestimmen, ob LLMs diese tieferen strukturellen Eigenschaften kodieren. Wenn ein Probe einen Unterschied zwischen Bedingungen detektiert, ist unklar, ob dies die Ziel-syntaktische Abstraktion widerspiegelt oder lediglich eine Neu-Kodierung von UD-Distanzen oder Oberflächeneigenschaften darstellt. Dieser Beitrag adressiert die offene Frage, ob LLMs formale syntaktische Abstraktionen jenseits des Reichweite annotierungsbasierter Probing-Verfahren kodieren.

Methodik
Die Autoren entwerfen ein Probing-Experiment mit wh-Bewegungs-Stimuli, bei dem die UD-Baum-Distanz zwischen den untersuchten Wortpaaren durch Konstruktion über alle Bedingungen hinweg invariant gehalten wird. Dies stellt sicher, dass jeder vom Probe detektierte nicht-null Effekt strukturelle Informationen widerspiegelt, die von UD nicht erfasst werden.

Konstruktion der Stimuli:
Für jedes Item werden drei Bedingungen erstellt, sortiert nach der Anzahl der Phasengrenzen des Minimalistischen Programms (MP), die das wh-Element überquert:
- Bloßer kleiner Satz: (z. B. What did she see him eat?) – 0 zusätzliche Phasen.
- Infinitival: (z. B. What did she expect him to eat?) – 1 zusätzliche Phase (vP).
- Finit: (z. B. What did she think he ate?) – 2 zusätzliche Phasen (vP und CP).
Zwei Probenpaare werden gemessen:
- Klauselübergreifend (wh–eingebettetes Subjekt): Testet den „Phasenzähl-Gradienten" (strukturelle Tiefe).
- Innerhalb der Klausel (eingebettetes Subjekt–eingebettetes Verb): Testet die „phaseninterne Kohäsion". Entscheidend ist, dass die UD-Distanz für dieses Paar in allen drei Bedingungen exakt 1 Kante (nsubj) beträgt.
Probing-Protokoll:
- Lineare Proben werden auf dem Universal Dependencies English Web Treebank (UD-EWT) trainiert, um versteckte Zustände auf den euklidischen Raum abzubilden.
- Diese trainierten Proben werden ohne weitere Anpassung an den wh-Bewegungs-Stimuli evaluiert.
- Effektstärken ( $\beta$ ) werden mittels OLS-Regression geschätzt, die die finiten und infinitivalen Bedingungen mit der bloßen Baseline vergleicht.
- Berichterstattung über kanonische Schichten: Um die opportunistische Auswahl von Schichten zu vermeiden (ein häufiges Problem, bei dem verschiedene Kontraste auf unterschiedlichen Schichten ihren Höhepunkt erreichen), definieren die Autoren eine einzelne „kanonische Schicht" ( $L^*$ ) pro Modell basierend auf der Schicht, die den zuverlässigsten Kontrast ( $\beta_{fin}$ ) maximiert. Alle anderen Kontraste werden auf dieser festen Schicht berichtet.
Kausale Verifikation:
Ein Activation Patching-Experiment wird durchgeführt. Die Residualstream-Repräsentation des eingebetteten Subjekts aus einer infinitivalen Quelle wird in ein bloßes Ziel gepatcht. Wenn die Repräsentation kausal Klauseltyp-Informationen kodiert, sollte dies die Probedistanz in die vorhergesagte Richtung verschieben.
Modelle:
Die Studie evaluiert 13 Decoder-only-Basismodelle aus vier Familien: Gemma-3, Llama-3, Mistral und Qwen.

Hauptergebnisse

Phasenzähl-Gradient (Klauselübergreifend):
Bei 12 von 13 Modellen folgt die Probedistanz zwischen dem wh-Element und dem eingebetteten Subjekt dem vorhergesagten Gradienten: $\beta_{fin} > \beta_{inf} > 0$ . Dies zeigt, dass die Modellrepräsentationen die zunehmende Anzahl überquierter Phasengrenzen widerspiegeln, obwohl die UD-Distanzen invariant sind.
Vorzeichenasymmetrie (Innerhalb der Klausel):
Beim Paar eingebettetes Subjekt–Verb (wo die UD-Distanz identisch ist) wird eine robuste 13/13 Vorzeichenasymmetrie beobachtet:
- Finite Bedingung: $\beta < 0$ (Repräsentationen sind näher als die Baseline).
- Infinitivale Bedingung: $\beta > 0$ (Repräsentationen sind weiter als die Baseline).
Dieses Muster widerspricht alternativen Erklärungen:
- UD-Distanz: Sagt $\beta \approx 0$ voraus (Distanz ist konstant).
- Lineare Distanz: Sagt $\beta_{inf} > 0$ aber $\beta_{fin} \approx 0$ voraus (finit und bloß sind benachbart; infinitival hat ein intervenierendes „to").
- Monotone Komplexität: Sagt $\beta_{fin} > \beta_{inf} > 0$ voraus (mehr Struktur = größere Distanz).
Der beobachtete negative $\beta_{fin}$ wird spezifisch durch phaseninterne Kohäsion vorhergesagt, eine MP-Abstraktion, bei der Elemente innerhalb derselben abgeschlossenen Phase (finites CP) als kohäsive Einheit ausgegeben werden, was sie repräsentational näher macht.
Kausale Bestätigung:
Activation Patching an der Position des eingebetteten Subjekts verschiebt die Probedistanzen erfolgreich in die vorhergesagte Richtung bei 12 von 13 Modellen. Dies bestätigt, dass die identifizierten Repräsentationen in der Berechnung des Modells kausal aktiv sind und adressiert Skepsis darüber, ob Proben Repräsentationen wiederherstellen, die das Modell tatsächlich nutzt.

Hauptbeiträge

Invariantes UD-Distanz-Probing: Die Autoren demonstrieren eine Methode zum Probing syntaktischer Struktur, bei der UD-Distanzen strikt kontrolliert werden, um sicherzustellen, dass detektierte Effekte Struktur jenseits von UD widerspiegeln.
Berichterstattung über kanonische Schichten: Sie führen einen strengeren Berichtsstandard ein, der alle Kontraste auf eine einzelne Schicht verankert, einen Freiheitsgrad entfernt und Heterogenität (z. B. das Versagen von Qwen-3-4B) aufdeckt, die eine pro-Kontrast-Höchstwert-Berichterstattung verschleiern würde.
Kausale Evidenz: Durch Activation Patching liefern sie direkte Evidenz, dass die Phasenstruktur-Repräsentationen rechnerisch aktiv und nicht lediglich korrelativ sind.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass distributionelles Pretraining Repräsentationen induziert, die mit formalen syntaktischen Abstraktionen (insbesondere Phasengrenzen und phaseninterne Kohäsion) ausgerichtet sind, die für UD-basierte Annotation unsichtbar sind. Die 13/13 Vorzeichenasymmetrie beim Paar innerhalb der Klausel dient als Existenznachweis, dass LLMs strukturelle Informationen kodieren, die für standardmäßiges Probing unzugänglich sind.

Die Autoren schließen, dass UD-verankerte Proben eine untere Schranke für syntaktische Kodierung darstellen, keine obere Schranke. Die Ergebnisse deuten darauf hin, dass LLMs eine reichhaltigere syntaktische Repräsentation besitzen könnten als die, die durch standardmäßige Dependency-Annotationen erfasst wird, getrieben durch die statistischen Regularitäten der Trainingsdaten anstatt durch explizite grammatikalische Instruktion.

Einschränkungen
Die Studie ist auf Englisch und bestimmte Verbklassen beschränkt. Die Autoren stellen fest, dass der Phasenzähl-Gradient gerichtet ist (er sagt die Reihenfolge voraus, nicht die Größenverhältnisse) und dass Skalierungseffekte innerhalb von Modellfamilien heterogen sind. Der kausale Anspruch ist konservativ und beschränkt sich darauf, dass die Repräsentation des eingebetteten Subjekts die Probedistanzen allgemein beeinflusst, anstatt spezifische Mechanismen für die Vorzeichenasymmetrie zu beweisen.