💬 NLP

Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Dieser Beitrag liefert den ersten kausalen Nachweis, dass große Sprachmodelle Wissen über linguistische Unakzeptabilität durch statistische Präemption erwerben, indem er zeigt, dass die Exposition gegenüber konventionellen Formen strukturell mögliche, aber nicht belegte Alternativen durch distributionellen Wettbewerb und nicht durch bloße Verbenknetung unterdrückt.

Ursprüngliche Autoren: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wie lernen wir, was wir nicht sagen sollen?

Stellen Sie sich ein Kind vor, das Sprechen lernt. Es hört seine Eltern sagen: „Ich habe die Bücher an die Bibliothek gespendet." Schließlich merkt das Kind, dass der Satz „Ich habe die Bibliothek die Bücher gespendet" falsch klingt.

Hier liegt das Rätsel: Dem Kind wurde niemals gesagt: „Sag es nicht so." Es hat nie eine Korrektur gehört. Tatsächlich funktioniert die Satzstruktur, die es vermeidet (die „Doppelobjekt"-Variante), bei anderen Wörtern perfekt, wie zum Beispiel bei „geben" („Ich habe der Bibliothek die Bücher gegeben").

Wie weiß also das Gehirn, dass es ein Muster aufgeben soll, das theoretisch funktionieren könnte, nur weil es für dieses spezifische Wort nicht verwendet wurde? Dies ist als Bakers Paradoxon bekannt.

Die Theorie: Die Analogie des „überfüllten Raums"

Das Papier testet eine Theorie namens Statistische Präemption.

Stellen Sie sich einen überfüllten Raum vor, in dem jeder versucht, eine Botschaft zu übermitteln.

Die Theorie: Wenn Sie jemandem mitteilen wollen, dass Sie ihm etwas geben, und Sie sehen, dass 99 % der Menschen im Raum sagen: „Ich habe das Buch an die Person gegeben", lernt Ihr Gehirn, dass dies der „Standardweg" ist. Obwohl Sie physisch in der Lage wären, zu sagen: „Ich habe der Person das Buch gegeben", erkennt Ihr Gehirn: „Ah, jeder andere verwendet für diese spezifische Handlung die Version mit 'an'. Wenn ich die andere Version verwende, denken die Leute vielleicht, ich sei seltsam oder falsch."
Die konkurrierende Idee (Verfestigung): Eine rivalisierende Theorie besagt, dass Sie neue Muster einfach nicht mehr verwenden, weil Sie das Wort „spenden" so oft in jedem Kontext gehört haben. Es ist, als würde man sagen: „Ich habe 'spenden' so oft gehört, dass ich zu sehr in meinen Gewohnheiten verankert bin, um etwas Neues zu versuchen."

Die Autoren wollten wissen: Lernen KI-Sprachmodelle (LLMs) wie Menschen? Finden sie heraus, was sie nicht sagen sollen, indem sie einfach bemerken, welche Version der „Liebling im überfüllten Raum" ist?

Das Experiment: Die KI als Super-Lerner

Die Forscher behandelten Large Language Models (wie GPT-2, LLaMA und Pythia) als „Super-Lerner". Diese Modelle haben Milliarden von Sätzen gelesen, wurden aber niemals Grammatikregeln beigebracht. Sie haben lediglich Statistiken absorbiert.

Sie testeten die Modelle an 120 verschiedenen Verben (wie spenden, geben, erklären, gießen) über drei Arten von Satzstrukturen hinweg.

1. Der „Überraschungs"-Test (Korrelation)

Die Forscher maßen, wie „überrascht" die KI von verschiedenen Satzstrukturen war.

Die Metapher: Stellen Sie sich vor, die KI ist ein DJ, der Musik spielt. Wenn ein Lied perfekt zur Stimmung passt, ist die Menge (die KI) ruhig. Wenn ein Lied seltsam und fehl am Platz ist, wird die Menge „überrascht" (der interne Alarm der KI geht los).
Das Ergebnis: Die KI war bei unnatürlichen Sätzen (wie „*die Bibliothek die Bücher gespendet") stark „überrascht" und bei natürlichen Sätzen ruhig. Dieses Muster entsprach menschlichen Urteilen fast perfekt. Wenn Menschen einen Satz für seltsam hielten, war die KI ebenfalls „überrascht".

2. Der „Überfüllter Raum" vs. „Berühmter Name"-Test (Dissoziation)

Dies war der kritischste Teil. Sie mussten beweisen, dass die KI den Satz nicht nur vermied, weil das Wort berühmt war (Verfestigung), sondern weil ein spezifischer Konkurrent gewann (Präemption).

Der Aufbau: Sie wählten zwei Gruppen von Verben aus.
- Gruppe A (Der „Überfüllte Raum"): Verben, bei denen eine spezifische Satzstruktur dominiert (z. B. wird spenden fast immer mit „an" verwendet).
- Gruppe B (Der „Berühmte Name"): Verben, die sehr häufig verwendet werden, aber auf viele verschiedene Arten, ohne dass es einen einzigen „Gewinner" gibt.
Das Ergebnis: Die KI vermied die seltsame Satzstruktur nur für Gruppe A. Bei Gruppe B, obwohl die Wörter berühmt waren, hatte die KI nichts dagegen, die seltsame Struktur auszuprobieren.
Die Schlussfolgerung: Die KI vermeidet Dinge nicht nur, weil ein Wort häufig ist. Sie vermeidet sie, weil sie gelernt hat, dass eine andere spezifische Art, es zu sagen, der Standard ist. Dies beweist, dass die Theorie der „Statistischen Präemption" korrekt ist.

3. Der „Größe zählt"-Test (Skalierung)

Sie testeten Modelle unterschiedlicher Größe, von klein (wie ein Taschenrechner) bis riesig (wie ein Supercomputer).

Die Metapher: Es ist wie das Trainieren eines Hundes. Ein Welpe macht vielleicht Fehler, aber ein gut trainierter Hund kennt die Regeln.
Das Ergebnis: Je größer die KI-Modelle wurden, desto besser wurde ihre Fähigkeit, die „falschen" Sätze zu erkennen. Es war jedoch kein magischer Schalter, der plötzlich umgelegt wurde; es war eine glatte, stetige Verbesserung, wie ein Schüler, der im Laufe der Zeit bessere Noten erzielt.

4. Der „Umverdrahtungs"-Test (Kausaler Beweis)

Um zu beweisen, dass dies kein Zufall war, führten sie eine „Operation" an einem kleinen KI-Modell durch.

Die Aktion: Sie nahmen ein Modell und fütterten es mit zusätzlichen Trainingsdaten.
- Szenario 1: Sie ließen die „korrekte" Version des Satzes dreimal häufiger erscheinen.
- Szenario 2: Sie ließen die „falsche" Version dreimal häufiger erscheinen.
Das Ergebnis:
- In Szenario 1 wurde die KI strenger darin, den falschen Satz zu vermeiden.
- In Szenario 2 wurde die KI weniger streng, aber nicht so stark verändert wie in Szenario 1.
Die Schlussfolgerung: Dies bewies, dass das Verhalten der KI direkt durch die Häufigkeit der konkurrierenden Sätze verursacht wird. Wenn Sie die Eingabestatistiken ändern, ändern Sie die „Grammatik" der KI auf vorhersagbare Weise.

Das Fazit

Das Papier kommt zu dem Schluss, dass neuronale Sprachmodelle „was sie nicht sagen sollen" auf exakt die gleiche Weise lernen wie Menschen: durch statistischen Wettbewerb.

Sie brauchen keinen Lehrer, der sagt: „Das ist falsch." Sie müssen nur oft genug die „richtige" Art, Dinge zu sagen, hören, damit ihr Gehirn (oder Code) erkennt: „Ah, das ist der Standardweg. Der andere Weg ist blockiert."

Dies löst ein jahrzehntealtes Rätsel darüber, wie Menschen Sprache ohne negatives Feedback lernen, und zeigt, dass distributionelle Statistiken (das Zählen, wie oft Dinge passieren) mächtig genug sind, uns die Regeln der Grammatik beizubringen.

Technische Zusammenfassung: Kausale Evidenz für statistische Präemption in LLMs

Problemstellung
Der Beitrag behandelt „Bakers Paradoxon", ein grundlegendes Rätsel im Spracherwerb: Wie erwerben Lernende Wissen darüber, was unakzeptabel ist (negative Evidenz), ohne jemals explizit darauf hingewiesen zu werden, dass bestimmte Sätze falsch sind. Im Kontext der Konstruktionsgrammatik versuchen zwei konkurrierende Hypothesen, diesen „Rückzug von Übergeneralisierungen" zu erklären:

Statistische Präemption: Lernende erwerben negatives Wissen, indem sie die Häufigkeit spezifischer, konventioneller konkurrierender Formen verfolgen (z. B. verhindert das häufige Hören von „donated the books to the library" die nicht bezeugte Form „*donated the library the books").
Verfestigung (Entrenchment): Lernende widerstehen neuen Konstruktionen einfach, weil das Verb häufig in irgendeiner Konstruktion vorkommt, was die Bereitschaft verringert, es in neuen Frames zu verwenden.

Während verhaltenswissenschaftliche Studien diese Mechanismen debattiert haben, geht der Beitrag davon aus, dass Large Language Models (LLMs), die rein auf distributionellen Statistiken trainiert und ohne expliziten grammatikalischen Unterricht entwickelt wurden, eine kontrollierte Umgebung bieten, um zu testen, ob distributionelles Lernen allein ausreicht, um dieses negative Wissen zu erwerben.

Methodik
Die Autoren führten vier Experimente durch, die 120 englische Verb-Konstruktions-Paarungen über drei Alternationstypen abdeckten: Dativ, Kausativ und Lokativ. Sie bewerteten 14 Modelle aus vier Familien (GPT-2, Pythia, LLaMA-2, OLMo) mit Parametern von 124 Millionen bis 70 Milliarden.

Verknüpfungshypothese: Die Studie verwendet das wortbasierte Überraschungsmaß ( $S(w_t) = -\log_2 P(w_t | w_{<t})$ ) als Proxy für menschliche Akzeptabilität. Die zentrale Metrik ist die Überraschungs-Differenz ( $\Delta S$ ) zwischen einer „unkonventionellen" (präemptierten) Form und einer „konventionellen" Form.
Experiment 1 (Korrelational): Testete, ob die $\Delta S$ -Muster von LLMs mit menschlichen Akzeptabilitätsurteilen aus drei unabhängigen Datensätzen (DAIS, Robenalt & Goldberg, Tachihara & Goldberg) korrelieren.
Experiment 2 (Dissoziation): Verwendete ein +Competing/−Competing-Design (angepasst nach Winkler et al., 2015), um Präemption von Verfestigung zu dissoziieren. Verben wurden nach der Gesamthäufigkeit abgeglichen, unterschieden sich jedoch darin, ob eine spezifische konkurrierende konventionelle Form existierte. Die Studie verwendete nicht-zirkuläre partielle Korrelationen gegenüber menschlichen Daten, um sicherzustellen, dass die Ergebnisse keine Artefakte gemeinsamer Korpusstatistiken waren.
Experiment 3 (Skalierung): Analysierte die Präemptionssensitivität über verschiedene Modellgrößen hinweg (160 Millionen bis 12 Milliarden Parameter in Pythia), um festzustellen, ob der Effekt als Potenzgesetz skaliert.
Experiment 4 (Kausale Intervention): Führt kontrolliertes Fine-Tuning an GPT-2 124M mit manipulierten Häufigkeiten durch. Drei Bedingungen wurden getestet:
- Verstärkt: Erhöhte Häufigkeit der konventionellen Form.
- Abgeschwächt: Ausgeglichenheit der Häufigkeiten beider Formen.
- Umgekehrt: Erhöhte Häufigkeit der unkonventionellen Form (eine Kontrolle, um einfache Häufigkeitssensitivität auszuschließen).
- Das Experiment wurde über fünf zufällige Seeds repliziert.

Hauptergebnisse

Mensch-LLM-Übereinstimmung: Die Überraschungsmuster von LLMs korrelieren stark mit menschlichen Akzeptabilitätsurteilen ( $r = 0,79$ für LLaMA-2 7B gegen den DAIS-Benchmark), validiert über drei unabhängige verhaltenswissenschaftliche Datensätze.
Präemption vs. Verfestigung: Die beobachteten Effekte werden durch die Häufigkeit der konkurrierenden Form getrieben, nicht durch die Gesamthäufigkeit des Verbs. Im +Competing/−Competing-Design zeigten Verben mit einer konkurrierenden konventionellen Form signifikant höhere $\Delta S$ -Werte als frequenzangepasste Verben ohne einen solchen Konkurrenten. Partielle Korrelationen bestätigten, dass Präemption Varianz in menschlichen Daten erklärt ( $r_{partial} = 0,58$ ), während Verfestigung dies nicht tut.
Skalierung: Die Präemptionssensitivität skaliert als Potenzgesetz mit der Modellgröße ( $r(N) = a \cdot N^b + c$ ), mit einem Exponenten $b \approx 0,092$ , was abnehmende Grenzerträge, aber keine plötzlichen Phasenübergänge anzeigt.
Kausale Evidenz: Fine-Tuning-Interventionen verschoben das Präemptionsverhalten kausal. Die Erhöhung der Häufigkeit der konventionellen Form verstärkte die Präemption ( $\Delta \Delta S = +0,73$ ), während die Erhöhung der Häufigkeit der unkonventionellen Form einen signifikant schwächeren Effekt hatte ( $\Delta \Delta S = -0,29$ ). Diese Asymmetrie stützt die Theorie, dass Präemption durch die hemmende Kraft etablierter Alternativen wirkt und nicht durch einfache Häufigkeitssensitivität.

Bedeutung und Behauptungen
Der Beitrag beansprucht, die erste computergestützte Studie zu liefern, die statistische Präemption von Verfestigung innerhalb eines einzigen konvergierenden Designs unter Verwendung von LLMs direkt dissoziiert. Seine Hauptbeiträge sind:

Mechanistische Validierung: Es wird gezeigt, dass neuronale Sprachmodelle negatives linguistisches Wissen durch distributionellen Wettbewerb erwerben, was den Kernmechanismus der Konstruktionsgrammatik stützt.
Kausaler Beweis: Durch kontrolliertes Fine-Tuning und Kontrollen in umgekehrter Richtung liefert es kausale Evidenz, dass die Manipulation der Häufigkeiten konkurrierender Formen das Modellverhalten in die Richtung verschiebt, die von der Präemptionstheorie vorhergesagt wird.
Methodische Strenge: Es adressiert Bedenken bezüglich Zirkularität in früheren Arbeiten durch die Verwendung nicht-zirkulärer partieller Korrelationen gegenüber menschlichen Daten und den Einsatz einer Kontrolle in umgekehrter Richtung, um tautologische Häufigkeitssensitivitätserklärungen auszuschließen.
Generalisierbarkeit: Die Ergebnisse gelten über mehrere Konstruktionsarten (Dativ, Kausativ, Lokativ) und Modellarchitekturen hinweg.

Die Autoren positionieren ihre Arbeit als Ergänzung zu bestehenden kausalen Studien (z. B. Yao et al., 2025; Misra and Mahowald, 2024) und stellen fest, dass sie zwar keinen einzigartigen Vorrang für „kausale" Evidenz beanspruchen, ihre spezifische Kombination aus Dissoziation von Präemption und Verfestigung, nicht-zirkulärer Validierung und Kontrollen für Asymmetrien in umgekehrter Richtung jedoch eine robuste, konvergierende Evidenzlinie bietet. Die Studie kommt zu dem Schluss, dass für das Englische Bakers Paradoxon eine Antwort im distributionellen Lernen hat: Modelle entwickeln eine Präemptionssensitivität, die durch die Häufigkeit konventioneller Konkurrenten geformt wird und den menschlichen Erwerb widerspiegelt.