Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Diese Studie untersucht, wie Sprachmodelle die syntaktischen Einschränkungen der englischen Passivbildung erlernen, indem sie durch Manipulation der Trainingsdaten nachweisen, dass sowohl die Häufigkeit der Verben (Einschleifung) als auch ihre semantischen Eigenschaften (Betroffenheit) unabhängig voneinander zur Lernleistung beitragen.

Das Wesentliche

Titel: Wie KI lernt, was „falsch" klingt – Eine Reise durch die Grammatik-Geheimnisse

Stellen Sie sich vor, Sie sind ein kleines Kind, das die englische Sprache lernt. Sie haben eine geniale Regel im Kopf: „Wenn jemand etwas tut, kann man auch sagen, dass etwas von jemandem getan wurde." Das nennt man die Passivform.

• Aktiv: „Der Koch kocht das Essen."
• Passiv: „Das Essen wird vom Koch gekocht."

Das funktioniert fast immer. Aber dann stoßen Sie auf ein seltsames Wort: „lasten" (im Sinne von „andauern").

• Aktiv: „Das Meeting dauerte eine Stunde." (Klingt gut!)
• Passiv: „*Eine Stunde wurde vom Meeting gedauert." (Klingt schrecklich falsch!)

Warum wissen wir das? Niemand hat uns jemals gesagt: „Achtung, das Wort lasten darf nicht passiviert werden!" Wir haben es einfach noch nie gehört. Aber wir wissen trotzdem, dass es falsch ist. Wie lernen Menschen diese Ausnahmen? Und können Computer (Künstliche Intelligenz) das auch?

Genau das untersuchen die Forscher in diesem Papier. Sie nutzen KI-Modelle als „Lernlabor", um zu verstehen, wie unser Gehirn Grammatik-Regeln und deren Ausnahmen lernt.

Das Experiment: Ein KI-Lernlabor

Stellen Sie sich die KI als einen sehr fleißigen, aber etwas naiven Schüler vor. Um zu testen, wie dieser Schüler lernt, haben die Forscher drei Dinge getan:

1. Der Test: Kann die KI menschliches Urteil nachahmen?

Zuerst haben sie die KI mit einer riesigen Menge an Texten (100 Millionen Wörter) gefüttert – etwa so viel, wie ein Mensch bis zum Teenageralter liest und hört. Dann haben sie die KI gefragt: „Ist dieser Satz in Ordnung?"
Ergebnis: Die KI hat fast genauso geurteilt wie echte Menschen! Sie wusste intuitiv, dass „Eine Stunde wurde vom Meeting gedauert" falsch ist, aber „Der Brief wurde vom Absender geschrieben" richtig. Das zeigt: Die KI hat aus den Texten gelernt, welche Wörter sich im Passiv „wohl" fühlen und welche nicht.

2. Die zwei Verdächtigen: Warum ist das so?

Die Forscher hatten zwei Theorien, wie die KI (und wir Menschen) diese Ausnahmen lernen:

• Theorie A: Die „Häufigkeits-Theorie" (Entrenchment)

  • Die Analogie: Stellen Sie sich vor, Sie sehen einen Hund. Wenn Sie den Hund 100-mal im Garten sehen, aber noch nie im Schwimmbad, denken Sie: „Hunde können nicht schwimmen."
  • Im Fall der KI: Wenn ein Wort (wie lasten) 100-mal im Aktiv-Satz vorkommt, aber niemals im Passiv, lernt die KI: „Das geht hier nicht."
  • Das Experiment: Die Forscher haben die KI absichtlich „getäuscht". Sie haben Texte entfernt, in denen bestimmte Wörter im Passiv vorkamen, und die KI neu trainiert.
  • Ergebnis: Je weniger Passiv-Sätze die KI für ein Wort sah, desto strenger wurde sie. Die Häufigkeit spielt also eine große Rolle.

• Theorie B: Die „Betroffenheits-Theorie" (Affectedness)

  • Die Analogie: Wenn Sie einen Ball werfen, wird der Ball betroffen (er bewegt sich). Wenn Sie aber „die Zeit zählen", wird die Zeit nicht wirklich betroffen oder verändert.
  • Im Fall der KI: Das Passiv funktioniert am besten, wenn das Subjekt des Satzes eine Veränderung erfährt (betroffen wird). Wörter wie kosten oder dauern beschreiben oft keine echte Veränderung eines Objekts.
  • Das Experiment: Die Forscher haben die KI gezwungen, ein Wort in Sätzen zu benutzen, die normalerweise nur für „starke" Verben (wie schlagen oder essen) benutzt werden. Sie haben quasi die „Bedeutung" des Wortes in der KI verändert.
  • Ergebnis: Wenn die KI ein Wort in einem Kontext sah, in dem etwas „betroffen" wurde, war sie eher bereit, es auch im Passiv zu akzeptieren. Die Bedeutung zählt also auch!

3. Der Showdown: Was ist wichtiger?

In einem letzten, sehr cleveren Experiment haben sie eine neue, erfundene Wort in die KI eingeführt. Dieses Wort gab es vorher gar nicht.

• Sie zeigten der KI das neue Wort nur im Aktiv-Satz (nie im Passiv).
• Sie zeigten es ihr entweder in „schwachem" Kontext (wie dauern) oder in „starkem" Kontext (wie schlagen).
• Sie zeigten es ihr 10-mal, 100-mal oder 1000-mal.

Das Ergebnis war faszinierend:
Beide Faktoren spielten eine Rolle, aber sie arbeiteten unabhängig voneinander wie zwei separate Schalter.

1. Je öfter das neue Wort nur im Aktiv vorkam (und nie im Passiv), desto mehr lehnte die KI das Passiv ab. (Häufigkeit ist mächtig!)
2. Je „stärker" der Kontext war (je mehr das Objekt betroffen schien), desto eher akzeptierte die KI das Passiv.

Es gab keine magische Kombination, bei der einer der Faktoren den anderen komplett übernahm. Beide sind wichtig.

Warum ist das wichtig?

Dieses Papier ist wie ein Fenster in das Gehirn des Lernenden. Früher konnten Linguisten nur raten, wie Kinder diese Regeln lernen, weil sie nicht kontrollieren konnten, was ein Kind hört.

Mit der KI können sie jetzt das „Lernmaterial" manipulieren wie ein Koch, der Zutaten weglässt, um zu sehen, was das Gericht verändert.

• Die Erkenntnis: Wir lernen Grammatik nicht nur durch starre Regeln, sondern durch ein feines Zusammenspiel von Statistik (wie oft habe ich das gehört?) und Bedeutung (passt das logisch?).

Die KI hat gezeigt, dass sie diese menschlichen Intuitionen nachahmen kann, wenn sie mit den richtigen Daten gefüttert wird. Das hilft uns nicht nur, bessere KI zu bauen, sondern auch zu verstehen, wie unser eigenes Gehirn die komplexe Welt der Sprache meistert.

Kurz gesagt: Die KI hat uns gezeigt, dass wir Grammatik-Ausnahmen lernen, indem wir zählen (wie oft habe ich das gesehen?) und fühlen (passt das Sinnbild?). Und beides ist notwendig, um die Sprache perfekt zu beherrschen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Manipulating language models' training data to study syntactic constraint learning: the case of English passivization" auf Deutsch.

1. Problemstellung und Forschungsfrage

Das Paper adressiert ein grundlegendes Problem der Sprachlerntheorie: Wie lernen Sprachverarbeiter (sowohl Menschen als auch Modelle) Ausnahmen von allgemeinen grammatischen Regeln, ohne direkte negative Rückmeldung (d.h. ohne zu hören, dass ein Satz ungrammatisch ist)?

Als Fallstudie dient die Passivierung im Englischen. Während die Passivbildung im Englischen generell produktiv ist (die meisten transitiven Verben können passiviert werden), gibt es lexikalische Ausnahmen (z. B. last in „One hour was lasted by the meeting" ist ungrammatisch). Dies wird als „Baker's Paradox" bezeichnet: Lernende müssen ableiten, warum bestimmte Formen nicht vorkommen, obwohl sie syntaktisch möglich scheinen.

Die Autoren untersuchen zwei konkurrierende Hypothesen über die indirekten Beweise, die Lernende nutzen, um diese Einschränkungen zu lernen:

1. Die Verfestigungshypothese (Entrenchment Hypothesis): Lernende nutzen die statistische Verteilung. Wenn ein Verb häufig im Aktiv, aber nie oder selten im Passiv vorkommt, wird die Passivform als ungrammatisch inferiert.
2. Die Affekt-Hypothese (Affectedness Hypothesis): Die Passivierbarkeit hängt von der lexikalischen Semantik ab. Ein Verb ist passivierbar, wenn das Thema (Patient) durch die Handlung des Agens betroffen ist (Zustands-, Orts- oder Existenzänderung). Verben ohne solche Affekt-Semantik (z. B. last, resemble) sind nicht passivierbar.

Das Ziel ist es, mittels neuronaler Sprachmodelle (LMs) als Kognitionsmodelle zu testen, ob diese Hypothesen kausal aus den Trainingsdaten abgeleitet werden können und wie sie interagieren.

2. Methodik

Die Studie nutzt Transformer-basierte Sprachmodelle (basierend auf GPT-2-small, 117M Parameter), die auf einem Korpus von ca. 100 Millionen Wörtern trainiert wurden. Diese Größe wurde gewählt, um dem linguistischen Input zu entsprechen, den ein menschlicher Lernender bis zur Adoleszenz erhält (im Gegensatz zu den Milliarden von Wörtern, die typische LLMs nutzen).

Die Methodik basiert auf kontrollierten Eingriffen in die Trainingsdaten (Corpus Manipulation), um kausale Zusammenhänge zwischen Input und Lernergebnis zu isolieren:

• Experiment 1 (Validierung):

  • 1A: Sammlung von Akzeptabilitätsurteilen durch menschliche Muttersprachler (84 Teilnehmer) für 140 Satzpaare (Aktiv/Passiv) mit verschiedenen Verbklassen (einschließlich bekannter Ausnahmen wie last, cost).
  • 1B: Vergleich der menschlichen Urteile mit den Wahrscheinlichkeitsurteilen des trainierten Modells. Es wurde auch ein einfacher Trigramm-Modell als Baseline verwendet.

• Experiment 2A (Test der Entrenchment-Hypothese):

  • Intervention: Für ausgewählte „mutierende" Verben (ursprünglich gut passivierbar, z. B. drop) wurde die relative Häufigkeit im Aktiv gegenüber dem Passiv (A/P-Verhältnis) manipuliert, um sie dem Verhältnis von „ziel"-Verben (schlecht passivierbar, z. B. last) anzugleichen. Dies geschah durch das Entfernen von Passiv-Sätzen aus dem Korpus.
  • Ziel: Prüfen, ob eine Erhöhung des A/P-Verhältnisses die Passivierbarkeit des mutierenden Verbs im Modell reduziert.

• Experiment 2B (Test der Affekt-Hypothese):

  • Intervention: Ein schlecht passivierbares Verb (z. B. last) wurde in aktive Sätze eingefügt, die ursprünglich Argumente eines gut passivierbaren Verbs (z. B. drop) enthielten. Dies ändert die semantische Umgebung (die Argumente werden „betroffener"), ohne die Syntax zu verändern.
  • Ziel: Prüfen, ob die Veränderung der semantischen Distribution die Passivierbarkeit des Verbs im Modell erhöht.

• Experiment 3 (Interaktion und Novel-Verb-Experiment):

  • Methode: Ein völlig neues, künstliches Verb wurde in das Korpus eingefügt, das ausschließlich im Aktiv vorkam.
  • Variablen: Die Anzahl der Vorkommen (Frequenz/Entrenchment) und der semantische Kontext (hoher vs. niedriger Affekt) wurden systematisch variiert.
  • Ziel: Isolierter Test der Haupteffekte und der Interaktion zwischen Frequenz und Semantik ohne Störfaktoren natürlicher Verben.

3. Wichtige Ergebnisse

• Mensch-Modell-Korrelation (Exp. 1): Neuronale Modelle zeigen eine sehr hohe Korrelation ($r = 0.91$) mit menschlichen Urteilen bezüglich der Passivierbarkeit von Verben. Sie erfassen sowohl klassenspezifische als auch verb-spezifische Nuancen und Gradienten in der Akzeptabilität. Ein reines Trigramm-Modell ($r = 0.68$) war deutlich schwächer, was darauf hindeutet, dass Transformer tiefergehende semantische oder syntaktische Muster lernen.
• Entrenchment-Effekt (Exp. 2A): Die Manipulation des A/P-Verhältnisses führte zu einer signifikanten Zunahme der „Passive Drop" (Abnahme der Passivierbarkeit) bei den mutierenden Verben. Dies bestätigt, dass Frequenzasymmetrien eine kausale Quelle für das Lernen von Ausnahmen sind. Allerdings reichte dies nicht aus, um die mutierenden Verben so stark zu „entschärfen" wie die Ziel-Verben.
• Affekt-Effekt (Exp. 2B): Die Veränderung der semantischen Umgebung (Einsetzen des Verbs in hoch-affektive Kontexte) führte ebenfalls zu einer signifikanten, wenn auch verb-identitätsabhängigen, Verbesserung der Passivierbarkeit. Dies zeigt, dass semantische Hinweise im Input kausal wirken.
• Interaktion (Exp. 3): Im kontrollierten Novel-Verb-Experiment zeigten sich unabhängige Haupteffekte für Frequenz und Affekt:
  • Höhere Frequenz im Aktiv (ohne Passiv) erhöhte die Passivierbarkeit (bzw. den Passive Drop).
  • Semantik in hoch-affektiven Kontexten führte zu einem höheren Passive Drop als in niedrig-affektiven Kontexten.
  • Keine signifikante Interaktion: Die beiden Faktoren wirkten additiv, aber nicht synergistisch. Die Stärke des Frequenzeffekts war größer als der Semantikeffekt.

4. Schlüsselbeiträge

1. Kausale Validierung von Lernhypothesen: Die Studie liefert einen kausalen Nachweis (nicht nur Korrelation), dass sowohl Frequenz (Entrenchment) als auch Semantik (Affectedness) aus reinem Input gelernt werden können, um syntaktische Ausnahmen zu erklären.
2. Methodologischer Fortschritt: Das Paper demonstriert die Machbarkeit und den Nutzen von gezielten Eingriffen in Trainingsdaten (Corpus Manipulation), um Lernmechanismen zu testen, die bei menschlichen Lernenden ethisch oder praktisch nicht manipulierbar sind.
3. Gradienten statt Binärität: Die Ergebnisse unterstreichen, dass Passivierbarkeit ein gradueller Begriff ist und nicht binär. Modelle und Menschen zeigen feine Abstufungen, die von der Interaktion von Frequenz und Semantik abhängen.
4. Rolle von Sprachmodellen in der Kognition: Es wird gezeigt, dass Transformer-Modelle, wenn sie auf menschenähnlichen Datenmengen trainiert werden, menschliche Urteile zu syntaktischen Ausnahmen gut nachbilden können, was sie zu wertvollen Modellen für die Sprachakquisition macht.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Implikationen für die Linguistik und die KI-Forschung:

• Für die Sprachakquisition: Sie liefert eine „Existenzbeweis"-Argumentation, dass menschliche Lernende Ausnahmen rein aus indirekten Beweisen (statistische Verteilung und semantische Kontexte) lernen können, ohne angeborene, lexikalisch spezifische Constraints.
• Für die KI-Interpretierbarkeit: Die Arbeit zeigt, wie man durch gezieltes „Ablation" (Entfernen von Daten) oder „Injektion" (Hinzufügen von Daten) die Entscheidungsfindung von Sprachmodellen entschlüsseln kann.
• Offene Fragen: Da die Manipulationen in den Experimenten 2A und 2B nicht die gesamte Lücke zwischen gut und schlecht passivierbaren Verben schließen konnten, deuten die Autoren darauf hin, dass weitere Quellen indirekter Beweise existieren müssen (z. B. die Existenz alternativer Konstruktionen wie „for"-Phrasen).
• Limitationen: Die Autoren weisen darauf hin, dass Transformer-Architekturen nicht perfekt mit menschlicher Kognition übereinstimmen (z. B. fehlende sensorimotorische Erfahrungen für das Konzept „Affekt") und dass die Filterung von Korpora technisch fehleranfällig sein kann.

Zusammenfassend demonstriert das Paper, dass die Kombination aus kontrollierten Korpus-Experimenten und neuronalen Modellen ein mächtiges Werkzeug ist, um die Mechanismen des menschlichen Spracherwerbs zu entschlüsseln, insbesondere bei komplexen Phänomenen wie dem Lernen grammatischer Ausnahmen.