💬 NLP

Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

Diese Arbeit zeigt, dass moderat große Open-Source-Sprachmodelle effektiv die Semantik seltener Paarfokus-Konstruktionen erfassen können, wobei dieses Verständnis erst später im Training als syntaktisches Wissen entsteht und mit Gewinnen in spezifischen Bereichen des Weltwissens korreliert.

Ursprüngliche Autoren: Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Sprache wie ein riesiges, komplexes Rezeptbuch vor. Die meisten Rezepte sind Standard: „Mehl und Wasser mischen.“ Aber dann gibt es die seltenen, schicken, spezifischen Anweisungen wie „Lass die schicke Garnitur mal beiseite, du kannst nicht einmal den einfachen Teig bewältigen.“ In der Linguistik nennt man dies PAIRED-FOCUS-Konstruktionen (Phrasen wie „geschweige denn“, „geschweige“, „umzusteuern nicht zu reden“ oder „vergiss erst gar nicht“).

Dieses Paper stellt eine einfache Frage: Verstehen Computer-Sprachmodelle (KI) diese schicken Rezepte wirklich, oder sie memorieren nur die Wörter?

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einiger alltäglicher Analogien.

1. Der „Form vs. Bedeutung“-Test

Stellen Sie sich eine Konstruktion wie einen spezifischen Handschlag vor.

Die Form (Syntax): Zu wissen, wie man den Handschlag ausführt (die spezifische Handbewegung, die Reihenfolge der Finger).
Die Bedeutung (Semantik): Zu wissen, was der Handschlag impliziert (z. B. „Wenn ich das Einfache nicht kann, kann ich das Schwierige definitiv auch nicht“).

Die Forscher entwickelten einen neuen Test, um zu sehen, ob KI-Modelle beides leisten können. Sie fragten nicht nur: „Ist dieser Satz grammatikalisch korrekt?“ Sie fragten: „Versteht die KI die Logik innerhalb des Satzes?“

Die Analogie: Stellen Sie sich einen Roboter vor, der genau weiß, wie man sagt: „Ich kann keinen Kieselstein heben, geschweige denn einen Felsbrocken.“

Der Syntax-Test: Kann der Roboter den Satz sagen, ohne zu stolpern?
Der Bedeutungs-Test: Wenn Sie den Roboter fragen: „Also, kannst du den Felsbrocken heben?“, sagt er dann korrekt „Nein“? Oder ist er verwirrt, weil er nur die Wörter auswendig gelernt hat, aber nicht die Logik dahinter verstanden hat?

2. Die Ergebnisse: Größe spielt eine Rolle (aber nicht nur ein bisschen)

Die Forscher testeten 36 verschiedene KI-Modelle, die von winzig (wie ein Taschenrechner) bis massiv (wie ein Supercomputer) reichten.

Die winzigen Modelle (unter 400 Millionen Parametern): Diese sind wie Kleinkinder. Sie sind gut im Handschlag. Sie wissen, dass die Wörter „geschweige denn“ zusammengehören, und können den Satz perfekt aussprechen. Aber wenn es um die Bedeutung geht, scheitern sie. Sie verstehen die Logik nicht; sie raten nur.
Die mittleren Modelle (um die 400 Millionen bis 1 Milliarde Parameter): Diese sind wie kluge Teenager. Sie fangen an, es zu verstehen. Sie können den Handschlag ausführen und sie beginnen, die Logik dahinter zu begreifen.
Die großen Modelle: Diese sind wie Erwachsene. Sie sind sehr gut in Form und Bedeutung.

Die Kernerkenntnis: Man braucht keine „Gottgleiche“ KI, um diese seltenen Phrasen zu verstehen. Eine „bescheidene“ KI (eine, die nicht die größte oder teuerste ist) kann die Bedeutung tatsächlich erfassen, sofern sie groß genug ist.

3. Die Lernzeitlinie: Erst die Tanzschritte, dann die Musik

Die Forscher beobachteten, wie diese Modelle im Laufe der Zeit lernten, so als würde man einen Schüler beim Üben für einen Tanzwettbewerb beobachten.

Schritt 1: Die Schritte (Syntax) kommen zuerst. Die Modelle lernten die korrekte Wortreihenfolge und die Grammatikregeln sehr früh in ihrem Training. Sie wussten sehr schnell, wie man die Phrase sagt.
Schritt 2: Die Musik (Bedeutung) kommt später. Es dauerte viel länger, bis die Modelle verstanden, warum die Phrase funktioniert. Sie mussten viel mehr über die Welt lernen, bevor sie die Verbindung herstellen konnten.

Die Analogie: Stellen Sie sich vor, Sie lernen Autofahren. Zuerst lernen Sie, wo die Pedale sind und wie man das Lenkrad dreht (Syntax). Das können Sie schnell lernen. Aber zu verstehen, wann man bremsen muss, wie man den Verkehr auf der herannahenden Straße einschätzt und das „Gefühl“ für die Straße bekommt (Semantik), erfordert viel mehr Erfahrung und Zeit. Die KI lernte die „Pedale“ lange vor dem „Gefühl“.

4. Die Verbindung zum „Weltwissen“

Die Studie fand eine starke Verbindung zwischen dem Verständnis dieser Phrasen und dem Wissen darüber, wie die reale Welt funktioniert.

Das Szenario: Die KI wurde mit Sätzen wie getestet: „Ich könnte keinen winzigen Stein heben, geschweige denn einen riesigen.“
Das Ergebnis: Die KI verstand dies, weil sie weiß, dass Steine ein Gewicht haben.
Der Clou: Als die Forscher versuchten, die KI mit Sätzen zu überlisten, die die Gesetze der Physik brachen (z. B. „Ich könnte keinen riesigen Stein heben, geschweige denn einen winzigen“), wurden die kleineren KIs verwirrt. Sie verließen sich zu sehr auf ihr „gesunden Menschenverstand“ über die Welt statt auf die strikte Logik der Phrase. Die größeren, klügeren KIs hingegen konnten die seltsamen Weltfakten ignorieren und sich an die Logik der Phrase halten.

5. Das „Menschliche Maß“-Problem

Die Forscher testeten auch Modelle, die mit Daten auf „menschlichem Niveau“ trainiert wurden (Mengen an Text, die ein Mensch in einem Leben tatsächlich lesen könnte).

Das Urteil: Diese Modelle scheiterten völlig daran, die Bedeutung zu verstehen. Sie konnten die Wörter zwar sagen, aber sie begriffen die Logik nicht.
Die Lehre: Um die tiefe Logik dieser seltenen Sprachphrasen wirklich zu verstehen, muss eine KI weitaus mehr „lesen“, als ein Mensch jemals könnte. Sie braucht diese massive Exposition, um die Muster zu erkennen.

Zusammenfassung

Dieses Paper ist wie ein Zeugnis für die KI in einem sehr spezifischen, schwierigen Fach.

Können kleine KIs das? Ja, aber nur die „mittelgroßen“. Die winzigen Modelle memorieren nur die Wörter.
Lernen sie alles gleichzeitig? Nein. Sie lernen die Grammatik (die Form) zuerst und die Bedeutung (die Logik) viel später.
Müssen sie die Welt kennen? Ja. Das Verständnis dieser Phrasen ist eng mit dem Verständnis dafür verknüpft, wie die Welt funktioniert (wie z. B. zu wissen, dass große Dinge schwerer sind als kleine).

Die Forscher kommen zu dem Schluss, dass die KI zwar besser in diesen seltenen Phrasen wird, aber immer noch die „Gestalt“ der Sprache lernt, bevor sie die „Seele“ der Sprache lernt.

Titel: Sprachmodelle lernen konstruktionelle Semantik, geschweige denn Syntax: Eine Untersuchung des Verständnisses von PAIRED-FOCUS-Konstruktionen durch LMs

Problemstellung
Obwohl große Sprachmodelle (LLMs) bei vielen linguistischen Aufgaben erfolgreich sind, bleibt ihre Fähigkeit, die Semantik seltener linguistischer Konstruktionen zu erfassen – insbesondere Form-Bedeutungs-Paarungen, die zentral für die Konstruktionsgrammatik sind – eine offene Frage. Vorherige Forschungen deuten darauf hin, dass Modelle zwar oft die formalen Eigenschaften (Syntax) seltener Konstruktionen erlernen, aber häufig daran scheitern, deren nuancierte semantische Bedeutungen zu erfassen, insbesondere wenn sie auf „menschenähnlichen“ Daten (z. B. BabyLMs) trainiert wurden. Zudem verlassen sich bestehende Evaluationsdatensätze für konstruktionelle Semantik oft auf willkürliche Kontraste oder unnatürliche Testitems, die skalare Semantik oder Interaktionen mit Weltwissen möglicherweise nicht effektiv isolieren können. Es ist unklar, ob Open-Source-Modelle moderater Größe diese Konstruktionen robust verstehen können und, falls ja, wie sich dieses Lernen im Verhältnis zum Erwerb von Syntax und anderen Wissensdomänen entfaltet.

Methodik
Die Autoren führen einen neuen Datensatz und ein Evaluationsframework ein, um das Verständnis von vier spezifischen PAIRED-FOCUS-Konstruktionen im Englischen zu testen: let alone, much less, not to mention und never mind. Diese Konstruktionen verbinden zwei fokussierte Elemente und implizieren eine skalare Beziehung, wobei das zweite Element einen höheren Wert auf einer Skala darstellt als das erste.

Datensatzkonstruktion: Im Gegensatz zu vorangegangenen Arbeiten generierten die Autoren 3.500 Satzpaare pro Konstruktion unter Verwendung skalarer Adjektive und häufiger Substantive, die aus etablierten Skalen (Wilkinson und Tim, 2016) abgeleitet wurden. Dies stellt sicher, dass eine kohärente skalare Beziehung besteht, die im allgemeinen Weltwissen verwurzelt ist.
Semantische Evaluation: Die Evaluation misst die Sensitivität eines Modells gegenüber der Bedeutung der Konstruktion, indem sie die Wahrscheinlichkeit eines Folgesatzes vergleicht, der durch die skalare Logik der Konstruktion impliziert wird, mit einem, der ihr widerspricht. Entscheidend ist, dass die Autoren die Plausibilität des Weltwissens kontrollieren, indem sie diese Ergebnisse gegen eine Kontrollbedingung unter Verwendung der einfachen Konjunktion „or“ vergleichen. Die Metrik ( $\Delta P$ ) isoliert die Wahrscheinlichkeitsverschiebung, die spezifisch auf die Semantik der Konstruktion zurückzuführen ist.
Syntaktische Evaluation: Die Autoren passten bestehende syntaktische Tests (z. B. Bewegungsbeschränkungen, Verhalten von Negativ-Elementen) an, um zu bestimmen, ob Modelle die Ungrammatikalität bestimmter Manipulationen erkennen, die spezifisch für PAIRED-FOCUS-Konstruktionen sind.
Modellumfang: Die Studie evaluiert 36 Modelle, die variieren in Parameteranzahl (von 68M bis 13B), Architektur (autoregressiv vs. maskierte Sprachmodelle) und Trainingsdatenmenge.
Lern-Dynamik: Unter Verwendung von Zwischen-Checkpoints von drei leistungsstarken Modellen (Pythia-12b, Ettin-encoder-400m, Ettin-decoder-1b) verfolgen die Autoren den Erwerb von Form und Bedeutung über die Trainingsschritte hinweg und vergleichen diese Trajektorien mit Benchmarks für Syntax (BLiMP), konzeptionelles Wissen (COMPS) und Weltwissen (EWoK).

Kernergebnisse

Modellgröße und Daten: Modelle mit weniger als ~400M Parametern schneiden bei semantischen Evaluationen im Allgemeinen auf oder unter dem Zufallsniveau ab, unabhängig von der Menge der Trainingsdaten. Im Gegensatz dazu erreichen mehrere moderat große Open-Source-Modelle (z. B. Ettin-400m, Pythia-12b) hohe Genauigkeiten (>90 %) bei semantischen Aufgaben. Modelle, die auf „menschenähnlichen“ Daten (BabyLMs) trainiert wurden, zeigen jedoch kein semantisches Verständnis über dem Zufallsniveau.
Dissociation zwischen Syntax und Semantik: Es gibt eine klare Dissoziation zwischen syntaktischem und semantischem Lernen. Selbst die kleinsten getesteten Modelle demonstrieren ein robustes Wissen über die Form (Syntax) von PAIRED-FOCUS-Konstruktionen und erreichen oft nahezu perfekte Werte. Das semantische Verständnis tritt jedoch signifikant später im Training ein.
Lern-Trajektorien:
- Das syntaktische Wissen stagniert früh im Pretraining, was die Lernkurve des BLiMP-Benchmarks widerspiegelt.
- Das semantische Verständnis folgt einer späteren, eher graduellen Trajektorie und spiegelt eng die Lernkurve des EWoK-Benchmarks (Weltwissen) wider.
- Die Leistung bei der PAIRED-FOCUS-Semantik korreliert moderat mit der Leistung im Bereich der physikalischen Relationen von EWoK, was auf eine Verbindung zwischen der konstruktionellen Bedeutung und allgemeinem Weltwissen hindeutet.
Plausibilitäts-Sensitivität: Größere Modelle (z. B. Pythia-12b) zeigen Robustheit gegenüber implausiblen Kontexten, indem sie die skalare Beziehung korrekt inferieren, selbst wenn diese im Konflikt mit dem Weltwissen steht. Kleinere Modelle sind stärker von Weltwissens-Hinweisen abhängig und haben Schwierigkeiten, wenn die skalare Implikation der Konstruktion der typischen Plausibilität widerspricht.
Konstruktions-Korrelation: Die vier getesteten PAIRE-FOCUS-Konstruktionen korrelieren stark in ihrer Leistung, wobei let alone (die häufigste) etwas früher gelernt wird als die anderen.

Bedeutung und Ansprüche
Das Paper behauptet, dass relativ moderat große Open-Source-Modelle (unter 400M Parametern) in der Lage sind, nicht-triviales semantisches Wissen über seltene Konstruktionen zu erwerben, was die Vorstellung infrage stellt, dass nur Modelle im Frontier-Maßstab solche Fähigkeiten besitzen. Die Studie hebt jedoch eine kritische Einschränkung hervor: Modelle, die auf menschenähnlichen Daten trainiert wurden, erwerben dieses semantische Wissen nicht, was Zweifel an ihrer Eignung als „Modellsysteme“ für konstruktionistische Theorien aufwirft, die den gemeinsamen Erwerb von Form und Bedeutung postulieren.

Die Autoren argumentieren, dass die beobachtete Dissoziation – bei der Syntax früh und robust gelernt wird, während Semantik später auftritt und mit Weltwissen korreliert – darauf hindeutet, dass rein textbasierte Sprachmodelle nicht natürlich den gemeinsamen Erwerb von Form und Bedeutung modellieren, wie es die Konstruktionsgrammatik postuliert. Stattdessen scheint das semantische Verständnis ein nachgelagerter Effekt der Akkumulation von Weltwissen und skalarer Denkfähigkeit zu sein. Das Paper schließt, dass die Lernmechanismen von LMs zwar diese Konstruktionen lernen können, sich die Lern-Dynamiken jedoch signifikant vom menschlichen Erwerb unterscheiden, und dass zukünftige Arbeiten multimodale oder situierte Lernumgebungen untersuchen sollten, um die Integration von Form und Bedeutung besser zu modellieren.