Linear representations of grammaticality in neural language models

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die menschliche Sprache zu verstehen. Sie füttern ihn mit Millionen von Büchern, Filmen und Tweets, und er lernt, das nächste Wort in einem Satz mit unglaublicher Genauigkeit vorherzusagen. Aber hier ist das große Rätsel, das Wissenschaftler schlaflose Nächte bereitet hat: Kennt dieser Roboter tatsächlich die Regeln der Grammatik, oder ist er nur ein meisterhafter Ratender?

In der Welt der Linguistik und Informatik gibt es eine berühmte Debatte über genau das. Auf der einen Seite argumentieren einige, dass diese Roboter (genannt neuronale Sprachmodelle), weil sie darauf trainiert wurden, vorherzusagen, was als Nächstes kommt, basierend darauf, wie oft sie Dinge sehen, lediglich „Wahrscheinlichkeiten“ berechnen. Sie könnten einen Satz einfach deshalb für „gut“ halten, weil er vertraut klingt, und nicht, weil er den unsichtbaren, abstrakten Regeln der Grammatik folgt. Auf der anderen Seite glauben andere, dass, wenn ein Roboter konsistent zwischen einem korrekten und einem fehlerhaften Satz unterscheiden kann, er die Regeln gelernt haben muss, auch wenn er sie nicht erklären kann. Das Problem war lange Zeit, dass die einzige Möglichkeit zu testen, war, den Roboter zu fragen: „Wie wahrscheinlich ist dieser Satz?“ Aber wenn der Roboter für einen Satz, der eigentlich grammatikalisch falsch, aber nur aus häufig verwendeten Wörtern besteht, sagt: „Sehr wahrscheinlich!“, können wir nicht wissen, ob er die Grammatik kennt oder nur die Statistik.

Dieses Papier mit dem Titel „Linear Representations of Grammaticality in Neural Language Models“ taucht genau in diese komplexe Debatte ein. Die Autorinnen Jane Li und Najoung Kim beschlossen, nicht mehr den Roboter zu fragen, wie wahrscheinlich ein Satz ist. Stattdessen beschlossen sie, in das Gehirn des Roboters zu schauen. Sie wollten sehen, ob die internen „Gedanken“ des Roboters (seine mathematischen Repräsentationen von Sätzen) tatsächlich einen speziellen, organisierten Raum besitzen, in dem „grammatikalische“ und „ungrammatische“ Sätze in getrennten Nachbarschaften leben. Wenn sie eine klare Linie finden können, die diese beiden Gruppen innerhalb des Geistes des Roboters voneinander trennt, wäre dies ein starker Beweis dafür, dass der Roboter das Konzept der Grammatik wirklich gelernt hat und nicht nur das Konzept dessen, „was häufig vorkommt“.

Die Detektivarbeit: In das Gehirn blicken

Um dieses Rätsel zu lösen, verwendeten die Forscher einen klugen Trick namens „Linear Probing“. Stellen Sie sich das Gehirn des Roboters als eine riesige, mehrdimensionale Landkarte vor. Jeder Satz, den der Robot liert, wird in einen spezifischen Punkt auf dieser Karte verwandelt. Wenn der Roboter sich nur darum kümmert, wie häufig Wörter sind, könnten alle Punkte zufällig verstreut sein oder nach der Anzahl der Wörter in dem Satz gruppiert werden. Aber wenn der Roboter tatsächlich Grammatik versteht, sollte es auf dieser Karte eine klare Richtung geben, in der sich „gute Sätze“ auf der einen Seite und „schlechte Sätze“ auf der anderen Seite befinden.

Die Forscher nahmen 25 verschiedene Sprachmodelle (von winzigen mit 14 Millionen Parametern bis hin zu massiven mit 14 Milliarden) und testeten sie. Sie fütterten die Modelle mit tausenden Sätzen – einige perfekt grammatikalisch, andere mit winzigen, absichtlichen Fehlern wie „This dog like to jump“ statt „This dog likes to jump“. Dann versuchten sie, eine einzige, einfache gerade Linie durch die interne Landkarte des Roboters zu ziehen, um zu sehen, ob sie die guten von den schlechten Sätzen trennen konnte.

Die große Entdeckung: Grammatik ist real (und linear)

Die Ergebnisse waren aufregend. Sie fanden heraus, dass in fast jedem der von ihnen getesteten Modelle es tatsächlich eine klare Linie gab. Selbst ein sehr einfacher, komplexitätsarmer Klassifikator konnte die interne Repräsentation eines Satzes betrachten und sagen: „Ah, dieser ist grammatikalisch korrekt,“ oder „Nö, der ist fehlerhaft.“ Dies deutet darauf hin, dass Grammatikalität für diese Modelle nicht nur ein vages Gefühl ist; es ist eine distinkte, organisierte Dimension in ihrem internen Raum.

Aber die Forscher hörten dort nicht auf. Sie wussten, dass allein die Tatsache, dass der Roboter die Sätze trennen konnte, nicht bedeutete, dass er sie aufgrund von Grammatik trennte. Vielleicht trennte er sie nur, weil die schlechten Sätze unwahrscheinlicher vorkamen, oder weil sie seltsam klangen, oder weil sie weniger Wörter hatten. Um zu beweisen, dass es wirklich um die Grammatik ging, spielten sie ein paar Runden des „Deconfounding“ (Entkonfundierung).

Die Wahrscheinlichkeitsfalle:
Zuerst fragten sie: „Schaut der Roboter nur darauf, wie wahrscheinlich der Satz ist?“ Sie entwarfen ein kniffliges Szenario, in dem sie grammatikalische Sätze nahmen, die sehr unwahrscheinlich waren (selten, aber korrekt), und ungrammatische Sätze, die sehr wahrscheinlich waren (häufig, aber falsch). Wenn der Roboter nur ein Wahrscheinlichkeitsrechner wäre, hätte er verwirrt sein und versagt haben müssen. Aber das tat er nicht. Der Roboter identifizierte immer noch die seltenen, korrekten Sätze als grammatikalisch und die häufigen, falschen Sätze als ungrammatisch. Dies deutet darauf hin, dass der „Grammatik-Detektor“ des Roboters unabhängig davon ist, wie wahrscheinlich es ist, dass ein Satz im echten Leben vorkommt.

Der „Silly Sentence“-Test:
Als Nächsten fragten sie sich, ob der Roboter nur beurteilte, wie „vernünftig“ oder „plausibel“ ein Satz war. Sie testeten Sätze, die grammatikalisch perfekt, aber sinnlos waren (wie „The rock ate the sandwich“) und Sätze, die grammatikalisch fehlerhaft, aber sinnvoll waren (wie „The sandwich ate the rock“). Sie fanden heraus, dass der Roboter zwar die Absurdität bemerkte, aber dennoch ein separates, robustes Signal für Grammatik besaß. Die „Grammatik-Linie“ im Gehirn des Roboters war deutlich von der „Absurditäts-Linie“ verschieden.

Der universelle Übersetzer:
Schließlich prüften sie, ob dieses Grammatikwissen spezifisch für Englisch war oder ob es eine universelle Fähigkeit darstellte. Sie testeten die Modelle mit Sprachen wie Russisch, Französisch, Deutsch, Hebräisch und Mandarin-Chinesisch. Sie fanden heraus, dass bei den größeren, leistungsfähigeren Modellen die Fähigkeit, Grammatik zu erkennen, nicht nur ein englischer Trick war. Dieselbe Art von interner „Grammatik-Linie“ existierte in verschiedenen Sprachen, was darauf hindeutet, dass diese Modelle eine allgemeine, sprachunabhängige Art entwickelt haben, Struktur zu verstehen.

Was dies für die Zukunft bedeutet

Das Papier kommt zu dem Schluss, dass diese neuronalen Netze in der Tat eine robuste, interne Repräsentation von Grammatikalität besitzen. Es ist nicht nur ein Nebeneffekt davon, dass sie gut darin sind, das nächste Wort vorherzusagen; es ist ein fundamentaler Teil dessen, wie sie Informationen organisieren.

Die Autorinnen sind jedoch vorsichtig, nicht zu behaupten, dass dies das letzte Wort in der Sache sei. Sie merken an, dass die „Grammatik-Linie“ zwar existiert, aber nicht immer perfekt ist. Kleinere Modelle haben manchmal mehr Schwierigkeiten als die gigantischen Modelle, und einige spezifische Arten von Grammatikfehlern sind schwerer zu erkennen als andere. Sie weisen auch darauf hin, dass diese Modelle zwar über dieses interne Wissen verfügen, es aber nicht immer perfekt mit der Art und Weise übereinstimmt, wie Menschen Sätze beurteilen.

Letztendlich verändert diese Forschung die Konversation. Wir müssen nicht mehr darüber streiten, ob diese Modelle Grammatik kennen. Die Beweise deuten darauf hin, dass sie es tun. Die neue Frage ist, wie sie es gelernt haben, wie tief dieses Wissen reicht und was es uns über die Natur des Lernens selbst verrät. Indem sie zeigen, dass ein statistisches System eine klare, lineare Vorstellung von abstrakten Regeln entwickeln kann, legt das Papier nahe, dass die Fähigkeit, Grammatik zu erfassen, kein spezielles „Regelbuch“ im Gehirn erfordert, sondern natürlich aus der schieren Kraft des Lernens von Mustagen in Daten entstehen kann. Es ist ein faszinierender Einblick in den Geist einer Maschine, der zeigt, dass selbst ohne einen Lehrer ein Roboter lernen kann, den Unterschied zwischen einem Satz, der funktioniert, und einem, der nicht funktioniert, zu erkennen.