Language Models Generalize to Human-like Word Order Preferences

Stellen Sie sich vor, Sie versuchen, einem Roboter eine neue Sprache beizubringen, aber Sie entscheiden sich für einen Streich. Sie geben dem Roboter eine riesige Bibliothek voller Bücher, aber Sie reißen sorgfältig jede einzelne Seite heraus, die einen Satz mit mehr als einer Beschreibung für ein Nomen enthält. So lernt der Roboter, dass man „den roten Ball“ oder „den großen Ball“ sagen kann, aber er sieht niemals „den großen roten Ball“ oder „den roten großen Ball“. Er hat keine direkten Beweise dafür, wie man mehrere Beschreibungen zusammen stapelt. Wenn Sie den Roboter nun fragen würden, nach welcher Reihenfolge er für einen neuen Satz wie „den großen roten Ball“ rät, wird er dann einfach zufällig raten? Oder wird er irgendwie die verborgene Logik der Sprache erfassen und die richtige Reihenfolge wählen, genau wie ein menschliches Kind?

Dies ist die Art von Rätsel, die im Zentrum der Linguistik und der Künstlichen Intelligenz steht. Wissenschaftler fragen sich schon lange, ob wir Menschen mit einem speziellen „Sprachchip“ in unserem Gehirn geboren werden, der uns sagt, wie man Wörter anordnet, oder ob wir einfach alles lernen, indem wir Muster in dem bemerken, was wir hören. Um dies zu testen, nutzen Forscher etwas, das man „Artificial Language Learning“ nennt. Es ist wie ein kontrolliertes Experiment, bei dem man Menschen oder Maschinen eine winzige, künstliche Sprache mit fehlenden Teilen beibringt, um zu sehen, wie sie die Lücken füllen. Wenn ein Lernender ein bestimmtes Muster wählt, obwohl er es nie gesehen hat, deutet dies darauf hin, dass er eine eingebaute Voreingenommenheit oder eine kluge Art zu raten besitzt, die auf der Struktur der Welt basiert, und nicht nur auf der Häufigkeit von Wörtern. Diese Arbeit taucht in dieses Geheimnis ein und nutzt moderne KI-Sprachmodelle als unsere Testobjekte.

---

Das große Rätsel der Wortreihenfolge

In dieser Studie beschlossen die Forscher Amanda Popadich und Shane Steinert-Threlkeld zu untersuchen, ob Computerprogramme, bekannt als Sprachmodelle, denselben Zaubertrick vollbringen können, den menschliche Lernende vollziehen. Sie wollten wissen: Kann eine Maschine die „Regeln“ lernen, wie man Adjektive und Zahlen stapelt, ohne jemals ein einziges Beispiel eines gestapelten Phrasen-Ausdrucks gesehen zu haben?

Die spezifische Regel, nach der sie suchten, wird als Scope-Homomorphie bezeichnet. Das ist eine schicke Art zu sagen, dass die Reihenfolge der Wörter in einer Phrase der Reihenfolge ihrer Bedeutung entsprechen sollte. Stellen Sie es sich wie russische Matroschka-Puppen vor. Wenn Sie einen „großen roten Ball“ haben, beschreibt das Wort „rot“ den Ball direkt, und „groß“ beschreibt den „roten Ball“. Im Englischen (und Deutschen) setzen wir die größere, äußere Beschreibung („groß“) natürlich zuerst und die spezifischere, innere Beschreibung („rot“) näher an das Nomen. Die Forscher wollten sehen, ob ihre KI-Modelle natürlich diese „Matroschka-Reihenfolge“ bevorzugen würden, selbst wenn sie nur mit Einzelbeschreibungen trainiert wurden.

Das Experiment: Eine Sprach-Diät

Um dies zu testen, schuf das Team eine sehr strenge Trainingsumgebung. Sie nahmen einen riesigen Teil des Internets (speziell den Wikipedia-Dump von 2023) und filterten ihn. Sie nutzten ein Computerprogramm, um jeden Satz zu finden, in dem ein Nomen zwei oder mehr Modifikatoren hatte (wie „diese zwei flauschigen Hunde“) und brachen diese auf. Sie ersetzten „diese zwei flauschigen Hunde“ durch separate Beispiele wie „diese Hunde“, „zwei Hunde“ und „flauschige Hunde“.

Das Ergebnis war eine „Poverty of the Stimulus“-Diät (Armut des Stimulus). Die Modelle wurden mit 100 Millionen Wörtern gefüttert, aber sie sahen niemals ein einziges Beispiel eines Nomens mit zwei Modifikatoren. Sie lernten die einzelnen Zutaten, aber sahen nie den fertigen Kuchen. Dann testeten die Forscher die Modelle, indem sie sie aufforderten, zwischen zwei Versionen eines Satzes zu wählen: der Version, die der „Matroschka-Logik“ folgte (scope-homomorph), und der, die es nicht tat.

Sie testeten drei verschiedene Größen von KI-Modellen: ein kleines (52 Millionen Parameter), ein mittleres (110 Millionen) und ein großes (350 Millionen).

Die Ergebnisse: Die KI versteht es

Die Ergebnisse waren überraschend konsistent. Obwohl die Modelle während ihres Trainings nie eine Phrase mit mehreren Modifikatoren gesehen hatten, bevorzugten alle drei Modelle konsistent die „Matroschka-Reihenfolge“.

Als die Forscher die Modelle fragten, ob sie zwischen „diese zwei Hunde“ (die logische Reihenfolge) und „zwei diese Hunde“ (die vertauschte Reihenfolge) wählen würden, entschieden sich die Modelle überwiegend für die logische Variante.

• Das kleine Modell hatte in etwa 76 % der Fälle recht.
• Das mittlere Modell hatte in etwa 73 % der Fälle recht.
• Das große Modell hatte in etwa 70 % der Fälle recht.

Dies deutet darauf hin, dass die Modelle nicht einfach nur die Trainingsdaten auswendig gelernt haben; sie haben eine Regel generalisiert. Sie fanden heraus, dass es eine spezifische, logische Art gibt, wenn man mehrere Beschreibungen hat, sie anzuordnen, selbst ohne dass es ihnen gezeigt wurde. Interessanterweise änderte die Größe des Modells das Ergebnis kaum; das kleine, mittlere und große Modell zeigten alle diese Voreingenommenheit, was darauf hindeutet, dass es sich um ein robustes Merkmal dessen handelt, wie diese Systeme Sprache lernen.

Die Wendung: Es geht nicht nur um Wortpaare

Die Forscher stellten dann eine Folgefrage: Wie haben die Modelle das herausgefunden? Eine populäre Theorie besagt, dass Lernende einfach schauen, wie oft Wörter zusammen vorkommen. Zum Beispiel könnte „rot“ normalerweise direkt neben „Ball“ stehen, also sollte es immer näher am Nomen liegen als „groß“. Dies wird durch etwas gemessen, das man Pointwise Mutual Information (PMI) nennt, was im Grunde ein Wert dafür ist, wie stark zwei Wörter miteinander assoziiert sind.

Das Team überprüfte die Mathematik. Sie berechneten die Assoziationswerte für die Wörter in ihren Trainingsdaten. Sie fanden heraus, dass ja, Adjektive stark mit Nomen assoziiert sind, und Zahlen sowie Demonstrativpronomen (wie „diese“) weniger stark. Wenn die Modelle nur diesen Assoziationswerten gefolgt wären, hätten sie die Wortreihenfolge perfekt vorhersagen können.

Aber hier kommt die Wendung: Die Assoziationswerte konnten die Entscheidungen der Modelle nicht vorhersagen.

Als die Forscher die tatsächlichen Entscheidungen der Modelle mit dem verglichen, was die Mathematik vorhersagte, war die Korrelation fast null. Die Modelle wählten die richtige Reihenfolge, aber sie taten dies nicht, weil sie zählten, wie oft Wörter zusammen auftraten. Dies deutet darauf hin, dass die Modelle etwas Tieferes erfassen – vielleicht ein strukturelles Verständnis davon, wie Sprache funktioniert – das über einfache Wortpaar-Statistiken hinausgeht.

Was das bedeutet

Diese Studie zeigt, dass Sprachmodelle menschenähnliche linguistische Verallgemeinerungen aus „verarmtem“ Input gewinnen können. Genau wie ein menschliches Kind, das die richtige Wortreihenfolge in einer neuen Sprache erraten könnte, ohne jemals alle möglichen Kombinationen gesehen zu haben, fanden auch diese KI-Modelle ein Muster, das nicht explizit in ihren Trainingsdaten enthalten war.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies nicht beweist, dass KI exakt so lernt wie Menschen. Die Modelle sind keine bewussten Kinder; sie sind komplexe statistische Motoren. Aber die Tatsache, dass sie diese Voreingenommenheit entwickelten, ohne dazu gebracht zu werden, legt nahe, dass man nicht unbedingt einen vorprogrammierten „Sprachchip“ benötigt, um diese Regeln zu lernen. Manchmal können die Regeln der Sprache natürlich aus der Erfahrung des Lernens entstehen, selbst wenn die Beweislage unvollständig ist.

Die Forscher stellten auch einen kleinen Unterschied zwischen der KI und Menschen fest: Während Menschen meist die stärkste Präferenz für die Anordnung von Demonstrativpronomen und Adjektiven zeigen (wie „dieser große Hund“), zeigten die KI-Modelle die stärkste Präferenz für Demonstrativpronomen und Zahlen (wie „diese zwei Hunde“). Dies deutet darauf hin, dass zwar die allgemeine Fähigkeit zur Generalisierung vorhanden ist, die spezifischen Ausprägungen der Voreingenommenheit jedoch von den Details der Trainingsdaten abhängen können.

Letztendlich gibt uns dieses Paper ein spannendes Werkzeug, um Sprache zu verstehen. Indem wir KI-Modelle mit unvollständigen Informationen füttern, können wir sehen, was sie aus eigenem Antrieb „raten“, was uns hilft zu verstehen, ob die Regeln der Sprache fest verdrahtet sind oder aus den Mustern der Welt gelernt werden.