Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs
Diese sprachenübergreifende Studie zeigt, dass GPT-2 small zwar gewisse menschenähnliche induktive Biases aufweist, indem es attestierte Sprachen von typologisch unmöglichen unterscheidet, diese Biases jedoch unvollkommen und schwächer sind als jene, die bei menschlichen Lernenden zu finden sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr intelligenten, sehr schnellen Roboter, der lernt zu sprechen, indem er Millionen von Büchern liest. Wissenschaftler streiten darüber, ob dieser Roboter die Sprache wirklich so „versteht“, wie Menschen es tun, oder ob er nur ein statistischer Papagei ist, der alles nachahmen kann, was er sieht, selbst Unsinn.
Einige Kritiker sagen, der Roboter sei zu flexibel: „Er kann Kauderwelsch genauso leicht lernen wie echtes Englisch, also beweist das gar nichts über die Funktionsweise des menschlichen Gehirns.“
Diese Arbeit stellt diese Idee auf die Probe. Die Forscher stellten die Frage: Kann dieser Roboter zwischen einer echten Sprache und einer erfundenen, unmöglichen Sprache unterscheiden?
Hier ist eine Aufschlüsselung ihrer Experimente und dessen, was sie herausgefunden haben, unter Verwendung alltäglicher Analogien.
Das Setup: Das „Sprach-Fitnessstudio“
Die Forscher bauten ein Fitnessstudio für ihren Roboter (ein kleines KI-Modell namens GPT-2). Sie verwendeten nicht nur Englisch; sie nutzten 12 verschiedene Sprachen aus der ganzen Welt (wie Türkisch, Chinesisch, Deutsch und Arabisch), um sicherzustellen, dass die Ergebnisse kein Zufall bei einer spezifischen Sprache waren.
Sie erstellten zwei Arten von „Workouts“ für den Roboter:
- Reale Sprachen: Normale Sätze, die von Menschen gesprochen werden.
- Unmögliche Sprachen: Dies waren echte Sätze, die umgestellt worden waren. Stellen Sie sich vor, Sie nehmen einen Satz wie „Der Hund jagt den Ball“ und bringen die Wörter durcheinander, sodass daraus „Ball den jagt Hund der“ wird. Oder Sie kehren jedes Wort um. Diese sind „unmöglich“, weil kein menschliches Gehirn sie jemals natürlich lernen oder sprechen würde.
Sie testeten auch „unattestierte“ Sprachen. Das sind Sprachen, die logisch gesehen existieren könnten, die aber einfach noch nie von Menschen verwendet wurden. Es ist wie ein Puzzleteil, das perfekt in das Bild passt, aber noch niemand in den Rahmen gesetzt hat.
Experiment 1: Der „Scrambled Egg“-Test (Der zerbrochene Eier-Test)
Die Frage: Wenn man dem Roboter eine zerstückelte Version einer Sprache füttert, erkennt er dann, dass sie kaputt ist?
Die Analogie: Stellen Sie sich vor, Sie bringen einem Hund bei, einen Ball zu apportieren. Wenn Sie einen Ball werfen, holt der Hund ihn. Wenn Sie einen Stein werfen, holt der Hund ihn vielleicht immer noch, aber vielleicht nicht so eifrig. Die Forscher wollten sehen, ob der Roboter den Ball (reale Sprache) gegenüber dem Stein (zerstückelte Sprache) bevorzugt.
Das Ergebnis:
- Meistens Ja: In fast jeder Sprache lernte der Roboter die echten Sätze viel schneller und besser als die zerstückelten. Er wurde „verwirrt“ (gemessen durch einen Wert namens Perplexity), wenn die Wörter in der falschen Reihenfolge standen.
- Der Haken: Der Roboter war nicht perfekt. Manchmal, wenn die Zerstückelung nur geringfügig war (wie das bloße Vertauschen von nur zwei Wörtern), bemerkte der Roboter den Unterschied nicht so deutlich wie ein Mensch. Es war ein wenig so, als würde eine Person merken, dass ein Lied leicht verstimmt ist, aber sie würde es vielleicht übersehen, wenn nur ein einziger Ton minimal falsch wäre.
Experiment 2: Der „Globale Vergleich“
Die Frage: Wenn wir alle echten Sprachen und alle zerstückelten Sprachen mischen, kann der Roboter sie in zwei ordentliche Stapel sortieren?
Die Analogie: Stellen Sie sich einen Bibliothekar vor, der versucht, einen Stapel echter Bücher von einem Stapel zu trennen, bei dem die Seiten herausgerissen und zufällig wieder zusammengeklebt wurden. Kann der Bibliothekar allein durch das Ansehen der Bücher erkennen, welcher Stapel welcher ist?
Das Ergebnis:
- Nicht perfekt: Der Roboter konnte den Unterschied meistens erkennen, aber nicht zu 100 %. Einige der zerstückelten Sprachen sahen den echten so ähnlich, dass der Roboter sie verwechselte.
- Die Erkenntnis: Der Roboter hat eine „weiche“ Präferenz für reale Sprachen, aber er besitzt nicht die strengen, fest verdrahteten Regeln, die das menschliche Gehirn scheinbar hat. Er ist ein wenig wie ein Musikfan, der echte Songs gegenüber Lärm bevorzugt, aber trotzdem einen verrückten Remix genießen wird, wenn er eingängig genug ist.
Experiment 3: Das „Grammatik-Rätsel“
Die Frage: Menschen haben eine natürliche Neigung für bestimmte Wortstellungen. Zum Beispiel sagen wir im Englischen „The red car“ (Adjektiv-Nomen). In einigen anderen Sprachen sagen sie „Car red“. Aber es gibt Kombinationen, die Menschen niemals verwenden würden, wie etwa „Red car the“. Kann der Roboter diese seltsamen, ungenutzten Muster genauso gut lernen wie die normalen?
Die Analogie: Stellen Sie sich vor, man bringt einem Kind bei, Blöcke zu stapeln. Menschen bevorzugen es natürlich, sie stabil zu stapeln (großer Block unten, kleiner oben). Wenn man versucht, sie ihnen auf dem Kopf stehend beizubringen, haben sie Schwierigkeiten. Die Forscher wollten sehen, ob der Roboter beim „auf dem Kopf stehenden“ Stapeln Schwierigkeiten hätte oder ob er es einfach ohne Klagen machen würde.
Das Ergebnis:
- Der verwirrende Teil: Wenn man nur betrachtete, wie schnell der Roboter lernte (Perplexity), schien es, als würde er die seltsamen, ungenutzten Wortstellungen genauso leicht lernen wie die normalen. Es war, als wäre es dem Roboter egal, was die „Regeln“ der Stabilität anging.
- Die Enthüllung: Als sie jedoch die Fähigkeit des Roboters testeten, zu generalisieren (das Gelernte auf neue Situationen anzuwenden), zeichnete sich ein anderes Bild ab. Der Roboter war tatsächlich besser mit den Wortstellungen, die Menschen natürlich verwenden. Er zeigte eine subtile, menschenähnliche Voreingenommenheit, aber diese war viel schwächer als das, was wir bei echten Menschen sehen.
Das abschließende Urteil: „Alles erlaubt?“
Die Arbeit kommt zu dem Schluss, dass der Roboter kein „unbeschriebenes Blatt“ ist, das alles gleichermaßen gut lernen kann.
- Der Mythos „Alles geht“: Die Vorstellung, dass der Roboter Kauderwelsch genauso leicht lernen kann wie echte Sprache, ist falsch. Der Roboter zeigt einige „menschenähnliche“ Instinkte; er bevorzugt echte Sprachen und hat etwas mehr Mühe mit unmöglichen Sprachen.
- Die Realität: Diese Instinkte sind jedoch schwach. Sie sind nicht so stark oder starr wie die Regeln in einem menschlichen Gehirn. Der Roboter ist wie ein sehr begabter Schüler, der die Regeln der Grammatik gelernt hat, aber nicht das tiefe, intuitive Gefühl für Sprache besitzt, das Menschen von Geburt an mitbringen.
Kurz gesagt: Der Roboter ist weder magisch noch eine perfekte Kopie eines menschlichen Geistes. Er befindet sich irgendwo dazwischen: Er hat einige der „Regeln“ der menschlichen Sprache gelernt, aber ihm fehlt das tiefe, intuitive Verständnis, das das menschliche Lernen so einzigartig macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.