Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie geben ihm nicht einfach nur ein Wörterbuch; Sie lassen ihn Millionen von Büchern, Websites und Geschichten lesen. Mit der Zeit beginnt der Roboter, eine mentale Landkarte davon aufzubauen, wie Dinge miteinander in Beziehung stehen. In der Welt der Informatik nennt man das ein „Large Language Model“ (LLM). Betrachten Sie diese Modelle als superintelligente digitale Gehirne, die fast alles im Internet gelesen haben. Aber hier ist der knifflige Teil: Der Großteil dessen, was sie gelesen haben, ist auf Englisch. Wenn Sie sie bitten, eine Sprache zu sprechen, die sie nicht oft gesehen haben, wie etwa Swahili oder Isländisch, stolpern sie oft.

Wissenschaftler fragen sich schon lange, war Warum das passiert. Eine zentrale Idee aus der Psychologie besagt, dass unsere Gehirne (und kluge Computer) lernen, indem sie Ähnlichkeiten bemerken. Wenn man weiß, was ein „Hund“ ist, kann man erraten, was ein „Wolf“ ist, weil sie ähnlich aussehen und sich ähnlich verhalten. Das nennt man „Generalisierung“. Je besser Ihr mentales Modell ähnliche Dinge zusammen gruppiert, desto besser sind Sie darin, Neues zu erraten. Aber gilt dieselbe Regel auch für ganze Sprachen? Organisieren diese digitalen Gehirne Sprachen im Geheimen so, wie ein Stammbaum Verwandte organisiert? Das ist die große Frage, die dieses Paper zu beantworten versucht.

---

Das große Familientreffen der Sprachen

Stellen Sie sich eine riesige, unsichtbare Party vor, zu der jede Sprache der indogermanischen Sprachfamilie (eine riesige Gruppe, die Englisch, Spanisch, Hindi und Russisch umfasst) eingeladen ist. In der realen Welt wissen wir, dass diese Sprachen wie Cousins, Geschwister und entfernte Verwandte miteinander verwandt sind. Einige, wie Spanisch und Italienisch, sind wie Zwillinge, die im selben Haus aufgewachsen sind. Andere, wie Englisch und Hindi, sind entfernte Cousins, die einander seit tausenden von Jahren nicht mehr gesehen haben.

Die Forscher in diesem Paper wollten sehen, ob Large Language Models (LLMs) diesen Stammbaum im Geheimen kennen. Sie haben die Modelle nicht gefragt: „Hey, sind diese Sprachen verwandt?“ Stattdessen haben sie die „Gedanken“ der Modelle (ihre interne Mathematik) beobachtet, um zu sehen, wie sie Sprachen miteinander gruppierten. Es ist, als würde man einen Gast auf der Party beobachten und sehen, neben wem er steht. Wenn das Modell Spanisch und Italienisch nah beieinander platziert, aber sie weit weg von Hindi hält, zeigt es, dass es die familiären Verbindungen versteht, ohne jemals explizit darüber unterrichtet worden zu sein.

Die Entdeckung: Die Modelle besitzen eine geheime Karte

Das Team testete 12 verschiedene KI-Modelle, die von älteren bis hin zu neueren, leistungsfähigeren Modellen reichten. Sie fütterten die Modelle mit tausenden Sätzen in 38 verschiedenen Sprachen. Dann verwendeten sie einen speziellen mathematischen Trick, um abzubilden, wie die Modelle über jede Sprache „fühlten“.

Das Ergebnis war überraschend und erfreulich: Die Modelle hatten versehentlich eine Karte erstellt, die fast exakt dem echten Stammbaum der Sprachen entsprach.

Genau wie ein Genealoge, der einen Stammbaum zeichnet, gruppierten die Modelle Sprachen ganz natürlich in dieselben Unterfamilien: Germanische Sprachen (wie Englisch und Deutsch) drängten sich zusammen; romanische Sprachen (wie Französisch und Spanisch) bildeten ihren eigenen Kreis; und slawische Sprachen (wie Russisch und Polnisch) hielten zu ihrer eigenen Gruppe. Die Modelle brauchten keinen Lehrer, der ihnen sagte: „Das sind romanische Sprachen.“ Sie fanden es von selbst heraus, indem sie einfach die Daten lasen.

Warum manche Modelle besser auf der Party sind

Aber hier kommt die Wendung: Nicht alle Modelle sind gleichermaßen gut darin. Die Forscher fanden eine direkte Verbindung zwischen der Art und Weise, wie gut ein Modell seine Sprachkarte organisierte, und wie gut es tatsächlich bei einem schwierigen Test namens XNLI abschnitt (ein Test, bei dem das Modell erraten muss, ob ein Satz beweist, widerspricht oder nichts mit einem anderen Satz in einer anderen Sprache zu tun hat).

Stellen Sie sich das so vor: Wenn ein Schüler ein chaotisches, durcheinandergebrachtes Notizbuch hat, in dem er alle seine Geschichtsfakten vermischt, wird er Schwierigkeiten haben, eine Testfrage zu beantworten. Aber wenn sein Notizbuch perfekt nach Themen sortiert ist, kann er die Antwort sofort finden. Das Paper fand heraus, dass Modelle, die ihr „Sprach-Notizbuch“ korrekt organisierten (indem sie ähnliche Sprachen nah beieinander hielten), viel besser darin waren, die Testprobleme zu lösen.

Insbesondere die Modelle, die mit Daten aus vielen verschiedenen Sprachen trainiert wurden (multilinguale Modelle), machten einen viel besseren Job beim Zeichnen dieses Stammbaums als Modelle, die hauptsächlich auf Englisch trainiert wurden. Es ist, als hätten die multilingualen Modelle eine größere, klarere Karte, während die englischsprachigen Modelle versuchten, mit einer verschwommenen, unvollständigen Skizze zu navigieren.

Die „Skript“-Falle und andere Überraschungen

Man könnte vermuten, dass die Modelle Sprachen einfach danach gruppieren, wie sie auf dem Papier aussehen (ihr Alphabet oder Skript). Zum Beispiel: Dachten sie vielleicht, Hindi und Urdu seien ähnlich, nur weil beide das Devanagari-Skript verwenden? Das Paper sagt: Nein. Zwar hat die Art und Weise, wie Wörter geschrieben werden (Orthografie), einen kleinen Effekt, aber das ist nicht der Hauptgrund. Die Modelle waren klug genug, um zu sehen, dass Hindi und Urdu linguistische Cousins sind, obwohl sie unterschiedliche Skripte verwenden, und dass Persisch (das ein arabisches Skript verwendet) tatsächlich mit nordindischen Sprachen verwandt ist und nicht mit arabischen. Die Modelle betrachteten die Struktur der Sprache, nicht nur die Schriftart.

Dennoch waren die Modelle nicht perfekt. Manchmal gerieten sie bei „Waisen-Sprachen“ wie Griechisch, Walisisch und Albanisch etwas durcheinander. In einigen Modellen wurden Griechisch und Walisisch seltsam gepaart, obwohl sie nicht eng miteinander verwandt sind. Dies deutet darauf, dass die Modelle zwar großartig darin sind, das große Ganze zu sehen, aber manchmal über die einzigartigen, isolierten Zweige des Stammbaums stolpern.

Wann haben sie das gelernt?

Die Forscher beobachteten die Modelle auch während ihres Trainings, so wie man ein Baby beim Laufenlernen beobachtet. Sie fanden heraus, dass die Modelle begannen, Sprachen in diese Familiengruppen zu organisieren, sehr früh in ihrem Training – bereits nach nur 100 Schritten des Lernens. Dies deutet darauf darauf hin, dass das Verständnis von „wer mit wem verwandt ist“ eines der ersten Dinge ist, die ein intelligentes Sprachmodell lernt, noch bevor es sich in die kleinteiligen Details spezifischer Wörter vertieft.

Das Fazrazit

Dieses Paper legt nahe, dass das Geheimnis des Erfolgs eines Sprachmodells nicht nur darin besteht, mehr Wörter auswendig zu lernen; es geht darum, eine gute mentale Landkarte davon aufzubauen, wie Sprachen zueinander in Beziehung stehen. Wenn ein Modell versteht, dass Spanisch und Italienisch enge Cousins sind und dass Englisch und Deutsch Geschwister sind, wird es viel besser darin, Ideen von der einen in die andere Sprache zu übertragen.

Es stellt sich heraus, dass diese digitalen Gehirne überraschend gut in Geschichte sind. Sie brauchten kein Lehrbuch, um den indogermanischen Stammbaum zu lernen; sie mussten nur die Welt lesen, und die Muster entstanden von selbst. Und je besser sie darin werden, diese Karte zu zeichnen, desto besser werden sie darin, jede Sprache auf ihr zu sprechen.