💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Diese Arbeit untersucht die Mehrsprachigkeit großer Sprachmodelle durch eine Analyse der Repräsentationsstruktur und zeigt auf, dass ressourcenarme Sprachen strukturell deutlicher von Englisch verschieden sind als ressourcenreiche und mittelreiche Sprachen und dass sprachspezifisches Post-Training diese Strukturen modifiziert, während die zwischensprachlichen Beziehungen beibehalten werden.

Ursprüngliche Autoren: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, mehrstöckige Bibliothek vor, in der jedes Buch eine andere Sprache repräsentiert. Lange Zeit haben Forscher versucht zu verstehen, wie diese Bibliothek ihre Bücher organisiert. Die meisten bisherigen Studien betrachteten die Bibliothek, indem sie einzelne Wörter (oder „Tokens“) in den Regalen untersuchten und fragten: „Wie ähnlich ist das Wort ‚cat‘ im Englischen dem Wort ‚cat‘ im Japanischen?“

Dieser Artikel verfolgt jedoch einen anderen Ansatz. Anstatt auf einzelne Wörter zu schauen, betrachten die Autoren die gesamte Struktur der Bibliothek selbst. Sie fragen: „Wie ist das gesamte Gebäude angeordnet? Sehen die englische Abteilung und die japanische Abteilung so aus, als würden sie zum selben Architekturstil gehören, oder wurden sie nach völlig unterschiedlichen Bauplänen errichtet?“

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Problem beim bloßen Betrachten von Wörtern

Denken Sie an einen Tokenizer (das Werkzeug, das Text in Wörter zerlegt) wie an eine Schere. Im Englischen schneidet die Schere den Text in kleine, ordentliche Stücke. In anderen Sprachen schneidet die Schere den Text vielleicht in riesige Brocken oder winzige, fragmentierte Teile. Da die „Stücke“ unterschiedlich groß sind, ist der Vergleich von Wort zu Wort so, als würde man versuchen, einen Haufen Lego-Steine mit einem Haufen Sand zu vergleichen. Man sieht zwar, dass beide „Zeug“ sind, aber man übersieht das größere Bild davon, wie sie aufgebaut sind.

2. Das neue Werkzeug: „Strukturelles Röntgenbild“

Die Autoren verwendeten ein Werkzeug namens STRUCTLENS. Stellen Sie sich dies als ein Röntgengerät vor, das nicht nur nach den Ziegeln schaut, sondern das gesamte Skelett der Bibliothek scannt. Es erstellt einen „Stammbaum“ für jede Sprache und zeigt, wie die verschiedenen Teile eines Satzes miteinander verbunden sind, während das Modell sie verarbeitet.

Sie maßen den Abstand zwischen diesen Stammbäumen. Wenn der Baum für Englisch sehr ähnlich aussieht wie der für Deutsch, ist der Abstand gering. Wenn der Baum für Englisch überhaupt nicht dem eines ressourcenarmen Sprachmodells (wie Jinghpaw) ähnelt, ist der Abstand riesig.

3. Zentrale Erkenntnisse

Die Kluft zwischen „reichen“ und „armen“ Sprachen
Die Studie fand eine klare Spaltung in der Art und Weise, wie die Bibliothek organisiert ist:

Sprachen mit hoher und mittlerer Ressourcenverfügbarkeit (Die „reichen“ Viertel): Sprachen wie Deutsch, Japanisch, Chinesisch und Indonesisch sind wie gut vernetzte Nachbarschaften. Obwohl sie unterschiedlich sind, behandelt die interne Struktur der Bibliothek sie sehr ähnlich. Sie teilen einen ähnlichen architektonischen Bauplan.
Sprachen mit geringen Ressourcen (Die „entlegenen“ Dörfer): Sprachen mit weniger verfügbaren Daten (wie Aranesisch, Guarani und Jinghpaw) sind strukturell sehr verschieden von Englisch. Sie sind wie entlegene Dörfer mit einem völlig anderen Baustil. Selbst wenn das Modell sie „lesen“ kann, ist die interne Art und Weise, wie es sie verarbeitet, grundlegend verschieden von der Art, wie es Englisch verarbeitet.

Die „Cosine Similarity“-Falle
Die Autoren entdeckten, dass ein häufig verwendetes Maß in der Wissenschaft (genannt „Cosine Similarity“) wie das Betrachten der Durchschnittsfarbe eines Gemäldes ist.

Wenn man rote und blaue Farbe mischt, kann das Durchschnittsergebnis lila aussehen.
Wenn man rot und blau in einem anderen Verhältnis mischt, kann das Durchschnittsergebnis ebenfalls lila aussehen.
Die Falle: Das „Durchschnittsbild“ des Modells von Englisch und Japanisch mag sehr ähnlich aussehen (hohe Cosine Similarity), was den Anschein erweckt, das Modell verstünde beide gleichermaßen gut.
Die Realität: Die „Strukturelle Distanz“ (das Röntgenbild) offenbart, dass das Muster der Farbe völlig anders ist. Das Modell organisiert die japanischen Wörter in einem völlig anderen internen Muster als die englischen Wörter, selbst wenn das „Durchschnittsbild“ dasselbe ist.

Der Effekt von „Spezialisierterem Training“ (Post-Training)
Die Forscher untersuchten auch, was passiert, wenn man ein allgemeines Modell nimmt und ihm zusätzliches Training speziell für eine Sprache (wie Japanisch) gibt.

Die Analogie: Stellen Sie sich einen Bauunternehmer vor, der Häuser für alle baut. Wenn Sie ihn engagieren, um einen spezifischen Typus eines japanischen Hauses zu bauen, wird er sehr gut in den Details dieses Hauses (das Dach, die Schiebetüren).
Das Ergebnis: Das Modell wird besser in Japanisch, und die interne Struktur des japanischen Abschnitts wird raffinierter und einzigartiger. Dennoch bleibt der Abstand zwischen dem japanischen Abschnitt und dem englischen Abschnitt exakt gleich. Das Modell hat nicht geändert, wie es Japanisch zu Englisch in Beziehung setzt; es hat lediglich den japanischen Abschnitt selbst verfeinert.

Zusammenfassung

Kurz gesagt argumentieren die Autoren, dass wir, um wirklich zu verstehen, wie eine KI verschiedene Sprachen handhabt, nicht nur Wörter zählen oder nach Durchschnittsähnlichkeiten suchen können. Wir müssen auf das strukturelle Skelett schauen, wie eine KI denkt.

Sie fanden heraus:

Vertraute Sprachen (hohe Datenmenge) teilen eine ähnliche interne „Architektur“.
Unbekannte Sprachen (geringe Datenmenge) haben eine völlig andere interne Architektur, selbst wenn das Modell sie technisch gesehen lesen kann.
Spezialisiertes Training verbessert die interne Struktur einer spezifischen Sprache, ändert aber nicht unbedingt, wie diese Sprache im Geist der KI zu anderen Sprachen in Beziehung steht.

Dies hilft uns zu verstehen, dass KI-Modelle zwar multilingual werden, aber tief in ihren „Gehirnen“ „reiche“ und „arme“ Sprachen auf grundlegend unterschiedliche Weise behandeln.

Technisches Resümee: Mehrsprachigkeit von Large Language Models aus einer strukturellen Perspektive

Problemstellung

Obwohl Large Language Models (LLMs) durch das Pre-Training auf multilingualen Korpora und kontinuierliches Post-Training beeindruckende mehrsprachige Fähigkeiten demonstriert haben, beschränkt sich die bestehende Analyse dieser Mehrsprachigkeit überwiegend auf die Token-Ebene (oder Subword-Ebene). Vorangegangene Arbeiten nutzten Werkzeuge wie die Logit Lens, um verborgene Zustände als Symbole zu interpretieren, oder analysierten die Geometrie von Token-Repräsentationen. Dieser token-zentrierte Ansatz versäumt es jedoch, die inhärenten strukturellen Eigenschaften von Sprache, wie etwa diverse morphosyntaktische Merkmale, zu erfassen. Da zudem Tokenizer zwischen Sprachen signifikant variieren, ist die semantische Granularität der von LLMs verarbeiteten minimalen Einheiten inkonsistent, was die Fähigkeit der Token-basierten Analyse einschränkt, ganzheitlich zu verstehen, wie LLMs mehrere Sprachen repräsentieren und verarbeiten.

Methodik

Um diese Einschränkungen zu adressieren, schlägt diese Studie eine strukturelle Perspektive auf mehrsprachige Repräsentationen vor, die über die Token-Ebene hinausgeht, um die Organisation ganzer Eingabesequenzen zu untersuchen.

1. Strukturanalyse via STRUCTLENS
Die Autoren nutzen STRUCTLENS (Sakajo et al., 2026), eine Methode, die Baumstrukturen aus paarweisen L2-Distanzen zwischen Token-Repräsentationen innerhalb der Residualströme von Transformer-Modellen ableitet.

Konstruktion des Spannbaums: Für jede Schicht $\ell$ und jede Sprache konstruiert die Methode einen maximalen Spannbaum basierend auf der Ähnlichkeit zwischen Tokens. Die Adjazenzmatrix $A$ wird durch die Invertierung der L2-Distanz zwischen den Hidden States $h^{(\ell)}_i$ und $h^{(\ell)}_j$ definiert.
Messung der strukturellen Distanz: Um die internen Strukturen verschiedener Sprachen zu vergleichen, berechnet die Studie die Tree Edit Distance (TED) zwischen den Spannbäumen zweier Sprachen. Diese Distanz wird durch die größere Eingabelänge normiert, um einen fairen Vergleich zwischen Sprachen mit unterschiedlichen Token-Sequenzlängen zu gewährleisten. Die Relabeling-Kosten werden auf Null gesetzt, um sich strikt auf strukturelle Unterschiede statt auf lexikalische Abweichungen zu konzentrieren.

2. Experimentelles Setup

Modelle: Die Studie evaluiert sowohl multilinguale, vortrainierte Modelle (Gemma3 4B PT, Qwen3 8B Base) als auch ein monolinguales, englisch-zentriertes Modell (Olmo3 7B Base). Sie umfasst zudem sprachspezifische, post-trainierte Modelle (Qwen3 Swallow 8B CPT für Japanisch), um die Effekte von kontinuierlichem Pre-Training zu analysieren.
Sprachen: Ein diverses Set an Sprachen wurde ausgewählt, darunter ressourcenreiche/mittelreiche Sprachen (Englisch, Deutsch, Japanisch, Chinesisch, Indonesisch) sowie ressourcenarme Sprachen (Aranesisch, Guarani, Jinghpaw).
Datensätze: Parallele Übersetzungssatzpaare aus FLORES+ und entsprechende Jinghpaw-Daten werden verwendet.
Vergleichende Metriken: Um die strukturellen Befunde zu kontextualisieren, misst die Studie auch nicht-strukturelle Metriken: Perplexity, maschinelle Übersetzungsleistung (BLEU, chrF, TER), Kosinus-Ähnlichkeit der Mittelwert-Repräsentationen und L2-Distanz.

Zentrale Beiträge und Ergebnisse

1. Strukturelle Distanz offenbart ressourcenbasierte Clusterbildung
Die Studie stellt fest, dass die strukturelle Distanz (TED) Sprachen in einer Weise nach ihrer Ressourcenverfügbarkeit unterscheidet, wie es die Kosinus-Ähnlichkeit nicht vermag.

Multilinguale Modelle: In multilingualen Modellen (Gemma3, Qwen3) bilden hoch- und mittelreiche Sprachen einen Cluster mit relativ einheitlichen internen Strukturen und geringer struktureller Distanz zu Englisch. Im Gegensatz dazu weisen ressourcenarme Sprachen signifikant höhere strukturelle Distanzen zu Englisch auf.
Monolinguale Modelle: Das monolinguale Olmo3 7B Base Modell zeigt eine deutliche Trennung zwischen Englisch und allen anderen Sprachen mit hohen strukturellen Distanzen über das gesamte Spektrum hinweg, was sein englisch-zentriertes Training widerspiegelt.
Kontrast zur Kosinus-Ähnlichkeit: Während die Kosinus-Ähnlichkeit zwischen Englisch und anderen Sprachen in multilingualen Modellen über alle Schichten hinweg hoch und gleichmäßig bleibt (was auf ausgerichtete abstrakte semantische Zentren hindeutet), offenbart die strukturelle Distanz signifikante interne relationale Unterschiede. Dies deutet darauf hin, dass zwar das „Zentrum“ des Repräsentationsraums ausgerichtet sein mag, die interne Topologie der Token-Beziehungen jedoch je nach Sprachbekanntheit variiert.

2. Einfluss von sprachspezifischem Post-Training
Die Studie untersucht, wie sprachspezifisches Post-Training (kontinuierliches Pre-Training auf Zielsprachdaten) die Modellstrukturen verändert.

Differenzierung der Zielsprache: Das Post-Training auf Japanisch (Qwen3 Swallow 8B CPT) verändert die interne strukturelle Distanz von Japanisch signifikant und macht es von seinem vortrainierten Zustand unterscheidbar.
Bewahrung interlinguistischer Beziehungen: Entscheidend ist, dass sich zwar die interne Struktur der Zielsprache ändert, die strukturelle Distanz zwischen den Sprachen (z. B. zwischen Englisch und Japanisch oder Englisch und Chinesisch) jedoch weitgehend invariant bleibt. Dies legt nahe, dass das Post-Training die spezifische interne Organisation der Sprache verfeinert, ohne die breiteren strukturellen Beziehungen zu stören, die während des Pre-Trainings etabliert wurden.

3. Einfluss linguistischer Merkmale
Unter den ressourcenarmen Sprachen korreliert die strukturelle Distanz mit der linguistischen Ähnlichkeit zu Englisch. Aranesisch, das typologisch näher an Englisch liegt, weist eine geringere strukturelle Distanz auf als Jinghpaw, das weiter entfernt ist. Dies deutet darauf hin, dass linguistische Ähnlichkeit die strukturelle Ausrichtung im Repräsentationsraum erleichtert, selbst bei ressourcenarmen Sprachen.

Bedeutung und Thesen

Das Paper behauptet, dass eine Perspektive auf die Repräsentationsstruktur distinkte Maße der Sprachähnlichkeit liefert, die durch konventionelle Token-basierte oder zentroid-basierte Metriken nicht erfasst werden.

Ganzheitliche Sichtweise: Die Ergebnisse zeigen, dass LLMs Eingabesequenzen gemäß sprachspezifischer struktureller Muster organisieren, die sich durch die Transformer-Schichten entwickeln.
Vertrautheit vs. Unbekanntheit: Die strukturelle Distanz dient als Metrik für die „Bekanntheit“ des Modells. Multilinguale Modelle zeigen eine hohe strukturelle Ähnlichkeit unter vertrauten (ressourcenreichen) Sprachen, divergieren jedoch signifikant bei unbekannten (ressourcenarmen) Sprachen.
Mechanismus der Adaption: Die Studie zeigt auf, dass sprachspezifisches Post-Training dadurch operiert, dass es die interne strukturelle Organisation der Zielsprache modifiziert, während die globalen strukturellen Beziehungen zwischen den Sprachen bewahrt werden.

Die Autoren kommen zu dem Schluss, dass diese strukturelle Perspektive essenziell ist, um zu verstehen, wie LLMs mehrere Sprachen verarbeiten. Sie heben hervor, dass Modelle zwischen vertrauten und unbekannten Sprachen durch ihre interne strukturelle Organisation unterscheiden und dass Post-Training eine Leistungsverbesserung in spezifischen Sprachen ermöglicht, ohne die während des Pre-Trainings gelernten multilingualen Beziehungen zu löschen.