💻 computer science

Are Multilingual Models Actually Improving? Isolating True Cross-Lingual Transfer

Dieses Paper führt den Hardness Adjusted Transfer (HAT) Score ein, um den echten sprachübergreifenden Transfer von allgemeinen Verbesserungen der Quellsprache zu isolieren, wobei aufgezeigt wird, dass kleine Modelle zwar effektiv transferieren und über die Zeit hinweg Fortschritte erzielt wurden, die Skalierung von Modellen jedoch zu langsameren als erwarteten Gewinnen an Transferstärke führt.

Ursprüngliche Autoren: Prasoon Bajpai, Eleftheria Briakou, Colin Cherry, Preethi Jyothi, Vihari Piratla

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prasoon Bajpai, Eleftheria Briakou, Colin Cherry, Preethi Jyothi, Vihari Piratla

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Faking It“-Falle (Die Betrugsfalle)

Stellen Sie sich vor, Sie sind ein Lehrer, der Schüler aus zwei verschiedenen Ländern bewertet: Land A (in dem der Lehrer die Sprache fließend spricht) und Land B (in dem der Lehrer noch lernt).

Lange Zeit haben Forscher gemessen, wie gut ein Computermodell eine neue Sprache lernt, indem sie einfach dessen Testergebnisse in dieser neuen Sprache betrachteten. Sie dachten: „Wenn der Wert steigt, verbessert sich das Modell beim Wissenstransfer!“

Das Papier argumentiert, dass dies ein Trick ist.

Die Autoren sagen, dass das Modell oft gar nicht besser im Übersetzen seines Wissens wird, sondern einfach insgesamt klüger wird.

Die Analogie: Stellen Sie sich einen Schüler vor, der schlecht in Mathe ist, aber einen Tutor bekommt. Der Tutor hilft ihm, die Konzepte besser zu verstehen. Nun macht der Schüler einen Test in seiner Muttersprache und erreicht 90 %. Wenn er denselben Test in einer Fremdsprache macht, erreicht er 60 %.
Später bekommt der Schüler einen besseren Tutor. Er versteht die Konzepte nun noch tiefer. Jetzt erreicht er 98 % in seiner Muttersprache und 65 % in der Fremdsprache.
Der Fehler: Wenn man nur auf das Ergebnis in der Fremdsprache schaut (60 % → 65 %), könnte man denken, der Schüler hätte seine Sprachkenntnisse verbessert. Aber eigentlich ist er nur besser im Mathe geworden. Die „Lücke“ zwischen seiner Muttersprache und der Fremdsprache hat sich tatsächlich vergrößert (von 30 Punkten auf 33 Punkte).

Das Papier sagt, dass aktuelle Methoden genau so sind: Sie verwechseln „allgemeine Intelligenzsteigerung“ mit „echtem sprachübergreifendem Transfer“.

Die Lösung: Der „HAT Score“ (Hardness Adjusted Transfer / Härte-angepasster Transfer)

Um dies zu beheben, haben die Autoren eine neue Methode zur Messung des Fortschritts erfunden, den HAT Score.

Die Analogie: Stellen Sie sich eine „Perfekter Transfer“-Linie vor. Dies ist eine magische Linie: Wenn ein Schüler 80 % in seiner Muttersprache erreicht, sollte er auch 80 % in der Fremdsprache erreichen, wenn er den Transfer wirklich gemeistert hat.

Alte Methode: Betrachtete nur die Endzahl (z. B. „65 %“).
HAT Score: Betrachtet die Beziehung. Er fragt: „Angesichts der Tatsache, dass das Modell X % in der Quellsprache erreicht hat, wie viel höher (oder niedriger) war die Leistung in der Zielsprache im Vergleich zu dem, was wir erwartet hätten?“

Wenn ein Modell über der erwarteten Linie liegt, ist es ein echter Transfer-Erfolg. Wenn es die Linie nur deshalb befolgt, weil es allgemein klüger geworden ist, bleibt der HAT Score gleich. Er filtert das „Rauschen“ der allgemeinen Verbesserung heraus, um das „Signal“ des echten Sprachlernens zu finden.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher haben 20 verschiedene KI-Modelle (von Unternehmen wie Google, OpenAI und Anthropic) in drei verschiedenen Arten von Aufgaben getestet. Hier ist, was ihr „HAT Score“ enthüllte:

1. Kleine Modelle sind nicht kaputt

Der Mythos: Die Leute dachten, kleine KI-Modelle seien schlecht darin, neue Sprachen zu lernen.
Die Realität: Wenn man den HAT Score verwendet, machen kleine KI-Modelle tatsächlich einen ordentlichen Job! Sie sind nicht „kaputt“; sie haben lediglich niedrigere Gesamtwerte. Die alten Metriken ließen sie schlechter erscheinen, als sie eigentlich sind.

2. Der Fortschritt ist langsamer als gedacht

Der Mythos: Wenn KI-Modelle größer werden (mehr Parameter), werden sie magischerweise perfekt im sprachübergreifenden Transfer.
Die Realität: Unter Verwendung des HAT Scores fanden die Autoren heraus, dass die Vergrößerung der Modelle zwar hilft, die Verbesserung aber viel langsamer verläuft, als wir gehofft hatten. Wir sehen nicht die massiven Sprünge im Sprachtransfer, die die Rohwerte suggerierten.

3. Zeit hilft (Aber nur bei bestimmten Aufgaben)

Die Realität: Neuere Modelle (veröffentlicht in 2025/2026) sind bei Reasoning-Aufgaben (wie Mathe- oder Logikrätseln) tatsächlich besser als ältere Modelle. Bei diesen Tests zeigt der HAT Score, dass sie fast „gelöst“ sind – das heißt, sie transferieren Wissen fast perfekt.
Der Haken: Dieser Fortschritt ist bei Faktenabruf-Aufgaben (wie Trivia-Fragen) nicht passiert. Bei diesen Aufgaben hat der Fortschritt gestockt.

4. Die „Schrift“-Barriere

Die Realität: Spielt es eine Rolle, ob die Sprachen unterschiedliche Alphabete verwenden? (z. B. Englisch vs. Arabisch).
Das Ergebnis: Es kommt auf die Aufgabe an.
- Bei Reasoning (Mathe/Logik) spielt das Alphabet keine große Rolle. Das Modell versteht es.
- Bei Fakten (Trivia) schafft der Wechsel des Alphabets eine riesige Barriere. Das Modell hat viel größere Schwierigkeiten, wenn sich das Skript ändert.

5. „Nachdenken“ hilft

Die Realität: Modelle, die „nachdenken“ dürfen (eine Kette von Argumenten generieren, bevor sie antworten), sind besser im sprachübergreifenden Transfer.
Die Beobachtung: Die Modelle scheinen diese zusätzliche Denkzeit zu nutzen, um die Lücke zwischen den Sprachen zu überbrücken, indem sie das Problem in ihrem „Geist“ übersetzen, bevor sie es lösen.

Das Fazrazit

Das Papier kommt zu dem Schluss, dass KI zwar besser wird, wir aber „allgemeine Intelligenz“ oft als „Sprachkompetenz“ gefeiert haben.

Die gute Nachricht: Wir machen echte Fortschritte bei Reasoning-Aufgaben, und kleine Modelle sind überraschend fähig.
Die schlechte Nachricht: Wir machen langsamere Fortschritte bei faktenbasierten Aufgaben, und die Kluft zwischen den Sprachen bleibt hartnäckig, besonders wenn unterschiedliche Alphabete im Spiel sind.
Der Aufruf zum Handeln: Die aktuellen Tests (Benchmarks) sind für die neuesten Modelle zu einfach. Wir brauchen härtere, komplexere Tests, die Modelle dazu zwingen, an mehreren Schritten zu arbeiten, wo der „Übersetzungsteil“ des Problems die eigentliche Herausforderung darstellt.

Kurz gesagt: Schauen Sie nicht nur auf das Endergebnis; schauen Sie, wie das Modell dorthin gekommen ist. Der HAT Score ist das neue Lineal, um echtes Sprachenlernen zu messen.

Technisches Resümee: „Verbessern sich multilinguale Modelle tatsächlich? Isolierung des echten kreuzsprachlichen Transfers“

Problemstellung

Kreuzsprachlicher Transfer (Cross-Lingual Transfer, XLT) ist definiert als die Fähigkeit eines Modells, Fähigkeiten von gut repräsentierten Quellsprachen (typischerweise Englisch) auf unterrepräsentierte Zielsprachen zu generalisieren. Während multilinguale Benchmarks häufig verwendet werden, um Fortschritte in diesem Bereich zu verfolgen, argumentieren die Autoren, dass bestehende Metriken echte Verbesserungen des Transfers mit allgemeinen Verbesserungen der Genauigkeit in der Quellsprache verwechseln.

Aktuelle Standardmaße umfassen:

Absolute Zielgenauigkeit (Absolute Target Accuracy): Messung der Leistung in der Zielsprache allein.
XLT-Gap: Die absolute Differenz zwischen der Genauigkeit der Quellsprache und der Zielsprache.
Transfer-Score: Der Anteil der korrekt beantworteten Fragen in der Zielsprache unter der Bedingung, dass eine korrekte Vorhersage in der Quellsprache vorliegt.

Das Paper identifiziert einen kritischen Fehler in diesen Metriken: Die Genauigkeiten von Quelle und Ziel sind stark linear gekoppelt (mit $R^2 > 0,94$ ). Wenn sich die allgemeinen Modellfähigkeiten (z. B. logisches Denken, Faktizität oder Skalierung) verbessern, steigen sowohl die Genauigkeit der Quellsprache als als auch die der Zielsprache vorhersagbar an. Folglich kann ein Anstieg der Genauigkeit in der Zielsprache lediglich eine bessere Leistung in der Quellsprache widerspiegeln, statt eines verbesserten Transfermechanismus. Ebenso kann der XLT-Gap fälschlicherweise eine Verschlechterung des Transfers suggerieren, während die Modelle skalieren, selbst wenn sich das zugrunde liegende Transferprofil verbessert.

Methodik

Der Hardness Adjusted Transfer (HAT) Score

Um den konfundierenden Effekt allgemeiner Verbesserungen in der Quellsprache zu adressieren, schlagen die Autoren den Hardness Adjusted Transfer (HAT) Score vor. Diese Metrik leitet sich aus ersten Prinzipien ab, um den Anteil der Leistung zu isolieren, der von der Quelle auf das Ziel übertragen wird, unabhängig von der absoluten Schwierigkeit der Quelle oder der allgemeinen Kompetenz des Modells.

Theoretische Definition:
Seien $S$ und $T_\ell$ die Erfolgsraten der Quellsprache bzw. der Zielsprache $\ell$ . Das ideale Transferprofil wird durch die bedingte Erwartung $E[T_\ell | S=s, M]$ definiert. Wenn ein Modell über einen perfekten Transfer verfügt, entspricht dieses Profil der Geraden $y=x$ .

Der HAT Score ist definiert als die normalisierte erwartete Genauigkeit der Zielsprache unter einer Gleichverteilung der Quellsprachen-Genauigkeiten, wodurch der Bias durch die spezifische Verteilung der Quellsprachen-Genauigkeit eines Modells entfernt wird:
$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$
Der Multiplikator 2 stellt sicher, dass der Score im Bereich $[0, 1]$ begrenzt ist.

Empirische Schätzung:
Da $E[T_\ell | S, M]$ nicht direkt beobachtbar ist, schätzen die Autoren diesen Wert mittels eines linearen Regressionsansatzes:

Für jede Instanz des Datensatzes wird das Modell $N=10$ Mal sowohl in der Quell- als auch in der Zielsprache gepromptet, um die Erfolgsraten ( $s^{(i)}$ und $t^{(i)}$ ) zu schätzen.
Ein linearer Regressor wird auf die Paare $(s^{(i)}, t^{(i)})$ gefittet, um die bedingte Erwartung zu approximieren, wobei die Bedingung gilt, dass $T=0$ , wenn $S=0$ .
Die Steigung dieser gefitteten Linie ( $\hat{m}$ ) dient als HAT Score.

Experimentelles Setup

Die Studie evaluiert 20 diverse Large Language Models (LLMs) aus fünf Familien (Gemini, Gemma, Qwen, GPT-OSS, Claude), die Größen von 1B bis 120B Parametern und variierende „Thinking“-Budgets (Tiefe des logischen Denkens) abdecken.

Die Evaluierung erfolgt auf drei multilingualen Benchmarks:

ECLeKTic: Kreuzsprachige Factoid-Fragen (Fakten-QA).
MGSMv2: Multilinguale mathematische Argumentation (eine korrigierte Version von MGSM).
MMLU-ProX-Lite: Multilinguale Multiple-Choice-Aufgaben zur Argumentation und zum konzeptionellen Wissen.

Für MGSMv2 und MMLU-ProX-Lite ist Englisch die Quellsprache. Für ECLeKTic variiert die Quellsprache pro Frage basierend auf dem ursprünglichen Wikipedia-Artikel.

Zentrale Ergebnisse

1. Validierung von HAT gegenüber traditionellen Metriken

Die Autoren zeigen auf, dass traditionelle Metriken den Fortschritt oft falsch darstellen:

Zielgenauigkeit (Target Accuracy): Kann Fortschritt vortäuschen, wenn das Transferprofil unverändert bleibt, nur weil sich die Verteilung der Quellsprachen-Genauigkeit zu höheren Werten verschoben hat (z. B. bei größeren Modellen).
XLT-Gap: Kann eine Regression (Verschlechterung des Transfers) anzeigen, während die Modelle skalieren, selbst wenn sich das Transferprofil (die Steigung) verbessert.
HAT Score: Bleibt robust gegenüber Verschiebungen in der Verteilung der Quellsprachen-Genauigkeit und bietet einen zuverlässigen Indikator für die wahre Transferstärke.

2. Fortschritt mit der Modellgröße

Kleine Modelle: Der Transfer ist in kleinen Modellen (1B–4B) nicht „kaputt“. Die HAT-Scores für diese Modelle liegen zwischen 50 % und 80 %, was bedeutet, dass die Genauigkeit der Zielsprache ein signifikanter Bruchteil der Genauigkeit der Quellsprache ist. Traditionelle Metriken liefern hier jedoch eine übermäßig pessimistische Einschätzung.
Skalierungstrends: Während größere Modelle einen verbesserten Transfer zeigen, ist der Fortschritt im Verhältnis zur Zunahme der Modellgröße langsamer als erwartet. Der HAT-Score verdeutlicht, dass die Gewinne im XLT gradueller verlaufen, als es die rohe Zielgenauigkeit suggeriert.

3. Fortschritt über die Zeit

Reasoning-Benchmarks: Für MGSMv2 und MMLU-ProX-Lite zeigen neuere Modelle (nach 2025) eine signifikante Annäherung an die „perfekte Transfer“-Linie. Die medianen HAT-Scores verbesserten sich von 0,75 auf 0,93 (MMLU-ProX-Lite) und von 0,90 auf 0,97 (MGSMv2), was darauf hindeutet, dass diese Benchmarks in Bezug auf XLT nahezu gelöst sind.
Factoid-Benchmarks: Ein solcher Trend ist für ECLeKTic nicht zu beobachten, wo der Fortschritt stagniert zu sein scheint.

4. Einflussfaktoren auf den Transfer

Modellarchitektur & Pretraining: Unterschiede in den HAT-Scores zwischen Modellfamilien vergleichbarer Größe (z. B. GPT-OSS vs. Gemma vs. Qwen) legen nahe, dass Pretraining-Rezepte einen größeren Einfluss auf den Transfer haben als die reine Modellgröße allein.
Thinking/Reasoning-Budget: Das Aktivieren von „Thinking“ (Reasoning-Tiefe) verbessert den XLT über alle Benchmarks hinweg. Die Autoren beobachten, dass Modelle zusätzliche Token für nicht-englische Prompts bereitstellen (5–20 % länger), was auf einen Mechanismus zur Sprachüberbrückung hindeutet.
Skriptähnlichkeit: Der Transfer ist zwischen Sprachen mit unterschiedlichen Skripten signifikant schwächer, jedoch nur bei ECLeKTic (Factoid QA). Für Reasoning-Aufgaben (MGSMv2, MMLU-ProX-Lite) beeinträchtigen Skriptunterschiede die HAT-Scores nicht signifikant.

Bedeutung und Behauptungen

Das Paper behauptet, dass das Feld den Fortschritt im kreuzsprachlichen Transfer aufgrund der Kopplung von Quell- und Zielgenauigkeit missverstanden hat. Durch die Einführung des HAT-Scores ermöglichen die Autoren eine Metrik, die allgemeine Verbesserungen der Kapazität von echten Transfergewinnen trennt.

Die Autoren kommen zu folgenden Schlüssen:

Der Transfer in kleinen Modellen ist funktional, entgegen pessimistischer Ansichten, die aus der rohen Zielgenauigkeit resultieren.
Der Fortschritt im XLT ist langsamer als antizipiert in Bezug auf die Modellskalierung, was die Annahme infrage stellt, dass eine bloße Erhöhung der Parameter das multilinguale Defizit automatisch löst.
Aktuelle Benchmarks erreichen eine Sättigung für Reasoning-Aufgaben (MGSMv2, MMLU-ProX-Lite), was die Entwicklung anspruchsvollerer, praktisch motivierter Benchmarks (z. B. mehrstufige Aufgaben) notwendig macht, um weiterhin messbaren Fortschritt darzustellen.

Die Arbeit dient als Aufruf an die Community, prinzipienbasierte Metriken wie HAT zu verwenden, um die kreuzsprachige Generalisierung präzise zu bewerten und voranzutreiben.