💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

Das Papier stellt AdaMame vor, ein zweistufiges Trainingsrezept, das Supervised Fine-Tuning mit einem neuartigen adaptiven GRPO-Algorithmus (AdaMame-GRPO) kombiniert, um Large Reasoning Models zu befähigen, in der Sprache der Anfrage zu schlussfolgern, ohne dabei an Genauigkeit oder Token-Effizienz einzubüßen, wodurch das Phänomen des Sprachkollapses überwunden wird.

Ursprüngliche Autoren: Dayeon Ki, Kevin Duh, Marine Carpuat

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dayeon Ki, Kevin Duh, Marine Carpuat

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, mehrsprachige Schülerin namens Ada. Ada ist unglaublich klug im Lösen von Matheaufgaben, aber sie hat eine schlechte Angewohnheit: Egal, in welcher Sprache Sie sie etwas fragen (Französisch, Telugu oder Thailändisch), sie besteht darauf, auf Englisch zu denken und zu antworten.

Dies ist ein Problem, das als „Language Collapse“ (Sprachkollaps) bekannt ist. Selbst wenn man sie fragt: „Wie viele Eier sind in einem Dutzend?“ auf Französisch, denkt Ada vielleicht: „Okay, lass mich auf Englisch rechnen... 12 Eier“, und übersetzt die Antwort dann nur. Sie denkt nicht wirklich in der Sprache, in der sie gefragt wurde.

Bestehende Versuche, dies zu beheben, sind wie ein strenger Lehrer, der sagt: „Wenn du nicht Französisch sprichst, bekommst du eine Null!“ Dies zwingt Ada dazu, Französisch zu sprechen, aber es macht sie nervös. Sie fängt vielleicht an zu stottern (sie wechselt mitten im Satz zwischen Französisch und Englisch), gibt falsche Antworten, weil sie zu sehr auf die Sprachregel konzentriert ist, oder redet viel zu lange, nur um zu beweisen, dass sie es versucht.

AdaMame ist ein neues, klügeres Trainingsrezept, das darauf ausgelegt ist, Adas schlechte Angewohnheit zu beheben, ohne sie nervös oder langsam zu machen. So funktioniert es, unterteilt in einfache Schritte:

Das Zwei-Stufen-Trainingsrezept

Die Autoren trainierten Ada mit einem zweistufigen Prozess, ähnlich wie ein Trainer, der einen Athleten auf die Olympischen Spiele vorbereitet.

Stufe 1: Das „Immersionslager“ (SFT)
Zuerst steckten sie Ada in ein Lager, in dem sie ausschließlich mit Muttersprachlern von fünf verschiedenen Sprachen interagiert (Französisch, Portugiesisch, Japanisch, Koreanisch und Thailändisch).

Was sie taten: Sie zeigten ihr tausende Matheaufgaben, bei denen der Denkprozess (die „Gedanken“) bereits perfekt in der jeweiligen Landessprache aufgeschrieben war.
Das Ergebnis: Ada lernte, dass es möglich ist, Matheaufgaben in diesen Sprachen zu lösen. Sie hörte sofort auf, standardmäßig auf Englisch zurückzufallen. Dennoch war sie noch etwas unsicher, wenn sie mit Sprachen konfrontiert wurde, in denen sie wenig geübt hatte (wie Swahili oder Bengali).

Stufe 2: Der „Kluge Coach“ (AdaMame-GRPO)
Das ist der magische Teil. In der zweiten Stufe verwendeten sie eine spezielle Trainingsmethode namens AdaMame-GRPO.

Das Problem mit alten Coaches: Frühere Methoden gaben Ada eine Belohnung nur dann, wenn sie die Antwort richtig hatte und die richtige Sprache sprach. Dies war wie ein „Alles-oder-Nichts“-Schalter. Wenn sie die Antwort richtig hatte, aber Englisch sprach, erhielt sie keine Belohnung. Dies machte sie ängstlich, zu experimentieren.
Die AdaMame-Lösung: Der neue Coach nutzt eine Strategie des graduellen Wachstums.
- Zu Beginn des Trainings: Der Coach ist nachsichtig. „Hey, versuch einfach nur, das Problem zu lösen! Es spielt gerade keine Rolle, ob du auf Englisch oder Französisch denkst, löse erst einmal die Matheaufgabe.“ Dies lässt Ada explorieren und den besten Weg finden, das Problem zu lösen.
- Später im Training: Während das Training fortschreitet, dreht der Coach die Lautstärke der Sprachregel langsam auf. „Okay, du wirst gut in Mathe. Jetzt musst du in der Sprache denken, in der der Nutzer gefragt hat.“
- Die Analogie: Stellen Sie sich vor, Sie bringen einem Kind das Fahrradfahren bei. Zuerst lassen Sie es wackeln und hinfallen (Exploration). Sobald es stabil fährt, führen Sie es sanft, damit es in der Fahrradspur bleibt (Alignment mit der Abfragesprache). Man schreit nicht schon in der ersten Sekunde „Bleib in der Spur!“, sonst stürzt es ab.

Warum das eine große Sache ist

Das Paper testete diese neue Methode gegen ältere Methoden und fand drei große Siege:

Kein „Code-Switching“ mehr: Ada hörte auf mit der nervigen Angewohnheit, mitten im Satz die Sprache zu wechseln (z. B. einen Gedanken auf Französisch zu beginnen und auf Englisch zu beenden). Sie bleibt nun konsistent.
Kein „Overthinking“ mehr: Alte Methoden ließen Ada sehr lange reden, nur um zu beweisen, dass sie es versucht. AdaMame machte sie effizient. Sie verwendet weniger Wörter (Tokens), um das gleiche Ergebnis zu erzielen.
Der „Underdog-Effekt“: Die größte Verbesserung trat bei ressourcenarmen Sprachen (Sprachen mit weniger verfügbaren Daten, wie Telugu oder Swahili) auf. Während andere Methoden hier kämpften, half AdaMame Ada dabei, überraschend gut abzuschneiden, was die Technologie für alle fairer macht, nicht nur für Sprecher von Hauptsprachen.

Das Fazit

Das Paper behauptet, dass AdaMame ein Modell erschafft, das:

Präzise ist: Es löst die Matheaufgaben korrekt.
Treue zeigt: Es denkt in der Sprache, nach der Sie gefragt haben.
Effizient ist: Es verschwendet keine Zeit oder Wörter.

Es erreicht, was die Autoren als „Pareto-optimale Performance“ bezeichnen, was eine schicke Art zu sagen ist: „Wir haben das bestmögliche Gleichgewicht aller drei Ziele erreicht, ohne eines davon zu opfern.“ Es ist wie ein Auto, das schnell, sicher und kraftstoffeffizient ist, während frühere Modelle meist entweder schnell aber unsicher oder sicher aber langsam waren.

Die Autoren haben ihre Daten und ihren Code veröffentlicht, damit andere dieses „Trainingsrezept“ nutzen können, um bessere mehrsprachige KI zu bauen – speziell für mathematisches Denken –, ohne sich auf Englisch als Standardsprache für den Denkprozess verlassen zu müssen.

Technisches Resümee: AdaMame – Ein Trainingsrezept für adaptives multilinguales Denken

Problemstellung

Große Reasoning-Modelle (Large Reasoning Models, LRMs) zeigen eine starke Leistung in Englisch, scheitern jedoch häufig daran, in der Sprache der Nutzeranfrage zu schlussfolgern – ein Phänomen, das als Sprachkollaps (Language Collapse) bezeichnet wird. Anstatt die Argumentationsketten (Chain-of-Thought) in der Sprache der Anfrage zu generieren, verfallen die Modelle auf Englisch oder vollziehen mitten im Prozess einen Sprachwechsel (Code-Switching).

Bestehende Versuche, dies mittels Reinforcement Learning (RL) zu korrigieren, hängen typischerweise eine binäre Belohnung für die Sprachtreue an die Genauigkeitsmetrik an, wobei ein manuell abgestimmtes Gewichtungsverhältnis verwendet wird. Das Paper identifiziert jedoch drei anhaltende Einschränkungen dieser Ansätze:

Genauigkeit-Trade-offs: Die Verbesserung der Sprachtreue geht oft zu Lasten der logischen Genauigkeit.
Code-Switching: Modelle wechseln innerhalb eines einzelnen Argumentationspfades häufig zwischen Sprachen.
Überdenken (Overthinking): Modelle verbrauchen übermäßige Token ohne proportionalen Gewinn an Korrektheit.
Darüber hinaus erfordern viele bisherige Methoden englische Referenz-Argumentationspfade zur Überwachung und verlassen sich auf feste Gewichtungsregime, was die Skalierbarkeit und Robustheit einschränkt.

Methodik: AdaMame

Die Autoren schlagen AdaMame vor, ein zweistufiges Trainingsrezept, das darauf ausgelegt ist, die Argumentationssprache adaptiv an die Sprache der Anfrage anzupassen und gleichzeitig die Genauigkeit sowie die Token-Effizienz gemeinsam zu optimieren.

Stufe 1: Supervised Fine-Tuning (SFT)

Ziel: Etablierung einer grundlegenden multilingualen Denkfähigkeit und Sensibilität für sprachspezifische Muster.
Daten: Ein Datensatz von 30.000 natürlich vorkommenden Argumentationspfaden in fünf Sprachen (Französisch, Portugiesisch, Japanisch, Koreanisch, Thai). Entscheidend ist, dass diese Pfade nicht aus dem Englischen maschinell übersetzt wurden, sondern in der Zielsprache generiert und verifiziert wurden, um deren Flüssigkeit sicherzustellen.
Technik: Das Modell wird mittels Low-Rank Adaptation (LoRA) feinjustiert, um katastrophales Vergessen zu verhindern und die Effizienz zu steigern. Die Prompts ermutigen das Modell explizit dazu, in der Sprache der Anfrage zu argumentieren.

Stufe 2: Reinforcement Learning (AdaMame-GRPO)

Ziel: Verallgemeinerung der Denkfähigkeiten auf Sprachen außerhalb des Trainingsbereichs (out-of-domain) und Durchsetzung der Sprachausrichtung ohne Einbußen bei der Genauigkeit.
Kerninnovation: Eine Anpassung von Group Relative Policy Optimization (GRPO) namens AdaMame-GRPO.
Mechanismus: Anstatt eines festen Belohnungsgewichts führt die Methode einen abfragebedingten Ausrichtungsfaktor ( $\alpha_i(t)$ $α_{i} (t)$ ) ein, der während des Trainings progressiv ansteigt.
- Explorationsphase: Zu Beginn des Trainings ist der Ausrichtungsfaktor schwach, was es dem Modell ermöglicht, verschiedene Argumentationssprachen zu explorieren, um die Genauigkeit zu maximieren.
- Exploitationsphase: Im weiteren Verlauf des Trainings steigt der Faktor an, wodurch Rollouts, bei denen die Argumentationssprache mit der Sprache der Anfrage übereinstimmt, stärker belohnt werden.
- Mathematische Formulierung: Die Belohnung wird skaliert als $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ , wobei $\alpha_i(t)$ einem Cosinus-Wachstumsplan von 0,1 bis 1,0 folgt.
Vorteil: Dieser Ansatz benötigt keine englischen Referenzpfade und vermeidet die manuelle Abstimmung von Belohnungsgewichten, indem er statisch auf eine kurrikulare „Explore-then-Exploit“-Strategie setzt.

Zentrale Beiträge

AdaMame-Rezept: Ein zweistufiges (SFT + RL) Post-Training-Framework, das die Argumentationssprache adaptiv an die Anfrage ausrichtet und so den Zielkonflikt zwischen Genauigkeit und Sprachtreue löst.
Datensatz-Veröffentlichung: Ein neuer Datensatz von 30.000 hochwertigen, natürlich vorkommenden Argumentationspfaden in fünf Sprachen, der die Forschung zum multilingualen Denken ohne Abhängigkeit von maschinell übersetzten englischen Daten unterstützt.
AdaM-GRPO-Algorithmus: Eine neuartige RL-Variante, die eine Pareto-optimale Leistung über Argumentationsgenauigkeit, Sprachtreue und Token-Effizienz hinweg erreicht.

Experimentelle Ergebnisse

Die Methode wurde auf zwei Benchmarks (MGSM-Rev2 und MSVAMP) unter Verwendung von zwei Backbone-Modellen (DISTILL-QWEN 1.5B und QWEN3 4B) über 12 Sprachen (5 In-Domain, 7 Out-of-Domain) evaluiert.

Pareto-Optimalität: AdaMame-GRPO erreichte das beste Gleichgewicht zwischen Genauigkeit, Sprachtreue (gemessen durch die Language Confusion Pass Rate, LCPR) und Token-Effizienz (Test-Time Compute, TTC) im Vergleich zu allen Baselines, einschließlich Vanilla, Prompt, SFT, Standard-GRPO und M-Thinker.
Generalisierung außerhalb des Trainingsbereichs (Out-of-Domain): Während SFT die In-Domain-Leistung verbesserte, generalisierte es schlecht auf Sprachen außerhalb des Trainingsbereichs. Die RL-Stufe verbesserte die Generalisierung signifikant, insbesondere für ressourcenarme Sprachen (z. B. Bengali, Swahili, Telugu), bei denen AdaMame-GRPO die größten Gewinne gegenüber den Baselines erzielte.
Token-Effizienz: Im Gegensatz zu Methoden, die zu „Überdenken“ führen, resultierte AdaM-GRPO in dem geringsten Token-Verbrauch unter allen getesteten Varianten.
Kurrikularer Effekt: Die Analyse bestätigte die „Explore-then-Exploit“-Dynamik: Die Modelle generierten anfangs vielfältige Sprachen, bevor sie sich progressiv auf die Sprache der Anfrage konzentrierten, während der Ausrichtungsfaktor anstieg.

Bedeutung und Ansprüche

Das Paper behauptet, dass AdaMame die Kernprobleme aktueller multilingualer Denkansätze adressiert, indem es die Notwendigkeit englischer Referenzpfade und fester Belohnungsgewichte eliminiert. Durch die Implementierung eines adaptiven Curriculums mildert die Methode erfolgreich den Sprachkollaps und das Code-Switching, während sie gleichzeitig die Argumentationsgenauigkeit beibehält oder verbessert.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu einem gerechteren multilingualen Denken und zeigen auf, dass eine hohe Leistung nicht nur für ressourcenreiche Sprachen, sondern auch für ressourcenarme und Out-of-Domain-Settings erreichbar ist. Sie argumentieren, dass die Abkehr von englischzentrierten Belohnungsdesigns essenziell ist, um Modelle zu trainieren, die der vollen Vielfalt der Nutzersprachen gerecht werden.

Anerkannte Limitationen:

Die Experimente sind durch das Rechenbudget begrenzt, was den Umfang auf spezifische Modellgrößen und mathematische Denkaufgaben einschränkt.
Die Methode stützt sich auf den LINGUA-Spracherkenner, der bei starkem Code-Switching oder sehr ressourcenarmen Sprachen Zuverlässigkeitsprobleme aufweisen kann.
Die Trainingskorpora hängen von Pfaden ab, die von GPT-5 NANO generiert wurden, was potenziell dessen spezifische Sprachbiases übernimmt.