Stellen Sie sich eine Welt vor, in der Computer wie brillante, mehrsprachige Studenten sind, die jedes Buch in der Bibliothek gelesen haben, aber dennoch Schwierigkeiten haben, ein kniffliges Matheproblem zu lösen. Um ihnen zu helfen, schlauer zu werden, nutzen Wissenschaftler eine Technik namens „Training“, was ein wenig wie ein Coach ist, der einen Studenten durch Übungsaufgaben führt. Lange Zeit war der beste Weg, diese KI-Studenten zu trainieren, das Reinforcement Learning (RL), eine Methode, bei der der Computer am Ende seiner Antwort nur eine einzige Note erhält – so als würde man ihm für einen ganzen Aufsatz eine „A“ oder ein „F“ geben, ohne zu wissen, welche spezifischen Sätze gut oder schlecht waren. Doch eine neuere, effizientere Methode namens On-Policy Distillation (OPD) ist entstanden. Anstatt auf eine Endnote zu warten, agiert OPD wie ein Meisterlehrer, der die Antwort des Studenten Wort für Wort liest und während des Schreibens Korrekturen und Vorschläge flüstert. Dieses „Token-Level“-Feedback ist viel präziser. Aber der Haken ist der: Der Großteil dieser Forschung wurde bisher nur auf Englisch durchgeführt. Wir wussten nicht, ob diese „flüsternde Lehrer“-Technik genauso gut für Studenten funktioniert, die Koreanisch, Japanisch oder andere Sprachen sprechen, oder ob sie helfen kann, die Kluft zwischen der Leistungsfähigkeit der KI in Englisch gegenüber anderen Sprachen zu überbrücken.

Diese Arbeit taucht genau in diese Frage ein und testet eine supercharged Version dieser Technik namens On-Policy Delta Distillation (OPD²) bei mathematischem Denken in Englisch, Koreanisch und Japanisch. Die Forscher fanden heraus, dass diese neue Methode ein Game-Changer ist. Genau wie ein Meisterkoch, der ein Rezept in jeder Sprache einem Studenten beibringen kann, half OPD² den KI-Modellen, mathematische Probleme in allen drei Sprachen signifikant besser zu lösen, mit besonders riesigen Sprüngen in Koreanisch und Japanisch. Die Studie legt nahe, dass diese Methode sogar besser ist als die ursprüngliche Version, weil sie sich auf das „Delta“ konzentriert – den spezifischen Unterschied zwischen dem, was der Lehrer weiß, und dem, was das Basismodell des Studenten bereits weiß – und dadurch die neuen Denkfähigkeiten effektiv isoliert, die gelehrt werden.

Doch die Arbeit deckte auch einen faszinierenden, etwas kniffligen Nebeneffekt auf. Als die Forscher versuchten, die KI unter Verwendung nur englischer Matheaufgaben zu trainieren, verbesserte sich das Modell überraschenderweise auch bei koreanischen und japanischen Matheaufgaben. Es war, als hätte der Student die Logik der Mathematik auf Englisch gelernt und könnte sie auf koreanische oder japanische Probleme anwenden. Aber es gab eine Wendung: Während die Antworten korrekt waren, begann das Modell oft, seine Erklärungen auf Englisch zu schreiben, selbst wenn die Frage auf Koreanisch oder Japanisch gestellt wurde. Dies deutet darauf hin, dass der „Denkmuskel“ zwar in einer Sprache trainiert und auf eine andere übertragen werden kann, das Beibehalten der „Stimme“ der Antwort in der Zielsprache jedoch das Üben mit Daten in dieser spezifischen Sprache erfordert. Durch die Untersuchung von OPD² (der fortgeschrittenen Version des flüsternden Lehrers) wurde deutlich, dass diese Methode die mathematische Argumentation über Sprachen hinweg verbessert und die Lücke zwischen Englisch und anderen Sprachen verringert.

Die Kernentdeckung: Ein besserer flüsternder Lehrer

Die Forscher wollten herausfinden, ob OPD² (die fortgeschrittene Version des flüsternden Lehrers) die ursprüngliche OPD im Umgang mit mehreren Sprachen übertreffen kann. Sie verwendeten eine Familie von KI-Modellen namens Qwen3 (speziell die 1.7B- und 8B-Versionen) und ein massives Lehrer-Modell, um sie zu führen. Die Ergebnisse waren klar und konsistent: OPD² war durchweg besser als die ursprüngliche OPD.

Man kann es sich so vorstellen: Wenn die ursprüngliche OPD ein guter Tutor war, dann war OPD² ein genialer Tutor, der genau wusste, was dem Studenten fehlte. In den Experimenten war dieser Unterschied enorm für Nicht-Englisch-Sprachen. Für das kleinere Modell (Qwen3-1.7B) verbesserte OPD² den koreanischen Mathe-Score von 40,9 auf 51,9 und den japanischen Score von 37,2 auf 52,0. Die ursprüngliche OPD half zwar, aber OPD² trieb diese Zahlen noch höher. Für das größere, intelligentere Modell (Qwen3-8B) waren die Verbesserungen ebenso stark, wobei Koreanisch von 57,0 auf 64,4 und Japanisch von 57,1 auf 65,0 sprang.

Die Arbeit argumentiert explizit, dass dies nicht nur das Kopieren des Stils des Lehrers ist. Durch die Verwendung des „Delta-Signals“ (der Lücke zwischen dem Lehrer und dem eigenen Basismodell des Lehrers) übertrug OPD² erfolgreich die Argumentationsfähigkeiten auf den Studenten, anstatt nur den allgemeinen Output des Lehrers nachzuahmen. Dies deutet darauf hin, dass die Methode robust ist und unabhängig von der Sprache oder der Größe des Modells gut funktioniert.

Die Sprachlücke überbrücken

Eines der größten Ziele dieser Forschung war es zu sehen, ob diese Trainingsmethoden die Leistungsunterschiede zwischen Englisch und anderen Sprachen verringern können. Oft sind KI-Modelle in Englisch viel besser als in Koreanisch oder Japanisch. Die Arbeit fand heraus, dass mehrsprachiges OPD² im Allgemeinen half, diese Lücke zu schließen.

In einer detaillierten Betrachtung der „Englisch–Koreanisch Genauigkeitslücke“ sahen die Forscher, dass das Basismodell Englisch zwar deutlich bevorzugte (manchmal um über 13 Punkte bei bestimmten Tests), das OPD-Training jedoch diese Disparität reduzierte. Beispielsweise schrumpfte die Lücke beim Global-MGSM Benchmark von 13,4 Punkten auf 8,6 Punkte mit Standard-OPD und weiter auf 9,3 Punkte mit OPD². Beim HRM8K Benchmark sank die Lücke von 12,1 auf 9,2 Punkte.

Die Arbeit legt nahe, dass dies geschieht, weil das mehrsprachige Training die Nicht-Englisch-Sprachen stärker begünstigt als die englische Sprache, indem es die schwächeren Performer anhebt, ohne die starken nach unten zu ziehen. Die Autoren weisen jedoch vorsichtig darauf hin, dass dieser Effekt nicht bei jedem einzelnen Test perfekt einheitlich war; bei einigen spezifischen Benchmarks wie M-MMLU vergrößerte sich die Lücke sogar leicht. Während der Trend also positiv ist, ist es kein Zauberstab, der jeden einzelnen Metrik sofort behebt.

Die „Nur-Englisch“-Überraschung und die Sprachfalle

Vielleicht ist die überraschendste Erkenntnis der Arbeit das, was geschah, als die Forscher die Modelle mit nur englischen Daten trainierten. Man könnte denken, dass ein Student, dem man nur englische Mathematik lehrt, bei koreanischer Mathematik scheitern würde. Aber die Arbeit fand heraus, dass English-only OPD² die koreanischen und japanischen Scores signifikant verbesserte.

Im Nicht-Thinking-Modus steigerte das English-only-Training den koreanischen Durchschnitt von 40,9 auf 52,6 und den japanischen Durchschnitt von 37,2 auf 53,4. Diese Zahlen waren fast so gut wie die multilingualen Trainings-Scores (welche 51,9 für Koreanisch und 52,0 für Japanisch waren). Dies deutet darauf, dass die Logik des mathematischen Denkens so universell ist, dass sie in Englisch gelernt und dann auf koreanische oder japanische Probleme angewendet werden kann, selbst wenn das Modell während des Trainings kein einziges koreanisches Matheproblem gesehen hat.

Es gibt jedoch einen großen Haken. Die Arbeit schließt die Idee explizit aus, dass dies bedeutet, das Modell habe die Sprache wirklich gemeistert. Als die Forscher überprüften, welche Sprache das Modell in seinen Antworten tatsächlich sprach, waren die Ergebnisse drastisch.

• Multilinguales Training: Wenn es auf gemischten Sprachen trainiert wurde, antwortete das Modell in 90,5 % der Fälle auf Koreanisch (im Nicht-Thinking-Modus) und in 90,9 % der Fälle auf Japanisch.
• English-only Training: Wenn es nur auf Englisch trainiert wurde, sank die „koreanische“ Antwortrate des Modells auf 48,3 % (was bedeutet, dass es die Hälfte der Zeit auf Englisch antwortete), und seine „japanischen“ Antworten stürzten auf 29,6 % ab.

Selbst im „Thinking-Modus“ (in dem das Modell einen versteckten Argumentationsschritt vor der Antwort durchführt), blieb der Trend bestehen. Das English-only-Modell löste zwar die Mathematik korrekt, schrieb die endgültige Antwort aber oft auf Englisch und ignorierte dabei, dass die Frage auf Koreanisch oder Japanisch gestellt worden war. Die Arbeit kommt zu dem Schluss, dass English-only-Training zwar die Fähigkeit zum logischen Denken übertragen kann, aber nicht die Gewohnheit bewahrt, in der Zielsprache zu antworten. Um das Modell dazu zu bringen, die Sprache zu sprechen, die man möchte, muss man es mit Daten in dieser Sprache füttern.

Zusammenfassung der Ergebnisse

Die Arbeit zeigt, dass OPD² eine überlegene Methode ist, um KI mathematisches Denken über Sprachen hinweg beizubringen, und konsistent die ursprüngliche OPD übertrifft. Es hilft erfolgreich dabei, die Leistungsunterschiede zwischen Englisch und Sprachen wie Koreanisch und Japanisch zu verringern, was darauf hindeutet, dass mehrsprachiges Post-Training ein gangbarer Weg zu ausgewogeneren KIs ist. Die Studie zieht jedoch auch eine klare Linie zwischen „Argumentationsfähigkeit“ und „Sprachgenerierung“. Während Denkfähigkeiten in einer Sprache gelernt und auf eine andere angewendet werden können, wird das Modell natürlich zu Englisch driften, sofern es nicht explizit mit Daten in der Zielsprache trainiert wird. Die Autoren schlagen vor, dass zukünftige Forschung darauf fokussieren sollte, sowohl die Genauigkeit der Antwort als auch die Sprache der Antwort zu bewerten, um die mehrsprachigen Fähigkeiten von KI wirklich zu verstehen.