Hidden Language Consistency Phenomena in Reasoning LLMs

Stellen Sie sich vor, Sie befinden sich in einem Klassenzimmer, in dem der Lehrer einen Schüler bittet, eine knifflige Matheaufgabe zu lösen, aber mit einer sehr spezifischen Regel: „Du musst laut denken und deine Antwort vollständig auf Spanisch schreiben.“ In der Welt der künstlichen Intelligenz sind diese „Schüler“ Large Language Models (LLMs) – superintelligente Computerprogramme, die fast alles im Internet gelesen haben. Wenn wir sie bitten, schwierige Probleme zu lösen, nutzen sie oft eine Technik namens „Chain-of-Thought“, was so ist, als würde ein Schüler seinen schrittweisen Denkprozess aufschreiben, bevor er die endgültige Antwort gibt. Lange Zeit haben sich Wissenschaftler nur dafür interessiert, ob die endgültige Antwort korrekt war. Sie behandelten den Denkprozess wie eine Black Box und nahmen an, dass der Schüler alles richtig macht, wenn die Antwort stimmt. Aber genau wie ein menschlicher Schüler versehentlich anfangen könnte, Französisch oder Englisch zu sprechen, während er versucht, eine Aufgabe auf Spanisch zu lösen, können diese KI-Modelle manchmal „ausrutschen“ und mitten im Denken die Sprache wechseln, selbst wenn wir ihnen explizit gesagt haben, dies nicht zu tun. Diese Arbeit untersucht genau das: Was passiert, wenn wir diese KI-Schüler bitten, immer schwierigere Matheaufgaben zu lösen, und halten sie ihr Sprachversprechen, oder werden sie so verwirrt, dass sie anfangen, eine ganz andere Sprache zu sprechen?

Die Forscher hinter dieser Studie beschlossen, diese KI-„Schüler“ mit einer speziellen Matheprüfung namens PolyMath auf die Probe zu stellen, die acht verschiedene Sprachen und vier Schwierigkeitsstufen abdeckt, die von einfacher Schulmathematik bis hin zu den schwierigsten olympischen Rätseln reicht. Sie untersuchten fünf verschiedene „Reasoning“-Modelle (KI, die darauf ausgelegt ist, tief nachzudenken) und drei „Non-Reasoning“-Modelle (Standard-KI), um zu sehen, wie sie mit der Aufgabe umgehen. Was sie entdeckten, ist ein wenig so, als würde man einem Schüler unter Druck beim Panikbekommen zusehen. Sie fanden heraus, dass die Modelle, wenn die Matheaufgaben schwieriger wurden, nicht nur schlechter in Mathe wurden, sondern oft auch schlechter darin wurden, sich an die Sprache zu halten, die sie verwenden sollten.

Die Studie deckte vier verschiedene Arten auf, wie dieser sprachliche „Ausrutscher“ passiert. Manchmal ist ein Modell ein Rockstar und bleibt in der richtigen Sprache, egal wie schwer die Aufgabe wird. Ein anderes Mal ist es ein totaler Rebell und weigert sich von Anfang an, die angeforderte Sprache zu verwenden, indem es an seiner liebsten internen Sprache (meistens Englisch) festhält, egal was passiert. Eine dritte Gruppe beginnt stark, verliert aber langsam den Fokus und driftet in eine andere Sprache ab, wenn die Aufgaben schwieriger werden. Aber die überraschendste Erkenntnis ist die vierte Gruppe: Diese Modelle sind bei einfachen und mittelschweren Problemen völlig in Ordnung, aber in dem Moment, in dem sie ein „mittleres“ Schwierigkeitsniveau erreichen, brechen sie plötzlich und vollständig zusammen und wechseln abrupt die Sprache. Die Autoren nennen dies den „Language Consistency Breakdown Effect“.

Hier ist der Twist, der das wirklich interessant macht: Die Arbeit fand heraus, dass dieser Sprachwechsel nicht immer schlecht für die Punktzahl ist. In einigen Fällen, wenn ein Modell aufhörte, in der angeforderten Sprache (wie Telugu oder Swahili) zu denken und zu seiner „Komfortzone-Sprache“ (wie Englisch) wechselte, löste es tatsächlich mehr Fragen korrekt. Es ist, als hätte der Schüler aufgehört, das Problem auf Spanisch zu lösen, wäre zu Englisch gewecht und hätte plötzlich die richtige Antwort gefunden. Das bedeutet, dass man, wenn man nur auf die Endpunktzahl schaut, glauben könnte, die KI werde intelligenter, während sie in Wirklichkeit einfach nur aufgegeben hat, Ihre Sprachanweisungen zu befolgen.

Die Forscher testeten auch, was passiert, wenn sie diese Modelle „komprimieren“, um sie auf kleineren Geräten schneller laufen zu lassen (ein Prozess namens Quantisierung). Sie fanden heraus, dass diese Kompression ein Glücksspiel ist. Manchmal hilft es dem Modell, die richtige Sprache einzuhalten, und manchmal führt es dazu, dass es noch schneller die Sprache wechselt, und das geschieht unabhängig davon, ob die Mathe-Antworten besser oder schlechter werden. Zum Beispiel half eine Methode namens GPTQ den Modellen oft dabei, ihre Sprachkonsistenz besser zu bewahren als eine andere Methode namens AutoRound, obwohl AutoRound besser darin war, die Mathe-Antworten korrekt zu halten.

Kurz gesagt argumentiert diese Arbeit, dass wir nicht nur schauen können, ob eine KI die richtige Antwort gibt, um zu beurteilen, ob sie gut darin ist, multilingual zu sein. Wir müssen beobachten, wie sie denkt und welche Sprache sie beim Denken verwendet. Wenn wir das nicht tun, übersehen wir vielleicht, dass die KI heimlich eine andere Sprache spricht, um das Problem zu lösen, oder dass sie plötzlich aufgibt, bei schwierigen Aufgabenen die Sprachregeln einzuhalten. Die Studie legt nahe, dass für eine wirklich zuverlässige KI in einer multilingualen Welt nicht nur die Endnote gemessen werden muss, sondern auch, ob der Schüler tatsächlich den Sprachregeln der Prüfung gefolgt ist.