💬 NLP

Teaching Language Models to Think in Code

Das Papier stellt ThinC vor, ein Framework, das das Schlussfolgern von Sprachmodellen von einer Verflechtung natürlicher Sprache und Code zu einem code-zentrierten Paradigma verschiebt, bei dem der Code selbst als primärer Schlussfolgerer fungiert, und erreicht durch Destillierung von Code-Trajektorien sowie den Einsatz von überwachtem Fine-Tuning gefolgt von Reinforcement Learning State-of-the-Art-Leistung auf Wettbewerbsniveau bei mathematischen Benchmarks.

Ursprüngliche Autoren: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Mathe-Rätsel zu lösen. Sie haben zwei Möglichkeiten, dies zu tun:

Der alte Weg (Interleaved Reasoning): Sie sprechen auf Englisch mit sich selbst und erarbeiten die Schritte. „Okay, zuerst muss ich 500 mit 0,12 multiplizieren..." Dann werden Sie ein wenig unsicher und bitten einen Taschenrechner (das Code-Werkzeug), Ihre Arbeit zu überprüfen. Aber hier liegt der Haken: Wenn Sie einen Fehler in Ihrem englischen Denken gemacht haben (zum Beispiel behaupten, dass 500 mal 0,12 gleich 50 und nicht 60 ist), geben Sie diese falsche Zahl möglicherweise versehentlich in den Taschenrechner ein. Der Taschenrechner macht einfach, was Sie ihm sagen; er weiß nicht, dass Sie einen Fehler gemacht haben. Er berechnet basierend auf Ihrer falschen Zahl, und Sie erhalten eine falsche Antwort.
Der neue Weg (THINC): Sie nehmen einen winzigen Moment, um Ihre Strategie auf Englisch zu planen („Ich muss die Fläche dieser Form berechnen"), und übergeben dann sofort die gesamte Aufgabe einem Roboter-Programmierer. Der Roboter schreibt Code, führt ihn aus, sieht das Ergebnis, schreibt basierend auf diesem Ergebnis weiteren Code und fährt so fort, bis die Antwort herauskommt. Sie rechnen weder im Kopf noch in englischen Sätzen; der Roboter leistet die gesamte Schwerstarbeit.

Dieser Artikel stellt THINC (Thinking in Code) vor, eine neue Methode, um KI-Modelle darin zu unterrichten, Matheprobleme zu lösen, indem sie den Code selbst zum Denker machen, anstatt ihn nur als Werkzeug zu nutzen, mit dem die KI ihre Arbeit überprüft.

Das Problem mit dem alten Weg

Die Autoren sagen, dass aktuelle KI-Modelle, die englisches Denken mit Code mischen (Tool-Integrated Reasoning genannt), drei Hauptmängel aufweisen, die sie als „strukturelle Einschränkungen" bezeichnen:

Der „Post-Hoc"-Verifizierer: Die KI schreibt oft die gesamte Lösung zuerst auf Englisch aus und führt dann nur Code aus, um zu sagen: „Ja, das ist richtig." Der Code führt nicht tatsächlich das Denken aus; er ist nur ein Stempel der Zustimmung am Ende.
Der „stille Fehler": Wenn die KI einen mathematischen Fehler in ihren englischen Gedanken macht (zum Beispiel 12 % von 500 als 50 statt als 60 berechnet), kopiert sie diese falsche Zahl möglicherweise in den Code. Der Code berechnet dann mit der falschen Zahl, und die KI merkt es nie. Der Fehler ist „stumm", weil der Code einfach Befehlen folgt.
Die „doppelte Arbeit": Die KI schreibt oft eine lange englische Erklärung, wie man das Problem löst, und schreibt dann Code, der exakt dasselbe tut. Es ist, als würde man ein Rezept auf Englisch schreiben und dann genau dasselbe Rezept auf Französisch schreiben, nur um zu beweisen, dass man kochen kann. Es ist redundant und verwirrend.

Die THINC-Lösung

THINC ändert die Regeln des Spiels. Anstatt dass die KI über die Mathematik spricht, spricht die KI in der Mathematik (via Code).

Der Plan: Die KI beginnt mit einem kurzen englischen Satz, um die Strategie festzulegen (z. B. „Ich werde durch Zahlen iterieren, um die Antwort zu finden").
Die Arbeit: Nach diesem einen Satz passiert alles in Code-Blöcken. Die KI schreibt einen Code-Abschnitt, führt ihn aus, sieht die Ausgabe und schreibt dann den nächsten Code-Abschnitt basierend auf dieser Ausgabe.
Das Ergebnis: Die endgültige Antwort kommt direkt vom Taschenrechner des Computers (dem Interpreter), nicht davon, dass die KI auf Englisch rät.

Wie sie die KI unterrichtet haben

Die Forscher haben der KI nicht einfach gesagt, sie solle dies tun; sie haben sie durch einen dreistufigen Prozess unterrichtet:

Destillation (Der Lehrer): Sie nahmen ein sehr intelligentes, großes KI-Modell und baten es, Matheprobleme in diesem neuen „Code-First"-Stil zu lösen. Sie sammelten 12.200 Beispiele dieser perfekten „Code-First"-Lösungen.
Überwachtes Fine-Tuning (Der Schüler): Sie brachten zwei kleinere KI-Modelle bei (eines mit 1,7 Milliarden „Gehirnzellen" und eines mit 4 Milliarden), diese Beispiele nachzuahmen. Dies lehrte den Modellen die Gewohnheit, in Code zu denken.
Bestärkendes Lernen (Der Trainer): Sie ließen die Modelle an Tausenden von Matheproblemen üben. Wenn das Modell die richtige Antwort erhielt, bekam es eine „Belohnung". Wenn es scheiterte, lernte es, eine andere Code-Strategie zu versuchen. Dies machte die Modelle viel intelligenter und zuverlässiger.

Die Ergebnisse: Kleine Modelle, große Erfolge

Der Artikel testete diese neuen Modelle an sehr schwierigen, wettbewerbsfähigen Mathe-Wettbewerben (wie AIME und HMMT).

Die Riesen schlagen: Das kleine 4-Milliarden-Parameter-THINC-Modell erzielte im Durchschnitt 78,1 %. Dies ist besser als das 1,7B-Modell, besser als andere „Tool-Integrated"-Modelle und sogar besser als ein massives 235-Milliarden-Parameter-Modell, das nur auf Englisch denkt!
Zuverlässigkeit: In 99,2 % der Fälle wurde die endgültige Antwort direkt aus der Code-Ausgabe des Computers entnommen. Die KI hat nicht geraten; sie hat berechnet.
Wiederherstellung: Wenn der Code einen Fehler machte und abstürzte (ein Fehler), war das THINC-Modell überraschend gut darin, dies im nächsten Code-Block zu beheben, ohne dass es sich „herausreden" musste. Andere Modelle, die Englisch und Code mischen, neigen dazu, auseinanderzufallen, wenn sie auf einen Code-Fehler stoßen.

Das Fazit

Der Artikel behauptet, dass durch das Erzwingen, dass die KI aufhört, über die Mathematik zu „sprechen", und beginnt, die Mathematik im Code zu „tun", die Modelle genauer werden, weniger alberne Rechenfehler machen und schwierige Probleme effizienter lösen. Es ist wie der Wechsel von einem Menschen, der versucht, eine schriftliche Division im Kopf durchzuführen, zu einem Menschen, der weiß, wie man einen Taschenrechner programmiert, um es Schritt für Schritt für ihn zu tun, ohne jemals einen Kopfrechenfehler zu machen.

Technische Zusammenfassung: Sprachmodelle zum Denken in Code anleiten (THINC)

Problemstellung

Während Tool-Integrated Reasoning (TIR) zu einem dominanten Paradigma für die mathematische Problemlösung in Large Language Models (LLMs) geworden ist, leidet das vorherrschende „interleaved"-Setup – bei dem natürliche Sprache (NL) und Code-Ausführung abwechselnd auftreten – an drei strukturellen Einschränkungen:

Nachträgliche Verifikation: Modelle führen Herleitungen häufig in NL durch und nutzen Code lediglich zur Bestätigung der Antwort, wodurch der Interpreter zu einem passiven Verifizierer statt zu einem aktiven Denker wird.
Unzuverlässige NL-Berechnung: Zwischenrechnungen oder algebraische Schritte, die in NL durchgeführt werden, sind fehleranfällig. Wenn diese fehlerhaften Werte als hartkodierte Konstanten in nachfolgende Code-Blöcke kopiert werden, kann der Interpreter den Fehler nicht erkennen, was zu einer stillen Fehlerfortpflanzung führt.
Fehlverteilte Rollen: NL und Code übernehmen häufig sich überschneidende Aufgaben. NL beschreibt oft schrittweise Algorithmen, die der Code anschließend erneut implementiert, wodurch die jeweiligen Stärken beider Modalitäten nicht genutzt werden (NL für die übergeordnete Planung, Code für die präzise Ausführung).

Methodik

Die Autoren schlagen THINC (Thinking in Code) vor, ein Trainingsframework, das die primäre Denklast von der natürlichen Sprache auf die Code-Ausführung verlagert.

1. Das THINC-Trajektorienformat

Im Gegensatz zu Standard-TIR-Trajektorien ( $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ) erzwingt eine THINC-Trajektorie ( $q, t_1, c_1, o_1, c_2, o_2, \dots$ ) eine strikte strukturelle Trennung:

Einzelner Planungsschritt ( $t_1$ ): Das Modell generiert zu Beginn einen kurzen NL-Block, um die übergeordnete Strategie oder die algebraische Umstrukturierung des Problems zu definieren. Entscheidend ist, dass dieser Block keine schrittweise Herleitung oder numerische Berechnung enthält.
Code-zentriertes Denken: Alle nachfolgenden Denkprozesse entfalten sich durch Code-Blöcke ( $c_i$ ), die ausschließlich durch ihre Ausführungsergebnisse ( $o_i$ ) verbunden sind. Es gibt keine intermediären NL-Gedankenblöcke zwischen Code-Ausführungen.
Interpreter als Denker: Die Code-Blöcke führen die Herleitungen, Selbstkorrekturen und Verifikationen durch. Die finale Antwort wird direkt aus der Ausgabe des Interpreters abgeleitet.

2. Trainingspipeline

Das Framework wird in drei Stufen realisiert:

Trajektorien-Distillation: Ein Lehrermodell (Qwen3.5-27B) wird mit Few-Shot-Beispielen promptet, um 12.200 code-zentrierte Trajektorien zu generieren. Diese werden gefiltert, um Korrektheit, erfolgreiche Ausführung, ein Minimum von drei Code-Blöcken und sicherzustellen, dass der Planungsgedanke weniger als 50 % der gesamten Token ausmacht.
Supervised Fine-Tuning (SFT): Schülermodelle (Qwen3-1.7B und Qwen3-4B-Thinking-2507) werden auf dem distillierten THINC-SFT-Datensatz feinabgestimmt. Dies etabliert den „code-zentrierten Verhaltensprior" und lehrt das Modell, sich an das spezifische Trajektorienformat zu halten.
Reinforcement Learning (RL): Unter Verwendung von Group Relative Policy Optimization (GRPO) mit verifizierbaren Belohnungen (exakte Übereinstimmung mit dem Ground Truth) werden die Modelle weiter auf dem DAPO-Math-17k-Datensatz verfeinert. Der RL-Prozess employs einen dreistufigen Lehrplan mit zunehmenden Kontextlängen (16K bis 32K) und Tool-Aufruf-Limits, um schwierigere Probleme zu bewältigen.

Hauptbeiträge

THINC-Framework: Ein neuartiges Trainingsparadigma, das Code als primären Denker und nicht als von NL aufgerufenes Werkzeug behandelt. Es löst die strukturellen Einschränkungen von interleaved TIR durch Design.
THINC-SFT-Datensatz: Ein kuratierter Datensatz mit 12,2k code-zentrierten Trajektorien, die das gewünschte Denkformat demonstrieren.
THINC-Modelle: Zwei trainierte Modelle, THINC-1.7B und THINC-4B, die zeigen, dass Modelle mit kleinem Maßstab hohe Denkfähigkeiten erreichen können, wenn sie mit diesem spezifischen Paradigma trainiert werden.

Experimentelle Ergebnisse

Die Modelle wurden an fünf Wettbewerbs-Mathematik-Benchmarks evaluiert: AIME 2024–2026, HMMT 2025 und BeyondAIME.

Leistung:
- THINC-4B erreichte eine durchschnittliche Genauigkeit von 78,1 % und übertraf alle TIR-Baselines (einschließlich ASTER-4B, ReTool-32B und rStar2-Agent-14B) sowie das deutlich größere Qwen3-235B-A22B-Thinking (75,2 %) in vier von fünf Benchmarks.
- THINC-1.7B erreichte eine durchschnittliche Genauigkeit von 42,8 %, eine Verbesserung von 10,6 Prozentpunkten gegenüber seinem Basismodell (Qwen3-1.7B) und eine signifikant bessere Leistung als andere TIR-Baselines mit kleinem Maßstab.
Effizienz: THINC-4B benötigte weniger Tool-Aufrufe pro Trajektorie (6,1 gegenüber 11,1 für ASTER-4B) und erzeugte kürzere Antworten, was auf eine höhere Effizienz hindeutet.
Robustheit: In Experimenten zur Erholung nach anfänglichen Code-Ausführungsfehlern (Recovery@k) behielt THINC-4B eine Wiederherstellungsrate von 64–69 % selbst nach drei aufeinanderfolgenden Code-Fehlern bei. Im Gegensatz dazu verschlechterten sich interleaved TIR-Baselines drastisch, wobei einige auf eine Wiederherstellungsrate von nahe 0 % fielen.
Code-Verankerung: Die Analyse ergab, dass 99,2 % der finalen Antworten von THINC-4B in der Interpreter-Ausgabe verankert waren, im Vergleich zu deutlich niedrigeren Raten bei den Baselines (z. B. 88,4 % für ReTool, 74,3 % für rStar2).

Bedeutung

Die Arbeit behauptet, dass THINC zeigt, dass code-zentriertes Denken ein überlegenes Paradigma für die mathematische Problemlösung im Vergleich zu interleaved TIR ist. Indem natürliche Sprache auf die übergeordnete Planung beschränkt wird und alle Herleitungen in ausführbaren Code gezwungen werden, eliminiert das Framework die Fortpflanzung von Rechenfehlern und stellt sicher, dass die finale Antwort vom Interpreter verifiziert wird. Die Ergebnisse deuten darauf hin, dass diese strukturelle Änderung es kleineren Modellen (4B Parameter) ermöglicht, deutlich größere rein sprachbasierte Denker (235B Parameter) und etablierte tool-integrierte Agenten zu übertreffen, was die Wirksamkeit des „Denkens in Code" gegenüber dem „Denken mit Code" unterstreicht.