How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
Die Arbeit stellt das TESSY-Framework vor, das durch eine kooperative Daten-Synthese zwischen Lehrer- und Schülermodellen stilistische Diskrepanzen überwindet und so die Leistung von Reasoning-Modellen bei der Feinabstimmung mit synthetischen Daten signifikant verbessert, anstatt sie wie bei herkömmlichen Ansätzen zu verschlechtern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wie man einen „Denkenden" KI-Modell verbessert: Eine Geschichte vom Lehrer und dem Schüler
Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas eigenwilligen Schüler (das Student-Modell, z. B. Qwen3-8B), der bereits gelernt hat, wie man komplexe Rätsel löst und Code schreibt. Er hat einen ganz eigenen Stil: Er denkt laut nach, benutzt bestimmte Füllwörter wie „Okay, lass uns sehen" und erklärt Dinge auf eine Art und Weise, die für ihn natürlich ist.
Nun wollen Sie ihn noch schlauer machen. Sie holen sich einen Super-Lehrer (das Teacher-Modell, z. B. GPT-OSS-120B), der die Lösungen für die schwierigsten Probleme kennt. Die Idee ist einfach: Der Lehrer schreibt die Lösungen vor, und der Schüler lernt daraus.
Das Problem: Der „Kultur-Schock"
In der Vergangenheit hat man gedacht: „Je besser der Lehrer, desto besser der Schüler." Aber die Forscher aus diesem Papier haben etwas Überraschendes entdeckt: Wenn der Schüler einfach nur die Texte des Lehrers abschreibt, wird er dümmer, nicht schlauer!
Warum?
Stellen Sie sich vor, Ihr Schüler spricht fließend Deutsch und denkt in deutschen Redewendungen. Der Super-Lehrer spricht aber perfekt Latein und denkt in lateinischen Satzstrukturen. Wenn der Schüler versucht, die lateinischen Texte des Lehrers zu kopieren, verliert er seinen eigenen deutschen Sprachfluss. Er versucht, sich anzupassen, vergisst dabei aber, was er schon gut konnte. Er gerät in einen „Kultur-Schock". In der KI-Sprache nennt man das Verteilungskonflikt oder katastrophales Vergessen. Der Schüler verliert seinen natürlichen „Denk-Stil", was dazu führt, dass er bei Tests schlechter abschneidet.
Die Lösung: TESSY – Das Teamwork-Modell
Die Autoren haben eine clevere Methode namens TESSY (Teacher–Student Cooperation Data Synthesis) entwickelt. Statt dass der Lehrer alles allein schreibt, arbeiten sie wie ein Duo-Comedy-Team oder ein Musik-Duo, bei dem jeder seine Stärken einbringt.
So funktioniert es im Alltag:
Der Lehrer liefert die „Musik" (die harte Arbeit):
Der Super-Lehrer ist ein Genie für Logik und Mathematik. Er liefert die wichtigen Teile: die eigentliche Lösung, den Code, die Formeln und die logischen Schlüsse. Das ist das „Fleisch" in der Suppe.Der Schüler liefert den „Gesang" (den Stil):
Der Schüler ist der Experte dafür, wie er selbst spricht. Er schreibt die Verbindungswörter, die Übergänge, die Füllsätze wie „Hmm, lass mich nachdenken" oder „Okay, hier ist der Plan". Das ist das „Brot" zur Suppe.
Wie sie zusammenarbeiten (Der Tanz):
Statt dass einer den anderen komplett dominiert, tanzen sie im Wechsel:
- Der Schüler beginnt: „Okay, lass uns das Problem ansehen..." (Sein Stil).
- Der Lehrer springt ein: „Hier ist die mathematische Formel..." (Die Logik).
- Der Schüler holt wieder aus: „Also, wenn wir das so machen, dann..." (Sein Stil).
- Der Lehrer liefert den Beweis.
Am Ende haben sie einen Text, der genau so logisch ist wie der des Lehrers, aber genau so klingt wie der des Schülers.
Warum ist das so genial?
- Kein Stress: Der Schüler muss sich nicht in eine fremde Sprache (den Stil des Lehrers) zwingen. Er bleibt in seiner Komfortzone.
- Bessere Ergebnisse: Weil der Schüler den Text „natürlich" liest, lernt er die Logik des Lehrers viel besser, ohne seinen eigenen Stil zu verlieren.
- Ergebnis: In Tests (wie beim Programmieren) hat der Schüler mit dieser Methode deutlich besser abgeschnitten als mit den alten Methoden. Er wurde nicht nur nicht schlechter, sondern wirklich besser.
Zusammenfassung in einem Satz:
Um einen KI-Schüler wirklich schlau zu machen, darf man ihm nicht einfach die Hausaufgaben eines Genies abschreiben lassen; man muss ihm helfen, die Lösungen des Genies in seiner eigenen, natürlichen Sprache zu verstehen und zu formulieren. TESSY ist genau dieses Werkzeug, das Lehrer und Schüler zu einem perfekten Team zusammenbringt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.