Stellen Sie sich eine Welt vor, in der Computer wie riesige, hungrige Bibliotheken sind, die fast jedes jemals geschriebene Buch gelesen haben. Diese Bibliotheken, sogenannte Large Language Models (LLMs), sind unglaublich gut darin, das nächste Wort in einem Satz zu erraten. Aber nur zu wissen, wie man einen Satz vervollständigt, reicht nicht aus, um ein kniffliges mathematisches Problem zu lösen oder ein defektes Computerprogramm zu debuggen. Um in diesen Aufgaben wirklich gut zu werden, müssen wir ihnen beibringen, zu denken.

Denken Sie bei diesem Prozess an das Training eines Schülers. Zuerst liest der Schüler eine massive Bibliothek (Pre-training), um die Grundlagen der Sprache zu lernen. Dann kommt ein Lehrer herein, um ihm gezielte Lektionen zum Lösen von Rätseln zu geben (Post-training). Normalerweise nutzen Lehrer zwei Hauptmethoden: Entweder zeigen sie dem Schüler die perfekte Antwort und sagen: „Kopiere das“ (Supervised Fine-Tuning), oder sie lassen den Schüler es versuchen, geben ihm eine Note und sagen: „Versuch es nochmal, aber mach es besser beim nächsten Mal“ (Reinforcement Learning). Vor kurzem wurde eine neue Methode namens „On-Policy Distillation“ populär. Es ist wie ein Lehrer, der dem Schüler beim Lösen eines Problems in Echtzeit zusieht und flüstert: „Ja, dieses Wort war gut“ oder „Nein, dieses Wort war falsch“, basierend auf dem, was der Lehrer gesagt hätte. Es ist effizient und vermeidet den mühsamen Aufwand, komplexe Bewertungssysteme zu entwerfen.

Aber hier liegt der Haken: Selbst diese kluge Methode hat einen Fehler. Wenn der Lehrer flüstert, flüstert er vielleicht versehentlich Dinge, die der Schüler bereits weiß, wie zum Beispiel Höflichkeit oder wie man eine Geschichte erzählt, anstatt der spezifischen „Aha!“-Momente der Logik, die den Lehrer zu einem Genie im Schlussfolgern machen. Das Papier, das Sie gleich lesen werden, stellt eine einfache Frage: Was wäre, wenn wir das Rauschen herausfiltern und dem Schüler nur die neuen Tricks beibringen könnten, die der Lehrer gelernt hat?

Dieses Papier führt eine clevere neue Technik namens On-Policy Delta Distillation (OPD2) ein. Die Forscher erkannten, dass ein „Reasoning Teacher“ (ein Lehrer für logisches Schlussfolgern) eigentlich zwei Modelle in einem ist: das ursprüngliche „Base“-Modell (vordem es gelernt hat zu schlussfolgern) und das „Reasoning“-Modell (nachdem es gelernt hat zu schlussfolgern). Wenn man die Gedanken des Base-Modells von den Gedanken des Reasoning-Modells subtrahiert, erhält man ein „Delta Signal“. Dieses Signal ist wie ein Highlight-Reel von genau dem, was sich änderte, als der Lehrer lernte zu denken. Anstatt nur die endgültige Antwort des Lehrers zu kopieren, lernt der Schüler aus diesem „Delta Signal“ – der spezifischen Differenz, die den Sprung in der Fähigkeit zum logischen Schlussfolgern darstellt.

Die Autoren testeten diese Idee, indem sie Mathematik-, Wissenschafts- und Coding-Probleme mischten. Sie fanden heraus, dass die Verwendung dieses „Delta Signals“ als primäre Belohnung den Schülern half, viel schneller und besser zu lernen als die alten Methoden. Tatsächlich übertraf ihre neue Methode, OPD2, konsequent die bisherigen besten Techniken über verschiedene Modellgrößen hinweg, von winzigen 1,7-Milliarden-Parameter-Modellen bis hin zu massiven 8-Milliarden-Modellen. Es funktionierte so gut, dass ein kleineres Modell, das mit OPD2 trainiert wurde, manchmal ein viel größeres Modell übertraf, das mit älteren Methoden trainiert wurde. Das Papier legt nahe, dass, wenn wir uns nur auf die Veränderung des Denkens konzentrieren anstatt auf die ganze Persönlichkeit des Lehrers, wir KI effektiver lehren können zu denken, ohne Zeit mit dem zu verschwenden, was sie bereits weiß.

Die Geschichte des „Delta“-Signals

Tauchen wir in die Mechanik dieser Entdeckung ein, mithilfe einer einfachen Analogie. Stellen Sie sich vor, Sie lernen, ein komplexes Videospiel zu spielen. Sie haben eine „Base“-Version Ihres Charakters, die weiß, wie man geht, springt und spricht. Dann erhalten Sie eine „Pro“-Version dieses Charakters, die die schwierigsten Level des Spiels gemeistert hat.

Der alte Weg des Lehrens (Standard On-Policy Distillation) ist wie ein Pro-Charakter, der neben Ihnen steht und sagt: „Mach genau das, was ich mache.“ Das Problem ist, dass der Pro-Charakter immer noch genauso geht und spricht wie der Base-Charakter zuvor. Also wiederholt der Pro, wenn er sagt: „Geh vorwärts“, einfach etwas, das Sie bereits wissen. Sie verbringen Ihre Zeit damit, das Gehen zu üben, anstatt die geheimen Combos zu lernen, die einen zum Pro machen.

Die Autoren dieses Papiers, Byeongho Heo, Jaehui Hwang, Sangdoo Yun und Dongyoon Han von der NAVER AI Lab, schlugen einen anderen Ansatz vor. Sie fragten: „Was wäre, wenn wir dem Schüler nur den Unterschied zwischen dem Pro und dem Base beibringen?“

Dieser Unterschied ist das Delta Signal.

• Das Base-Modell: Weiß, wie man spricht und schreibt, könnte aber bei komplexer Logik stolpern.
• Der Reasoning Teacher: Weiß, wie man spricht, schreibt und schwierige Logikrätsel löst.
• Das Delta: Die spezifische „Magie“, die der Teacher gelernt hat, um das Rätsel zu lösen.

In dem Papier visualisieren sie dies mit Wortwolken. Als sie untersuchten, was die alte Methode lehrte, war sie voll von generischen Wörtern wie „sehen“, „versuchen“ und „verifizieren“. Aber als sie sich das Delta Signal ansah, waren die Wörter, die hervorstachen, logische Konnektoren wie „daher“, „jedoch“, „beachte“ und „stattdessen“. Dies sind die Wörter, die ein logisches Argument zusammenhalten. Das Delta Signal filtert effektiv das „Langweilige“ heraus, das der Schüler bereits weiß, und hebt die „Geheimzutat“ des logischen Schlussfolgerns hervor.

Wie sie OPD2 aufgebaut haben

Um dies umzusetzen, mussten die Forscher einige knifflige Probleme lösen. Wenn man einem Schüler nur das Delta Signal gibt, könnte er verwirrt werden, weil das Signal nicht berücksichtigt, was der Schüler selbst gerade tut. Es ist wie ein Trainer, der Anweisungen ruft, ohne die aktuelle Position des Spielers zu beobachten.

Deshalb fügten sie zwei spezielle Zutaten zu ihrem Rezept hinzu:

1. Centering (Zentrierung): Sie passten das Signal so an, dass es um Null ausbalanciert ist. Dies hilft dem Schüler zu verstehen, ob ein Zug „besser als der Durchschnitt“ oder „schlechter als der Durchschnitt“ ist, anstatt nur eine Rohpunktzahl zu erhalten, die irreführend sein könnte.
2. Joint Conditioning (Gemeinsame Konditionierung): Sie stellten sicher, dass das neue Delta Signal nur dann aktiv wird, wenn es mit der alten, Standard-Methode übereinstimmt. Dies fungiert als Sicherheitsnetz. Wenn das Delta Signal versucht, den Schüler in eine seltsame Richtung zu drängen, die dem allgemeinen Stil des Lehrers widerspricht, sagt das System: „Moment mal“, und stoppt das Update. Dies verhindert, dass der Schüler verwirrt wird oder vergisst, wie man richtig spricht, während er versucht zu lernen, wie man denkt.

Das Ergebnis: Ein neuer Champion

Das Team testete ihre neue Methode, die sie OPD2 nannten, gegen den alten Standard (OPD) und eine neuere, fortgeschrittene Methode namens ExOPD. Sie verwendeten eine Mischung aus 100.000 Fragen aus Mathematik-, Wissenschafts- und Coding-Datensätzen. Sie testeten dies auf verschiedenen Modellen, einschließlich der Qwen3-Familie (Größen 1,7B, 4B und 8B) und dem Gemma4-Modell.

Die Ergebnisse waren beeindruckend. Im „Nicht-Denk“-Modus (in dem Modelle schnell antworten, ohne ihren Lösungsweg aufzuzeigen), übertraf OPD2 die anderen konsequent.

• Für das Qwen3-1,7B-Modell in Mathematik steigerte OPD2 die durchschnittliche Punktzahl von 34,8 auf 54,6. Das ist ein riesiger Sprung, der die nächstbeste Methode um über 3 Punkte schlägt.
• Für das Qwen3-4B-Modell erreichte OPD2 einen Durchschnitt von 70,3, während die bisher beste Methode (ExOPD) bei 66,4 lag.
• Noch überraschender war, dass das 4B-Modell, das mit OPD2 trainiert wurde, besser abschnitt als das 8B-Modell, das mit den alten Methoden trainiert wurde. Dies deutet darauf, dass wie man trainiert, genauso wichtig ist wie wie groß das Modell ist.

Sie testeten die Modelle auch im „Denk“-Modus, in dem die Modelle bereits recht intelligent sind und ihre logischen Schritte aufzeigen. Dies ist schwieriger zu verbessern, da die Modelle bereits gut sind. Dennoch gelang es OPD2, noch zusätzliche Leistung herauszukitzeln. Beispielsweise verbesserte das Qwen3-8B-Modell auf dem HMMT25-Mathematik-Benchmark seine Punktzahl mit OPD2 von 44,3 auf 52,3, während die anderen Methoden die Punktzahl sogar verschlechterten oder kaum veränderten.

Die Methode funktionierte auch bei Gemma4, einer anderen Modellfamilie. Während andere Methoden Schwierigkeiten hatten oder das Modell sogar verschlechterten, verbesserte OPD2 die Mathematik-Scores von 60,6 auf 67,8. Dies zeigt, dass die Idee, das „Delta Signal“ zu verwenden, kein Zufall für ein spezifisches Modell ist; es scheint ein allgemeines Prinzip zu sein, das KI hilft, besser zu denken.

Warum das wichtig ist

Das Papier legt nahe, dass der Schlüssel zur Lehre des logischen Schlussfolgerns bei einer KI nicht nur darin besteht, ihr mehr Daten zu füttern oder den Lehrer größer zu machen. Es geht darum, präzise zu sein darüber, was wir lehren. Indem wir die spezifischen Veränderungen isolieren, die auftreten, wenn ein Modell lernt zu schlussfolgern (das Delta), können wir diese Fähigkeit viel effizienter übertragen.

Die Autoren merken an, dass diese Methode recheneffizient ist. Sie benötigt etwa 24–28 % mehr Zeit für das Training als die Standardmethode, da der Computer das „Base“-Modell im Hintergrund laufen lassen muss, um den Unterschied zu berechnen. Da diese Trainingssitzungen jedoch meist kurz sind (oft weniger als ein kompletter Durchlauf durch die Daten), ist dieser kleine zusätzliche Aufwand den massiven Leistungsgewinn wert.

Kurz gesagt: OPD2 ist wie ein Chefkoch, der erkennt, dass er einem Lehrling nicht nur sagen sollte, dass er „Salz hinzufügen“ soll, um die Geheimnis einer perfekten Suppe zu lehren. Er sollte sagen: „Füge dies viel mehr Salz hinzu als du normalerweise tust, denn das ist der Unterschied zwischen einer guten und einer großartigen Suppe.“ Indem er sich auf den Unterschied konzentriert, lernt der Schüler das Geheimnis schneller und besser. Das Papier kommt zu dem Schluss, dass dieser Ansatz ein bedeutender Schritt nach vorn ist, um KI intelligenter, schneller und fähiger zu machen, die komplexen Probleme der Zukunft zu lösen.