🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

Dieser Beitrag stellt ein neuartiges Framework vor, das Reasoning-Pfade auf Trajektorien- und Schrittebene analysiert, um zu zeigen, dass Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) fehlerhafte Trajektorien komprimiert und das Reasoning auf weniger Schritte konzentriert, während Supervised Fine-Tuning (SFT) korrekte Trajektorien erweitert und das Reasoning über viele Schritte verteilt, wodurch der komplementäre Erfolg des aktuellen zweistufigen Trainingsparadigmas erklärt wird.

Ursprüngliche Autoren: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Veröffentlicht 2026-05-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Wege, einen Roboter zum Denken zu bringen

Stellen Sie sich vor, Sie haben einen Roboter, der gut im Reden ist, aber nicht besonders gut darin, komplexe Matheaufgaben oder Programmierpuzzles zu lösen. Um ihn schlauer zu machen, verwenden Forscher zwei Haupttrainingsmethoden:

SFT (Supervised Fine-Tuning): Dies ist wie Nachahmung. Sie zeigen dem Roboter ein perfektes Beispiel dafür, wie ein menschlicher Experte ein Problem schrittweise löst, und sagen: „Mach genau das."
RL (Reinforcement Learning): Dies ist wie Versuch und Irrtum mit einem Punktezettel. Sie lassen den Roboter das Problem selbst lösen. Wenn er die richtige Antwort findet, bekommt er einen „Goldstern" (Belohnung). Wenn er falsch liegt, bekommt er nichts. Mit der Zeit lernt er, die Pfade zu vermeiden, die zum Scheitern führen.

Das Paper fragt: Was passiert eigentlich im Gehirn des Roboters, wenn wir diese beiden verschiedenen Methoden anwenden? Ändern sie wie der Roboter denkt, oder nur was er antwortet?

Die Autoren entdeckten, dass diese beiden Methoden entgegengesetzte Dinge mit dem „Denkprozess" des Roboters bewirken.

Analogie 1: Der „Denkpfad" (Ebene der Trajektorie)

Stellen Sie sich den Denkprozess des Roboters als einen Wanderer vor, der durch einen riesigen, nebligen Wald wandert, um einen verborgenen Schatz (die richtige Antwort) zu finden. Es gibt viele Pfade: Einige führen zum Schatz, viele andere zu Sackgassen oder Klippen.

SFT (Der Imitator) „Erweitert" die guten Pfade:
Wenn Sie dem Roboter die Karte eines Experten zeigen (SFT), lernt er, den richtigen Pfad zu gehen. Aber hier liegt der Haken: Er beginnt auch, auf vielen verschiedenen Variationen dieses richtigen Pfades zu wandern. Er wird sehr kreativ und vielfältig darin, wie er den Schatz findet.
- Der Haken: Er hört nicht auf, auf den schlechten Pfaden zu wandern. Wenn der Roboter bereits in einen Sumpf wanderte (Fehler machte), lehrt ihn SFT neue Wege zu gehen, aber er könnte immer noch gelegentlich in den Sumpf wandern. Er „erweitert" die Anzahl der korrekten Routen, räumt die schlechten aber nicht unbedingt aus dem Weg.
RL (Der Punktezähler) „Quetscht" die schlechten Pfade:
Wenn Sie dem Roboter das Spiel mit Belohnungen spielen lassen (RL), merkt er schnell, dass die Sumpfpfade zu null Punkten führen. Also hört er auf, dorthin zu gehen. Er „quetscht" alle falschen, verwirrenden oder zu Sackgassen führenden Pfade aus der Existenz.
- Der Haken: Er neigt auch dazu, die guten Pfade zu „quetschen". Er könnte aufhören, kreative Variationen der richtigen Antwort zu erkunden, und sich einfach auf den einen Pfad festlegen, von dem er weiß, dass er am besten funktioniert. Er wird sehr fokussiert, aber weniger vielfältig.
Die Gewinn-Kombination (SFT + RL):
Das Paper erklärt, warum die aktuelle beste Praxis darin besteht, zuerst SFT und dann RL durchzuführen.
1. Zuerst verwenden Sie SFT, um dem Roboter neue Wege zu zeigen, den Schatz zu finden (Erweiterung der korrekten Pfade).
2. Dann verwenden Sie RL, um den Roboter zu bestrafen, wenn er in den Sumpf wandert (Quetschen der falschen Pfade).
- Ergebnis: Sie erhalten einen Roboter, der viele Wege kennt, das Problem zu lösen, aber sehr diszipliniert darin ist, Fehler zu vermeiden.

Analogie 2: Die „Stadt der Gedanken" (Ebene des Schritts)

Schauen wir uns nun das Denken des Roboters nicht als einen einzelnen Pfad an, sondern als eine Stadtkarte. Jeder „Schritt" im Denkprozess (wie „Fläche berechnen" oder „Formel prüfen") ist ein Gebäude in dieser Stadt. Die Verbindungen zwischen den Schritten sind die Straßen.

RL schafft eine „Hub-and-Spoke"-Stadt:
Nach dem RL-Training verändert sich die Stadt. Der Roboter beginnt, stark auf ein paar spezifische, superwichtige Gebäude (Hubs) zu vertrauen. Er besucht diese Schlüsselschritte immer wieder.
- Der Effekt: Die Stadt wird sehr effizient, aber um diese wenigen Stellen herum überfüllt. Der Roboter konzentriert seine „Denkkraft" auf eine kleine Anzahl kritischer Schritte. Es ist wie ein Pendler, der nur drei bestimmte Brücken nutzt, um den Fluss zu überqueren, und alle anderen ignoriert.
SFT schafft eine „Verteilte" Stadt:
Nach dem SFT-Training sieht die Stadt anders aus. Der Roboter verteilt sein Denken. Er besucht viele verschiedene Gebäude, und kein einzelnes Gebäude wird so überwältigend oft besucht wie in der RL-Stadt.
- Der Effekt: Das Denken ist „homogenisiert" oder gleichmäßig verteilt. Es ist wie eine Stadt, in der jeder eine breite Vielfalt an Straßen nutzt und keine einzelne Straße ein Stau ist.

Die zentrale Erkenntnis:

RL macht das Denken des Roboters intensiv und fokussiert auf ein paar Schlüsselschritte (Quetschen).
SFT macht das Denken des Roboters breit und verteilt über viele Schritte (Erweitern).

Die Form der Stadt (Topologie)

Die Forscher betrachteten auch die „Form" dieser Denkstädte unter Verwendung von Geometrie.

Das Basismodell (Vor dem Training): Die Stadt ist in isolierte Nachbarschaften (Gemeinschaften) unterteilt. Es ist schwer, von einer Nachbarschaft zur anderen zu gelangen. Der Roboter steckt in lokalen Schleifen fest.
RL: Es reißt die Wände zwischen den Nachbarschaften ein. Es schafft eine Stadt, die von ein paar massiven „Hubs" dominiert wird, die alles miteinander verbinden. Dies macht den Roboter sehr schnell darin, die Antwort zu finden, wenn er den richtigen Hub trifft, aber er verlässt sich auf diese spezifischen Hubs.
SFT: Es reißt ebenfalls die Wände ein, baut aber statt Hubs ein Netz, in dem alles mit allem verbunden ist. Dies macht die Stadt sehr robust und einfach zu navigieren, von jedem Punkt zu jedem anderen Punkt.

Zusammenfassung der Behauptungen des Papers

RL ist ein „Quetscher": Er zermalmt falsche Denkpfade und konzentriert das Denken des Roboters auf ein paar hocheffiziente, stark frequentierte Schritte. Er macht den Roboter sehr gut darin, die richtige Antwort auf den ersten Versuch zu finden (Pass@1), indem er schlechte Optionen eliminiert.
SFT ist ein „Erweiterer": Er lehrt dem Roboter neue, korrekte Denkweisen und verteilt die Denklast über viele Schritte. Allerdings beseitigt er nicht automatisch die schlechten Pfade, die der Roboter zuvor möglicherweise genutzt hat.
Warum SFT + RL funktioniert: Die besten Ergebnisse entstehen, wenn man SFT verwendet, um dem Roboter zu lehren, wie man richtig denkt (Erweiterung der guten Pfade), und dann RL verwendet, um ihn zu zwingen, aufzuhören, Fehler zu machen (Quetschen der schlechten Pfade).
Struktur ist wichtig: RL erzeugt eine „hub-lastige" Denkstruktur, während SFT eine „verteilte" Struktur erzeugt. Beide unterscheiden sich von der „fragmentierten" Struktur eines untrainierten Modells.

Das Paper kommt zu dem Schluss, dass das Verständnis dieser mechanischen Unterschiede erklärt, warum das aktuelle „Zwei-Phasen"-Trainingsrezept (SFT gefolgt von RL) so erfolgreich bei der Schaffung intelligenter denkender KI ist.

Technische Zusammenfassung: RL DRÜCKT ZUSAMMEN, SFT ERWEITERT: EIN VERGLEICHENDE STUDIE ZU SCHLUSSFOLGERUNGS-LLMS

Problemstellung

Während Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) und Supervised Fine-Tuning (SFT) die vorherrschenden Paradigmen für das Nachtrainieren von Large Language Models (LLMs) zur Verbesserung von Schlussfolgerungsfähigkeiten sind, bleiben die spezifischen Mechanismen, durch die diese Methoden die zugrundeliegenden Schlussfolgerungsprozesse formen, unklar. Frühere Studien konzentrierten sich weitgehend auf ergebnisbasierte Metriken (z. B. Pass@k) und kamen oft zu dem Schluss, dass RL lediglich bereits vorhandene Basisfähigkeiten aktiviert oder dass SFT zu Auswendiglernen führt, während RL Generalisierung fördert. Diese Studien fehlt jedoch ein granulares Verständnis dafür, wie RL und SFT die Struktur von Schlussfolgerungspfaden und die Topologie des Schlussfolgerungsraums grundlegend verändern. Dieser Beitrag adressiert die Frage: Wie formen RL und SFT den Schlussfolgerungsprozess über Genauigkeitsmessungen hinaus?

Methodik

Die Autoren führen ein neuartiges Analyseframework ein, das Schlussfolgerungspfade quantifiziert und deren qualitative Veränderungen unter verschiedenen Trainingsregimen erfasst. Die Studie verwendet Modelle unterschiedlicher Größen (1,5 Mrd., 7 Mrd. und 14 Mrd. Parameter) in mathematischen (AIME24, AIME25, AMC23) und Code-Domänen (HumanEval). Die Analyse erfolgt auf zwei Granularitätsebenen:

Trajektorien-Ebenen-Analyse:
- Methode: Mehrere Ausgaben (M=256) werden aus Base-, RL-, SFT- und SFT+RL-Modellen gesampelt. Eindeutige Schlussfolgerungstrajektorien werden identifiziert, indem hierarchisches Clustering (UPGMA) auf die Ausgaben basierend auf der Ähnlichkeit von n-Grammen auf Zeichenebene (chrF) angewendet wird.
- Ziel: Zählen und Vergleichen der Anzahl eindeutiger korrekter und inkorrekter Trajektorien vor und nach dem Training.
Schritt-Ebenen-Analyse (Schlussfolgerungsgraphen):
- Konstruktion: Modellausgaben werden in Sätze segmentiert, in einen Vektorraum eingebettet (unter Verwendung von BGE-large-en-v1.5) und geclustert (K-means), um Knoten zu definieren. Übergänge zwischen Sätzen bilden gerichtete Kanten und erzeugen einen „Schlussfolgerungsgraphen" für jedes Problem.
- Metriken: Die Studie analysiert globale und lokale topologische Eigenschaften, einschließlich:
  - Exponentielle Zerfallsgeschwindigkeiten: Anpassung von Rang-Plots der Knotenbesuchshäufigkeit, des Grades und der Betweenness-Zentralität an ein exponentielles Gesetz ( $X(R) \propto e^{-\lambda R}$ ), um die Zerfallsrate $\beta$ zu bestimmen.
  - Globale Topologie: Kantendichte, Clustering-Koeffizient, Assortativität, Modularität, Freeman-Zentralisierung, durchschnittliche Pfadlänge, globale Effizienz und algebraische Konnektivität.
  - Lokale Struktur: Graphlet-Analyse (Zählen von 4-Knoten-Teilgraphen) zur Erkennung zyklischer versus azyklischer Strukturen.

Hauptbeiträge

Der Beitrag etabliert eine „Perspektive der Schlussfolgerungspfade", die die komplementären Rollen von SFT und RL erklärt:

Trajektorien-Ebenen-Dynamik:
- RL drückt zusammen: RL-Training komprimiert die Anzahl eindeutiger inkorrekter Trajektorien erheblich und beschneidet effektiv den Suchraum von Fehlern. Es reduziert jedoch auch die Anzahl eindeutiger korrekter Trajektorien und konzentriert die Wahrscheinlichkeitsmasse auf weniger Pfade.
- SFT erweitert: SFT-Training erhöht die Anzahl eindeutiger korrekter Trajektorien und führt neue Lösungsstrategien ein, die im Basismodell fehlen. Entscheidend neigt SFT allein dazu, inkorrekte Trajektorien zu bewahren, was keine Verbesserungen bei Pass@1 garantiert.
- Synergie: Der Erfolg des zweistufigen SFT+RL-Ansatzes wird darauf zurückgeführt, dass SFT den Raum korrekter Lösungen erweitert, gefolgt von RL, das den Raum der inkorrekten Lösungen komprimiert.
Strukturelle Veränderungen auf Schritt-Ebene:
- Zerfallsgeschwindigkeiten: RL verschärft die Zerfallsgeschwindigkeiten ( $\beta$ ) der Verteilungen von Besuchshäufigkeit, Grad und Betweenness-Zentralität. Dies deutet darauf hin, dass RL Schlussfolgerungsfunktionen (z. B. Hubs, zentrale Knoten) in eine kleine Teilmenge von Schritten konsolidiert. Umgekehrt flacht SFT diese Zerfallsgeschwindigkeiten ab und homogenisiert die Funktion über viele verschiedene Schritte hinweg.
- Globale Topologie:
  - Basis-Modelle: Zeigen hohe Modularität und niedrige globale Effizienz, was darauf hindeutet, dass Schlussfolgerungen in distincten, schwach verbundenen Communities gefangen sind.
  - RL-Modelle: Transformieren Graphen in hub-zentrierte Strukturen mit hoher Kantendichte und niedriger Modularität, was eine effiziente Durchquerung durch wenige zentrale Knoten ermöglicht.
  - SFT-Modelle: Schwächen Gemeinschaftsgrenzen ab, um global verbundene Graphen mit hoher Robustheit und Erreichbarkeitseffizienz zu bilden, obwohl sie einige inkorrekte Pfade beibehalten können.
- Lokale Struktur: Sowohl RL als auch SFT erhöhen den Anteil zyklischer Teilgraphen (was Rückverfolgung und Verifizierung widerspiegelt), was darauf hindeutet, dass lokale zyklische Strukturen allein keine Leistungsunterschiede erklären können; die globale Topologie ist der Unterscheidungsfaktor.

Ergebnisse

Mathematische und Code-Domänen: Die Erkenntnisse gelten konsistent über mathematische Datensätze (AIME, AMC) und Code-Generierung (HumanEval) hinweg.
Pass@k vs. Pass@1: Die Reduktion eindeutiger korrekter Trajektorien durch RL erklärt, warum Basis-Modelle bei Pass@k (bei großem $k$ ) RL-Modelle manchmal übertreffen können, aufgrund der breiteren Abdeckung der Verteilung des Basis-Modells, während RL bei Pass@1 glänzt, indem es die Masse auf den wahrscheinlichsten korrekten Pfad konzentriert.
Topologische Korrelationen: Globale Effizienz und algebraische Konnektivität korrelieren positiv mit Pass@1/Pass@k-Verhältnissen, während Modularität negativ korreliert. Dies deutet darauf hin, dass Schlussfolgerungsgraphen, die eine effiziente Durchquerung des gesamten Lösungsraums ermöglichen, für hohe Leistung entscheidend sind.
Ablationsstudien: Die Ergebnisse bezüglich Zerfallsgeschwindigkeiten und topologischer Verschiebungen bleiben über verschiedene Clusteranzahlen ( $K$ ), Distanzmetriken (Euklidisch vs. Kosinus) und Satzcodierer hinweg robust.

Bedeutung und Behauptungen

Der Beitrag beansprucht, empirische Unterstützung für die Hypothese „RL drückt zusammen, SFT erweitert" zu liefern und bietet eine mechanistische Erklärung dafür, warum die aktuelle beste Praxis des zweistufigen Trainings (SFT gefolgt von RL) erfolgreich ist.

Interpretation des Trainings: Er postuliert, dass SFT als „Erweiterer" des Schlussfolgerungsraums wirkt (Lernen neuer Strategien), während RL als „Kompressor" wirkt (Optimierung der Verteilung zur Unterdrückung von Fehlern und Fokussierung auf hochwahrscheinliche korrekte Pfade).
Datencuration: Die Erkenntnisse deuten darauf hin, dass die Datenkonstruktion für Schlussfolgerungen Graphmetriken berücksichtigen sollte (z. B. Sicherstellung niedriger Modularität und hoher globaler Effizienz) und nicht nur Genauigkeit.
Zukünftige Richtungen: Die Autoren schlagen vor, dass die Anwendung von RL nur auf funktionale Schritte (Hubs) die Effizienz verbessern könnte und dass die Untersuchung, ob Explorationsboni in RL eine „übermäßige Kompression" verhindern, eine wertvolle Richtung darstellt.

Die Arbeit beansprucht nicht, neue Trainingsalgorithmen zu erfinden, sondern bietet ein diagnostisches Framework, um bestehende zu verstehen, interpretiert, warum aktuelle Nachtrainierungsrezepte funktionieren, und schlägt Richtungen für effizientere Lernansätze und Datencuration vor.