🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Diese Arbeit zeigt auf, dass Basismodelle bereits über die zugrunde liegenden Mechanismen für das Schlussfolgern verfügen, während „Thinking“-Modelle, die mittels Reinforcement Learning trainiert wurden, primlich die Heuristiken erlernen, um diese bereits vorhandenen Fähigkeiten zu orchestrieren, wohingegen jene, die mittels SFT-Distillation trainiert wurden, gänzlich neue Schlussfolgerungsmechanismen erwerben.

Ursprüngliche Autoren: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Schüler (das Base Model), der viele Fakten kennt und grundlegende Mathematik beherrscht. Dann trainieren Sie diesen Schüler, um ein „Thinking Model“ zu werden (wie die neuen KI-Modelle, die sich zusätzliche Zeit nehmen, um schwierige Probleme zu lösen).

Das große Rätsel, das diese Arbeit lösen will, lautet: Was genau hat der Schüler während dieses Trainings gelernt?

Hat er neue Denkweisen gelernt, die er vorher noch nicht hatte?
Oder hat er nur gelernt, wann er die klugen Denkfähigkeiten, die er bereits besitzt, einsetzen muss?

Die Detektivarbeit: „Constructive Model Diffing“

Um dies zu beantworten, bauten die Forscher ein spezielles „Detektiv-Werkzeug“ namens Constructive Model Diffing. Stellen Sie es sich wie das Auseinandernehmen einer komplexen Maschine vor, um zu sehen, wie sie funktioniert, und den anschließenden Versuch, sie unter Verwendung von nur zwei spezifischen Teilen wieder aufzubauen:

Das „Wie“ (Reasoning Mechanisms/Denkmechanismen): Dies sind die eigentlichen Fähigkeiten, wie zum Beispiel „schriftliches Dividieren“, „die eigene Arbeit überprüfen“ oder „beim Entstehen eines Fehlers zurückgehen (Backtracking)“. Die Forscher fanden diese heraus, indem sie das Gehirn des Base Models untersuchten und spezifische „Schalter“ (Vektoren) identifizierten, die das Modell dazu bringen können, diese Dinge zu tun.
Das „Wann“ (Reasoning Heuristics/Heuristiken): Dies ist der Entscheidungsteil. Es ist ein kleiner interner Manager, der sagt: „Okay, das Problem ist schwer, jetzt ist der Zeitpunkt gekommen, die eigene Arbeit zu überprüfen“ oder „Wir stecken fest, jetzt ist der Zeitpunkt gekommen, zurückzugehen“.

Die Forscher versuchten, das „Thinking Model“ neu aufzubauen, indem sie das Base Model (das die Fähigkeiten besitzt) nahmen und ihm den Manager des Thinking Models (der weiß, wann die Fähigkeiten einzusetzen sind) gaben.

Die zwei Arten des Trainings

Die Arbeit untersuchte zwei verschiedene Wege, wie diese Thinking Models trainiert wurden:

1. Die „Reinforcement Learning“ (RL)-Gruppe

Diese Modelle wurden trainiert, indem sie ein Spiel spielten, bei dem sie Punkte für die richtige Antwort erhielten und Abzüge für falsche Antworten. Sie mussten die Strategie selbst herausfinden.

Das Ergebnis: Als die Forscher diese Modelle mit dem Rezept „Base Model + Manager“ wieder aufbauten, funktionierte es erstaunlich gut. Sie konnten etwa 76 % der Leistungsdifferenz rekonstruieren.
Die Analogie: Stellen Sie sich einen talentierten Pianisten vor, der bereits jede Note perfekt spielen kann. Das RL-Training war wie das Einstellen eines Dirigenten, der ihm beigebracht hat, wann er schnell spielen soll, wann er langsamer wird und wann er eine Pause für den Effekt einlegt. Der Pianist musste keine neuen Noten lernen; er musste nur das Timing lernen.
Fazit: RL lehrt das Modell, wie man die vorhandenen Denkfähigkeiten orchestriert.

2. Die „SFT-Distillation“-Gruppe

Diese Modelle wurden trainiert, indem sie ein „Lehrer-Modell“ kopierten. Ihnen wurden Beispiele gezeigt, wie eine kluge KI ein Problem löst, und sie sollten dieses Verhalten nachahmen.

Das Ergebnis: Als die Forscher versuchten, diese Modelle mit demselben „Base Model + Manager“-Rezept wieder aufzubauen, scheiterte es. Sie konnten nur etwa 11 % der Leistungsdifferenz rekonstruieren.
Die Analogie: Stellen Sie sich einen Schüler vor, der lernt, die Handschrift eines Lehrers zu kopieren. Aber der Lehrer benutzt einen Stift, den der Schüler noch nie gehalten hat. Der Schüler lernt, die Form der Buchstaben zu kopieren, aber er hat nicht gelernt, wie man den Stift hält oder die nötige Muskelbewegung ausführt, um zu schreiben. Der „Manager“ (das Timing) ist zwar da, aber das „Base Model“ (die Hand des Schülers) weiß eigentlich nicht, wie es die spezifischen Bewegungen ausführen soll.
Fazit: SFT-Distillation zwingt das Modell dazu, neue Denkmechanismen zu lernen (neue Wege zu denken), die das Base Model zuvor nicht hatte. Man kann dem Base Model nicht einfach nur sagen, wann es sie anwenden soll; man muss es zuerst lehren, wie es sie anwendet.

Der „Aha!“-Moment

Die Arbeit fand einen frappierenden Unterschied:

RL-Modelle sind wie ein Chefkoch, der bereits weiß, wie man schneidet, anbrät und backt. Das Training hat ihm nur beigebracht, wann er welche Technik anwendet, um ein perfektes Gericht zuzubereiten.
Distilled-Modelle sind wie ein Koch, dem in einem Video gezeigt wurde, wie ein Meisterkoch ein Gericht mit einem Geheimgewürz zubereitet, das der Koch noch nicht kannte. Der Schüler lernte die Handlungen beim Gebrauch des Gewürzes zu kopieren, aber er musste seinen Kochstil grundlegend ändern, um dieses neue Gewürz einzubeziehen.

Warum ist das wichtig?

Die Arbeit kommt zu dem Schluss, dass Reinforcement Learning (RL) ein sehr effizienter Weg ist, um das Denken aus einem Modell zu extrahieren, weil es das freisetzt, was bereits vorhanden ist. Es lehrt das Modell, ein besserer Dirigent seines eigenen Orchesters zu sein.

Im Gegensatz dazu versucht Distillation (das Kopieren eines Lehrers), dem Modell völlig neue Fähigkeiten beizubringen. Wenn der Lehrer einen Denkstil verwendet, den das Base Model nicht natürlich besitzt, hat das Base Model Schwierigkeiten, dies allein durch Beobachtung zu lernen, was zu einer viel geringeren Erfolgsquote führt, wenn man versucht, es wieder auf seinen ursprünglichen Zustand zu „steuern“.

Zusammenfassung in einem Satz

Base Models wissen bereits, wie man denkt; Reinforcement Learning lehrt sie, wann sie diese Fähigkeiten einsetzen, während Distillation versucht, ihnen neue Fähigkeiten beizubringen, von denen das Base Model gar nicht wusste, dass es sie besitzen könnte.

Technisches Resümee: Basismodelle wissen wie man schlussfolgert, Denkmodelle lernen wann

Problemstellung

Große Sprachmodelle (LLMs) haben signifikante Verbesserungen ihrer Schlussfolgerungsfähigkeiten (Reasoning) gezeigt, wenn sie darauf trainiert werden, vor der Antwort zu „denken“ (z. B. via Chain-of-Thought). Eine grundlegende Frage bleibt jedoch bestehen: Was genau lernen diese „Denkmodelle“, was ihren Basismodellen fehlt? Vorangegangene Hypothesen legen nahe, dass sie entweder völlig neue Fähigkeiten erwerben, lernen, Schlussfolgerungen effektiver zu strukturieren, bestehende Repräsentationen umzuwidmen oder schlicht von erhöhter Inferenzzeit-Rechenleistung profitieren. Diese Arbeit zielt darauf ab, die Natur der Wissenslücke zwischen Basismodellen und ihren durch „Denken“ feinabgestimmten Versionen empirisch zu bestimmen, wobei insbesondere Modelle verglichen werden, die mittels Reinforcement Learning (RL) im Vergleich zu Modellen, die mittels Supervised Fine-Tuning (SFT) Destillation trainiert wurden.

Methodik

Die Autoren führen eine zweiteilige Methodik ein, um die Unterschiede zwischen Basis- und Denkmodellen zu analysieren und zu rekonstruieren:

1. Unüberwachte Entdeckung von Reasoning-Taxonomien

Um eine subjektive manuelle Inspektion zu vermeiden, setzen die Autoren Sparse Autoencoder (SAEs) ein, die auf Satzebenen-Aktivierungen trainiert wurden, welche aus Reasoning-Traces extrahiert wurden.

Architektur: Sie verwenden Top-K SAEs mit einer bewusst kleinen Wörterbuchgröße (5–50 Kategorien) und geringer Sparsität ( $k=3$ ), um das Modell dazu zu zwingen, fundamentale Achsen der Reasoning-Variation zu lernen, anstatt nebensächlicher linguistischer Details.
Training: Die SAEs werden auf gemittelten Aktivierungen auf Satzebene aus Reasoning-Rollouts trainiert, die von Denkmodellen auf MMLU-Pro-Prompts generiert wurden.
Interpretation: Eine LLM-basierte Interpretierbarkeits-Pipeline generiert menschenlesbare Titel und Beschreibungen für jeden Cluster (Reasoning-Mechanismus) basierend auf den am stärksten aktivierenden Exemplar-Sätzen.
Evaluierung: Taxonomien werden hinsichtlich Konsistenz (F1-Score der Klassifizierung), Vollständigkeit (Konfidenz der Zuweisung) und Unabhängigkeit (semantische Orthogonalität zwischen Kategorien) bewertet.

2. Konstruktives Modell-Differenzieren (Model Diffing)

Der Kernbeitrag ist ein Framework, um die Leistungsdifferenz zwischen einem Basismodell und einem Denkmodell explizit unter Verwendung zweier interpretierbarer Komponenten zu rekonstruieren:

Reasoning-Mechanismen (Das „Was“): Kategorie-Vektoren (Steuerungsvektoren), die innerhalb des Basismodells optimiert wurden, um spezifische Reasoning-Verhaltensweisen zu induzieren, die durch die SAE-Taxonomie identifiziert wurden. Diese repräsentieren die kognitiven Operationen (z. B. Backtracking, Arithmetik).
Reasoning-Heuristiken (Das „Wann“): Ein Klassifikator, der aus dem Denkmodell extrahiert wurde und bestimmt, wann ein spezifischer Mechanismus aktiviert werden soll. Dieser wird aus den SAE-Aktivierungen und den Diskrepanzpunkten zwischen den Token-Vorhersagen des Basis- und des Denkmodells abgeleitet.

Das Hybrid-Modell: Die Autoren konstruieren ein „Hybrid-Modell“, das die Generierungsfähigkeiten des Basismodells mit den Heuristiken des Denkmodells und den optimierten Kategorie-Vektoren des Basismodells kombiniert. Wenn dieses Hybrid-Modell die Leistung des Denkmodells wiederherstellt, impliziert dies, dass das Denkmodell primär Heuristiken zur Orchestrierung bereits vorhandener Basis-Fähigkeiten gelernt hat. Wenn es die Leistung nicht wiederherstellen kann, deutet dies darauf hin, dass das Denkmodell neue Mechanismen gelernt hat, die im Basismodell nicht vorhanden sind.

Kernbeiträge

Unüberwachte Reasoning-Taxonomie: Eine Methode zur Entdeckung interpretierbarer, menschenverständlicher Reasoning-Mechanismen (z. B. „Backtracking“, „Arithmetische Berechnung“, „Metakognitive Selbst-Prompts“) ohne manuelle Kennzeichnung, validiert über neun verschiedene Modellkonfigurationen hinweg.
Konstruktives Modell-Differenzierungs-Framework: Ein neuartiger Ansatz, um den Unterschied zwischen Basis- und Fine-Tuning durch Dekomposition in „Mechanismen“ (Vektoren) und „Heuristiken“ (Timing-Klassifikatoren) zu zerlegen, was eine kausale Rekonstruktion des Verhaltens des feinabgestimmten Modells ermöglicht.
Empirische Unterscheidung zwischen Trainingsparadigmen: Die Anwendung dieses Frameworks offenbart eine fundamentale Divergenz darin, was RL-trainierte und SFT-destillierte Modelle lernen.

Ergebnisse

Die Studie evaluierte neun Basis-/Denkmodell-Paare (vier RL-trainiert, vier SFT-destilliert, eines gemischt) über GSM8K, MATH500 und einen Hold-out-Datensatz (Hendrycks-MATH).

RL-trainierte Modelle (Open-Reasoner-Zero): Die konstruierten Hybrid-Modelle aus RL-trainierten Paaren stellten im Durchschnitt etwa 76 % der Leistungsdifferenz zwischen Basis- und Denkmodell wieder her. In einigen Fällen (z. B. ORZ-0.5B) überstieg die Wiederherstellung 100 % der Differenz.
SFT-destillierte Modelle (DeepSeek-R1-Distill): Die Hybrid-Modelle stellten signifikant weniger wieder, im Durchschnitt nur 11 % der Differenz. Die Wiederherstellung lag bei kleineren Modellen nahe Null und verbesserte sich bei größeren Modellen (14B/32B) auf etwa 15–30 %, blieb aber weit unter der RL-Leistung zurück.
Gemischte Modelle (QwQ-32B): Modelle, die mit SFT gefolgt von RL trainiert wurden, stellten etwa 20 % der Differenz wieder her und verhielten sich eher ähnlich wie die reinen SFT-destillierten Modelle.
Konvergenz der Kategorie-Vektoren: Kategorie-Vektoren, die auf RL-Paaren trainiert wurden, konvergierten zu einem signifikant niedrigeren Cross-Entropy-Loss als solche, die auf SFT-Paaren trainiert wurden. Dies deutet darauf hin, dass RL-Modelle Reasoning-Verhaltensweisen nutzen, die bereits existieren (oder im Aktivationsraum des Basismodells leicht zugänglich sind).
Steuerungs-Sparsität: Die erfolgreichen RL-Hybride erforderten die Steuerung von nur 5–12 % der Tokens, während SFT-Hybride oft höhere Interventionsraten benötigten, aber dennoch die Leistung nicht wiederherstellen konnten.

Bedeutung und Behauptungen

Das Paper behauptet, dass der Unterschied in der Leistungsrekonstruktion aus der Natur des Trainingsparadigmas resultiert:

RL lehrt Heuristiken: Reinforcement Learning lehrt das Modell primtär, wann es Reasoning-Mechanismen einsetzt, die das Basismodell bereits besitzt. Das Basismodell „weiß, wie man schlussfolgert“, und RL optimiert die Orchestrierung dieser bereits vorhandenen Fähigkeiten. Dies ist der Grund, warum der konstruktive Differenz-Ansatz (Basis-Mechanismen + Denk-Heuristiken) das Verhalten des RL-Modells erfolgreich rekonstruiert.
SFT destilliert neue Mechanismen: Supervised Fine-Tuning (Destillation) zwingt das Student-Modell oft dazu, Reasoning-Verhaltensweisen oder -Mechanismen zu übernehmen, die das Basismodell nicht natürlich besitzt oder nicht leicht zugänglich sind. Folglich reicht es nicht aus, das Basismodell lediglich mit den Heuristiken des Denkmodells zu steuern, um die Leistung des SFT-Modells zu replizieren, da die zugrunde liegenden „Mechanismen“ (Vektoren) fundamental anders oder gar nicht vorhanden sind.
Skalierungsabhängigkeit: Das Paper stellt fest, dass größere Basismodelle (z. B. 32B) einen größeren Teil der SFT-Differenz wiederherstellen als kleinere, was darauf hindeutet, dass größere Modelle inhärent ein breiteres Repertoire an latenten Reasoning-Mechanismen enthalten, die durch SFT aktiviert werden können, während kleinere Modelle diese Mechanismen gänzlich vermissen lassen.

Limitierungen: Die Autoren räumen ein, dass ihre Taxonomien aufgrund der Trainingsdaten (MMLU-Pro) derzeit auf mathematisches Reasoning ausgerichtet sind und dass die geringere Wiederherstellung bei SFT-Modellen potenziell die Limitationen ihrer Kategorie-Vektor-Optimierung widerspiegeln könnte, statt eines tatsächlichen Mangels an Mechanismen im Basismodell.

Fazit: Das Paper bietet eine neue Perspektive auf Trainingsparadigmen und legt nahe, dass die Entwicklung effizienter Reasoning-Modelle eher von RL-basierten Ansätzen profitieren kann, die latente Basis-Fähigkeiten orchestrieren, als von SFT-Ansätzen, die versuchen, gänzlich neue Reasoning-Muster zu installieren.