🤖 machine learning

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

Dieses Paper schlägt vor, dass der Erfolg der Kombination von Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) zur Verbesserung des logischen Schlussfolgerns von Sprachmodellen auf kompositorischer Generalisierung beruht, wobei SFT die rohen atomaren Module innerhalb von Spuren bereitstellt und RL diese dekomponiert und rekombiniert, um neuartige Konfigurationen zu lösen – eine Theorie, die durch Experimente validiert wurde, welche zeigen, dass das Training auf zusammengesetzten Spuren im Vergleich zu isolierten Modulen eine überlegene Generalisierung erzielt.

Ursprüngliche Autoren: Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

Veröffentlicht 2026-06-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Wie KI lernt zu „denken“

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein komplexes Puzzle zu lösen. Sie haben zwei Möglichkeiten, ihn zu lehren:

Zeigen und Erzählen (SFT): Sie zeigen dem Roboter eine perfekte, schrittweise Lösung für ein bestimmtes Puzzle.
Versuch und Irrtum (RL): Sie lassen den Roboter versuchen, das Puzzle aus eigener Kraft zu lösen. Wenn er am Ende die richtige Antwort findet, geben Sie ihm einen „Goldstern“ (Belohnung). Wenn er scheitert, bekommt er nichts.

Lange Zeit stellten Forscher fest, dass die Kombination dieser beiden Methoden am besten funktioniert. Der Roboter lernt die einzelnen Schritte durch „Zeigen und Erzählen“, wird aber durch „Versuch und Irrtum“ viel besser darin, neue Puzzles zu lösen, die er zuvor noch nie gesehen hat.

Die Frage: Warum funktioniert diese Kombination so gut? Was passiert eigentlich im Gehirn des Roboters?

Die Kernidee: Die „Lego“-Theorie

Die Autoren dieser Arbeit schlagen einen neuen Weg vor, um diesen Prozess zu verstehen. Sie argumentieren, dass logisches Denken nicht bloß das Auswendiglernen einer langen Geschichte ist, sondern eher wie das Bauen mit Lego-Steinen funktioniert.

Sie unterteilen einen Denkprozess (einen Reasoning Trace) in zwei Arten von wiederverwendbaren Teilen:

Fähigkeiten (Die Steine): Dies sind kleine, lokale Aktionen. Beispiele: „Addiere diese zwei Zahlen“, „Entferne dieses Wort“ oder „Prüfe, ob dies wahr ist“.
Routing (Die Anleitung): Dies sind die Regeln dafür, wie man die Steine verbindet. Beispiele: „Nimm das Ergebnis von Schritt 1 und leite es in Schritt 2 weiter“ oder „Wenn die Zahl groß ist, springe zu Schritt 4“.

Das Problem mit „Zeigen und Erzählen“ (SFT):
Wenn Sie dem Roboter eine perfekte Lösung zeigen, sind die „Steine“ und die „Anleitungen“ in einer bestimmten Reihenfolge fest miteinander verklebt. Der Roboter sieht einen langen, massiven Lego-Block. Er lernt, den ganzen Block zu kopieren, erkennt aber nicht, dass dieser Block aus separaten, wiederverwendbaren Teilen besteht. Wenn Sie ihm ein Puzzle geben, das die Steine in einer anderen Reihenfolge erfordert, bleibt der Roboter stecken, weil er nur gelernt hat, den ursprünglichen Block zu kopieren.

Die Magie von „Versuch und Irrtum“ (RL):
Wenn der Roboter beginnt, Probleme aus eigener Kraft zu lösen und Goldsterne für richtige Antworten erhält, geschieht etwas Erstaunliches. Er beginnt zu realisieren: „Warte mal, ich habe diesen ‚Addieren‘-Stein an drei verschiedenen Stellen benutzt, und es hat jedes Mal funktioniert!“

Der RL-Prozess wirkt wie ein Dekonstrukteur. Er nimmt die fest verklebten Blöcke aus der „Zeigen und Erzählen“-Phase und zerlegt sie wieder in einzelne, wiederverwendbare Steine und Anleitungen. Sobald der Roboter eine Kiste mit losen, wiederverwendbaren Steinen hat, kann er sie auf neue Arten zusammenstecken, um Puzzles zu lösen, die er noch nie zuvor gesehen hat.

Die wichtigsten Erkenntnisse (Das Rezept für den Erfolg)

Die Autoren führten Experimente durch, um diese Theorie zu beweisen. Hier ist das, was sie herausgefunden haben, einfach erklärt:

1. Sie brauchen zuerst das Rohmaterial.
Man kann einem Roboter nicht beibringen, mit Lego zu bauen, wenn man ihm nie gezeigt hat, wie ein Lego-Stein aussieht. Die „Zeigen und Erzählen“-Phase ist entscheidend, da sie die Rohmaterialien (die atomaren Fähigkeiten und Routing-Mechanismen) bereitstellt. Ohままne diese hat der Roboter nichts, was er zerlegen könnte.

2. Dinge zu zerlegen ist besser, als sie nur zu zeigen.
Wenn Sie dem Roboter nur isolierte Steine zeigen (z. B. „Hier ist, wie man Zahlen addiert“), lernt er zwar das Addieren, aber er lernt nicht, wie man das Addieren mit anderen Schritten kombiniert.

Das Ergebnis: Es ist viel effektiver, dem Roboter eine vollständige, komplexe Lösung (einen zusammengesetzten Trace) zu zeigen und den „Versuch und Irrtum“-Prozess die Arbeit machen zu lassen, wie man sie wieder auseinanderbaut. Der Roboter lernt, die Teile neu zu kombinieren, viel schneller und effektiver, als wenn man ihm nur einen Haufen isolierter Steine gegeben hätte.

3. Der „Kleber“ muss an der richtigen Stelle gebrochen werden.
Die Autoren entdeckten ein spezifisches Rezept für die besten Ergebnisse:

Phase 1 (Zeigen und Erzählen): Zeigen Sie dem Roboter viele verschiedene komplexe Lösungen, die jede mögliche Art von Stein und Anleitung abdecken. Stellen Sie sicher, dass er alle Werkzeuge im Werkzeugkasten sieht.
Phase 2 (Versuch und Irrtum): Lassen Sie den Roboter an Puzzles üben, die diese Werkzeuge in neuen, seltsamen Kombinationen mischen, die er zuvor noch nicht gesehen hat.
Warum? Wenn Sie den Roboter an denselben Kombinationen üben lassen, die er in Phase 1 gesehen hat, lernt er sie nur auswendig. Aber wenn Sie ihn an neuen Kombinationen üben lassen, ist er gezwungen, herauszufinden, wie er die losen Steine spontan zusammensteckt. Genau hier findet die „Generalisierung“ (die Fähigkeit, neue Dinge zu lösen) statt.

Eine einfache Analie: Der Koch

Stellen Sie sich vor, Sie trainieren einen Koch.

SFT (Zeigen und Erzählen): Sie zeigen dem Koch das Rezept für „Spaghetti Carbonara“. Sie zeigen ihm genau, wie man die Eier aufschlägt, die Pasta kocht und die Sauce mischt. Der Koch lernt, dieses eine Gericht perfekt zu kopieren.
RL (Versuch und Irrtum): Nun sagen Sie dem Koch: „Bereite mir ein leckeres Abendessen zu“, aber Sie geben ihm kein Rezept. Sie lassen ihn es versuchen. Wenn er ein tolles Essen zubereitet, sagen Sie: „Gut gemacht!“

Die Einsicht des Papers:
Wenn Sie dem Koch nur das Carbonara-Rezept zeigen, glaubt er vielleicht, dass „Eier aufschlagen“ und „Pasta kochen“ eine einzige, unzertrennliche Aktion namens „Spaghetti Carbonara machen“ ist.
Aber wenn Sie ihn experimentieren lassen (RL), erkennt er: „Oh! Ich kann Eier auch für ein Omelett aufschlagen oder Pasta für einen Salat kochen.“ Er erkennt, dass die Fähigkeiten (Aufschlagen, Kochen) von der Anleitung (was als Nächstes mit der Pasta zu tun ist) getrennt sind.

Sobald er das versteht, kann er ein völlig neues Gericht erfinden (wie ein „Pasta-Omelett“), das er noch nie gesehen hat, weil er gelernt hat, die Zutaten als separate, wiederverwendbare Werkzeuge und nicht als ein einziges, festes Skript zu behandeln.

Zusammenfassung

Logisches Denken ist modular: Es besteht aus kleinen Fähigkeiten und Regeln für deren Verbindung.
SFT liefert die Teile: Es gibt dem Modell die Rohmaterialien (die Fähigkeiten).
RL übernimmt die Montage: Es zwingt das Modell, die Materialien zu zerlegen und zu lernen, wie man sie auf neue Arten zusammensteckt.
Die beste Strategie: Zeigen Sie dem Modell zuerst eine große Vielfalt an komplexen Beispielen (um alle Teile zu erhalten) und lassen Sie es dann an neuen Kombinationen dieser Teile üben (um das Bauen zu lernen).

Dieses Paper erklärt, warum die aktuelle Methode aus „Zeigen und Erzählen, dann Versuch und Irrtum“ so mächtig ist: Sie verwandelt eine starre Auswendiglern-Maschine in einen flexiblen Baumeister.

Technisches Resümee: Von Reasoning-Traces zu wiederverwendbaren Modulen

Problemstellung

Post-Training-Pipelines, die Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) kombinieren, haben jüngst signifikante Verbesserungen in den Reasoning-Fähigkeiten von Large Language Models (LLMs) vorangetrieben. Empirisch führt SFT allein oft zu Modellen, die kanonische „goldene“ Reasoning-Traces auswendig lernen, aber scheitern, wenn sie gefordert sind, vertraute Schritte auf unvertraute Weise zu rekombinieren (Out-of-Distribution oder OOD-Kompositionen). Umgekehrt bewältigt SFT gefolgt von RL solche OOD-Kompositionen zuverlässiger. Der zugrunde liegende Mechanismus, der diesen kombinierten Erfolg antreibt, bleibt jedoch unklar: Speziell, welche unterschiedlichen Beiträge leisten SFT und RL, und welche Datenkonfigurationen sind für die jeweilige Phase optimal?

Methodik

Theoretischer Rahmen: Hierarchisches latentes Selektionsmodell

Die Autoren formalisieren das Reasoning als ein hierarchisches latentes Selektionsmodell. In diesem Rahmen:

Problem-Deskriptor ( $P$ ): Der Input-Prompt induziert eine Hierarchie von diskreten latenten Selektionsvariablen.
Latente Variablen ( $S$ ): Diese Variablen wählen aus einer Bibliothek von wiederverwendbaren atomaren Modulen:
- Skills: Lokale Operationen (z. B. arithmetische Schritte, Rewrite-Regeln).
- Routing-Mechanismen: Entscheidungen darüber, wie intermediäre Informationen ausgewählt, wiederverwendet und kombiniert werden (z. B. Weiterleitung vorheriger Outputs, Verzweigungen).
Observabler Trace ( $D$ ): Der finale Reasoning-Trace wird durch die Kaskade dieser Selektionen generiert.

Die Kernhypothese ist, dass Reasoning-Traces durch die Komposition dieser atomaren Module generiert werden. SFT liefert das Rohmaterial (Traces, die diese Module enthalten), während RL dafür verantwortlich ist, diese zusammengesetzten Traces zu dekomponieren, um die latenten Module zu identifizieren und deren flexible Rekombination zu ermöglichen.

Theoretische Beiträge

Das Paper etabliert zwei zentrale theoretische Ergebnisse:

Identifizierbarkeit (Theorem 3.1): Unter milden Bedingungen (Faithfulness, Rank-Faithfulness, eingeschränkte Wahlmenge, Neighborhood-Coverage) ist die hierarchische latente Selektion (Skills und Routing) aus der beobachtbaren Verteilung der Traces identifizierbar.
Kompositionale Generalisierung (Theorem 3.4): Sobald Module identifiziert sind, können sie auf neuartigen Kompositionen rekombiniert werden, sofern jede lokale Konfiguration im neuen Prompt über einen „lokalen Zeugen“ (local witness) in den Trainingsdaten verfügt (d. h. die Schnittstelle zwischen den Modulen wurde während des Trainings beobachtet).

Die Autoren charakterisieren zudem die Rollen von SFT und RL durch eine Support-Analyse:

SFT-Limitierungen (Proposition -3.2): SFT auf kanonischen Traces führt oft dazu, dass atomare Module mit ihren spezifischen Kontexten „verzahnt“ (entangled) bleiben, da es nur eine Teilmenge valider Traces offenbart. Kritische lokale Ereignisse, die Module entwirren würden, könnten außerhalb des SFT-Supports liegen.
RL-Mechanismus (Proposition 3.3): RL bereichert die Verteilung durch das Re-Sampling von Rollouts basierend auf Belohnung. Wenn ein „verborgenes“ lokales Ereignis (z. B. eine spezifische Routing-Entscheidung) zu höheren Belohnungen führt, erhöht RL dessen Wahrscheinlichkeit, was den verzahnten Trace effektiv dekomponiert und das atomare Modul identifizierbar macht.

Empirischer Aufbau

Zur Validierung dieser Theorien führten die Autoren kontrollierte Experimente an synthetischen String-Transformationsaufgaben (basierend auf Yuan et al., 2025) durch.

Atomare Skills: 24 deterministische String-Transformationsfunktionen.
Routing-Mechanismen: 10 distinkte Input-Struktur-Definitionen (die bestimmen, welche intermediären Outputs in den nächsten Schritt einfließen).
Protokoll: Die Modelle wurden auf Traces variierender Tiefe ( $L$ $L$ ) trainiert. Die Studie intervenierte systematisch in die Datenstruktur, um zu testen:
- Dekomposition von zusammengesetzten Traces in Atome.
- Die Notwendigkeit von kompositionaler Exposition gegenüber isolierter atomarer Exposition.
- Die optimale distributional Beziehung zwischen SFT- und RL-Daten (Überlappung vs. Disjunktheit).
Ergänzende Evidenz: Analyse von Open-Source-Modellen (Qwen3-4B) auf realen Mathematik-Benchmarks (MATH, AIME), um Skill-Tokenisierung und n-Gramm-Diversität zu beobachten.

Kernergebnisse

RL dekomponiert und rekombiniert: Modelle, die mit RL auf zusammengesetzten Traces ( $L=3$ ) trainiert wurden, schnitten bei ungesehenen Kompositionen ( $L=4$ bis $L=8$ ) signifikant besser ab als SFT-only-Modelle. RL ermöglichte es dem Modell, atomare Skills und Routing-Mechanismen aus zusammengesetzten Traces zu extrahieren und sie zur Generalisierung zu rekombinieren.
Zusammengesetzte Traces sind überlegen für RL: Wenn RL auf isolierten atomaren Modulen ( $L=1$ ) statt auf zusammengesetzten Traces ( $L=3$ ) trainiert wurde, lieferte letzteres eine signifikant höhere OOD-Genauigkeit (+37,8 % Gewinn gegenüber +10,0 % Gewinn). Dies bestätigt, dass die Exposition gegenüber Modul-Schnittstellen (Kompositionen) entscheidend ist, um deren Rekombination zu erlernen.
Re-Injektion erfordert Komposition: Wenn spezifische atomare Skills oder Router dem RL-Training vorenthalten wurden, sank die Performance. Die bloße Re-Injektion isolierter atomarer Skills ( $L=1$ ) stellte die Performance nicht wieder her. Die Leistung wurde erst wiederhergestellt, wenn zusammengesetzte Traces, die die zurückgehaltenen Atome enthielten, re-injiziert wurden, was beweist, dass Atome innerhalb eines kompositorischen Kontextes gelernt werden müssen, um wiederverwendbar zu sein.
Optimales SFT-RL-Datenpaarung: Die stärkste OOD-Generalisierung trat auf, wenn die SFT- und RL-Datenverteilungen disjunkt waren ( $C_{SFT} \cap C_{RL} = \emptyset$ $C_{S F T} \cap C_{R L} = \emptyset$ ).
- Rolle von SFT: Sollte das volle Inventar der atomaren Module durch kompositorische Traces abdecken.
- Rolle von RL: Sollte sich auf neuartige Kompositionen außerhalb des SFT-Supports konzentrieren, um Exploration voranzutreiben und neue Schnittstellen zu identifizieren.
- Überlappende Daten ( $C_{SFT} \supset C_{RL}$ ) führten zur schwächsten Generalisierung.
Evidenz aus Real-Modellen: Die Analyse von Qwen3-Modellen zeigte, dass RL-getunte Modelle eine höhere Diversität in kurzen Skill-n-Grammen (n=2, 3) aufweisen, was auf eine flexiblere lokale Rekombination abstrahierter Schritte hindeutet – konsistent mit dem theoretischen Modell der modularen Wiederverwendung.

Bedeutung und Ansprüche

Das Paper beansprucht, eine Latent-Variable-Erklärung für den Erfolg von SFT+RL-Pipelines im kompositorischen Reasoning geliefert zu haben. Seine primäre Bedeutung liegt in:

Formalisierung des Mechanismus: Der Übergang von empirischer Beobachtung zu einem theoretischen Rahmen, in dem SFT „Materialien“ (verzahnte Traces) liefert und RL die „Dekomposition“ (Identifikation latenter Module durch belohnungsgesteuerte Support-Erweiterung) vollzieht.
Curriculum-Design: Angebot eines konkreten Protokolls für das Post-Training: SFT sollte die Abdeckung aller atomaren Module via Kompositionen sicherstellen, während RL auf neuartige Kompositionen abzielen sollte, um neue Schnittstellen zu explorieren.
Identifizierbarkeits-Bedingungen: Bereitstellung hinreichender Bedingungen, unter denen latente Reasoning-Strukturen aus beobachteten Daten rekonstruiert werden können, wodurch der Erfolg von RL mit der Anreicherung der für die kompositorische Generalisierung erforderlichen „lokalen Zeugen“ verknüpft wird.

Die Autoren positionieren diese Arbeit als einen Schritt zum Verständnis dessen, wie LLMs lernen, kompositorisch zu reasonen, und legen nahe, dass die „Black Box“ von RL effektiv ein Mechanismus zur Entdeckung und Rekombination wiederverwendbarer atomarer Reasoning-Einheiten ist.