🤖 AI

Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training

Dieser Beitrag stellt eine Taxonomie komprimierter Chain-of-Thought-Reasoning-Ansätze (explizit, zusammengesetzt und implizit) vor und zeigt durch kontrollierte Experimente, dass zwar grobmaschiges Reasoning mehr Daten erfordert und charakteristische Skalierungs- sowie Memorierungsverhalten aufweist, nachfolgendes Reinforcement Learning mit verifizierbaren Belohnungen jedoch effektiv die während des supervised fine-tuning gelernten komprimierten Schritte zerlegen kann.

Ursprüngliche Autoren: Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber extrem wörtlich denkenden Roboter darin, ein komplexes mathematisches Rätsel zu lösen. Das Rätsel besteht aus einer langen Kette von Schritten: „Nehmen Sie diese Zahl, multiplizieren Sie sie, addieren Sie jenes, dividieren Sie durch dies..."

Um den Roboter zu unterrichten, können Sie ihm die Lösung auf drei verschiedene Arten zeigen. Dieser Artikel untersucht, welche Methode am besten funktioniert, wie viel Daten Sie benötigen und was passiert, wenn Sie versuchen, den Roboter zum „schnelleren Denken" zu bringen, indem Sie Schritte überspringen.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die drei Lehrmethoden (Die Taxonomie)

Die Forscher kategorisierten, wie sie dem Roboter die Lösung zeigten:

Explizites CoT (Die langsame und stetige Tour): Sie zeigen dem Roboter jeden einzelnen Schritt. „Multipliziere mit 2. Addiere nun 5. Teile nun durch 3." Es ist lang, aber der Roboter sieht genau, wie die Antwort aufgebaut wurde.
Zusammengesetztes CoT (Die gruppierten Schritte): Sie bündeln zwei Schritte zusammen. Anstatt zu zeigen „Multipliziere mit 2" und dann „Addiere 5", sagen Sie: „Multipliziere mit 2 und addiere 5." Der Roboter sieht die Operationen, aber die Zwischenzahlen sind verborgen.
Implizites CoT (Der Zaubertrick): Sie überspringen die Mitte vollständig. Sie zeigen nur die Startzahl und das Endergebnis eines Blocks, ohne zu zeigen, wie Sie dorthin gelangt sind. Es ist, als würden Sie sagen: „Beginnen Sie mit 3, enden Sie mit 15", und der Roboter muss die Mathematik dazwischen erraten.

2. Die Kosten der „Komprimierung" (Mehr Daten erforderlich)

Der Artikel fand einen Kompromiss: Je mehr Sie die Anweisungen komprimieren, desto mehr Beispiele benötigen Sie, um den Roboter zu unterrichten.

Analogie: Stellen Sie sich vor, Sie unterrichten jemanden darin, einen Kuchen zu backen.
- Wenn Sie ihm ein Rezept mit jedem einzelnen Schritt geben (Explizit), lernt er es vielleicht, nachdem er es 10 Mal gesehen hat.
- Wenn Sie ihm ein „komprimiertes" Rezept geben, das sagt „Trockene und feuchte Zutaten mischen", ohne den Mischprozess zu zeigen (Zusammengesetzt/Implizit), wird er verwirrt. Um dies zu lernen, müssen Sie ihm dieses komprimierte Rezept hunderte Male zeigen (mehr Daten), bevor er endlich das Muster versteht.
Erkenntnis: Gröbere, komprimierte Schlussfolgerungen erfordern signifikant mehr Trainingsdaten, um das gleiche Fähigkeitsniveau zu erreichen.

3. Wiederholung vs. Vielfalt (Der „Drill"-Effekt)

Sobald Sie sich entschieden haben, komprimierte Daten zu verwenden, wie sollten Sie sie präsentieren? Sollten Sie dem Roboter dieselben 10 Probleme immer und immer wieder zeigen (Wiederholung) oder 10.000 verschiedene Probleme (Skalierung)?

Zusammengesetztes CoT (Die gruppierten Schritte): Diese Art liebt Wiederholung. Wenn Sie dem Roboter dieselben gruppierten Schritte immer wieder zeigen, wird er bei diesem spezifischen Muster wirklich gut. Es ist wie das Einüben einer bestimmten Bewegung im Sport; Wiederholung macht es zur Muskelgedächtnis.
Implizites CoT (Der Zaubertrick): Diese Art hasst Wiederholung. Wenn Sie dem Roboter denselben „Zaubertrick" immer wieder zeigen, merkt er sich einfach die Antwort für diesen spezifischen Trick. Er scheitert, wenn Sie ihm ein neues Rätsel geben. Er benötigt Vielfalt (unterschiedliche Daten), um die zugrunde liegende Logik tatsächlich zu lernen; andernfalls betrügt er einfach durch Auswendiglernen.

4. Die Phase des „Verlernens" (SFT vs. RL)

Dies ist der überraschendste Teil. Die Forscher unterrichteten den Roboter zunächst mit komprimierten Daten (SFT) und ließen ihn dann mit Belohnungen allein üben (RL).

Das Problem: Wenn er mit komprimierten Daten unterrichtet wird, gerät der Roboter in eine Sackgasse. Wenn Sie ihn bitten, ein Rätsel zu lösen, das einen „halben Schritt" erfordert (einen Schritt, der nicht in die komprimierten Gruppen passt), scheitert er vollständig. Es ist wie ein Roboter, der nur im Schrittpaar gehen gelernt hat; wenn Sie ihn bitten, einen einzelnen Schritt zu machen, fällt er um.
Die Lösung: Als sie zu Reinforcement Learning (RL) wechselten, begann der Roboter wieder zu „denken". Er erkannte: „Warte, ich kann diesen großen Block wieder in kleine Stücke zerlegen!"
Analogie: Stellen Sie sich einen Schüler vor, der eine mathematische Formel als einen einzigen Block auswendig gelernt hat. Er kann ein Problem nicht lösen, das eine Aufspaltung der Formel erfordert. Aber wenn Sie ihn lassen, Probleme allein zu lösen (RL), erkennt er schließlich: „Ah! Ich kann diesen großen Block wieder in die kleinen Schritte zerlegen, die ich früher gelernt habe." Die RL-Phase dekomprimiert das komprimierte Wissen.

5. Die Reihenfolge ist wichtig (Einbahnstraßen)

Schließlich untersuchten sie die Richtung des Denkens.

Vorwärts/Rückwärts (Einbahnstraße): Vom Anfang bis zum Ende oder vom Ende zum Anfang zu denken, funktioniert hervorragend. Der Roboter generalisiert gut auf längere, schwierigere Rätsel.
Hierarchisch (Der Baum): Hier lösen Sie kleine Blöcke und kombinieren sie dann (wie beim Aufbau eines Baums). Der Artikel fand heraus, dass dies scheitert, wenn die Rätsel länger werden. Der Roboter verirrt sich beim Versuch, zu viele Zwischen-„Äste" gleichzeitig im Kopf zu behalten.
Fazit: Für lange Schlussfolgerungsketten ist eine gerade Linie (eine Richtung) viel besser als eine verzweigte Baumstruktur.

Zusammenfassung

Um eine intelligente KI effizient zu machen (kürzeres Denken), ohne ihre Intelligenz zu verlieren:

Komprimieren Sie nicht zu stark, es sei denn, Sie haben eine massive Menge an Daten.
Wenn Sie doch komprimieren, verwenden Sie zusammengesetzte Schritte (Zeigen der Operationen) und wiederholen Sie sie oft. Vermeiden Sie implizite Schritte (Verbergen der Operationen), es sei denn, Sie haben riesige, vielfältige Daten.
SFT (Supervised Fine-Tuning) lehrt dem Roboter die komprimierten Abkürzungen, aber RL (Reinforcement Learning) ist notwendig, um dem Roboter beizubringen, wie er diese Abkürzungen wieder aufbrechen kann, wenn das Problem seltsam oder länger wird.
Halten Sie den Denkprozess für die besten Ergebnisse in einer geraden Linie, nicht in einem komplexen Baum.

Technische Zusammenfassung: Das Gedanken-Zippen: Wann und wie komprimierte Reasoning-Daten beim Post-Training von LLMs funktionieren

1. Problemstellung

Large Language Models (LLMs) haben die Fähigkeit bewiesen, komplexe Probleme durch lange Chain-of-Thought (CoT)-Reasoning-Prozesse zu lösen. Der Trade-off zwischen Reasoning-Leistung und Token-Kosten bleibt jedoch eine zentrale Herausforderung für den Einsatz von LLM-Agenten. Um Token-Kosten zu senken, wenden Praktiker häufig Supervised Fine-Tuning (SFT) auf „komprimierte" Reasoning-Daten an, bei denen CoT-Spuren durch Aggregation oder Weglassen von Zwischenschritten verkürzt werden.

Trotz der Verbreitung dieser Praxis identifiziert die Arbeit eine kritische Wissenslücke:

Mechanismus der Kompression: Es ist unklar, wie verschiedene strukturelle Formen der CoT-Kompression (z. B. Aggregation von Operationen versus deren Weglassen) die Lern-Dynamik beeinflussen.
Datenanforderungen: Der Zusammenhang zwischen Kompressions-Granularität, Datenvolumen und den für SFT erforderlichen Trainingsschritten ist schlecht verstanden.
Zerlegungsfähigkeit: Es bleibt unbekannt, ob Modelle, die auf komprimierten Daten trainiert wurden, diese aggregierten Schritte zerlegen können, um Aufgaben zu lösen, die feingranulareres Reasoning erfordern, und ob anschließendes Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) diese Zerlegung fördern kann.

2. Methodik

2.1 Taxonomie der CoT-Kompression

Die Autoren schlagen eine formale Taxonomie vor, um CoT-Reasoning-Spuren danach zu kategorisieren, wie atomare Operationen ( $f_i$ ) und Werte ( $s_i$ ) dargestellt werden:

Explizites CoT: Gibt jede Operation und jeden Zwischenwert sequenziell aus ( $s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$ ). Dies entspricht einer Kompressionsgranularität ( $g$ ) von 1.
Zusammengesetztes CoT: Aggregiert mehrere Operationen zu einem einzigen Schritt, listet die Operationen explizit auf, lässt aber Zwischenwerte weg (z. B. $s_2 = f_2(f_1(s_0))$ ). Hier gilt $g > 1$ .
Implizites CoT: Lässt sowohl Zwischenwerte als auch die explizite Auflistung der Zwischenschritte weg und gibt nur das Endergebnis eines Blocks aus (z. B. $s_4 = f_4(s_3)$ ). Dies verbirgt sowohl Operationen als auch Werte und entspricht einer höheren $g$ .

2.2 Konstruktion synthetischer Aufgaben

Um Variablen wie Schwierigkeit, Kompressionsgranularität und Datengröße zu kontrollieren, konstruierten die Autoren eine synthetische arithmetische Reasoning-Aufgabe.

Aufgabenstruktur: Probleme beinhalten sequenzielle Abhängigkeiten zwischen Parametern (z. B. „Die Anzahl von A entspricht B mal 4").
Operationen: Die Abhängigkeiten beinhalten Addition, Subtraktion und Multiplikation modulo 23, um eine numerische Explosion zu verhindern.
Schwierigkeit ($op$): Definiert als die Gesamtzahl der atomaren Operationen, die zur Lösung der Aufgabe erforderlich sind.
Granularität ( $g$ ): Die Anzahl der Operationen, die zu einem einzigen CoT-Schritt gruppiert werden.
Evaluation: Modelle werden auf Aufgaben mit spezifischen $op$-Werten (z. B. 8, 16, 24) trainiert und auf Out-of-Distribution (OOD)-Aufgaben mit längeren Sequenzen (z. B. 32 bis 104 Operationen) evaluiert, um die Generalisierung zu testen.

2.3 Experimenteller Aufbau

Modelle: Die Experimente wurden über verschiedene Modellfamilien und -größen hinweg durchgeführt, einschließlich Qwen2.5 (0,5B bis 14B) und Llama-3 (1B bis 8B).
Trainingsregime:
- SFT: Trainiert auf Expliziten, Zusammengesetzten und Impliziten CoT-Daten mit variierender $g$ (2, 4, 8).
- Datenskaling vs. Wiederholung: Vergleich des Trainings auf großen, diversen Datensätzen (384k Stichproben, 1 Epoche) versus kleinen Datensätzen, die viele Male wiederholt wurden (6k Stichproben, 64 Epochen).
- RLVR: Anwendung von Group Relative Policy Optimization (GRPO) auf Modelle, die mit SFT vortrainiert wurden, um zu testen, ob RL komprimierte Schritte zerlegen kann.
CoT-Reihenfolge: Untersuchung von Forward (Standard), Backward (umgekehrt) und Hierarchischer (geblockte Teilprobleme) CoT-Reihenfolge.

3. Hauptbeiträge und Ergebnisse

3.1 Kompressionsgranularität und Trainingsschritte

Ergebnis: Grobgranulares Komprimiertes CoT (höhere $g$ ) erfordert deutlich mehr Trainingsschritte und Datenvolumen, um das gleiche Leistungsniveau wie Explizites CoT zu erreichen.
Implikation: Um Modelle auf stark komprimierten Reasoning-Spuren zu trainieren, müssen Praktiker größere Datensätze vorbereiten, um die erhöhte Komplexität des Lernsignals auszugleichen.

3.2 Datenskaling vs. Datenwiederholung

Skaling: Komprimiertes CoT (sowohl Zusammengesetzt als auch Implizit) profitiert stärker von Datenskaling (Erhöhung der Anzahl einzigartiger Stichproben) als Explizites CoT.
Wiederholung:
- Zusammengesetztes CoT: Profitiert von Datenwiederholung (Training an weniger Stichproben über mehr Epochen).
- Implizites CoT: Leidet unter Leistungsverschlechterung, wenn Daten wiederholt werden. Die Autoren führen dies auf Overfitting oder Memorierung spezifischer Längen zurück, da Implizites CoT die operative Struktur verbirgt, die für Generalisierung erforderlich ist.
Fazit: Wenn Daten begrenzt sind, ist Zusammengesetztes CoT für wiederholungsbasiertes Training vorzuziehen, während Implizites CoT zugunsten von diverser Datenskaling vermieden werden sollte.

3.3 Zerlegung von Reasoning-Ketten

SFT-Begrenzung: Modelle, die auf komprimiertem CoT trainiert wurden (z. B. $g=2$ ), scheitern daran, Aufgaben zu lösen, die eine Zerlegung in atomare Schritte erfordern (z. B. Aufgaben mit ungeraden $op$-Werten, wenn sie auf geraden $op$ trainiert wurden). Sie können die während des SFT beobachteten aggregierten Blöcke nicht spontan zerlegen.
RLVR-Fähigkeit: Nachfolgendes RLVR ermöglicht erfolgreich die Zerlegung. Bei Anwendung auf Aufgaben, die eine Zerlegung erfordern (ungerade $op$), ermöglicht RLVR den Modellen, die $g=2$ -Blöcke in $g=1$ -atomare Schritte aufzubrechen.
Dynamik: Während RLVR nimmt die Antwortlänge zunächst zu (was darauf hindeutet, dass das Modell zerlegte, explizite Schritte erkundet), bevor sie zu einer effizienten Strategie konvergiert, die komprimierte Schritte für den Großteil der Berechnung und nur dort explizite Schritte verwendet, wo dies notwendig ist.
Fazit: SFT lernt, komprimierte Muster nachzuahmen, aber RLVR ist notwendig, um die zugrunde liegenden atomaren Fähigkeiten zu entdecken und sie für nicht gesehene Kompositionen neu zu kombinieren.

3.4 CoT-Reihenfolge und Generalisierung

Unidirektional vs. Hierarchisch: Forward- und Backward-CoT-Reihenfolgen generalisieren gut auf längere sequenzielle Aufgaben (OOD). Im Gegensatz dazu scheitert Hierarchisches CoT (das Probleme in Blöcke aufteilt und Zwischenvariablen speichert) daran, auf längere Aufgaben zu generalisieren.
Dateneffizienz: Backward CoT benötigt mehr Daten als Forward CoT, um eine vergleichbare Generalisierung zu erreichen, wahrscheinlich aufgrund einer Fehlausrichtung mit der Datenverteilung, die beim Pre-Training verwendet wurde.
Fazit: Für sequenzielle kompositionelle Aufgaben sind unidirektionale CoT-Designs robuster und dateneffizienter als hierarchisches Blockieren.

4. Bedeutung und Behauptungen

Die Arbeit beansprucht, ein grundlegendes Verständnis der Trade-offs zu liefern, die mit der Kompression von Reasoning-Daten für das Post-Training von LLMs verbunden sind. Ihre Hauptbeiträge sind:

Leitlinien für das Datendesign: Sie bietet praktische Regeln für die Konstruktion komprimierter Datensätze unter Ressourcenbeschränkungen. Konkret rät sie, dass gröbere Kompression mehr Daten erfordert, Zusammengesetztes CoT von Wiederholung profitiert, Implizites CoT jedoch nicht, und dass eine unidirektionale Reihenfolge für die Generalisierung überlegen ist.
Mechanistische Einsicht in SFT vs. RL: Die Arbeit erläutert die unterschiedlichen Rollen von SFT und RL beim Post-Training. Sie geht davon aus, dass SFT effektiv für das Erlernen komprimierter Repräsentationen ist, aber in der Zerlegung dieser begrenzt ist, während RLVR als Mechanismus dient, diese komprimierten Blöcke zu „entzippen" und dem Modell zu ermöglichen, durch Wiederherstellung atomarer Operationen auf neue Kompositionen zu generalisieren.
Optimierung der Token-Kosten: Durch die Identifizierung, wann komprimierte Daten effektiv sind und wie sie mit RL gepaart werden können, zielt die Arbeit darauf ab, die Balance zwischen Reasoning-Länge (Token-Kosten) und Leistung zu navigieren und die Entwicklung effizienterer LLM-Agenten zu unterstützen.

Die Autoren bewahren Bescheidenheit hinsichtlich ihrer Behauptungen und stellen fest, dass ihre Erkenntnisse aus synthetischen arithmetischen Aufgaben abgeleitet sind und möglicherweise nicht direkt auf alle realen Domänen oder Nicht-Transformer-Architekturen ohne weitere Untersuchungen übertragbar sind. Sie betonen, dass ihre Ergebnisse zwar die Ansicht stützen, dass RL durch Skill-Komposition neue Lösungen entdecken kann, die spezifischen Mechanismen in komplexem, realweltlichem Reasoning jedoch weiterhin ein Bereich für zukünftige Studien bleiben.