DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition for Efficient Large Reasoning Models

1. Problemstellung

Large Reasoning Models (LRMs), wie OpenAI's o1 und DeepSeek-R1, glänzen bei komplexen Aufgaben durch die Generierung langer Chain-of-Thought (CoT)-Denkpfade. Allerdings leiden sie unter „Overthinking" (Überdenken), was zu übermäßig wortreichen Ausgaben mit redundanten Schritten, unnötigem Zurückgehen und sich wiederholenden Schleifen führt. Dies hat folgende Konsequenzen:

• Hohe Inferenzkosten: Deutlicher Token-Verbrauch und hohe Latenz.
• Verschlechterung der Genauigkeit: Redundantes Denken kann das Modell in die Irre führen und zu falschen Schlussfolgerungen verleiten.
• Distillations-Mismatch: Beim Distillieren von Wissen von einem „Short-CoT"-Lehrer (knapp, poliert) zu einem „Long-CoT"-Schüler (wortreich, reflektierend) entsteht eine Lernbarkeitslücke. Der Schüler hat Schwierigkeiten, den knappen Stil des Lehrers direkt nachzuahmen, was häufig zu schlechter Leistung oder Genauigkeitsverlusten führt.

Bestehende Lösungen wie Pruning zur Inferenzzeit (vorzeitiges Stoppen der Generierung) riskieren, das Denken vorzeitig abzubrechen, während Standard-Distillation oft versagt, die strukturelle Lücke zwischen wortreichen Schülern und knappen Lehrern zu überbrücken.

2. Methodik: Distilled Reasoning Pruning (DRP)

DRP ist ein hybrides Framework, das Pruning zur Inferenzzeit mit supervised fine-tuning (SFT) Distillation vereint. Anstatt den Schüler lediglich auf die endgültige Antwort des Lehrers oder einen kurzen CoT zu trainieren, nutzt DRP den Lehrer, um die eigenen wortreichen Denkpfade des Schülers zu beschneiden und zu verfeinern.

Der Prozess besteht aus drei Stufen (dargestellt in Abbildung 2 des Papers):

A. Skill-basierte Schrittzersetzung

• Das Schülermodell generiert einen initialen, wortreichen CoT-Pfad ($T$).
• Ein Teacher LLM (z. B. GPT-4o) zerlegt diesen Pfad in sich nicht überlappende Segmente.
• Schlüsselinnovation: Im Gegensatz zum naiven Aufteilen nach Sätzen weist der Lehrer jedem Schritt ein funktionales Skill-Label zu (z. B. „Gegebene Größe lesen", „Algebraische Darstellung", „Logische Inferenz"). Dies stellt sicher, dass die Schritte semantisch kohärent und funktional abgestimmt sind.

B. Schrittniveau-Pruning und Umschreibung

Das Lehrermodell bewertet jeden mit einem Skill-Label versehenen Schritt und wendet eine von vier Aktionen an:

1. Behalten: Den Schritt unverändert beibehalten.
2. Löschen: Redundante, nicht informative oder rückwärts gerichtete Schritte entfernen.
3. Umschreiben: Den Schritt kondensieren, während die logische Absicht erhalten bleibt.
4. Zusammenführen: Benachbarte Schritte zu einer einzigen atomaren Einheit kombinieren.

• Der Lehrer rekonstruiert anschließend einen flüssigen, knappen Denkpfad ($\hat{T}$), der den ursprünglichen Ton des Schülers beibehält, aber Wortfülle entfernt. Er aktualisiert bei Bedarf auch die Zusammenfassung der endgültigen Antwort ($\hat{A}$).

C. Supervised Fine-Tuning (SFT)

• Das Schülermodell wird auf Paaren von $(Input, \hat{R})$ feinabgestimmt, wobei $\hat{R}$ der vom Lehrer verfeinerte, beschneidene Antwortpfad ist.
• Das Ziel ist es, die negative Log-Likelihood des verfeinerten Pfads zu minimieren und dem Schüler beizubringen, skill-abgestimmte, token-effiziente Denkstrategien zu internalisieren, ohne die für komplexe Probleme erforderliche strukturelle Tiefe zu verlieren.

3. Hauptbeiträge

1. DRP-Framework: Eine neuartige Methode, die die „Lernbarkeitslücke" überbrückt, indem sie den Denkpfad des Schülers mithilfe eines Lehrers beschneidet, anstatt den Schüler zu zwingen, einen völlig anderen Denkstil des Lehrers nachzuahmen.
2. Skill-bewusste Zersetzung: Einführung eines Mechanismus, um Denken in semantisch kohärente, funktional etikettierte Einheiten zu segmentieren. Dies bietet eine stabile Grundlage für präzises Pruning und übertrifft das naive Aufteilen.
3. Erkenntnis zur strukturellen Konsistenz: Es wird gezeigt, dass effektive Trainings-CoTs sowohl informativ als auch strukturell konsistent mit dem Denkprozess des Schülers sein müssen. Die Bewahrung der schrittweisen Struktur (auch wenn verkürzt) ist effektiver als naive Kompression.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DRP an DeepSeek-R1-Distill-Qwen-Modellen (1,5B und 7B) über in-domain (GSM8K) und out-of-distribution (OOD) Benchmarks (MATH500, AIME24, AMC23).

Wichtige Erkenntnisse:

• Token-Effizienz: DRP reduzierte den Token-Verbrauch erheblich, ohne die Genauigkeit zu beeinträchtigen.
  • GSM8K (7B): Tokens von 917 auf 328 reduziert (-64%), während die Genauigkeit von 91,7 % auf 94,1 % stieg.
  • AIME24 (7B): Tokens um 43 % reduziert ohne Genauigkeitsverlust (15/30 korrekt).
  • AMC (1,5B): Tokens von 4574 auf 3657 reduziert, wobei die Genauigkeit von 22/40 auf 27/40 sprang.
• Vergleich mit Baselines:
  • vs. Prompt-basiert (TALE): DRP schnitt bei komplexen OOD-Aufgaben besser ab als TALE, bei denen die Leistung von TALE signifikant einbrach.
  • vs. SFT-basiert (CoT-Valve): DRP erreichte bessere Genauigkeit und Kompression. CoT-Valve litt oft unter Genauigkeitseinbußen beim Komprimieren.
  • vs. RL-basiert (ThinkPrune): Während ThinkPrune gut komprimierte, erreichte DRP eine höhere Genauigkeit, wahrscheinlich aufgrund hochwertiger Lehrerführung.
• Ablationsstudien:
  • Skill-Zersetzung: Das Entfernen von Skill-Labels (Standard-Aufteilung) reduzierte die Leistung und bestätigte, dass semantische Ausrichtung entscheidend ist.
  • Direkte Distillation: Das direkte Training auf kurzen Lehrer-CoTs (ohne Beschneiden des Schülerpfads) führte zu starken Genauigkeitsabfällen bei OOD-Aufgaben und bewies, dass strukturelle Erhaltung von wesentlicher Bedeutung ist.
  • Lehrer-Robustheit: Die Methode funktionierte effektiv mit verschiedenen Lehrern (GPT-4o, Gemini 2.0, DeepSeek-V3), wobei GPT-4o die besten Ergebnisse lieferte.

5. Bedeutung und Fazit

• Trade-off zwischen Effizienz und Genauigkeit: DRP stellt die Annahme in Frage, dass Effizienz auf Kosten der Genauigkeit gehen muss. Durch die Verfeinerung des Denkprozesses statt nur der Verkürzung der Ausgabe werden beides erreicht.
• Skalierbarkeit: Die Methode ist besonders effektiv für kleinere Modelle (1,5B) und kompensiert begrenzte Kapazitäten durch hochwertige, strukturierte Überwachung.
• Robustheit: Sie mildert „degenerierte Schleifen" (bei denen Modelle in der endlosen Textgenerierung stecken bleiben) ab und führt zu einer stabileren Inferenz.
• Zukünftige Auswirkungen: Diese Arbeit liefert einen Bauplan für das Training effizienter Reasoning-Modelle, die komplexe, langfristige Aufgaben ohne den Rechenaufwand von „Overthinking" bewältigen können, wodurch fortgeschrittenes Denken zugänglicher und kosteneffektiver wird.

Zusammenfassend löst DRP die Ineffizienz von Large Reasoning Models, indem es einen Lehrer nutzt, um Redundanzen aus dem eigenen Denkpfad eines Schülers chirurgisch zu entfernen, geleitet durch funktionale Skills. Das Ergebnis sind Modelle, die schneller, günstiger und oft genauer sind.