🤖 AI

OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping

Das Paper stellt OS-Pruner vor, ein leichtgewichtiges Plug-in-Framework, das das Chain-of-Thought-Pruning als optimales Stoppproblem formuliert, um dynamisch den effizientesten Abbruchpunkt für Reasoning-Ketten zu bestimmen, wodurch die Generierungslänge bei minimalem Genauigkeitsverlust um 20–60 % reduziert wird.

Ursprüngliche Autoren: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lösen ein kniffliges Mathe-Rätsel. Sie fangen an, laut zu denken, schreiben jeden Schritt auf, überprüfen Ihre Arbeit und kontrollieren sie vielleicht sogar noch einmal, nur um sicherzugehen. Doch dann merken Sie, dass Sie die Antwort bereits gefunden haben! Dennoch macht Ihr Gehirn (oder in diesem Fall ein superintelligentes Computergehirn namens Large Language Model) weiter. Es schreibt weitere Absätze, wiederholt alte Argumente oder führt zusätzliche Berechnungen durch, die eigentlich nicht helfen. Dies ist das, was die Arbeit als „Computational Overthinking“ bezeichnet. Es ist wie ein Schüler, der noch lange auf der Prüfung weiterschreibt, nachdem er die Aufgabe bereits gelöst hat, und dabei einfach Zeit und Papier verschwendet, ohne eine bessere Note zu erhalten.

Die Arbeit stellt ein neues Werkzeug namens OS-Pruner vor, um dies zu beheben. Stellen Sie sich OS-Pruner wie eine superintelligente „Stoppuhr“ oder einen weisen Coach vor, der neben dem Computer steht. Seine Aufgabe ist es, den Denkprozess des Computers Schritt für Schritt zu beobachten und nach jedem Absatz eine einfache Frage zu stellen: „Ist es es wert, noch einen Satz zu schreiben, oder sollten wir einfach die Antwort geben?“

Das „Stop oder Go“-Spiel

Die Autoren erkannten, dass die Entscheidung, wann man aufhört, nicht nur daraus besteht, zu raten, ob die Antwort richtig ist. Es ist ein Balanceakt.

Die Kosten: Jeder zusätzliche Satz, den der Computer schreibt, kostet Geld (in „Tokens“) und Zeit (Latenz).
Die Belohnung: Der einzige Grund, weiterzuschreiben, ist die Chance, dass der nächste Satz die endgültliche Antwort genauer macht.

Die Arbeit argumentiert, dass die meisten aktuellen Methoden wie ein strenger Lehrer sind, der sagt: „Hör nach genau 10 Sätzen auf!“ oder „Hör auf, wenn du dich zu 90 % sicher fühlst!“ Die Autoren schlagen vor, dass diese Methoden zu starr sind. Stattdessen rahmen sie das Problem als ein Optimal Stopping-Spiel (Optimales Stoppen) ein. Das bedeutet, der Computer lernt, die Kosten des Schreibens gegen die Chance abzuwägen, eine bessere Antwort zu erhalten. Wenn der nächste Schritt unwahrscheinlich viel helfen wird, sagt der „Coach“ (OS-Pruner): „Stopp! Wir sind fertig!“

Was sie abgelehnt haben

Die Arbeit argumentiert explizit gegen einige gängige Ideen:

Feste Budgets: Sie sagen, dass es nicht gut funktioniert, den Modell einfach vorzugeben, nach einer festgelegten Anzahl von Schritten aufzuhören (wie „denke genau 5 Minuten nach“), da manche Probleme einfach sind und nur wenige Schritte benötigen, während andere schwer sind und viele brauchen.
Einfache Konfidenzprüfungen: Sie zeigen, dass es nicht ausreicht, einfach zu fragen: „Bist du sicher genug?“. Manchmal könnte ein Modell zwar sicher sein, aber dennoch einen besseren Weg vor sich haben, oder es könnte unsicher sein, aber eigentlich schon fertig. Die Arbeit beweist mathematisch, dass eine einfache „Konfidenzschwelle“ im Vergleich zu ihrer Methode enorme Verbesserungen verpassen kann.
Das ganze Gehirn neu trainieren: Viele andere Methoden versuchen, das gesamte Computermodell so zu trainieren, dass es kürzer wird. Die Autoren sagen, dass dies teuer und langsam ist. OS-Pruner ist ein „Plug-in“, was bedeutet, dass es ein winziges Add-on ist, das keinen Neubau des gesamten Gehirns erfordert.

Wie sie es getestet haben

Die Forscher haben nicht nur geraten; sie haben ernsthafte Experimente durchgeführt. Sie nahmen mehrere leistungsstarke Reasoning-Modelle (wie DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B und DRPO-7B) und testeten sie an Matheaufgaben, die von einfacher Grundschul-Arithmetik bis hin zu schwierigen Olympiaden-Niveau-Herausforderungen reichten.

Sie fanden heraus, dass die Modelle durch die Verwendung von OS-Pruner:

Ihre Denkzeit bei vielen Aufgaben um 20 % bis 60 % verkürzten.
Zum Beispiel verkürzte das Modell DeepSeek-R1-Distill-Qwen-7B auf dem GSM8K-Datensatz (einfachere Mathematik) sein Denken um 59,3 %, während sich die Genauigkeit kaum veränderte (nur ein minimaler Rückgang von 0,7 Prozentpunkten).
Bei schwierigeren Problemen wie AIME war das Modell vorsichtiger und kürzte die Länge nur um 6,9 %, da dort zusätzliches Nachdenken tatsächlich notwendig war.

Die Arbeit legt nahe, dass selbst Modelle, die bereits darauf trainiert wurden, kurz zu sein (wie das DRPO-7B-Modell), immer noch unter Overthinking litten und OS-Pruner sie sogar noch besser machen konnte.

Das Fazische Fazit

Die Arbeit behauptet nicht, das KI-Reasoning für immer „gelöst“ zu haben. Stattdessen schlägt sie vor, dass wir, indem wir die Entscheidung zum Stoppen als klugen Kompromiss zwischen Zeit und Genauigkeit behandeln, diese leistungsstarken Modelle viel schneller und kostengünstiger machen können, ohne ihre Intelligenz zu verlieren. Es ist, als würde man einem genialen Schüler beibringen, aufzuhören zu reden, sobald er seinen Punkt gemacht hat, um so allen Zeit zu sparen und trotzdem eine Eins zu bekommen.

Die Autoren maßen diese Ergebnisse an spezifischen Datensätzen und fanden heraus, dass OS-Pruner konsistent auf der Pareto-Front liegt – ein schicker Weg zu sagen, dass es das bestmögliche Angebot bietet: die meiste Genauigkeit für den geringsten Schreibaufwand. Sie zeigten sogar, dass man diesen Kompromiss mit einer einzigen Zahl (genannt $\lambda$ ) steuern kann, wodurch Nutzer entscheiden können, ob sie wollen, dass das Modell super schnell ist (und vielleicht etwas weniger genau) oder super vorsichtig (und etwas länger braucht).

Technisches Resümee: OS-Pruner

Problemstellung

Große Sprachmodelle (LLMs), die Chain-of-Thought (CoT)-Prompting nutzen, haben bei komplexen Denkaufgaben signifikante Erfolge erzielt. Diese Modelle zeigen jedoch häufig ein „computational overthinking“ (rechnerisches Überdenken), indem sie redundante Denkschritte generieren, die die Latenz und die Inferenzkosten erhöhen, ohne die Genauigkeit der finalen Antwort zu verbessern. Dieses Verhalten umfasst das Wiederholen von Argumenten, das Verifizieren bereits feststehender Schlussfolgerungen oder das Verfolgen von wenig wertvollen Berechnungen. Während jüngste Studien darauf hindeuten, dass CoT-Trajektorien gekürzt werden können, leiden bestehende Lösungen unter spezifischen Einschränkungen:

Statische Budgets: Methoden wie das Erzwingen eines Budgets (budget forcing) legen eine feste Denkobergrenze extern fest und ignorieren den sich entwickelnden Zustand des Denkpfades.
Modellseitige Kompression: Techniken wie die längenbestrafte Feinabstimmung (length-penalized fine-tuning) oder das Überspringen von Token erfordern ein kostspieliges Retraining des Basismodells und können die Leistung bei Nicht-Denkaufgaben verschlechtern.
Heuristische vorzeitige Beendigung (Early Stopping): Aktuelle dynamische Methoden verlassen sich oft auf Klassifizierung oder Schwellenwerte (z. B. das Stoppen, wenn die Konfidenz einen festen Wert überschreitet), was den Kompromiss zwischen den Kosten zusätzlicher Token und der erwarteten Verbesserung der Antwortqualität nicht berücksichtigt.

Die Autoren argumentieren, dass das Kürzen von CoT (CoT pruning) fundamental ein sequentielles Entscheidungsproblem ist, das am besten als Optimal Stopping Problem (optimales Stoppproblem) gerahmt werden kann, bei dem das System an jedem Schritt entscheiden muss, ob der erwartete Gewinn an Genauigkeit die Kosten der Generierung eines weiteren Tokens rechtfertigt.

Methodik: OS-Pruner

OS-Pruner ist ein leichtgewichtiges Plug-in-Framework, das darauf ausgelegt ist, CoT-Pruning als ein Optimal Stopping Problem zu formulieren. Es arbeitet, ohne das eingefrorene Basis-Reasoning-Modell zu modifizieren.

1. Problemformulierung

Gegeben sei ein Eingabeproblem $x$ und ein teilweise generierter CoT-Präfix $y_{\le i}$ . OS-Pruner lernt eine parametrische Stopp-Policy $\pi_\theta$ , die die Wahrscheinlichkeit des Stoppens ausgibt. Das Ziel ist die Maximierung einer expliziten Nutzenfunktion, die die finale Antwortgenauigkeit gegen die generierte Länge abwägt:
$r(y_{\le i}|x) = A(y_{\le i}|x) - \lambda L(y_{\le i})$
Wobei:

$A(y_{\le i}|x)$ die Genauigkeit der aus dem Präfix abgeleiteten Antwort ist (1 wenn korrekt, 0 andernfalls).
$L(y_{\le i})$ die Anzahl der bis zum Schritt $i$ generierten Token ist.
$\lambda$ ein Skalarparameter ist, der die Strafe für die Länge steuert und es Benutzern ermöglicht, einen spezifischen Betriebspunkt auf der Genauigkeits-Effizienz-Frontier zu wählen.

2. Theoretischer Vorteil

Das Paper unterscheidet OS-Pruner von Konfidenzschwellen-Methoden durch eine Value Function View (Wertfunktions-Perspektive).

Klassifizierungsbasierte Methoden stoppen, wenn $A(y_{\le i}|x) \ge \gamma$ (ein fester Schwellenwert).
Optimal Stopping (OS-Pruner) stoppt, wenn der unmittelbare Wert des Stoppens den Fortsetzungswert übersteigt: $A(y_{\le i}|x) \ge C_\lambda(x, y_{\le i})$ .
Der Fortsetzungswert $C_\lambda$ repräsentiert die erwartete zukünftige Belohnung abzüglich der Kosten zusätzlicher Token. Die Autoren beweisen (Theorem 1), dass feststehende Schwellenwert-Klassifikatoren eine beliebig große Performance-Lücke im Vergleich zur optimalen Stopp-Policy aufweisen können, da sie den zustandsabhängigen Wert zukünftiger Denkpfade nicht berücksichtigen.

3. Implementierung und Architektur

Datenvorverarbeitung: Das Basismodell generiert vollständige Denkpfade. Für das Training greift das System nach jedem Denk-Schritt ein, zwingt das Modell zur Ausgabe einer finalen Antwort (um das „Denken“ im Antwort-Abschnitt zu verhindern) und bewertet diese gegen die Grundwahrheit mittels Math-Verify. Dies erzeugt eine feingliedrige Supervision für jeden Präfix.
Policy-Architektur: Die Policy ist ein leichtgewichtiger linearer Kopf ( $\sigma(W^\top h_l + b)$ ), der auf den letzten verborgenen Zustand $h_l$ des Präfixes angewendet wird. Um die Leistung zu steigern, werden die letzten $n$ (typischerweise 2) Self-Attention-Layer des Basismodells feinabgestimmt, während der Rest des Modells eingefroren bleibt.
Trainingseffizienz: Da das Basismodell kausal ist, wird der verborgene Zustand eines Absatzes nicht durch nachfolgende Token beeinflusst. Dies ermöglicht es, den gesamten Denkpfad in einem einzigen Vorwärtsdurchlauf zu verarbeiten, wobei die lineare Schicht parallel auf die relevanten verborgenen Zustände angewendet wird.
Progressives Training: Um zu vermeiden, dass das Training in lokalen Minima stecken bleibt, in denen die Policy niemals stoppt, beginnt das Training mit einem hohen $\lambda$ (hohe Kosten für die Länge) und reduziert diesen Wert progressiv (Annealing).

4. Inferenz

Während der Inferenz wird die Policy nur an den Grenzen der Denk-Schritte (z. B. Ende eines Absatzes) aufgerufen. Das System prüft die Stopp-Wahrscheinlichkeit; wenn die Entscheidung zum Stoppen fällt, fordert es die finale Antwort sofort an. Dieses Design gewährleistet eine hohe Effizienz auf modernen LLM-Serving-Systemen (z. B. vLLM), indem es das parallele Pre-Fill-Processing nutzt und die KV-Cache-Rekompression minimiert.

Wichtigste Beiträge

Strenge Formulierung: Das Paper liefert eine Formalisierung des CoT-Prunings als ein Optimal Stopping Problem mit einer expliziten Belohnungsfunktion, die Genauigkeit gegen Länge abwägt.
Leichtgewichtiges Plug-in: OS-Pruner ist eine trainingsbasierte Stopp-Policy, die auf Reasoning-Präfixen operiert, ohne das eingefrorene Basis-Reasoning-Modell zu modifizieren, und nur die Feinabstimmung eines kleinen Policy-Kopfes und weniger Transformer-Layer erfordert.
Empirische Leistung: Experimente zeigen, dass OS-Pruner die Denk-Länge erheblich reduziert, während die Genauigkeit über verschiedene Modelle und Benchmarks hinweg beibehalten wird.
Komplementarität: Es wird gezeigt, dass die Methode auch dann zusätzliche Gewinne erzielt, wenn sie auf Modelle angewendet wird, die bereits durch modellseitige Methoden auf Kürze optimiert wurden.

Experimentelle Ergebnisse

Die Autoren evaluierten OS-Pruner auf drei Modellen (DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B und DRPO-7B) über Benchmarks unterschiedlicher Schwierigkeit (GSM8K, MATH-500, AIME).

Reduktion der Länge: OS-Pruner erreichte eine Reduktion der Generierungslänge um 20–60 % bei minimalem Genauigkeitsverlust.
- Auf DeepSeek-R1-Distill-Qwen-7B reduzierte es die Länge um 59,3 % bei GSM8K und um 52,8 % bei MATH-500, mit Genauigkeitsänderungen von lediglich -0,7 % bzw. +2,7 %.
- Auf GPT-OSS-20B (einem bereits auf Kompaktheit optimierten Modell) erzielte es immer noch signifikante Reduktionen (z. B. 21 % auf MATH-500) bei gleichbleibend kompetitiver Genauigkeit.
Vergleich zu Baselines: OS-Pruner übertraf konsistent trainingsbasierte Baselines (Classification Probe, Answer Convergence, FlashThink) im Hinblick auf den Accuracy-Efficiency Score (AES). Es liegt auf oder nahe der Pareto-Front, während die festen Schwellenwert-Baselines bei reduzierten Längenbudgets stärker einbrachen.
Robustheit: Die Methode funktionierte gut über verschiedene Schwierigkeitsgrade hinweg, indem sie bei leichteren Aufgaben (wo Overthinking vorherrscht) aggressiver und bei schwierigeren Aufgaben (AIME), bei denen zusätzliche Berechnung wertvoll ist, konservativer agierte.

Bedeutung und Behauptungen

Das Paper behauptet, dass OS-Pruner einen natürlicheren und optimaleren Ansatz für das CoT-Pruning bietet als bestehende heuristische oder statische Methoden. Durch die Rahmung des Problems als sequentieller Entscheidungsprozess bewertet es dynamisch den hinreichenden Punkt des Abbruchs basierend auf dem spezifischen Denkzustand statt eines globalen Schwellenwerts.

Die Autoren betonen, dass OS-Pruner:

Rechenkosten senkt: Durch das Abschneiden unnötiger Token reduziert es die Inferenzlatenz und den Energieverbrauch.
Feingranulare Kontrolle bietet: Der Parameter $\lambda$ ermöglicht es Benutzern, den Kompromiss zwischen Denkaufwand und Genauigkeit explizit einzustellen.
Mit bestehenden Modellen arbeitet: Es erfordert kein Retraining des Basis-Generators, was es zu einem praktischen „Plug-in“ für bestehende Reasoning-Modelle macht.
Modellseitige Methoden ergänzt: Selbst für Kürze trainierte Modelle (wie DRPO) profitieren von zusätzlichem Pruning, was darauf hindeutet, dass modellseitige Kompression und Optimal Stopping unterschiedliche Aspekte der Effizienz adressieren.

Die Arbeit schließt mit dem Hinweis, dass sie sich zwar auf mathematisches Denken konzentriert, das Framework jedoch auf breitere Kontexte anwendbar ist, wenngleich zukünftige Arbeiten notwendig sind, um Coding- und wissenschaftliche Denkaufgaben sowie die Skalierung auf Frontier-Modelle zu untersuchen.