🤖 AI

Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning

Das Paper stellt ReCo vor, ein belohnungskoordiniertes Framework, das Large Reasoning Models durch die dynamische Anpassung der KV-Cache-Kompression, die Eindämmung redundanter Reflexionen und das Ermöglichen von Early Stopping basierend auf Prozessbelohnungen optimiert und dadurch die Inferenzkosten sowie die Latenz signifikant reduziert, während die Genauigkeit beibehalten wird.

Ursprüngliche Autoren: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

Veröffentlicht 2026-08-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen superintelligenten Roboter vor, der schwierige Rätsel löst, indem er mit sich selbst spricht. Er rät nicht einfach nur; er schreibt einen langen, detaillierten Bericht über seinen Denkprozess, Schritt für Schritt, bevor er Ihnen die endgültige Antwort gibt. So funktionieren moderne „Large Reasoning Models“. Sie sind wie brillante Detektive, die sich weigern, einen Fall zu lösen, bevor sie nicht jeden einzelnen Hinweis, jede Sackgasse und jeden „Aha!“-Moment aufgeschrieben haben. Das Problem ist, dass dieser Detektiv ein wenig zu gesprächig wird. Manchmal schreibt er für eine einfache Frage wie „Was ist 2+2?“ einen romanlangen Essay über die Geschichte der Mathematik, bevor er mit „4“ antwortet. Dieses „Überdenken“ verbraucht eine massive Menge an Computerarbeitsspeicher und Zeit, was den Roboter langsam und teuer im Betrieb macht.

Um dies zu beheben, haben Wissenschaftler versucht, das Gedächtnis des Roboters effizienter zu gestalten. Stellen Sie sich das Gedächtnis des Robotors wie ein Whiteboard vor, auf dem er seine Gedanken aufschreibt. Während der Roboter länger nachdenkt, füllt sich das Whiteboard. Ein gängiger Trick besteht darin, die ältesten, „unwichtigsten“ Notizen zu löschen, um Platz für neue zu schaffen. Dies wird als „KV-Cache-Kompression“ bezeichnet. Die Forscher hinter dieser neuen Arbeit stellten jedoch fest, dass es einen Fehler in der Art und Weise gab, wie dieses Löschen durchgeführt wurde. Sie fanden heraus, dass, wenn man die falschen Notizen löscht, der Roboter verwirrt wird und anfängt, noch mehr zu reden, um Dinge zu verstehen, was den gesamten Zeitgewinn zunichtemacht, den man durch das Löschen der Notizen erzielt hatte. Es ist, als würde man versuchen, Zeit zu sparen, indem man einige Schritte in einem Rezept überspringt, nur um dann festzustellen, dass man eine wichtige Zutat vergessen hat und nun das ganze Gericht von vorne beginnen muss.

Diese Arbeit stellt ein neues System namens ReCo (Reward-Coordinated Compression) vor, um dieses chaotische Problem zu lösen. Anstatt einfach nur zufällig alte Notizen zu löschen oder eine feste Regel für alle anzuwenden, agiert ReCo wie ein weiser Coach, der neben dem Roboter steht. Nach jedem einzelnen Schritt, den der Roboter macht, fragt der Coach: „Wie sicher bist du dir, dass du auf dem richtigen Weg bist?“ Wenn der Roboter gut vorankommt und auf einem soliden Pfad ist (ein „High-Reward“-Schritt), sagt der Coach: „Du machst das so gut, du musst nicht jede einzelne alte Notiz behalten. Lass uns etwas löschen, um Platz zu sparen.“ Aber wenn der Roboter kämpft oder neue Ideen erforscht (ein „Low-Reward“-Schritt), sagt der Coach: „Halt, du brauchst gerade all deine Notizen; lösche nichts.“

Der clevere Teil ist, dass dieser gleiche „Konfidenzwert“ zwei Aufgaben gleichzeitig erfüllt. Erstens entscheidet er, wie viel des Gedächtnisses behalten oder gelöscht werden soll. Zweitens sagt er dem Roboter, wann er aufhören soll zu überdenken. Wenn der Roboter zuversichtlich und auf dem richtigen Weg ist, schubst der Coach ihn sanft dazu, aufzuhören zu schwadronieren und einfach die Antwort zu geben. Wenn der Roboter noch verwirrt ist, lässt der Coach ihn weiter denken und explorieren. Durch die Koordination dieser beiden Aktionen – das Aufräumen des Gedächtnisses und die Kontrolle darüber, wie viel der Roboter spricht – verhindert das System, dass der Roboter verwirrt wird und noch längere Geschichten schreibt, um dies zu kompensieren.

Die Ergebnisse sind beeindruckend. Als die Forscher ReCo bei drei verschiedenen Reasoning-Modellen über sechs verschiedene Arten von Rätseln hinweg (von mathematischen Problemen bis hin zu wissenschaftlichen Fragen) testeten, wurde der Roboter viel schneller und verwendete weit weniger Wörter. Konkret reduzierte das System die Anzahl der generierten Wörter des Roboters um 37 % bis 65 % und machte den gesamten Prozess 2,08- bis 2,35-mal schneller als die standardmäßige, nicht optimierte Methode. Entscheidend war, dass es dies alles tat, ohne den Roboter signifikant dümmer zu machen; die Genauigkeit blieb fast so hoch wie bei der langsamen, geschwätzigen Version. Die Arbeit legt nahe, dass der bloße Versuch, das Gedächtnis zu verkleinern, allein nicht ausreicht; man muss den Denkprozess des Roboters gleichzeitig steuern, um echte Geschwindigkeitsgewinne zu erzielen.

Technisches Resümee: ReCo (Reward-Coordinated Efficient Reasoning)

Problemstellung

Große Reasoning-Modelle (LRMs) wie OpenAI-o1 und DeepSeek-R1 erzielen eine hohe Leistung bei komplexen Aufgaben durch lange Chain-of-Thought (CoT)-Argumentationsketten. Dieses Paradigma führt jedoch häufig zu „Overthinking“, wobei Modelle selbst für einfache Eingaben übermäßig lange Argumentationsketten generieren, was zu inflierten Inferenzkosten, hoher Latenz und erheblichem Speicheroverhead durch die Akkumulation von Key-Value (KV)-Caches führt.

Während KV-Cache-Kompression eine Standardlösung zur Reduzierung von Speicher- und Attention-Kosten ist, leiden bestehende, auf das Reasoning ausgerichtete Methoden unter zwei kritischen Einschränkungen:

Uniforme Kompressionsstrategien: Aktuelle Methoden wenden eine einheitliche Kompressionsstrategie auf die gesamte Reasoning-Trajektorie an und ignorieren dabei, dass verschiedene Reasoning-Zustände unterschiedliche Toleranzen gegenüber Kontextverlust aufweisen.
Entkoppelte Generationssteuerung: Diese Methoden konzentrieren sich primär darauf, was aus dem Cache entfernt wird, versäumen es jedoch zu berücksichtigen, dass Kompression längere Generationslängen induzieren kann. Das Paper beobachtet, dass die Kompression des Caches oft dazu führt, dass Modelle mehr Token generieren, um den verlorenen Kontext zu kompensieren, was die Effizienzgewinne teilweise oder vollständig zunichtemacht (ein Phänomen, das als „Length Inflation“ bezeichnet wird).

Methodik: Das ReCo-Framework

Die Autoren schlagen ReCo (Reward-Coordinated Compression) vor, ein schrittweises Framework, das die KV-Cache-Kompression mit der Generationssteuerung unter einem einzigen Signal koordiniert: einem leichtgewichtigen Process Reward.

1. Kernsignal: Schätzung des Process Reward

Nach jedem abgeschlossenen Reasoning-Schritt $c_i$ weist ein leichtgewichtiger, 30-Millionen-Parameter-Estimator (destilliert aus Skywork-o1-Open-PRM-7B) einen Skalar-Reward $v_i \in [0, 1]$ zu. Dieser Reward spiegelt die Wahrscheinlichkeit wider, dass der aktuelle Reasoning-Pfad auf Kurs und vielversprechend ist. Dieses einzelne Signal steuert drei koordinierte Komponenten:

2. Reward-adaptive KV-Cache-Kompression

Im Gegensatz zu statischer oder uniformer Kompression passt ReCo das Retentionsverhältnis $\lambda_i$ dynamisch basierend auf dem Schritt-Reward $v_i$ an:

High-Reward-Schritte: Wenn das Modell auf einem zuverlässigen Pfad ist (hohes $v_i$ ), komprimiert das Framework den akkumulierten KV-Cache aggressiv, da der Reasoning-Zustand einen höheren Kontextverlust toleriert.
Low-Reward-Schritte: Wenn das Modell im Modus der Exploration oder Unsicherheit ist (niedriges $v_i$ ), behält das Framework mehr Kontext bei, um die Reasoning-Kette nicht zu unterbrechen.
Mechanismus: Das Retentionsverhältnis wird berechnet als $\lambda_i = \lambda - \delta \frac{v_i - \bar{v}}{v_{max} - v_{min}}$ , wobei $\lambda$ das Basisverhältnis und $\delta$ die Anpassung begrenzt. Innerhalb des zugewiesenen Budgets werden Tokens basierend auf den Attention-Scores der jüngsten Tokens ausgewählt.

3. Reward-Banded Reflection Control

Um die durch Kompression verursachte „Length Inflation“ zu verhindern, unterdrückt ReCo redundante Selbstreflexions-Tokens (z. B. „Wait“, „Hmm“, „Alternatively“) während des Decodings:

Derselbe Reward $v_i$ bestimmt eine Logit-Penalty $\beta_i$ , die auf Reflexions-Tokens angewendet wird.
Niedriger Reward ( $v_i \le \tau_\ell$ ): Keine Strafe (fördert die Exploration).
Mittlerer Reward ( $\tau_\ell < v_i < \tau_h$ ): Halbe Strafe.
Hoher Reward ( $v_i \ge \tau_h$ ): Volle Strafe (wirkt dem erneuten Öffnen von Zweigen stark entgegen und steuert das Modell hin zu einem Abschluss).

4. Konfidenzbasierte vorzeitige Beendigung (Early Stopping)

ReCo implementiert einen Early-Stopping-Mechanismus, der ausgelöst wird, wenn das Reasoning als zuverlässig eingestuft wird:

Wenn der Reward über zwei aufeinanderfolgende Schritte hinweg im hohen Band bleibt, wird ein „Closing Prompt“ eingefügt, um eine vorläufige Antwort zu provozieren.
Die Konfidenz des Modells in dieser Antwort wird mittels Perplexity (PPL) gemessen. Wenn $PPL(a) \le \tau_p$ , wird die Reasoning-Kette terminiert; andernfalls wird das Reasoning fortgesetzt. Dies verhindert ein vorzeitiges Stoppen bei flüssigen, aber inkorrekten Antworten.

Zentrale Beiträge

Kopplung von Kompression und Generierung: Das Paper argumentiert, dass KV-Cache-Kompression allein für LRMs unzureichend ist, da sie durch die Induktion längerer Reasoning-Prozesse nachwirken kann. ReCo ist das erste Framework, das sowohl die Cache-Kompression als auch die Generationslänge unter einem einheitlichen Reward-Signal steuert.
Reward als Signal für Kompressionstoleranz: Die Autoren zeigen, dass Process Rewards zuverlässig die Toleranz eines Reasoning-Zustands gegenüber Kontextverlust verfolgen. High-Reward-Schritte sind robust gegenüber aggressiver Pruning, während Low-Reward-Schritte den vollen Kontext benötigen. Dies steht im Gegensatz zu bestehenden uniformen Policies.
Unified Step-Wise Framework: ReCo integriert KV-Cache-Kompression, Reflexionssteuerung und Early Stopping in ein einziges Framework, das die Token-Anzahl und Latenz reduziert und gleichzeitig die Genauigkeit über mehrere Modelle und Benchmarks hinweg bewahrt.

Experimentelle Ergebnisse

Das Framework wurde auf drei Reasoning-Modellen (DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B und Qwen3-8B) über sechs Benchmarks (GSM8K, MATH-500, AMC2023, AIME24, AIME25 und GPQA) evaluiert.

Token-Reduktion: ReCo reduzierte die generierten Tokens um 37%–65% im Vergleich zu Full CoT. Im Gegensatz dazu erhöhten reine Cache-Baselines (z. B. SnapKV, R-KV) oft die Token-Anzahl aufgrund von Length Inflation.
Latenz-Beschleunigung: ReCo erreichte End-to-End-Latenzreduktionen von 2,08×–2,35× gegenüber Full CoT.
Genauigkeitserhalt: ReCo hielt die Genauigkeit am nächsten an der Full-CoT-Baseline im Vergleich zu allen komprimierten Methoden. Beispielsweise erreichte ReCo bei Llama-8B eine durchschnittliche Genauigkeit von 60,2 % gegenüber 62,8 % bei Full CoT, während rein KV-basierte Methoden signifikant abfielen (z. B. SnapKV auf 37,5 %).
Speichereffizienz: ReCo reduzierte den Peak-GPU-Speicherverbrauch um 37,7 % (17,92 GB vs. 28,78 GB bei AIME25) und übertraf damit sowohl KV-only- als auch Length-only-Baselines.

Bedeutung und Behauptungen

Das Paper behauptet, dass KV-Cache-Kompression mit der Generationssteuerung gekoppelt sein muss, um bei Reasoning-Modellen effektiv zu sein. Die Autoren führen aus, dass die Kompression des Caches ohne Kontrolle der nachfolgenden Generationslänge die Effizienzgewinne durch die Induktion längerer Reasoning-Ketten zunichtemachen kann.

Durch die Nutzung eines einzigen Process Rewards zur Koordination beider Seiten erreicht ReCo ein Gleichgewicht, bei dem Rechenleistung nur dann aufgewendet wird, wenn das Reasoning produktiv ist, und zurückgehalten wird, wenn das Modell sich stabilisiert hat. Die Autoren betonen, dass ihre Methode kein Retraining des Reasoning-Modells und kein per-Task Prompt Engineering erfordert, sondern stattdessen auf einem leichtgewichtigen Reward-Estimator basiert, der sich dynamisch an die Bedürfnisse der Reasoning-Trajektorie anpasst.