Technische Samenvatting: ReCo (Reward-Coordinated Efficient Reasoning)

Probleemstelling

Large Reasoning Models (LRM's), zoals OpenAI-o1 en DeepSeek-R1, behalen een hoge prestatie op complexe taken door middel van lange Chain-of-Thought (CoT) redeneringen. Dit paradigma leidt echter vaak tot "overthinking", waarbij modellen zelfs voor eenvoudige inputs excessief lange redeneerketens genereren, wat resulteert in opgeblazen inferentiekosten, hoge latentie en een aanzienlijke geheugenoverhead door de accumulatie van Key-Value (KV) caches.

Hoewel KV-cache compressie een standaardoplossing is voor het verminderen van geheugen- en aandachtskosten, lijden bestaande redeneringsgerichte methoden onder twee kritieke beperkingen:

1. Uniforme Compressiebeleid: Huidige methoden passen een uniform compressiestrategie toe over de gehele redeneertraject, waarbij ze voorbijgaan aan het feit dat verschillende redeneertoestanden variëren in hun tolerantie voor contextverlies.
2. Gekoppelde Generatiecontrole: Deze methoden richten zich uitsluitend op wat er uit de cache wordt verwijderd, en houden geen rekening met het feit dat compressie langere generatielengtes kan induceren. Het paper observeert dat het comprimeren van de cache vaak ertoe leidt dat modellen meer tokens genereren om het verloren context te compenseren, wat de efficiëntiewinst deels of volledig tenietdoet (een fenomeen dat "length inflation" wordt genoemd).

Methodologie: ReCo Framework

De auteurs stellen ReCo (Reward-Coordinated Compression) voor, een stapsgewijs framework dat de KV-cache compressie coördineert met generatiecontrole onder één enkel signaal: een lichtgewicht process reward.

1. Kernsignaal: Process Reward Estimatie

Na elke voltooide redeneerstap $c_i$ wijst een lichtgewicht estimator van 30 miljoen parameters (gedestilleerd van Skywork-o1-Open-PRM-7B) een scalaire beloning $v_i \in [0, 1]$ toe. Deze beloning weerspieft de waarschijnlijkheid dat het huidige redeneerpad op koers en veelbelovend is. Dit enkele signaal stuurt drie gecoördineerde componenten aan:

2. Beloningsadaptieve KV-Cache Compressie

In tegenstelling tot statische of uniforme compressie, past ReCo de retentieratio $\lambda_i$ dynamisch aan op basis van de stapbeloning $v_i$:

• Hoog-belonende stappen: Wanneer het model op een betrouwbaar pad zit (hoge $v_i$), past het framework agressieve pruning toe op de geaccumuleerde KV-cache, aangezien de redeneertoestand een groter verlies van context kan verdragen.
• Laag-belonende stappen: Wanneer het model aan het verkennen is of onzeker is (lage $v_i$), behoudt het framework meer context om de redeneerketen niet te verbreken.
• Mechanisme: De retentieratio wordt berekend als $\lambda_i = \lambda - \delta \frac{v_i - \bar{v}}{v_{max} - v_{min}}$, waarbij $\lambda$ de basisratio is en $\delta$ de aanpassing begrenst. Binnen het toegewezen budget worden tokens geselecteerd op basis van attention scores van recente tokens.

3. Reward-Banded Reflectiecontrole

Om de "length inflation" veroorzaakt door compressie te voorkomen, onderdrukt ReCo redundante zelfreflectie-tokens (bijv. "Wait," "Hmm," "Alternatively") tijdens het decoderen:

• Dezelfde beloning $v_i$ bepaalt een logit penalty $\beta_i$ die wordt toegepast op reflectie-tokens.
• Lage beloning ($v_i \le \tau_\ell$): Geen penalty (moedigt exploratie aan).
• Medium beloning ($\tau_\ell < v_i < \tau_h$): Halve penalty.
• Hoge beloning ($v_i \ge \tau_h$): Volledige penalty (ontmoedigt het heropenen van takken sterk, waardoor het model naar een conclusie wordt gestuurd).

4. Vertrouwen-gebaseerde Early Stopping

ReCo implementeert een early stopping mechanisme dat wordt getriggerd wanneer de redenering als betrouwbaar wordt beschouwd:

• Als de beloning gedurende twee opeenvolgende stappen in de hoge band blijft, wordt een "closing prompt" ingevoegd om een voorlopig antwoord uit te lokken.
• Het vertrouwen van het model in dit antwoord wordt gemeten via Perplexity (PPL). Als $PPL(a) \le \tau_p$, wordt de redeneerketen beëindigd; anders gaat de redenering door. Dit voorkomt voortijdige stopzetting bij vloeiende maar onjuiste antwoorden.

Belangrijkste Bijdragen

1. Koppeling van Compressie en Generatie: Het paper betoogt dat KV-cache compressie alleen onvoldoende is voor LRM's omdat het de efficiëntiewinst kan ondermijnen door langere redeneerketens te induceren. ReCo is het eerste framework dat zowel de cachecompressie als de generatielengte gezamenlijk beheert onder een uniform beloningssignaal.
2. Beloning als Signaal voor Compressietolerantie: De auteurs demonstreren dat process rewards betrouwbaar de tolerantie van een redeneertoestand voor contextverlies volgen. Hoog-belonende stappen zijn robuust tegen agressieve pruning, terwijl laag-belonende stappen volledige context vereisen. Dit contrasteert met bestaande uniforme beleid.
3. Uniform Stapsgewijs Framework: ReCo integreert KV-cache compressie, reflectiecontrole en early stopping in één enkel framework dat het aantal tokens en de latentie vermindert terwijl de nauwkeurigheid behouden blijft over meerdere modellen en benchmarks.

Experimentele Resultaten

Het framework werd geëvalueerd op drie redeneermodellen (DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B, en Qwen3-8B) over zes benchmarks (GSM8K, MATH-500, AMC2023, AIME24, AIME25, en GPQA).

• Token Reductie: ReCo verminderde het aantal gegenereerde tokens met 37%–65% vergeleken met Full CoT. In tegenstelling hiertoe zorgden cache-alleen baselines (zoals SnapKV, R-KV) vaak voor een toename van de token-aantallen door length inflation.
• Latency Versnelling: ReCo bereikte end-to-end latentie-reducties van 2.08×–2.35× ten opzichte van Full CoT.
• Nauwkeurigheid Behoud: ReCo behield de nauwkeurigheid het dichtst bij de Full CoT baseline van alle gecomprimeerde methoden. Zo behaalde ReCo op Llama-8B een gemiddelde nauwkeurigheid van 60,2% vergeleken met de 62,8% van Full CoT, terwijl KV-alleen baselines significant daalden (bijv. SnapKV naar 37,5%).
• Geheugenefficiëntie: ReCo verminderde het piek GPU-geheugengebruik met 37,7% (17,92 GB vs. 28,78 GB op AIME25), waarmee het zowel de KV-alleen als de lengte-alleen baselines overtrof.

Betekenis en Claims

Het paper claimt dat KV-cache compressie gekoppeld moet worden aan generatiecontrole om effectief te zijn op redeneermodellen. De auteurs stellen dat het comprimeren van de cache zonder de daaropvolgende generatielengte te controleren, de efficiëntiewinst kan ondermijnen door langere redeneerketens te induceren.

Door een enkel process reward te gebruiken om beide zijden te coördineren, bereikt ReCo een balans waarbij rekenkracht alleen wordt ingezet wanneer redeneren productief is en wordt onthouden wanneer het model tot rust is gekomen. De auteurs benadrukken dat hun methode geen hertraining van het redeneermodel vereist en geen per-taak prompt engineering, maar vertrouwt op een lichtgewicht reward estimator om dynamisch aan te passen aan de behoeften van het redeneertraject.