Technische Samenvatting: HMPO – Hybride Mediaan-lengte Policy Optimalisatie voor Chain-of-Thought Compressie

1. Probleemstelling

Grote taalmodellen (LLM's) hebben opmerkelijke redeneervermogens gedemonstreerd via uitgebreide Chain-of-Thought (CoT) processen, zoals te zien bij modellen als OpenAI o1, DeepSeek-R1 en Qwen-3. Echter, dit "denk"-paradigma brengt prohibitieve inferentiekosten met zich mee, gekenmerkt door hoge latentie en aanzienlijk resourceverbruik door de generatie van duizenden tokens per query.

Bestaande CoT-compressiemethoden kampen met drie kritieke beperkingen:

1. Onflexibele restricties: Huidige benaderingen vertrouwen op handmatig afgestemde, statische lengtebudgetten of rigide binaire "denk-of-sla-over" beslissingen, wat hun toepasbaarheid beperkt tot smalle domeinen (voornamelijk wiskunde) en faalt in het aanpassen aan variërende probleemcomplexiteiten.
2. Prohibitieve trainingskosten: Effectieve compressie vereist vaak computationeel dure meerfasige pipelines, inclusincluding data-distillatie, Supervised Fine-Tuning (SFT) warm-ups of progressieve iteratieve pruning.
3. Fragiele schaalbaarheid: Evaluaties zijn grotendeels beperkt tot kleine dense modellen (≤32B), waardoor de toepasbaarheid op state-of-the-art grootschalige en Mixture-of-Experts (MoE) architecturen ongetest blijft.

2. Methodologie: HMPO

De auteurs stellen HMPO (Hybrid Median-length Policy Optimization) voor, een kosteneffectief, single-stage reinforcement learning framework gebouwd op Group Relative Policy Optimization (GRPO). HMPO adresseert de beperkingen van eerder werk via drie synergetische componenten:

A. Adaptief Mediaan-gebaseerd Budget

In plaats van een statisch, handmatig gedefinieerd tokenbudget, afleidt HMPO dynamisch een budget $b$ uit de mediaanlengte van succesvolle (correcte) rollouts binnen een trainingsbatch.

• Mechanisme: Voor een groep van $G$ rollouts wordt de subset $C$ geïdentificeerd die de correcte antwoorden bevat. Het budget wordt berekend als $b = \text{median}(\{n_i \mid i \in C\})$, waarbij $n_i$ de tokenlengte is.
• Voordeel: Deze aanpak isoleert het lengtesignaal van ruisige, mislukte pogingen en creëert een moeilijkheidsbewuste restrictie. Complexe queries resulteren van nature in langere correcte rollouts (het budget versoepelen), terwijl eenvoudigere queries worden onderworpen aan striktere restricties. Naarmate de policy verbetert, neemt het budget automatisch af, wat een zelf-verstrakkend curriculum vormt zonder handmatige interventie.

B. Cosinus-Decay Token Beloning

Om verbositeit te bestraffen zonder de nauwkeurigheid te verslechteren, past HMPO een lengtevoorkeur exclusief toe op succesvolle trajecten.

• Mechanisme: Een token beloning $R_{token}$ wordt gedefinieerd met een vloeiende cosinus-decay functie voor correcte rollouts waarbij de lengte $n < b$:
  $$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$$
  Incorrecte of lege responses ontvangen $R_{token} = 0$. De scalaire $\lambda$ controleert de omvang van de lengte-geïnduceerde winst.
• Voordeel: Dit biedt een "zachte landing" straf, wat kortere correcte responses aanmoedigt terwijl noodzakelijke redeneerstappen behouden blijven, waardoor de harde straffen van binaire drempels worden vermeden.

C. Multiplicatieve Beloningsformulering

Om de juistheid van het antwoord strikt te prioriteren en "reward hacking" te voorkomen (waarbij het model korte maar incorrecte antwoorden genereert om de lengtebeloningen te maximaliseren), is de uiteindelijke beloning multiplicatief geformuleerd:
$$R_{final} = R_{acc} \cdot R_{token}$$

• Mechanisme: $R_{acc}$ is 1 voor correcte antwoorden en 0 voor incorrecte antwoorden.
• Voordeel: Dit dwingt een "juistheid-eerst, lengte-tweede" hiërarchie af. Wiskundig gezien resulteert elke incorrecte response (waar $R_{acc}=0$) in een uiteindelijke beloning van 0, ongeacht de lengte. Dit elimineert efficiëntie-gradiënten voor incorrecte responses, waardoor het trainingproces immuun wordt voor reward hacking.

3. Belangrijkste Bijdragen

1. Methodologische Innovatie: HMPO introduceert adaptieve correct-mediaan budgeting, cosinus beloningsvormgeving en multiplicatieve beloningsfactorisatie. Deze componenten lossen gezamenlijk de rigiditeit van handmatige budgetten, de agressiviteit van statische straffen en de kwetsbaarheid voor reward hacking op die worden gevonden in eerdere RL-gebaseerde compressiemethoden op.
2. Cross-Domein Generalisatie: Het artikel presenteert een uitgebreide evaluatie over 9B tot 122B dense en MoE modellen. Cruciaal is dat HMPO uitsluitend op wiskundige data is getraind, maar robuuste generalisatie vertoont naar code, wetenschap en instructie-opvolgingstaken zonder taakspecifieke afstemming.
3. Ongekende Schaalbaarheid: HMPO bereikt de eerste succesvolle CoT-compressie op massieve MoE-architecturen (tot 122B parameters). Het behoudt een bijna perfecte nauwkeurigheidsgelijkheid terwijl het het aantal gebruikte tokens aanzienlijk vermindert, waardoor deze modellen kunnen concurreren met veel grotere frontier-modellen (bijv. 700B+ MoEs) met veel minder tokens.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Qwen3.5-serie modellen (9B, 35B-A3B, en 122B-A10B) getraind op 6,5K instanties van DeepMath-103K.

• Compressie vs. Nauwkeurigheid: HMPO bereikt 19%–46% tokencompressie over verschillende model-schalen met verwaarloosbare degradatie in nauwkeurigheid.
  • Op Qwen3.5-9B vermindert het de output-tokens met 46% met slechts een daling van 0,02 procentpunt (pp) in gemiddelde nauwkeurigheid.
  • Op Qwen3.5-122B bereikt het 19% compressie met een daling van 0,10 pp in nauwkeurigheid.
• Vergelijking met Baselines:
  • ThinkPrune: Bereikt hogere compressie (64–72%) maar lijdt onder ernstige degradatie in nauwkeurigheid (11–22 pp dalingen).
  • Thinkless: Vertoont catastrofaal falen op kleinere modellen (<15% nauwkeurigheid) door SFT-geïnduceerde mode collapse.
  • AdaptThink: Biedt marginale winst maar faalt in het effectief comprimeren op grotere modellen, en vergroot soms zelfs de tokenlengtes.
• Trainingsefficiëntie: Door het elimineren van distillatie- en SFT-fasen reduceert HMPO de trainings-GPU-uren met 1,5×–2,5× vergeleken met meerfasige baselines.
• Token-efficiëntie: Op AIME 2026 snijden HMPO-getrainde 122B modellen het tokenverbruik met 23% terwijl ze een concurrerende nauwkeurigheid behouden tegenover aanzienlijk grotere frontier-modellen (bijv. Nemotron-3-Super-120B en Kimi-K2.5-1T).

5. Betekenis en Claims

Het artikel claimt dat HMPO een paradigmaverschuiving vertegenwoordigt in efficiënt redeneren door een single-stage, drop-in optimalisatiestrategie aan te bieden. De betekenis ligt in:

• Eliminatie van Handmatige Afstemming: Het adaptieve mediaanbudget elimineert de noodzaak voor tijdrovende, domeinspecifieke lengtebudget-afstemming.
• Wiskundige Robuustheid: De multiplicatieve beloningsformulering voorkomt wiskundig dat het model leert om beknopt te zijn ten koste van de juistheid.
• Praktische Implementatie: Door hoge compressie te bereiken met verwaarloosbaar nauwkeurigheidsverlies over diverse architecturen en domeinen (ondanks de training op enkel wiskunde), maakt HMPO de efficiënte real-world inzet van geavanceerde reasoning LLM's mogelijk, wat de inferentiekosten drastisch verlaagt zonder complexe, meerfasige trainingspipelines te vereisen.

De auteurs erkennen beperkingen met betrekking tot multi-turn redeneren en agentic taken, waarbij zij opmerken dat het huidige framework is ontworpen voor single-turn settings en dat het uitbreiden naar interactieve of tool-gebaseerde scenario's een richting is voor toekomstig werk.