Compress the Easy, Explore the Hard: Difficulty-Aware Entropy Regularization for Efficient LLM Reasoning

Technische Samenvatting: Compress the Easy, Explore the Hard (CEEH)

Probleemstelling

Chain-of-Thought (CoT) prompting heeft de redeneervermogens van Large Language Models (LLM's) aanzienlijk verbeterd door tussenliggende stappen te externaliseren. Deze expliciete redenering leidt echter vaak tot verbloemde outputs, wat resulteert in een onhoudbare inferentielatentie en computationele kosten. Bestaande methoden voor redeneringscompressie, die doorgaans gebruikmaken van Reinforcement Learning (RL) met lengtebeperkingen (bijv. expliciete lengtestraf), kampen met een kritieke faalmodus: agressieve optimalisatie voor beknoptheid triggert snelle entropie-instorting (entropy collapse).

Naarmate het beleid (policy) te deterministisch wordt om aan de lengtebeperkingen te voldoen, krimpt de exploratieruimte voortijdig. Dit voorkomt dat het model geldige redeneerpaden ontdekt voor uitdagende problemen die uitgebreide deductie, zelfreflectie of foutcorrectie vereisen. Bijgevolg offeren deze methoden vaak de redeneernauwkeurigheid op voor beknoptheid. Er bestaat een centrale spanning: uniforme entropie-regularisatie kan exploratie in stand houden maar induceert langere trajecten (wat compressie tegenwerkt), terwijl uniforme lengtestraf trajecten comprimeert maar de entropie doet instorten (wat de nauwkeurigheid vermindert).

Methodologie: CEEH

De auteurs stellen CEEH voor (Compress the Easy, Explore the Hard), een moeilijkheidsbewust framework dat exploratie en compressie dynamisch in balans brengt. De methode integreert twee synergetische componenten binnen een Group Relative Policy Optimization (GRPO) setting:

1. Moeilijkheidsbewuste Entropie-regularisatie
In plaats van uniforme regularisatie toe te passen, behoudt CEEH selectief de exploratie op "moeilijke" vragen, terwijl het agressieve compressie toestaat op "gemakkelijke" vragen.

• Dynamische Schattingsmethode voor Moeilijkheidsgraad: Het systeem houdt een historische nauwkeurigheidsschatting bij voor elke vraag met behulp van een Asymmetrische Exponentiële Voortschrijdend Gemiddelde (EMA). Een vraag wordt geclassificeerd als "moeilijk" ($D_h$) als de historische nauwkeurigheid onder het gemiddelde van de globale dataset valt. Deze drempel evolueert naarmate het model verbetert.
• Selectief Mechanisme:
  • Voor Moeilijke Vragen ($D_h$): De methode past sterkere entropie-regularisatie toe. Dit wordt bereikt door de regularisatiecoëfficiënt te versterken (bijv. een $5\times$ multiplier in de cosine annealing schedule) en een entropie-gebaseerde advantage term ($\psi(H)$) op te nemen die de generatie van hoog-entropische tokens stimuleert. Dit behoudt een diverse zoekruimte om voortijdige convergentie te voorkomen.
  • Voor Gemakkelijke Vragen: De regularisatie wordt versoepeld, waardoor het beleid met vertrouwen kortere, goed gevestigde redeneerpaden kan exploiteren.

2. Dynamische Optimale-lengtestraf
Om de potentiële lengte-inflatie tegen te gaan die wordt veroorzaakt door de entropie-regularisatie op moeilijke vragen, introduceert CEEH een dynamische, vraag-specifieke lengtestraf.

• Mechanisme: Het systeem houdt de historisch kortste correcte respons-lengte ($L_x$) bij voor elke specifieke vraag.
• Straf-functie: Een straf wordt alleen toegepast op correcte responsen die deze evoluerende baseline overschrijden. De straf wordt berekend als de relatieve afwijking: $R_{len} = (L_{x, y_i} - L_x) / L_x$.
• Adaptief Signaal: Dit ontwerp zorgt ervoor dat het compressiesignaal stabiel en discriminerend blijft, zelfs wanneer de capaciteiten van het model verbeteren en de respons-lengtes van nature afnemen. Het voorkomt dat het model de entropie-regularisatie exploiteert om onnodig lange outputs te genereren bij moeilijke problemen.

Trainingsdynamiek
De totale beloning combineert de verifieerbare beloning (nauwkeurigheid) en de lengtestraf: $R_{total} = R - \beta R_{len}$. De methode maakt gebruik van specifieke implementatiestrategieën, zoals het verhogen van de bovenste clipping-drempel (Clip-Higher) om exploratie te stimuleren en het vermijden van advantage-standaardisatie om de attenuatie van het lengtestraf-signaal te voorkomen.

Belangrijkste Bijdragen

1. Identificatie van Entropie-instorting: Het artikel biedt een entropie-gebaseerd perspectief en identificeert snelle entropie-afname als een primaire factor die de falende nauwkeurigheid-lengte trade-off in bestaande redeneringscompressiemethoden veroorzaakt.
2. CEEH Framework: Een nieuw framework dat moeilijkheidsbewuste entropie-regularisatie (om exploratie op moeilijke taken in stand te houden) en een dynamische optimale-lengtestraf (om training te stabiliseren en compressie af te dwingen) integreert.
3. Empirische Validatie: Toont aan dat CEEH een superieure nauwkeurigheid-efficiëntie trade-off bereikt vergeleken met sterke baselines, waarbij het effectief redenering comprimeert zonder de correctheid op te offeren.

Experimentele Resultaten

De methode werd geëvalueerd op zes wiskundige redeneerbenchmarks (GSM8K, MATH500, AIME24/25, AMC, OlymBench) met behulp van R1-Distill-Qwen2.5 modellen.

• Nauwkeurigheid vs. Lengte: CEEH verminderde het aantal tokens in de respons consequent met meer dan 30% vergeleken met de basismodellen, terwijl de nauwkeurigheid vergelijkbaar met, of zelfs iets beter dan, het basismodel bleef.
• Vergelijking met Baselines:
  • Prompting/Offline Methoden: Toonden vaak fluctuerende nauwkeurigheid of slaagden er niet in om te generaliseren over diverse moeilijkheidsgraden.
  • Lengte-gebaseerde RL (bijv. Length-Penalty): Hoewel effectief in het reduceren van de lengte, degradeerden deze methoden frequent de Pass@k prestaties, wat wijst op een verlies in de onderliggende redeneercapaciteit door entropie-instorting.
  • CEEH: Behield of verbeterde de Pass@k scores, wat suggereert dat de methode het vermogen van het model om correcte oplossingen te ontdekken door gecontroleerde exploratie behoudt.
• Robuustheid: De methode generaliseerde goed over modellen van verschillende schalen (1.5B en 7B parameters) en diverse redeneertaken.
• Trainingsefficiëntie: CEEH bereikte een hogere trainingsnauwkeurigheid en betere data-efficiëntie vergeleken met uniforme strafstrategieën, toegeschreven aan de hoog-entropische exploratie op uitdagende vragen.

Betekenis en Claims

Het artikel claimt dat CEEH de spanning tussen redeneringscompressie en capaciteitsbehoud oplost door expliciet te scheiden waar gecomprimeerd moet worden en waar geëxploreerd moet worden.

• Behoud van Redeneercapaciteit: Door de entropie-instorting op moeilijke instanties te voorkomen, zorgt CEEH ervoor dat het model het vermogen behoudt om complexe deducties en zelfcorrectie uit te voeren, in plaats van enkel zelfverzekerd te worden in suboptimale, verkorte oplossingen.
• Stabiele Compressie: De dynamische optimale-lengtestraf biedt een robuust signaal dat zich aanpast aan de verbeterende capaciteiten van het model, waardoor de "lengte-inflatie" wordt voorkomen die vaak optreedt wanneer entropie-regularisatie uniform wordt toegepast.
• Generaliseerbaarheid: De aanpak toont aan dat efficiëntiewinsten in LLM-redenering geen trade-off met nauwkeurigheid vereisen, mits exploratie adaptief wordt beheerd op basis van de moeilijkheidsgraad van de instantie.

Het werk concludeert dat principiële entropiecontrole tijdens compressie essentieel is voor het behoud van echte redeneercapaciteiten in RL-gebaseerde LLM-optimalisatie.