Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een hoeksteen-techniek voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs) in taken zoals wiskunde en coderen. Echter, RLVR-training wordt vaak geplaagd door entropie-inzakking, een fenomeen waarbij de entropie van het beleid tijdens de training snel daalt.

Deze inzinking veroorzaakt twee kritieke falen:

1. Beperkte Exploratie: Het model genereert homogene redeneertrajecten (rollouts), waardoor het geen diverse of correcte oplossingen kan ontdekken.
2. Optimatieverstoring: In op groepen gebaseerde algoritmen zoals GRPO (Group Relative Policy Optimization) leiden homogene rollouts tot niet-discriminerende voordeel-scores, waardoor de training stagneert.

Hoewel recente werken proberen dit te mitigeren via heuristische ingrepen (bijv. het aanpassen van clipping-bounds, het opnieuw wegen van positieve samples, of entropie-bewuste voordelen), ontbreekt het aan een verenigd theoretisch inzicht in waarom deze methoden werken of falen. Hun effectiviteit is vaak beperkt omdat ze vertrouwen op grofkorrelige aanpassingen zonder een principieel mechanisme om token-niveau entropiedynamiek te controleren.

2. Methodologie & Theoretische Analyse

De auteurs stellen een verschuiving voor van grofkorrelig globaal entropie-monitoren naar fijnkorrelige token-niveau entropie-analyse.

A. Theoretische Afleiding (Stelling 1)

Het paper leidt een strakke analytische benadering af voor de token-niveau entropieverandering ($\Omega(s)$) bij elke update-stap. De verandering blijkt te worden beheerst door vier sleutelfactoren:

1. Clipping Indicator ($I_{clip}$): Of de importance sampling-ratio wordt geclipt.
2. Voordeel ($A$) & Oud Beleid ($\pi_{old}$): Weegfactoren voor de update.
3. Token Waarschijnlijkheid ($\pi_\theta$): De huidige waarschijnlijkheid van het token.
4. Conditionele Entropie ($H(s)$): De entropie van de huidige staat.

De afgeleide formule voor entropieverandering is:
$$\Omega(s) \approx -\frac{\eta}{L} \mathbb{E}_{\pi_\theta} \left[ I_{clip} \cdot A \cdot \frac{\pi_{old}}{\pi_\theta} (1 - \pi_\theta) (\log \pi_\theta + H(s)) \right]$$

B. Het Vier-Kwadranten Kader

Gebaseerd op het gezamenlijke effect van Voordeel ($A$) en Token Waarschijnlijkheid ($\pi_\theta$), categoriseren de auteurs token-updates in vier kwadranten:

• Kwadrant I (Exploitatie): Hoge kans, Correct ($A>0$). Entropie neemt af (concentreert massa).
• Kwadrant II (Exploratie): Lage kans, Correct ($A>0$). Entropie neemt toe (diversifieert beleid).
• Kwadrant III (Onderdrukking): Lage kans, Incorrect ($A<0$). Entropie neemt af (straft zeldzame fouten).
• Kwadrant IV (Foutcorrectie): Hoge kans, Incorrect ($A<0$). Entropie neemt toe (flattest de verdeling om alternatieven te zoeken).

Entropie-inzakking wordt geïdentificeerd als een staat waarin de entropie-verminderende krachten (Kwadranten I & III) consequent de entropie-verhogende krachten (Kwadranten II & IV) overweldigen.

C. Kritiek op Bestaande Methoden

Het paper analyseert bestaande heuristieken (bijv. Clip-Higher, Unlikeliness, Entropy-Aware Advantage) en constateert dat deze beperkt zijn omdat:

• Ze slechts één of twee van de vier regulerende factoren aanpassen.
• Ze grofkorrelige aanpassingen toepassen (bijv. globale clipping) in plaats van token-niveau controle.
• Sommige methoden (zoals Entropy-Aware Advantage) per ongeluk de inzinking kunnen versnellen door de entropieverandering van tokens die al drastische verschuivingen ondergaan, te versterken.

3. Voorgestelde Oplossing: STEER

Om deze beperkingen aan te pakken, introduceren de auteurs STEER (Stabilizing Token-level Entropy-changE via Reweighting).

• Kernmechanisme: STEER berekent de theoretisch geschatte entropieverandering $\Omega(s)$ voor elk token.
• Adaptief Opnieuw Wegen: Het past een schaalweegfactor $\lambda(s)$ toe op de gradient van het token. Tokens met buitensporig grote entropieveranderingen (zowel toenemend als afnemend) worden down-gewogen om de dynamiek te stabiliseren.
• Weegfunctie:
  $$\lambda(s) = \exp\left(-\alpha \frac{|\Omega(s)|}{\max_{s' \in B} |\Omega(s')|}\right)$$
  Dit zorgt ervoor dat tokens die onstabiele entropiedynamiek veroorzaken, minder bijdragen aan de gradient, terwijl stabiele tokens behouden blijven.
• Voordelen:
  • Principieel: Gebaseerd op de afgeleide theoretische benadering, niet op heuristieken.
  • Fijnkorrelig: Werkt op token-niveau.
  • Efficiënt: Voegt verwaarloosbare rekentijd toe (vereist alleen de berekening van $\Omega(s)$).
  • Universeel: Compatibel met diverse RL-algoritmen (GRPO, RLOO, OPO) en model-families.

4. Experimentele Resultaten

De auteurs hebben STEER geëvalueerd over zes wiskundige redeneer-benchmarks (AIME, AMC, MATH, enz.) en drie coderings-benchmarks (LiveCodeBench, Zeta, Internal).

• Prestaties: STEER presteerde consequent beter dan state-of-the-art baselines (waaronder GRPO, OPO, Clip-High, Entro. Adv., enz.).
  • Op Qwen2.5-Math-7B behaalde STEER een gemiddelde score van 48,6%, wat een aanzienlijke marge is boven de op één na beste methode (OPO met 46,4%).
  • Op Qwen2.5-14B behaalde het 45,2% gemiddeld, waarmee het concurrenten overtrof.
• Entropiecontrole: STEER slaagde erin stabiele entropiedynamiek gedurende de training te handhaven, waardoor de snelle inzinking die bij baselines werd gezien, werd voorkomen. In extreme scenario's (waar clipping was uitgeschakeld) bleef STEER stabiel terwijl andere methoden faalden.
• Generalisatie:
  • Modelgrootte: Effectief over 1,5B, 7B en 14B modellen.
  • Modelfamilies: Werkt op Qwen, Llama en Mistral-architecturen.
  • Algoritmen: Succesvol toegepast op GRPO, RLOO en OPO.
• Coderingstaken: STEER verbeterde de prestaties bij code-generatie en -bewerkings-taken, wat robuustheid aantoont buiten puur wiskundig redeneren.

5. Betekenis en Bijdragen

1. Theoretische Doorbraak: Het paper biedt de eerste strakke analytische benadering voor token-niveau entropieverandering in RLVR, waardoor de mechanismen achter bestaande heuristieken worden ontsluierd en hun inherente beperkingen worden blootgelegd.
2. Verenigd Kader: Het introduceert een vier-kwadranten visie op entropiedynamiek, wat een duidelijk conceptueel kaart biedt voor het begrijpen hoe verschillende token-types bijdragen aan exploratie versus exploitatie.
3. Effectief Algoritme (STEER): Het stelt een eenvoudige, theoretisch onderbouwde methode voor die tokens adaptief opnieuw weegt om training te stabiliseren. STEER bereikt superieure prestaties zonder complexe architecturale veranderingen of zware rekentijd.
4. Praktische Impact: Door het probleem van entropie-inzakking op te lossen, maakt STEER een stabielere en effectievere schaalvergroting van RLVR voor geavanceerde redeneertaken mogelijk, wat cruciaal is voor de ontwikkeling van redeneermodellen van de volgende generatie.

Kortom, dit werk verplaatst het veld van trial-and-error heuristieken naar een principieel, theoretisch inzicht in entropiedynamiek in RLVR, en biedt een robuuste oplossing (STEER) die de state of the art in LLM-redeneren significant vooruitbrengt.