Technische Samenvatting: Flexibele Entropiebesturing in RLVR vanuit een Gradiëntbehoudend Perspectief

Probleemstelling

Versterkende Leer met Verifieerbare Beloningen (RLVR), met name met Group Relative Policy Optimization (GRPO), is een cruciale methode geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's). Echter leidt continue training binnen dit paradigma vaak tot instorting van de policy-entropie. Dit fenomeen wordt gekenmerkt door een snelle afname van de policy-entropie naar waarden dicht bij nul, wat resulteert in voortijdig oververtrouwen, verminderde outputdiversiteit en het verdwijnen van gradiëntnormen, wat uiteindelijk verdere leerprocessen remt en de modelprestaties verslechtert.

Een primaire factor die deze dynamiek aandrijft is Gradiëntbehoudend Clipping, een mechanisme dat is overgenomen van Clipped Proximal Policy Optimization (PPO-Clip) en dat de importance sampling-ratio binnen een betrouwbaarheidsgebied beperkt. Hoewel bestaande mitigeringsstrategieën, zoals de "Clip-Higher"-benadering, proberen dit aan te pakken door statisch de clippingdrempels aan te passen, ontbreekt het hen aan een theoretisch kader dat clippingmechanismen verbindt met precieze entropiebesturing. Bijgevolg zijn huidige methoden vaak statisch en falen ze in het bieden van flexibele, stadiumspecifieke entropieregulatie die noodzakelijk is voor effectieve RL-training.

Methodologie

Dit artikel stelt een nieuwe aanpak voor om entropiebesturing in RLVR te herformuleren vanuit een Gradiëntbehoudend Perspectief. De methodologie is gebaseerd op drie kerncomponenten:

1. Theoretische en Empirische Analyse van Entropiedynamiek

De auteurs analyseren theoretisch de relatie tussen de updategradiënten van versterkend leren en de globale entropiegradiënten. Door het inproduct te berekenen van de objectiefgradiënt ($\nabla_z L$) en de entropiegradiënt ($\nabla_z H$), identificeren ze vier distincte gebieden van de importance sampling-ratio ($r_t$) die bepalen of entropie toeneemt of afneemt:

• E1 (Hoge Winst): Tokens met hoge waarschijnlijkheid en positief voordeel stimuleren verdere scherping (afname van entropie).
• E2 (Lage Winst): Tokens met lage waarschijnlijkheid en positief voordeel stimuleren afvlakking (toename van entropie).
• E3 (Hoge Daling): Tokens met hoge waarschijnlijkheid en negatief voordeel stimuleren afvlakking (toename van entropie).
• E4 (Lage Daling): Tokens met lage waarschijnlijkheid en negatief voordeel stimuleren scherping (afname van entropie).

Empirische verificatie bevestigt dat het selectief toepassen van Gradiëntbehoudend Clipping op deze specifieke gebieden de trajectorie van de policy-entropie direct beïnvloedt.

2. Dynamische Clippingdrempels voor Entropieregulatie

Gebaseerd op de theoretische bevindingen introduceert het artikel een dynamisch clippingdrempelmechanisme. In plaats van vaste scalaire grenzen ($\epsilon$) te gebruiken, worden de clippingdrempels geformuleerd als functies van de huidige policy-waarschijnlijkheid ($\pi_\theta$) met een stop-gradient-operatie:
$$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$$
waarbij $f(\bar{p}_t)$ negatief gecorreleerd is met de waarschijnlijkheid.

• Voor Positief Voordeel: De bovenste clippingdrempel wordt verhoogd voor tokens met lage waarschijnlijkheid (om exploratie/E2 te stimuleren) en verlaagd voor tokens met hoge waarschijnlijkheid (om overconcentratie/E1 te voorkomen).
• Voor Negatief Voordeel: De onderste clippingdrempel wordt verlaagd voor tokens met hoge waarschijnlijkheid (om stabiliteit te handhaven) en versoepeld voor tokens met lage waarschijnlijkheid (om suboptimale gebieden/E4 te onderdrukken).

Dit mechanisme maakt een precieze, waarschijnlijkheidsafhankelijke modulatie van het betrouwbaarheidsgebied mogelijk om entropieveranderingen te bevorderen of te onderdrukken.

3. Entropiebesturingsstrategieën

Met behulp van het dynamische regulatiemechanisme ontwerpen de auteurs drie verschillende trainingsstrategieën om de evolutie van entropie gedurende de levenscyclus van training te beheren:

• Stijgen-then-Dalen (ID): Ontworpen voor met SFT-gealigneerde modellen. Het begint met een fase van entropietoename (het stimuleren van diverse redenering) gevolgd door een fase van entropieafname (convergeren naar optimale prestaties).
• Dalen-Stijgen-Dalen (DID): Geschikt voor basismodellen of modellen met hoge entropie. Het verlaagt aanvankelijk de entropie om optimalisatie te stabiliseren, staat een gecontroleerde toename toe om instorting te voorkomen, en verlaagt vervolgens de entropie voor convergentie.
• Oscillerend Verval (OD): Ontworpen voor lange trainingsruns of scenario's die vatbaar zijn voor lokale minima. Het maakt gebruik van een toestandsmachine die entropieverhoging of -onderdrukking activeert op basis van of de huidige entropie onder een ondergrens valt of een vervallende bovengrens overschrijdt, waardoor een dynamisch evenwicht gedurende de training wordt gehandhaafd.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het artikel biedt een theoretische afleiding en empirische validatie van hoe specifieke gebieden van de importance sampling-ratio bijdragen aan entropiegroei en -reductie, waardoor een duidelijke link wordt gelegd tussen Gradiëntbehoudend Clipping en entropiedynamiek.
2. Regulatiemechanisme: Het stelt een dynamisch clippingdrempelmechanisme voor dat de boven- en ondergrenzen moduleert op basis van tokenwaarschijnlijkheid, waardoor flexibele en precieze controle over entropieschommelingen mogelijk wordt.
3. Strategieontwerp: Het introduceert en evalueert drie specifieke entropiebesturingsstrategieën (ID, DID, OD) die het trainingsproces aanpassen aan verschillende modeltoestanden en doelen, waardoor entropie-instorting effectief wordt tegengegaan.

Experimentele Resultaten

De voorgestelde methoden werden geëvalueerd op de modellen Qwen2.5-Math-7B, Qwen2.5-7B en Phi-4-14B met behulp van het DAPO-MATH-dataset. De prestaties werden getoetst aan meerdere wiskundige redeneertaken (AIME24/25, AMC, MATH-500, GSM8k, Olympiade) en niet-wiskundige domeinen (GPQA-Diamond, LiveCodeBench, MMLU-Redux).

• Prestatiewinst: Alle drie de strategieën (ID, DID, OD) presteerden consistent beter dan de baseline GRPO en andere state-of-the-art methoden (zoals Clip-Higher, Entropy-Regularization, GSPO) over meerdere benchmarks. Bijvoorbeeld, op Qwen2.5-Math-7B behaalde de Ours-ID-strategie een score van 33.1 op AIME24 vergeleken met 24.4 voor GRPO, en 48.3 op Olympiade vergeleken met 46.2.
• Entropiebesturing: Trainingscurven toonden aan dat de voorgestelde methoden succesvol entropie-instorting voorkwamen. De ID-strategie toonde een duidelijke initiële entropiestijging gevolgd door een gecontroleerd verval, terwijl OD een oscillerend gedrag handhaafde dat voortijdige convergentie voorkwam.
• Generalisatie: De methoden toonden schaalbaarheid naar grotere modellen (Phi-4-14B) en generalisatie naar niet-wiskundige domeinen, met consistente verbeteringen in Pass@K-metrics en beloningsscores.
• Efficiëntie: Het dynamische clippingmechanisme introduceerde minimale rekenkundige overhead, met trainingstijden die vergelijkbaar waren met de baseline GRPO.

Betekenis en Claims

Het artikel beweert dat door het perspectief van entropiebesturing te verschuiven van statische drempelafstelling naar een gradiëntbehoudende, waarschijnlijkheidsafhankelijke dynamische modulatie, het mogelijk is om de afweging tussen exploratie en exploitatie in RLVR precies te beheren.

De auteurs stellen dat hun werk de kritieke kwestie van entropie-instorting aanpakt, die is geïdentificeerd als een knelpunt bij het schalen van RL voor LLM-redenering. Door een theoretisch kader en praktische strategieën (ID, DID, OD) te bieden, biedt het artikel een robuuste oplossing voor het handhaven van outputdiversiteit en gradiëntstroom tijdens continue training. De resultaten suggereren dat flexibele entropiebesturing niet slechts een regularisatietechniek is, maar een fundamenteel onderdeel voor het bereiken van superieure redeneerprestaties in grote taalmodellen. Het werk benadrukt dat de effectiviteit van deze strategieën ligt in hun vermogen om de beperkingen van het betrouwbaarheidsgebied aan te passen aan de specifieke waarschijnlijkheidstoestanden van tokens, in plaats van uniforme aanpassingen toe te passen.