Technische Samenvatting: ACPO – Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy

1. Probleemstelling

Reinforcement Learning (RL) heeft de redeneervermogens van Large Language Models (LLMs) aanzienlijk verbeterd, met name in domeinen met verifieerbare doelstellingen zoals wiskunde en programmeren. Een kritieke flessenhals blijft echter: sparse outcome rewards (ijle resultaatbeloningen). In standaard RL met Verifiable Rewards (RLVR) is een scalaire beloning doorgaans alleen beschikbaar aan het einde van een lange Chain-of-Thought (CoT) traject.

Bestaande schaalbare methoden, zoals Group Relative Policy Optimization (GRPO), wijzen deze traject-niveau beloning uniform toe aan alle tokens. Deze "ononderscheiden" toewijzing negeert de variërende bijdragen van individuele redeneerstappen, wat leidt tot hoge variantie en instabiliteit. Hoewel recente entropie-bewuste benaderingen proberen dit aan te pakken door token-onzekerheid te gebruiken als proxy voor belangrijkheid, kampen zij met twee primaire beperkingen:

1. Coarse Heuristics (Grovere heuristieken): Methoden die vertrouwen op "harde buckets" (bijv. de top 20% hoogste-entropie tokens uniform behandelen) missen de noodzakelijke granulariteit voor complexe redenering.
2. Optimization Mismatch (Optimalisatie-mismatch): Het direct optimaliseren van de ware entropie introduceert niet-lokale gradiëntcomponenten (die werken op de volledige vocabulaire-distributie) die mogelijk niet overeenstemmen met de gesamplede token-policy updates. Bov endien is ware entropie gevoelig voor ruis in de long-tail van de vocabulaire-distributie, zelfs wanneer deze is losgekoppeld (detached).

2. Methodologie: Adaptive Credit Policy Optimization (ACPO)

ACPO stelt een token-niveau credit assignment framework voor dat policy updates dynamisch moduleert op basis van een mode-local surrogate entropy (surrogaat-entropie op modus-niveau).

2.1 Kerninzicht: Entropy Spikes bij Fouten

Empirische analyse op wiskundige redeneertaak (AIME) onthult een duidelijk patroon: wanneer een model een redeneerfout maakt, vertoont de stap-gewijze conditionele entropie van het incorrecte traject een scherpe piek en blijft deze verhoogd, terwijl correcte trajecten een lage, stabiele entropie behouden. Dit suggereert dat onzekerheid een sterk signaal is voor het identificeren van kritieke "forking points" (splitsingspunten) in redenering.

2.2 Formulering van Surrogaat-entropie

Om de optimalisatie-mismatch van ware entropie te vermijden, introduceert ACPO een surrogaat-entropie ($\delta_{i,t}$), gedefinieerd als de complementaire waarschijnlijkheid van de dominante modus:
$$\delta_{i,t}(\theta) = 1 - \pi_\theta(v^*_{i,t} | q, y_{i,<t})$$
waarbij $v^*_{i,t}$ de token is met de hoogste waarschijnlijkheid.

• Mode-Local Focus: In tegenstelling tot de volledige vocabulaire-entropie, richt $\delta$ zich uitsluitend op de zekerheid van het model met betrekking tot zijn meest waarschijnlijke voorspelling.
• Gradiëntgedrag: Onder de aanname van "modale uitlijning" (waarbij de gesamplede token vaak samenvalt met de dominante modus), werkt de gradiënt van $\delta$ lokaal op de dominante modus in plaats van op de gehele distributie. Dit behoudt de beoogde policy-gradient richting terwijl de magnitude van de update wordt gemoduleerd.
• Theoretische Grenzen: Het artikel bewijst dat deze surrogaat deterministische grenzen toelaat ten opzichte van de ware Shannon-entropie, wat een robuuste benadering biedt onder massageconcentreerde LLM-distributies.

2.3 Asymmetrische Credit Assignment

ACPO integreert deze surrogaat-entropie in een asymmetrisch weegschema voor de advantage estimate ($\hat{A}_{i,t}$), waarbij onderscheid wordt gemaakt tussen succesvolle en mislukte trajecten:

1. Positive-Advantage Trajecten (Succes):

   • Doel: Het versterken van onzekere maar correcte beslissingen.
   • Mechanisme: De weging wordt geschaald door $(2 + \delta_{i,t})$.
   • Ratio: Hoge onzekerheid in een succesvol traject duidt op een kritieke redeneerstap waar het model onzeker over was maar die wel correct uitvoerde; deze stappen moeten worden benadrukt. De constante offset '2' zorgt ervoor dat de moduleringsfactor positief blijft, wat gradiëntomkering voorkomt.

2. Non-Positive-Advantage Trajecten (Falen):

   • Doel: Overmoedige fouten bestraffen terwijl ruis van post-error onzekerheid wordt verminderen.
   • Mechanisme: De weging wordt geschaald door $(1 - \delta_{i,t})$.
   • Ratio: Incorrecte trajecten bevatten vaak laag-onzekere (overmoedige) fouten gevolgd door hoog-entropische ruis. ACPO wijst grotere straffen toe aan de zelfverzekerde (foutieve) tokens en kleinere straffen aan de daaropvolgende onzekere tokens, wat effectief de credit-signalen "reinigt".

De uiteindelijke objectieffunctie $J_{ACPO}$ combineert deze asymmetrische wegingen met het standaard soft-gating mechanisme van SAPO (Soft Adaptive Policy Optimization).

3. Belangrijkste Bijdragen

1. Fine-Grained Adaptive Credit Assignment: Een token-niveau weegschema dat de advantage estimates dynamisch moduleert, waarbij positieve en non-positieve trajecten asymmetrisch worden behandeld om onzekere successen te benadrukken en overmoedige fouten te bestraffen.
2. Surrogaat-entropie Formulering: Een nieuwe mode-lokale onzekerheids-proxy die de optimalisatie-mismatch van ware entropie vermijdt. Het biedt deterministische entropie-grenzen en behoudt de policy-gradient richting onder modale uitlijning en proximale updates.
3. Empirische Effectiviteit: Validatie over drie basismodellen (Qwen2.5-Math-7B, DeepSeek-R1-Distill, Qwen3-8B-Base) op concurrerende redeneerbenchmarks, wat consistente verbeteringen laat zien ten opzien van sterke baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op wiskundige redeneerbenchmarks (AIME 2024/2025, MATH500, HMMT25, BeyondAIME) en een programmeerbenchmark (HumanEvalPro).

• Prestaties: ACPO presteerde consequent beter dan sterke RL-baselines inclusief GRPO, DAPO, GTPO en SAPO.
  • Op Qwen2.5-Math-7B behaalde ACPO een gemiddelde score van 34.04, waarmee het SAPO (31.53) en GTPO (31.89) versloeg.
  • Op DeepSeek-R1-Distill-Qwen-7B bereikte ACPO 40.21, wat significant beter is dan de op één na beste baseline, SAPO (38.35).
• Trainingsdynamiek: Vergeleken met SAPO vertoonde ACPO een snellere verbetering in de vroege stadia van de training wat betreft reward en validatie-accuratesse. In latere stadia behield het een hogere validatie-accuratesse, wat wijst op verbeterde trainingsstabiliteit en een hoger prestatieplafond.
• Ablatie-studies:
  • Het asymmetrische ontwerp $(2+\delta, 1-\delta)$ bleek superieur aan symmetrische varianten of het gebruik van losgekoppelde (detached) ware entropie.
  • Het gebruik van de top-1 dominante modus (surrogaat-entropie) was effectiever dan het gebruik van detached ware entropie of top-$k$ varianten, wat bevestigt dat dominant-modus onzekerheid een beknopte en effectieve proxy is voor redeneersplitsingen.

5. Betekenis en Claims

Het artikel claimt dat ACPO het fundamentele "credit assignment bottleneck" in sparse-reward RL voor LLM's aanpakt zonder dat daarvoor dure Process Reward Models (PRMs) of menselijke annotatie nodig zijn. Door de grove, uniforme reward-toewijzing te vervangen door een fijnmazig, entropie-bewust mechanisme, stelt ACPO modellen in staat om effectiever te leren van outcome-signalen.

De auteurs benadrukken dat hun aanpak theoretisch gefundeerd is in de observatie dat ware entropie niet-lokale gradiënten introduceert, terwijl hun mode-lokale surrogaat overeenkomt met de gesamplede-token updates. De resultaten suggereren dat het verschillend behandelen van succesvolle onzekere stappen en gefaalde overmoedige stappen cruciaal is voor het stabiliseren en versnellen van RL-training in redeneertaken. De methode wordt gepresenteerd als een schaalbare, plug-and-play verbetering voor bestaande GRPO-gebaseerde frameworks.