Technische Samenvatting: Laat winsten niet FADE: De afbraak van Policy Gradient gewichten in RL

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft de redeneervermogens van Large Language Models (LLM's) aanzienlijk verbeterd in domeinen zoals codegeneratie en wiskunde. Deze vooruitgang wordt echter gehinderd door trainingsinstabiliteit en diversiteitscollaps, waarbij modellen convergeren naar smalle oplossingsmodi, waardoor ze de breedte aan redeneerstrategieën opofferen die nodig zijn voor robuuste prestaties.

Hoewel advantage functies (of policy gewichten) breed worden gebruikt om trainingsdoelstellingen te hervormen en rollouts te herwegen, lijdt het vakgebied aan een proliferatie van methoden (bijv. GRPO, DAPO, DR-GRPO, pass@k doelstellingen) die geen verenigd theoretisch kader hebben. Het blijft onduidelijk welke advantage functie te gebruiken is en wanneer, aangezien bestaande methoden gelijktijdig langs meerdere assen verschillen, wat een vergelijkende analyse bemoeilijkt. Specifiek is de wisselwerking tussen het versterken van successen, het onderdrukken van fouten en het focussen op probleemmoeilijkheid nog niet goed begrepen, wat leidt tot suboptimale afwegingen tussen leersnelheid en oplossingsdiversiteit.

2. Methodologie: Een Verenigend Kader

De auteurs stellen een kader voor dat elke policy weight decomponeert in positieve ($m_S$) en negatieve ($m_F$) gradiëntmassa's langs twee orthogonale assen: de Signaal-as en de Moeilijkheids-as.

2.1 De Decompositie

Voor een batch rollouts met een solve rate $p$ wordt de policy gradient benaderd als:
$$\nabla_\theta J \approx m_S \cdot \bar{\nabla}_S - m_F \cdot \bar{\nabla}_F$$
waarbij $\bar{\nabla}_S$ en $\bar{\nabla}_F$ de gemiddelde gradiënten zijn over succesvolle en gefaalide trajecten, respectievelijk.

Het kader identificeert drie kritieke ontwerpassen:

1. Signaal-as: Bepaalt de balans tussen $m_S$ en $m_F$.
2. Moeilijkheids-as: Bepaalt of de gradiëntmassa piekt op gemakkelijke prompts (hoge $p$) of moeilijke prompts (lage $p$).
3. Schaal-as: De totale grootte van de gradiënt (impliciete learning rate herschaling).

2.2 Geïdentificeerde Trade-offs

Door theoretische analyse en empirische observatie identificeert het paper drie fundamentele trade-offs, gedreven door de representationele asymmetrie tussen correcte en incorrecte trajecten:

• Versterken van Successen vs. Entropie-collaps: Correcte oplossingen zijn vaak geclusterd en vergelijkbaar. Het versterken hiervan ($m_S \gg m_F$) concentreert de policy op een smalle modus, wat leidt tot entropie-collaps. De snelheid van deze collaps is voorspelbaar vanuit de signaalratio alleen.
• Onderdrukken van Fouten vs. Rank-1 Update Collaps: Fouten zijn divers en decorreleerd. Het versterken hiervan ($m_F \gg m_S$) drijft de gewichtsupdate naar een enkele onderdrukkingsrichting. Dit induceert een rank-1 update collaps, waarbij het model alleen leert langs één as (de "rank-1 funnel"), wat multidimensionaal leren blokkeert en de out-of-distribution generalisatie vermindert.
• Focus op Moeilijke Problemen vs. Variantie: Het richten van de gradiëntmassa op prompts met een lage solve-rate levert meer informatieve updates op, maar brengt een hogere variantie met zich mee door de schaarste aan succesvolle samples.

2.3 FADE: Focal Advantage met Dynamische Entropie

Om de beperkingen van statische advantage functies aan te pakken, stellen de auteurs FADE voor, een zelf-adapterende advantage functie die gradiëntgewichten automatisch plant op basis van de trainingsdynamiek. FADE combineert twee mechanismen:

1. Dynamische Signaal Balancering ($\delta$): Past de ratio van negatieve naar positieve massa aan op basis van de huidige entropie ($\hat{H}$) van de policy.
   • Exploratie Fase: Wanneer de entropie hoog is, $\delta \approx 1$ (signaal-gebalanceerd) om voortijdige rank-1 collaps te voorkomen.
   • Exploitatie Fase: Wanneer de entropie onder een doel $H^*$ daalt, $\delta < 1$ (fout-gebiast) om het leren te versnellen door fouten te onderdrukken.
2. Dynamische Moeilijkheids Focus ($\alpha$): Past de focus op moeilijke problemen aan op basis van de solve rate ($\hat{p}$).
   • In het begin van de training is $\alpha$ hoog om op moeilijke problemen te focussen (frontier learning).
   • Naarmate de solve rates stijgen, neemt $\alpha$ af om overfitting op steeds gemakkelijkere problemen te voorkomen en de sample efficiëntie te behouden.

De update regel wordt gedefinieerd als:
$$A_i = (1 - \bar{r})^{\alpha-1} \cdot \begin{cases} r_i - \bar{r} & \text{als } r_i \ge \bar{r} \\ \frac{r_i - \bar{r}}{\delta} & \text{als } r_i < \bar{r} \end{cases}$$
waarbij $\alpha$ en $\delta$ afgeknipte functies zijn van de geschatte solve rate en entropie.

3. Belangrijkste Bijdragen

1. Verenigend Kader: Een decompositie van policy weights in positieve/negatieve gradiëntmassa's langs de signaal- en moeilijkheidsassen, wat de structurele verschillen tussen bestaande methoden verheldert.
2. Theoretische Inzichten: Identificatie van de mechanismen achter entropie-collaps (gedreven door signaal-imbalans) en rank-1 update collaps (gedreven door fout-bias), waarbij deze pathologieën worden gekoppeld aan het enkelvoudige waarde spectrum van gewichtsupdates.
3. FADE Algoritme: Een dynamische scheduler die zich aanpast aan de toestand van de training, waarbij exploratie (gebalanceerde signalen, harde focus) en exploitatie (fout-onderdrukking, medium focus) wordt gebalanceerd zonder handmatige afstemming.
4. Empirische Validatie: Uitgebreide experimenten op Qwen 2.5 7B en CWM 32B modellen over LiveCodeBench en AIME benchmarks.

4. Resultaten

• Trainingssnelheid: FADE bereikt de piek pass@1 prestatie 20.000 stappen eerder dan de beste statische baseline (Power $\alpha=2$) op het 7B model en 2.000 stappen eerder op het 32B model.
• Accuracy-Diversity Trade-off: FADE bereikt de beste balans tussen nauwkeurigheid (pass@1) en diversiteit (pass@10, pass@100) over alle model-schalen en benchmarks. Het behoudt hoge pass@100 scores waar statische methoden vaak degraderen door diversiteitscollaps.
• Generalisatie: Modellen getraind met FADE vertonen superieure generalisatie op AIME 2024/2025 (niet eerder geziene wiskundecompetities) vergeleken met fout-gebiaste statische methoden, die lijden onder rank-1 collaps.
• Ablatie Studies: Het verwijderen van de dynamische $\delta$ component leidt tot entropie-collaps, terwijl het verwijderen van $\alpha$ de diversiteit vermindert. Beide componenten zijn noodzakelijk om de exploratie-exploitatie trade-off effectief te balanceren.

5. Betekenis en Claims

Het paper claimt dat de verwarring in het RLVR-veld voortkomt uit het verwarren van orthogonale ontwerpassen. Door de signaal balans (die de entropie en rank-collaps beheerst) expliciet te scheiden van de moeilijkheids focus (die de signaal-ruisverhouding beheerst), bieden de auteurs een principiële manier om advantage functies te ontwerpen.

De betekenis van FADE ligt in het vermogen om automatisch het trainingspad te navigeren:

• Het begint in een exploratieve modus (gebalanceerde signalen, harde focus) om diverse redeneerstrategieën op te bouwen en voortijdige overfitting te voorkomen.
• Het gaat over naar een exploitieve modus (fout-onderdrukking, medium focus) zodra de policy is gestabiliseerd, wat convergentie versnelt zonder de multidimensionale leerprocessen op te offeren die nodig zijn voor generalisatie.

De auteurs concluderen dat hoewel hun kader uitgaat van binaire, terminale beloningen, de decompositie van $m_S$ en $m_F$ een algemeen venster biedt voor het begrijpen van RL-trainingsdynamiek, wat suggereert dat toekomstig werk deze trade-offs in multi-turn en agentic settings moet verkennen.