Technische Samenvatting: Efficiënte Reinforcement Finetuning via Adaptief Curriculum Learning

Probleemstelling

Reinforcement Finetuning (RFT) is een cruciale techniek geworden voor het afstemmen van Large Language Models (LLM's) op taakspecifieke doelen, met name in domeinen zoals wiskundig redeneren waar correctheid goed gedefinieerd is. Echter, standaard RFT-benaderingen (bijv. PPO, GRPO) lijden aan aanzienlijke steekproef- en computationele inefficiëntie. Ze vereisen vaak uitgebreide training die bestaat uit herhaalde rollout-generatie en policy-updates, wat kostbaar en moeilijk schaalbaar is.

Bestaande pogingen om de efficiëntie te verbeteren, kampen met specifieke trade-offs:

• Algoritmische vereenvoudigingen (bijv. RAFT, ReMax) kunnen de variantie vergroten of de stabiliteit beperken.
• Data-gecentreerde strategieën (bijv. LIMO, LIMR) vertrouwen vaak op handmatige curatie of statische scoring, wat fragiel, computationeel zwaar of modelspecifiek kan zijn.
• Curriculum Learning (CL) benaderingen in eerder werk maken doorgaans gebruik van vastgelegde, handmatig gedefinieerde fasen of online filtering-schema's die herhaalde rollouts vereisen om data te filteren. Deze methoden missen echte adaptiviteit aan het evoluerende vaardigheidsniveau van het model of veroorzaken aanzienlijke computationele overhead.

Consequent is er behoefte aan een methode die de trainingsmoeilijkheid dynamisch aanpast aan de huidige capaciteiten van het model, zonder de onderliggende RL-algoritme te wijzigen of uitgebreide handmatige data-curatie te vereisen.

Methodologie: ADARFT

De auteurs stellen ADARFT (Adaptive Curriculum Reinforcement Finetuning) voor, een lichtgewicht, model-agnostisch framework dat adaptief curriculum learning integreert in standaard RFT-pipelines (compatibel met PPO, GRPO, REINFORCE++).

Kernmechanisme

ADARFT werkt door een doel-moeilijkheidsniveau ($T$) te onderhouden en dit dynamisch aan te passen op basis van de recente beloningssignalen van het model. De kernintuïtie is dat leren het meest effectief is wanneer taken noch te makkelijk, noch te moeilijk zijn (de "zone van proximale ontwikkeling").

Het algoritme verloopt als volgt:

1. Offline Moeilijkheidschatting: Elk probleem in de dataset $D$ is vooraf geannoteerd met een moeilijkheidsscore $d_i$. Deze scores kunnen worden afgeleid van menselijke annotaties, model-gebaseerde rollouts (pass@k), of LLM-judges (bijv. GPT-4o).
2. Dynamische Curriculum Sampling: Bij elke trainingsstap berekent het algoritme het absolute verschil $\Delta_i = |d_i - T|$ tussen de doel-moeilijkheid en de moeilijkheid van elk probleem. Het selecteert een batch van $B$ problemen met de kleinste $\Delta_i$, waardoor het model traint op taken die het dichtst bij zijn huidige capaciteit liggen.
3. Policy Update: De geselecteerde batch wordt gebruikt om de policy $\pi_\theta$ bij te werken met behulp van een standaard RL-algoritme (bijv. PPO). Een binair beloningssignaal ($R_i \in \{0, 1\}$) wordt berekend op basis van de correctheid van de respons.
4. Doel-moeilijkheidsupdate: De doel-moeilijkheid $T$ wordt bijgewerkt op basis van de gemiddelde beloning ($R_{avg}$) van de batch. De update-regel is gedefinieerd als:
   $$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$$
   • $\beta$: Het doel-beloningsniveau (gesteld op 0,5), wat het gewenste succespercentage vertegenwoordigt.
   • $\eta$: Stapgrootte voor het aanpassen van de moeilijkheid.
   • $\alpha$: Sensitiviteitsparameter.
   • $\text{clip}$: Beperkt $T$ binnen het geldige moeilijkheidsbereik $[d_{min}, d_{max}]$.

Als het model goed presteert ($R_{avg} > \beta$), stijgt $T$, waardoor opeenvolgende problemen moeilijker worden. Als de prestaties slecht zijn ($R_{avg} < \beta$), daalt $T$.

Theoretische Rechtvaardiging

De auteurs bieden een theoretische rechtvaardiging voor het instellen van de doel-beloning $\beta = 0,5$. In entropie-geregulariseerde RL is de gradiëntgrootte voor policy-updates evenredig aan de beloningsvariantie. Voor binaire beloningen wordt de variantie gemaximaliseerd wanneer het succespercentage 0,5 is. Daarom biedt training op problemen waarbij het model ongeveer de helft van de tijd slaagt, het sterkste leersignaal, waardoor het de vanishing gradients vermijdt die geassocieerd worden met triviaal gemakkelijke taken of de ruis van prohibitief moeilijke taken.

Belangrijkste Bijdragen

1. Adaptief Curriculum Framework: ADARFT introduceert een dynamisch, feedback-gestuurd curriculum dat de taakmoeilijkheid in realtime aanpast op basis van de modelprestaties, waardoor de noodzaak voor handmatig ontworpen curricula of uitgebreide data-filtering wordt geëlimineerd.
2. Lichtgewicht en Algemeen: De methode vereist slechts een minimale uitbreiding van standaard RL-algoritmen (PPO, GRPO, etc.) en wijzigt de beloningsfunctie of modelarchitectuur niet. Het is compatibel met diverse RL-algoritmen en modelgroottes.
3. Offline Moeilijkheidschatting: De aanpak vertrouwt op statische, vooraf berekende moeilijkheidsscores (afgeleid van rollouts of LLM-judges), wat de computationele overhead van online herberekening van moeilijkheid tijdens de training vermijdt.
4. Uitgebreide Evaluatie: De methode wordt geëvalueerd over diverse datadistributies (uniform, skew-easy, skew-difficult) en modelgroottes (Qwen 2.5 1.5B en 7B) op competitie-niveau wiskunde benchmarks.

Resultaten

Experimenten op wiskunde-datasets op competitieniveau (AMC, AIME, IMO-stijl) laten zien dat ADARFT zowel de trainingsefficiëntie als de uiteindelijke redeneerprestaties aanzienlijk verbetert vergeleken met standaard PPO, PPO met gefilterde data, en PPO met vaste curriculum-schema's.

• Trainingsefficiëntie: ADARFT vermindert de trainingstijd met wel 2×. Modellen getraind met ADARFT hebben aanzienlijk minder stappen nodig om de prestatieniveaus van baseline-methoden te bereiken. Zo had standaard PPO op het Qwen 2.5 1.5B model met een skew-difficult distributie 71,7% meer stappen nodig om de prestaties van ADARFT bij stap 60 te evenaren.
• Finale Nauwkeurigheid: ADARFT bereikt consistent een hogere finale nauwkeurigheid. Op de skew-difficult distributie verbeterde het Qwen 2.5 1.5B model van 37,41% (PPO) naar 40,48% (ADARFT). Vergelijkbare winsten werden waargenomen voor het 7B model (44,17% naar 46,83%).
• Robuustheid: De methode is bijzonder effectief in imbalans-regimes (bijv. skew-difficult), waar statische sampling vaak faalt om in de vroege stadia van de training voldoende leersignalen te bieden.
• Algoritme-Agnosticisme: Ablatie-studies bevestigen dat ADARFT de convergentie en nauwkeurigheid verbetert wanneer het wordt geïnstantieerd met GRPO en REINFORCE++, niet alleen met PPO.
• Moeilijkheidschatting: Het paper toont aan dat moeilijkheidsschattingen afgeleid van LLM-judges (GPT-4o) goed correleren met empirische succespercentages, wat een schaalbare alternatief biedt voor dure rollout-gebaseerde schatting.

Betekenis en Claims

Het paper claimt dat ADARFT een praktisch en schaalbaar pad biedt naar efficiëntere RFT in gestructureerde redeneertaken. De betekenis ligt in:

• Elimineren van Handmatige Curatie: In tegenstelling tot methoden die handontworpen curricula of uitgebreide data-filtering vereisen, past ADARFT zich automatisch aan aan de leerdynamiek van het model.
• Optimaliseren van het Leersignaal: Door te mikken op een succespercentage van 50%, zorgt de methode ervoor dat het model consistent wordt getraind op "oplosbare maar uitdagende" taken, wat de informatiewinst per update maximaliseert.
• Schaalbaarheid: De aanpak is lichtgewicht en model-agnostisch, waardoor het geschikt is voor grootschalige trainingspipelines waar computationele middelen beperkt zijn.

De auteurs merken op dat de voordelen van curriculum learning het meest uitgesproken zijn in imbalans-trainingsdistributies en voor modellen met een beperkte capaciteit, waar standaard RFT moeite heeft om capaciteiten te bootstrappen. Hoewel handmatige curatie theoretisch vergelijkbare resultaten zou kunnen bereiken, biedt ADARFT een geautomatiseerde, uniforme oplossing die generaliseert over verschillende modelarchitecturen en vaardigheidsniveaus zonder dat er voor elk nieuw model opnieuw getuned hoeft te worden.