Technisch Samenvatting: Transfer-Aware Curriculum voor Multi-Domain RLVR

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft het redeneervermogen van Large Language Models (LLMs) in enkelvoudige domeinen zoals wiskunde en programmeren succesvol verbeterd. Het uitbreiden hiervan naar multi-domein redeneersets (variërend van wiskunde, programmeren, logica, simulatie, tabellen en STEM) vormt echter een kritieke uitdaging: redeneervaardigheden worden ongelijkmatig over domeinen heen getransfereerd.

Huidige benaderingen voor multi-domein training vertrouwen doorgaans op vaste sampling-schema's of handmatig afgestelde curricula. Hoewel recente "learnability-gebaseerde" curricula (bijv. SEC) de sampling aanpassen op basis van het domein waarop de policy momenteel verbeteringen vertoont (met behulp van on-policy advantages), lijden zij aan een fundamentele blinde vlek: ze houden geen rekening met cross-domein transferabiliteit. Een domein kan lokaal zeer leerbaar zijn (het biedt sterke onmiddellijke gradiënten), maar de bijbehorende updates kunnen de prestaties op andere domeinen niet ten goede komen, of deze zelfs verslechteren. Omgekeerd kan een minder overduidelijk leerbaar domein gradiënt-updates opleveren die de policy breed over de gehele suite verbeteren. Bestaande methoden riskeren een te grote toewijding aan lokaal rijke maar globaal smalle domeinen, waardoor aanzienlijk potentieel voor cross-domein verbetering onbenut blijft.

Methodologie: Transfer-Aware Curriculum (TAC)

De auteurs stellen Transfer-Aware Curriculum (TAC) voor, een geautomatiseerd, bandit-stijl online curriculum dat cross-domein transferabiliteit integreert als een primair signaal voor domeinselectie. TAC opereert binnen het Group Relative Policy Optimization (GRPO) framework en formuleert domeinselectie als een multi-armed bandit probleem.

Kerncomponenten

1. Bandit Formulering:

   • Elk redeneerdomein wordt behandeld als een "arm".
   • In elke trainingsstap sampleert het curriculum een domein op basis van een waarde-inschatting $Q_m$ afgeleid van een feedbacksignaal $S_m$.
   • De sampling-distributie wordt bijgewerkt met behulp van een Boltzmann-distributie over Upper Confidence Bound (UCB) verrijkte waarden om een balans te vinden tussen exploratie en exploitatie.

2. Duaal Feedbacksignaal ($S_m$):
   Het feedbacksignaal voor elk domein is een gewogen combinatie van twee termen:

   • Lokale Leerbaarheid ($\hat{L}_m$): Afgeleid van de gemiddelde absolute GRPO advantage. Dit vangt het onmiddellijke leer-signaal (actieve verbetering) binnen het domein op. Het wordt genormaliseerd via een lopende z-score om schaalvariaties op te vangen.
   • Cross-Domein Transferabiliteit ($T_m$): Een nieuw, zelf-gesuperviseerd signaal dat inschat hoe goed een gradiëntstap op domein $m$ uitlijnt met de gradiëntrichtingen van andere domeinen.
     • Mechanisme: In plaats van volledige hoog-dimensionale gradiënten te berekenen, gebruikt TAC geprojecteerde gradiënten (via random projecties, bijv. TRAK-stijl sketches) om de update-richting te representeren in een laag-dimensionale ruimte.
     • State Tracking: Elk domein houdt een Exponential Moving Average (EMA) bij van zijn geprojecteerde gradiëntvectoren.
     • Alignment Metric: Periodiek wordt de paarwijze cosinus-gelijkenis tussen de gradiënt-state van een domein en de states van alle andere actieve domeinen berekend. De transferabiliteitsscore $T_m$ is de gemiddelde cosinus-gelijkenis, genormaliseerd via min-max schaling naar een bereik van $[0, 1]$.
     • Efficiëntie: Dit signaal wordt volledig berekend uit gradiënten die al gegenereerd zijn tijdens de standaard RL-training, waardoor extra rollouts, held-out probes of oracle annotaties niet nodig zijn. De overhead is verwaarloosbaar (<1% wall-clock tijd).

3. Signaal Integratie:
   De definitieve score is $S_m = \beta \hat{L}_m + (1-\beta) T_m$. De coëfficiënt $\beta$ balanceert de twee signalen. De methode werkt de waarde-inschattingen voor zowel gesamplede als niet-gesamplede arms dynamisch bij (met behulp van gecachte leerbaarheid en verse transferabiliteit-inschattingen), waardoor het curriculum de focus kan verschuiven, zelfs wanneer een domein momenteel niet wordt gesampled.

Belangrijkste Bijdragen

1. Transfer-Aware Bandit Curriculum: Het eerste curriculum-framework voor multi-domein RL dat expliciet optimaliseert voor cross-domein transferabiliteit naast lokale leerbaarheid. Het adresseert de beperking van eerdere methoden die alleen kijken naar "wat de policy nu kan leren" in plaats van "wat helpt de policy overal te leren."
2. Self-Supervised Gradient-Geometry Signaal: Een computationeel efficiënte methode om transferabiliteit te schatten met behulp van geprojecteerde cosinus-gelijkenissen. Dit signaal is adaptief (evoluerend met de policy) en relatief (rangschikt domeinen op basis van huidige uitlijning in plaats van absolute grootte), waardoor de noodzaak voor dure externe validatie wordt vermeden.
3. Empirische Validatie: Gedemonstreerd op een zes-domein redeneersuite (Wiskunde, Codegen, Logica, Simulatie, Tabel, STEM) met gebruik van Qwen3-1.7B en Llama3.2-3B modellen.

Experimentele Resultaten

Het paper evalueert TAC tegen vier baselines:

• Base: Geen RL-training.
• Random: Proportionele random sampling (uniform of data-omvang gewogen).
• M2O (Math-to-Others): Een handmatig ontworpen twee-fasen curriculum (trainen op wiskunde, daarna anderen).
• SEC: Een learnability-only bandit curriculum ($\beta=1$).

Belangrijkste Bevindingen:

• Superieure Prestaties: TAC behaalt de beste macro-gemiddelde accuratesse op beide model-backbones. Op Qwen3-1.7B verbetert het de sterkste baseline (SEC) met +1,8 procentpunt (+5,6% relatief). Op Llama3.2-3B verbetert het M2O met +1,6 procentpunt (+5,4% relatief).
• Robuustheid tegen Imbalans: In experimenten met scheve data-budgetten (waarbij Wiskunde en STEM 3x zoveel data hebben als andere domeinen), presteert TAC beter dan SEC met +1,5 punt. De learnability-only baseline (SEC) richt zich te veel op de dominante, data-rijke domeinen (Wiskunde/STEM), zelfs wanneer hun updates niet langer ten goede komen aan andere domeinen, terwijl TAC's transferabiliteitssignaal de sampling heroriënteert naar ondervertegenwoordigde maar hoog-transferabele domeinen (zoals Tabel en Logica).
• Curriculum Dynamiek: Analyse laat zien dat het meest leerbare domein (vaak STEM of Wiskunde) frequent niet het meest transferabele domein is. SEC heeft de neiging om zich vroeg in de training te "verankeren" op het meest leerbare domein, terwijl TAC de sampling dynamisch verschuift naar domeinen met een hoge gradiënt-uitlijning (bijv. Tabel), wat leidt tot bredere generalisatie.
• Ablaties: Het verwijderen van de transferabiliteitsterm ($\beta=1$) veroorzaakt een scherpe prestatiedaling, wat de noodzaak ervan bevestigt. De methode is robuust tegen variaties in hyperparameters, met name de mengcoëfficiënt $\beta$, die piekt rond 0,2 (wat wijst op een sterke behoefte aan transferabiliteitssignalen, zelfs wanneer leerbaarheid aanwezig is).

Betekenis en Claims

Het paper claimt dat cross-domein transferabiliteit een sleutel-signaal is dat voorheen onderbenut werd voor curriculum design in multi-domein RLVR.

• Paradigmaverschuiving: Het werk beweegt verder dan het optimaliseren van directe lokale winsten (leerbaarheid) naar het optimaliseren van de geometrische uitlijning van updates over de gehele trainingssuite.
• Efficiëntie: Het demonstreert dat hoogwaardige curriculum-signalen "gratis" kunnen worden afgeleid uit bestaande trainingsgradiënten, wat het een praktische toevoeging maakt aan bestaande RLVR-pipelines zonder significante computationele kosten.
• Generalisatie: De resultaten suggereren dat een enkele policy competent kan redeneren over heterogene taken als het trainingscurriculum expliciet rekening houdt met hoe vaardigheden worden getransfereerd, in plaats van domeinen te behandelen als onafhankelijke silo's of te vertrouwen op statische schema's.
• Beperkingen: De auteurs merken op dat TAC gericht is op de sampling-distributie en complementair is aan, en geen vervanging voor, vooruitgang in optimizers, reward-modellen of architecturen. Bovendien is de huidige implementatie gebaseerd op verifieerbare beloningen (RLVR); het uitbreiden van deze signalen naar niet-verifieerbare domeinen (die vertrouwen op LLM-judges) is een taak voor toekomstig onderzoek.

Samenvattend stelt TAC vast dat voor multi-domein redeneren, weten waar de modelverbetering plaatsvindt onvoldoende is; men moet ook weten waar die verbeteringen zullen voortplanten.