Technische Samenvatting: GAC – Ruisbewuste Adaptieve Mixing voor Hybride SFT-RL Post-Training

1. Probleemstelling

Grote Taalmodellen (LLM's) worden doorgaans nagetraind met een hybride paradigma dat Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) combineert. SFT stabiliseert het outputformaat van het model met behulp van expertdemonstraties, terwijl RL het beloningszoekend gedrag verbetert via on-policy rollouts. Deze doelen kunnen echter niet volledig van elkaar worden losgekoppeld zonder wederzijdse degradatie (Niu et al., 2026).

Huidige hybride methoden vertrouwen vaak op vaste mixeschema's of heuristische regels om SFT- en RL-gradiënten in evenwicht te brengen. Deze statische benaderingen falen in het aanpassen wanneer de relatieve ruis van de twee signalen evolueert tijdens de training. Specifiek kunnen ze geen rekening houden met:

• Evoluerende policy-drift: Veranderingen in de verdeling van het model in de loop van de tijd.
• Beloningsruis: Variabiliteit in RL-voordeelschattingen.
• Gradiëntonenigheid: Conflicten tussen SFT- en RL-doelen.

Dit gebrek aan aanpasbaarheid kan leiden tot entropie-inzakking, late-stadium over-imitatie of belonings-hacking. Hoewel recente werken (zoals CHORD, SRFT, HPT) dynamische weging of onenigheidsbewuste koppeling hebben geïntroduceerd, modelleert geen van hen expliciet zowel de gradiëntruisvariantie als de SFT–RL-onenigheid gelijktijdig om een optimale mixgewicht af te leiden.

2. Methodologie: GAC (Guided Adaptive Controller)

De voorgestelde methode, GAC, herformuleert het mixprobleem als een ruisbewuste controletaak. Het bestaat uit een theoretische gesloten-vorm schatter en een praktische geleide controller.

2.1 Theoretische Grondslag: Gesloten-vorm $\mu^*$

De kernbijdrage is de afleiding van een optimaal mixgewicht $\mu^*$ door de Gemiddelde Kwadratische Fout (MSE) te minimaliseren tussen de gemengde stochastische gradiënt en een doelfunctie-gradiënt.

• Aannames: Laat $\hat{g}_s$ en $\hat{g}_r$ gradiëntschatters zijn voor respectievelijk SFT en RL, samengesteld uit ruisvrije gradiënten ($g^*_s, g^*_r$) en nulgemiddelde ruis ($\varepsilon_s, \varepsilon_r$) met varianties $\sigma^2_s$ en $\sigma^2_r$.
• Doel: Minimaliseer $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$, waarbij $g^*$ een doelfunctie-gradiënt is gedefinieerd door een gewenst afwegingsratio $\alpha_{tgt}$.
• Resultaat: Onder onafhankelijkheidsaannames is de unieke minimalisator:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  waarbij $\Delta g^2 = \|g^*_s - g^*_r\|^2$ gradiëntonienigheid voorstelt.
• Interpretatie: Deze formule belichaamt een bias-variantie-afweging. Wanneer onenigheid ($\Delta g^2$) laag is, nadert het gewicht de inverse-variantie weging. Wanneer onenigheid hoog is, keert het gewicht terug naar de door de gebruiker gespecificeerde voorkeur $\alpha_{tgt}$.

2.2 Praktische Implementatie: Proxy-signalen & Online Schatting

Omdat ware gradiëntstatistieken duur zijn om bij elke stap te berekenen, maakt GAC gebruik van computationeel haalbare proxy-signalen die online worden geschat vanuit bestaande trainingstensors:

1. RL-onzekerheid ($\sigma^2_r$): Geschat via sequentie-niveau voordeelverspreiding.
2. SFT-onzekerheid ($\sigma^2_s$): Geschat via lengte-genormaliseerde, getrimde Negative Log-Likelihood (NLL) variantie.
3. Onenigheid-proxy ($\Delta \tilde{g}^2$): Geschat via de variantie van z-genormaliseerde coëfficiëntverschillen tussen RL- en SFT-gradiënten.

Deze proxies zijn gevalideerd als hoge Pearson-correlaties ($r \approx 0,76\text{--}0,84$) te vertonen met ware gradiëntstatistieken.

2.3 Stabiliteitsgemotiveerde Ontwerprichtlijnen

Om abrupte verschuivingen te voorkomen en trainingstabiliteit te waarborgen, wordt de ruwe schatter $\mu^*$ verwerkt via een Geleide Adaptieve Controller met drie beveiligde stappen:

1. EMA-gladmaking: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ om hoogfrequente ruis te dempen.
2. Schema-prior verblending: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$, waarbij $\mu_{prior}$ een warmup/cosine-schema is, zodat de controller niet te ver afwijkt van een redelijke basislijn.
3. Afgekapte updates: De stapverandering $\delta_t$ wordt afgekapt op een kleine bovengrens $\bar{c}$ (bijv. 0,01) om destabiliserende sprongen te voorkomen.

Daarnaast wordt het doelratio $\alpha_{tgt}$ dynamisch aangepast naar $\alpha_{ctrl}$ met behulp van een KL-gestuurde hysterese-regel om policy-drift te voorkomen.

3. Belangrijkste Bijdragen

1. Ruisbewuste Mixcontroller (C1): Een gesloten-vorm oplossing voor het optimale mixgewicht, afgeleid uit MSE-minimalisatie, die gradiëntruisvariantie en doelonienigheid in evenwicht brengt. Het wordt geïnstancierd via z-genormaliseerde proxies en ingepakt in een stabiliteitsgewaarborgde controller met <1% computatie-overhead.
2. Token-weise herweging Integratie (C2): Het systeem adopteert de token-weise herwegingsfunctie $\phi(p) = p(1-p)$ van CHORD (Zhang et al., 2025). De auteurs demonstreren dat deze component orthogonaal is aan de globale controller, wat een extra winst van +0,4–1,4pp oplevert.
3. Systematische Evaluatie (C3): Uitgebreide evaluatie over wiskunde, code, wetenschap en logische benchmarks bij schalen van 1,5B, 7B en 14B parameters.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op het Qwen2.5-7B-Instruct-model (en geschaald naar 1,5B/14B) met behulp van OpenR1-Math-220k en andere benchmarks (MBPP, HumanEval, GPQA, SciBench, BBH).

• Prestatiewinst:
  • Wiskunde (AMC): GAC + Token-φ bereikt 67,2%, wat de beste hybride baseline (HPT, 63,4%) overtreft met +3,8pp en de ruisbewuste controller alleen (GAC zonder φ) met +3,0pp boven regelgebaseerde controllers.
  • Code: GAC bereikt 78,8% op MBPP (+3,4pp boven CHORD) en 83,5% op HumanEval.
  • Wetenschap/Logica: GAC verbetert GPQA met +3,9pp en BBH-logische subsets met +3,1pp ten opzichte van HPT.
• Stabiliteitsverbeteringen:
  • KL-drift: Het KL-drift-oppervlak is met 28% verminderd ten opzichte van constante mixing.
  • Grote verschuivingen: Grote $|\Delta \mu|$-evenementen zijn met >70% verminderd.
  • Trainingsdynamiek: GAC behoudt een hogere rollout-accuraatheid, gematigde responslengtes (vermijding van belonings-hacking pieken) en snellere entropiestabilisatie in vergelijking met vaste schema's.
• Schaalbaarheid: Winsten schalen met modelgrootte, met +2,2pp bij 1,5B, +3,8pp bij 7B en +3,3pp bij 14B.
• Efficiëntie: De methode voegt slechts 3 EMA-scalars toe en veroorzaakt <1% wall-time-overhead zonder meetbare geheugenverhoging.

5. Betekenis en Claims

Het artikel claimt dat GAC SFT–RL-mixing succesvol herformuleert als een ruisbewust controlemprobleem in plaats van een heuristische planningsopdracht.

• Primaire Drijver: Causale attributie-analyse bevestigt dat de ruisbewuste schatter (het uit MSE afgeleide signaal) de dominante bijdrage levert aan prestatiewinsten (+3,7pp), terwijl EMA-gladmaking en schema-priors noodzakelijke stabiliteit bieden maar kleinere incrementele winsten opleveren.
• Robuustheid: De controller is robuust tegen zwakke of verkeerd gespecificeerde prior-schema's; zelfs met "slechte" constante priors corrigeert GAC het mixgewicht effectief.
• Beperkingen: De auteurs merken op dat de stabiliteitsanalyse berust op geïdealiseerde aannames (L-gladde verliezen, KL-gebonden updates) en ontwerprichtlijnen biedt in plaats van strikte convergentiegaranties. De methode is momenteel gevalideerd op taken met verifieerbare beloningen; uitbreiding naar open-ended uitlijning met geleerde beloningsmodellen blijft toekomstwerk.

Kortom, GAC biedt een theoretisch onderbouwde, laag-overhead mechanisme om SFT en RL dynamisch in evenwicht te brengen op basis van real-time onzekerheidsschattingen, wat aanzienlijk beter presteert dan vaste schema's en heuristische controllers over diverse redeneertaken.