Technische Samenvatting: SAGE – Vormgeven van Ankers voor Geleide Exploratie in RLVR van LLM's

1. Probleemstelling

Recente vooruitgang in Versterkend Leren met Verifieerbare Beloningen (RLVR) heeft aangetoond dat het de pass@1-accuraatheid van Large Language Models (LLM's) op redeneertaken kan verbeteren. Een kritieke beperking is echter naar voren gekomen: terwijl RLVR vaak de succespercentages voor enkele steekproeven verhoogt, levert het vaak geen vergelijkbare winst op voor pass@k (de waarschijnlijkheid om een correct antwoord te vinden onder $k$ steekproeven).

Voorafgaande analyses suggereren dat deze discrepantie ontstaat omdat standaard RLVR mode-collaps (of "krimp van de steun") induceert. In plaats van nieuwe redeneerstrategieën te ontdekken, stort het beleid in op een smal subset van bestaande, hoog-dichtheid redeneermodes die aanwezig zijn in het basisreferentiemodel. Dit gedrag wordt toegeschreven aan de structurele beperkingen van de standaard reverse-Kullback-Leibler (reverse-KL) regularisatieterm. Hoewel reverse-KL noodzakelijke trainingsstabiliteit biedt door het beleid te verankeren aan een verdelingsreferentiepunt ($\pi_{ref}$), onderdrukt het inherent trajecten met lage dichtheid, waardoor het model effectief wordt verhinderd om alternatieve, geldige redeneerpaden te verkennen die buiten de directe steun van het referentiemodel liggen.

Pogingen om dit op te lossen door de KL-term te verwijderen of te vervangen door forward-KL hebben zich als suboptimaal bewezen. Het verwijderen van de KL-term leidt vaak tot beloning-hacking en instabiliteit, terwijl forward-KL, hoewel het de steun uitbreidt, frequent waarschijnlijkheidsmassa toewijst aan gebieden die irrelevant zijn voor de beloning, waardoor het pass@1 niet verbetert. De centrale uitdaging is om de stabiliserende voordelen van reverse-KL te behouden terwijl gecontroleerde empirische steunuitbreiding mogelijk wordt gemaakt.

2. Methodologie: SAGE Framework

De auteurs stellen SAGE (Shaping Anchors for Guided Exploration) voor, een framework dat de reverse-KL regularisatie herbekijkt, niet als een statische beperking die moet worden verzwakt, maar als een dynamisch anker waarvan de doeldistributie kan worden herschikt om exploratie te sturen.

Kernmechanisme

Standaard reverse-KL RLVR optimaliseert:
$$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
Dit leidt tot een stationaire oplossing waarbij het beleid een exponentiële kanteling is van de referentie: $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$. Deze multiplicatieve update versterkt gebieden met hoge dichtheid van $\pi_{ref}$ terwijl het die met lage dichtheid onderdrukt.

SAGE wijzigt dit door een gidsfunctie $q(x, y) > 0$ in te voeren die de ankerdistributie zelf herschikt. Het nieuwe doel wordt:
$$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$$
Hierbij is $\tilde{D}_{KL}$ een pseudo-KL-divergentie gedefinieerd voor genormaliseerde functies. De stationaire oplossing wordt:
$$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$$
Door $q(x, y)$ zo te ontwerpen dat deze groot is voor onderverkende maar potentieel geldige redeneermodes, versterkt SAGE hun waarschijnlijkheidsmassa zonder de stabiliteit die wordt geboden door het anker $\pi_{ref}$ te verbreken.

Instantiatie via Intrinsieke Signalen

Om $q(x, y)$ praktisch te maken zonder expliciete beloningsinformatie te vereisen tijdens het opbouwen van de gids, stellen de auteurs het gebruik voor van intrinsieke signalen afgeleid van het redeneerproces zelf:

1. Willekeurige Exploratie: Een basislijn die gebruikmaakt van stochastische verstoringen.
2. Token-niveau Exploratie: Gebruikt surprisal ($-\log p$) om voorkeur te geven aan zeldzame lexische keuzes. De auteurs merken op dat dit oppervlakkige afwijkingen vastlegt, maar mogelijk geen structurele redeneerverschillen weerspiegelt.
3. Tak-niveau Exploratie (SAGE-Branch): De primaire voorgestelde variant. Het gebruikt entropie ($H_t$) als signaal voor redeneertakken. De gidsfunctie wordt gedefinieerd als:
   $$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$$
   waarbij $H_t$ de token-niveau entropie is, $\tau$ een activeringsdrempel is, en $\gamma$ de grootte regelt. Dit versterkt selectief exploratie op beslispunten met hoge onzekerheid (takknopen) terwijl het ruis in deterministische symbolische stappen onderdrukt.

Theoretische Garanties

Het artikel biedt een theoretische analyse (Stelling 4.3) die aantoont dat, in tegenstelling tot standaard RLVR dat wordt begrensd door de empirische steun van het referentiemodel, SAGE theoretisch de empirische steun kan uitbreiden. Specifiek, als de gidsfunctie $q$ voldoende groot is voor een beloningsgeldige oplossing $y^*$ die momenteel buiten de empirische steun van het beleid van het referentiemodel ligt, kan SAGE deze een niet-verwaarloosbare waarschijnlijkheid toekennen, waardoor effectief "verborgen" redeneermodes worden hersteld.

3. Belangrijkste Bijdragen

1. Analyse van RLVR-beperkingen: De auteurs identificeren dat het reverse-KL-anker, hoewel stabiliserend, de primaire structurele oorzaak is van mode-collaps in RLVR. Zij betogen dat het simpelweg verwijderen of vervangen van de KL-term onvoldoende is, omdat dit de afweging tussen efficiëntie en dekking verstoort.
2. SAGE Framework: Zij stellen een principiële methode voor om gecontroleerde empirische steunuitbreiding mogelijk te maken door de KL-anker-distributie te herschikken via een gidsfunctie $q(x, y)$, in plaats van het anker te verwijderen.
3. Integratie van Intrinsieke Signalen: Zij tonen aan hoe lichtgewicht, intrinsieke signalen (specifiek entropie en surprisal) kunnen worden gebruikt om effectieve gidsfuncties te construeren die geen extra forward-passes of externe data vereisen.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat SAGE-varianten, met name de tak-niveau exploratie, consistent zowel pass@1 als pass@k verbeteren over diverse wiskundige redeneerbenchmarks.

4. Experimentele Resultaten

De auteurs hebben SAGE geëvalueerd op de AIME 2024-2025, AMC23, en MATH-500 datasets met behulp van het Qwen2.5-Math-7B-Base model en het GRPO algoritme.

• Prestatiewinst: De GRPO + Branch variant behaalde de sterkste gemiddelde prestatie, met een verbetering van pass@1 van 0,266 (vanilla GRPO) naar 0,284 en pass@256 van 0,714 naar 0,729. Het presteerde beter dan de baselines op alle drie de datasets.
• Vergelijking met Alternatieven:
  • GRPO zonder KL: Toonde hogere trainingsbeloningen maar significant slechtere prestaties tijdens het testen (pass@1 en pass@256), wat het risico van beloning-hacking zonder het KL-anker bevestigt.
  • Forward-KL: Verbeterde pass@256 lichtjes maar slaagde er niet in de pass@1-winsten van SAGE te evenaren, wat aangeeft dat het massa toewijst aan gebieden die niet op het doel gericht zijn.
  • Andere RL-algoritmen: SAGE werd succesvol geïntegreerd met BNPO en DAPO, waarbij consistent de afweging werd opgelost waarbij deze methoden doorgaans pass@1 verbeterden ten koste van pass@k.
• Analyse van Redeneerpatronen: Kwalitatieve analyse toonde aan dat terwijl standaard RLVR dominante patronen zoals "opzet van beperkingen" versterkte, SAGE de frequentie van bewijs door contradictie aanzienlijk verhoogde (van 0,8% bij GRPO naar 3,3% bij GRPO+Branch), een zeldzame maar geldige redeneermode.
• Robuustheid: Bij evaluaties buiten de verdeling (Knights and Knaves benchmark) behielden met SAGE getrainde modellen hun prestaties onder distributieverandering, terwijl standaard GRPO-modellen aanzienlijke degradatie vertoonden, wat suggereert dat SAGE mode-collaps mitigeert.
• Generalisatie: De methode was ook effectief op modellen voor lang redeneren (DeepSeek-R1-Distill-Qwen-7B) en kleinere modellen (Qwen2.5-1.5B/3B), wat robuustheid aantoont over verschillende modelgroottes en redeneerparadigma's.

5. Betekenis en Claims

Het artikel beweert dat SAGE een praktische en principiële aanpak biedt om mode-verscherping in reverse-KL RLVR te mitigeren. Door de KL-regularisatie te behandelen als een controleerbaar instrument in plaats van een starre beperking, stelt SAGE LLM's in staat om diverse redeneertrajecten te ontdekken en te benutten die geldig zijn maar ondervertegenwoordigd zijn in het basismodel.

De auteurs benadrukken dat SAGE modulair en orthogonaal is ten opzichte van bestaande technieken (zoals voordeel-vormgeving of dynamische steekproefneming), aangezien het de ankerdistributie zelf wijzigt in plaats van de optimalisatiestructuur. Zij positioneren SAGE als een algemeen framework voor stabiele, KL-compatibele empirische steunuitbreiding.

Beperkingen en Scope:
De auteurs erkennen nederig dat SAGE opereert binnen de steun van het vaste referentiebeleid. Het herschikt waarschijnlijkheidsmassa onder trajecten die al een niet-nul waarschijnlijkheid hebben onder $\pi_{ref}$; het kan geen volledig nieuwe redeneerpatronen genereren die onmogelijk zijn voor het basismodel om te produceren. Zij merken op dat hoewel distillatie van sterkere leraarmodellen de redeneergrens kan uitbreiden, SAGE dit aanvult door stabiele exploratie binnen die grens mogelijk te maken. De huidige instantiatie vertrouwt op lichtgewicht intrinsieke signalen, en de auteurs suggereren dat het leren van expressievere gidsfuncties van sterkere modellen een veelbelovende richting is voor toekomstig werk.