Technische Samenvatting: Onderzoeksgedreven Optimalisatie voor Redenering met Grootte Taalmodellen tijdens de Testfase

1. Probleemstelling

Recente vooruitgang in Grootte Taalmodellen (LLM's) heeft aangetoond dat het combineren van technieken voor post-training (specifiek Versterkend Leren, RL) met schaling tijdens de inferentiefase de redeneercapaciteiten aanzienlijk verbetert. Er bestaat echter een fundamentele spanning tussen deze twee paradigma's:

• Schaling tijdens de Inferentiefase: Technieken zoals Self-Consistency, Best-of-N (BoN) sampling en Monte Carlo Tree Search vertrouwen op diverse sampling vanuit een relatief geflattende waarschijnlijkheidsverdeling om optimale oplossingen te ontdekken.
• RL Post-Training: Conventionele op RL gebaseerde post-training (bijv. PPO, DPO, GRPO) maakt de outputverdelingen inherent scherper. Door het model te fine-tunen naar oplossingen met een hoge zekerheid en hoge beloning, leiden deze methoden vaak tot "mode collapse", wat de diversiteit van gegenereerde trajecten vermindert.

Deze distributieve instorting beperkt de effectiviteit van schaling tijdens de testfase, aangezien het model faalt in het genereren van de diverse kandidaatoplossingen die nodig zijn voor aggregatiemethoden om het juiste antwoord te identificeren. Bestaande benaderingen behandelen schaling tijdens de inferentiefase vaak als een post-hoc procedure, waarbij ze het trainingsdoel niet afstemmen op de vereisten van diverse exploratie.

2. Methodologie: Onderzoeksgedreven Optimalisatie (EDO)

De auteurs stellen Onderzoeksgedreven Optimalisatie (EDO) voor, een raamwerk dat is ontworpen om diversiteit te bevorderen tijdens de post-trainingfase, terwijl de uitlijning met taakdoelstellingen behouden blijft. EDO breidt beloningsgebaseerde exploratiedoelstellingen uit uit eerdere werken (bijv. VPO, XPO) naar iteratieve post-traininginstellingen.

Kernmechanisme

EDO introduceert een regularisatieterm die de huidige policy ($\pi_\theta$) expliciet aanzet tot afwijking van de vorige policy-iteratie ($\pi_{t-1}$), in plaats van uitsluitend te verankeren aan een statische referentiepolicy ($\pi_{ref}$).

1. Vormgeving van Beloningsbias:
   De methode interpreteert berekening tijdens de testfase als een impliciete Q-functie. Om exploratie te stimuleren, maximaliseert EDO een doelstelling die een term bevat die de divergentie van de vorige policy bevordert.

   • Het optimalisatiedoel wordt herformuleerd om $J^*(r^{(t)})$ te maximaliseren, wat onder specifieke constraints (verwachting nul onder de vorige policy) neerkomt op het minimaliseren van de omgekeerde Kullback-Leibler (KL) divergentie: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$.
   • Deze term fungeert als een "afstotende" kracht die verhindert dat de policy instort in de dominante modi van de vorige iteratie, terwijl de standaard voorwaartse KL-term ($D_{KL}(\pi_\theta \parallel \pi_{ref}$) stabiliteit behoudt en catastrofaal vergeten voorkomt.

2. Integratie met Bestaande Algoritmen:
   EDO wordt naadloos geïntegreerd in twee populaire iteratieve RL-paradigma's:

   • ED-iDPO (Onderzoeksgedreven Iteratieve Directe Preferentieoptimalisatie): Modificeert de iDPO-verliesfunctie door de exploratieterm toe te voegen. De doelstelling wordt:
     $$L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$$
     waarbij $\alpha$ de sterkte van de exploratiebias regelt.
   • ED-GRPO (Onderzoeksgedreven Groepsrelatieve Policyoptimalisatie): Past het GRPO-doel aan om de token-niveau omgekeerde KL-divergentie tussen de huidige en vorige policy op te nemen, waardoor de outputwaarschijnlijkheidsverdeling wordt gladgestreken zonder dat een apart critic-model nodig is.

3. Iteratief Trainingsproces:
   Het raamwerk werkt in een iteratieve lus:

   • Genereer $N$ kandidaatoplossingen vanuit de huidige policy.
   • Construeer preferentieparen (voor iDPO) of groepsbeloningen (voor GRPO) op basis van correctheid.
   • Update de policy met de EDO-verrijkte doelstelling.
   • Herhaal, waarbij de bijgewerkte policy als referentie dient voor de exploratieterm van de volgende iteratie.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Principieel Raamwerk: Introductie van EDO, een raamwerk dat een geflatteerde outputverdeling bevordert om exploratie en exploitatie in evenwicht te brengen, en specifiek effectievere schaling tijdens de inferentiefase faciliteert.
2. Naadloze Integratie: Aantonen dat EDO kan worden geïntegreerd in standaard post-trainingpijplijnen (iDPO en GRPO) om verbeterde varianten te produceren (ED-iDPO en ED-GRPO) die de diversiteit van oplossingen en redeneerprestaties aanzienlijk verbeteren.
3. Empirische Validatie: Omvattende evaluatie die consistente verbeteringen toont over diverse backbones (Qwen, LLaMA) en datasets, waarbij de robuustheid van EDO in het voorkomen van instorting door over-optimalisatie wordt benadrukt.

4. Experimentele Resultaten

Prestaties In-Distribution

Experimenten werden uitgevoerd op drie redeneerbenchmarks: GSM8K (wiskunde op basisschoolniveau), Math (wiskundewedstrijden op middelbareschoolniveau) en s1K (uitdagende vragen op wedstrijdniveau).

• Toename in Nauwkeurigheid: Zowel ED-iDPO als ED-GRPO presteerden beter dan sterke baselines (ETO, GRPO, DAPO).
  • Op s1K behaalde ED-GRPO een nauwkeurigheid van 38,6% (greedy) en 48,4% (Self-Consistency), waarmee het de beste baseline (ETO+SC) respectievelijk 1,1% en 1,3% overtrof.
  • Op Math en GSM8K verbeterden EDO-varianten consistent de nauwkeurigheid ten opzichte van standaard CoT- en Self-Consistency-baselines.
• Synergie met Schaling tijdens de Testfase: De prestatiewinsten waren het meest uitgesproken wanneer gecombineerd met Self-Consistency, wat aangeeft dat de diverse oplossingen gegenereerd door EDO effectief worden geaggregeerd door methoden tijdens de inferentiefase.

Generalisatie Out-of-Distribution (OOD)

Modellen getraind op s1K werden geëvalueerd op vijf OOD-datasets (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench).

• Plug-and-Play Capaciteit: EDO-getrainde modellen toonden sterke generalisatie over datasets zonder opnieuw te trainen.
• Verbeteringen: ED-GRPO leverde een gemiddelde winst van 2,4% op ten opzichte van de GRPO-baseline over alle OOD-taken, wat aantoont dat verbeterde exploratie de overdraagbaarheid naar heterogene data-distributies verbetert.

Ablatie en Analyse

• Trainingsstabiliteit: In tegenstelling tot standaard GRPO of ETO, die prestatiedegradatie of platlopen na een paar epochs vertoonden (tekenen van over-optimalisatie), behielden EDO-varianten consistente prestatiewinsten over meerdere trainingsiteraties.
• Behoud van Entropie: Figuur 4 in het artikel toont aan dat terwijl standaard methoden de policy-entropie snel naar lage niveaus drijven, ED-GRPO gedurende de training aanzienlijk hogere entropie behoudt, waardoor mode collapse wordt voorkomen.
• Diversiteitsmetrieken: EDO-varianten produceerden aanzienlijk diversere outputs (gemeten via Distinct-4). Bijvoorbeeld, op s1K verbeterde ED-GRPO Distinct-4 met 47,0% ten opzichte van de baseline.
• Casestudie: Een kwalitatieve analyse van een meetkundeprobleem onthulde dat standaardmodellen homogene, incorrecte redeneerpaden produceerden, terwijl ED-iDPO diverse strategieën genereerde (coördinatie meetkunde, gebiedsdecompositie, symmetrie-argumenten), waardoor stemmen tijdens de testfase het juiste antwoord kon selecteren.

5. Betekenis en Claims

Het artikel positioneert EDO als een praktisch raamwerk voor het oplossen van de spanning tussen RL-gebaseerde uitlijning en de diversiteitsvereisten van schaling tijdens de testfase.

• Voorkomen van Instorting: De auteurs claimen dat EDO effectief "instorting door over-optimalisatie" voorkomt, een veelvoorkomende faalmodus in RLHF waarbij modellen de mogelijkheid verliezen om alternatieve oplossingen te exploreren.
• Compatibiliteit: De methode wordt benadrukt als compatibel met diverse policy-optimalisatiealgoritmen en inferencetechnieken tijdens de testfase (Self-Consistency, BoN, Tree Search).
• Schaalbaarheid: Door modellen in staat te stellen diverse inferentiepaden te benutten, staat EDO een effectiever gebruik van compute tijdens de testfase toe, een kritieke factor voor het schalen van redeneercapaciteiten zonder modelparameters te verhogen.

De auteurs concluderen dat EDO een principieel aanbod biedt voor het in evenwicht brengen van exploratie en exploitatie, en een nieuwe baseline vestigt voor LLM-redenering die bijzonder effectief is in situaties die vertrouwen op schaling tijdens de testfase.