Technische Samenvatting: VIGOR – Variance Guided Online Rollout Allocation

1. Probleemstelling

Reinforcement Learning with Verifiable Rewards (RLVR) is een dominant paradigma geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), waarbij Group Relative Policy Optimization (GRPO) een leidende instantie vormt. GRPO kampt echter met aanzienlijke efficiëntie- en stabiliteitsproblemen:

• Computationele Bottleneck: GRPO vertrouwt op het genereren van een groot, vast aantal chain-of-thought (CoT) rollouts per prompt. Empirische analyse in het paper onthult dat de generatie van rollouts ten minste 50% van de totale trainingstijd in beslag neemt, wat lineair schaalt met het aantal rollouts.
• Informativiteitsmismatch: Een aanzienlijk deel van de gegenereerde rollouts is niet-informatief, waarbij ze vaak weinig tot geen beloningsvariantie binnen een groep vertonen. Deze samples dragen een verwaarloosbaar gradiëntsignaal bij, wat computationele middelen verspilt.
• Inefficiëntie van Bestaande Oplossingen: Huidige strategieën om de efficiëntie te verbeteren, genereren ofwel excessieve rollouts om te filteren op moeilijke prompts (wat hoge overhead met zich meebrengt), of vertrouwen op historische signalen om data in latere stadia van de training te filteren. Deze benaderingen falen in het prioriteren van informatieve voorbeelden tijdens de vroege stadia van de training, die de auteurs identificeren als disproportioneel cruciaal voor de uiteindelijke prestatiewinsten.

2. Methodologie: VIGOR

De auteurs stellen VarIance Guided Online Rollout allocation (VIGOR) voor, een iteratief dataselectiekader ontworpen om de rollout-budgetten adaptief toe te wijzen zonder de onderliggende GRPO-trainingsdoelstelling aan te passen.

Kerninzicht uit de Theorie

De methode is gebaseerd op een theoretische observatie met betrekking tot de GRPO-gradiëntgrootte. Onder een binaire beloningsinstelling (gangbaar in RLVR), bewijzen de auteurs dat de magnitude van het gradiëntsignaal direct wordt gecontroleerd door de variantie van de beloning binnen de groep ($\sigma$). Specifiek wordt de gradiëntnorm begrensd door $M\sigma$, waarbij $M$ een bovengrens is op de importantieratio-gradiënten. Dit impliceert dat prompts met een hoge beloningsvariantie de sterkste leersignalen bieden, terwijl prompts met nul variantie (waar alle rollouts dezelfde beloning ontvangen) geen gradiëntsignaal bieden.

Algoritmisch Kader

In tegenstelling tot standaard GRPO, dat een vast aantal rollouts ($G$) aan elke prompt toewijst in een enkele pass, werkt VIGOR iteratief binnen elke trainingsstap:

1. Initialisatie: Voor een batch prompts begint VIGOR met een klein initieel rollout-budget ($m_0$) voor alle voorbeelden.
2. Iteratieve Verfijning: Over $T$ verfijningsiteraties:
   • Generatie: Nieuwe rollouts worden gegenereerd voor de huidige actieve subset van prompts.
   • Variantie-schatting: De utility-score voor elke prompt wordt berekend als de variantie van de beloningen van de geaccumuleerde rollouts.
   • Selectie: De top-$\alpha$ fractie van de prompts met de hoogste variantie wordt behouden voor de volgende iteratie.
   • Budgetexpansie: Het rollout-budget voor behouden prompts wordt vermenigvuldigd met een expansiefactor $\gamma$ ($m_{t+1} = \gamma m_t$).
3. Update: Zodra het totale budget is uitgeput of de iteraties zijn voltooid, worden alle geaccumuleerde rollouts gebruikt om voordelen (advantages) te berekenen en het beleid te updaten via standaard GRPO.

Dit proces concentreert de computationele middelen effectief op "moeilijke" of "onzekere" prompts (hoge variantie) terwijl laagwaardige prompts vroegtijdig worden weggegooid, waardoor het kostbare genereren van volledige rollouts voor niet-informatieve samples wordt vermeden.

Theoretische Versnelling

De auteurs leiden een gesloten vorm van de versnellingsratio van VIGOR ten opzichte van GRPO af. Uitgaande van de aanname dat de beloningsvariantie op promptniveau een Pareto-verdeling volgt (heavy-tailed), groeit de ratio van de trainings-tijdsschalen ($\tau_{GRPO} / \tau_{VIGOR}$) met het aantal verfijningsrondes $T$. Dit suggereert dat de efficiëntievoordelen van VIGOR theoretisch gegarandeerd toenemen naarmate het trainingsproces zijn focus verfijnt op de meest informatieve subset van data.

3. Belangrijkste Bijdragen

• Identificatie van Variantie als Signaal: Het paper stelt vast dat beloningsvariantie een directe proxy is voor de gradiëntmagnitude in GRPO, wat een theoretische basis biedt voor variantie-gestuurde selectie.
• VIGOR Algoritme: Een nieuw, online rollout-allocatiestrategie dat de computationele middelen dynamisch verschuift naar prompts met een hoge variantie zonder hulpmodellen, historische datafiltering of aanpassingen aan de GRPO-doelstelling te vereisen.
• Theoretische Analyse: Afleiding van een convergentiesnelheidsratio die aantoont dat VIGOR beter presteert dan uniforme allocatie, met name onder heavy-tailed variantieverdelingen die gebruikelijk zijn bij redeneertaakjes.
• Uitgebreide Empirische Validatie: Uitgebreide experimenten over wiskundige redenering en programmeertaken met gebruik van meerdere model-schalen (Qwen2.5-1.5B/3B/7B, Phi-4-Mini, Qwen3-8B).

4. Experimentele Resultaten

De auteurs evalueerden VIGOR tegenover standaard GRPO en state-of-the-art baselines (GRESO, RL-ZVP, PODS) op zes benchmarks voor wiskundige redenering en LiveCodeBench v6.

• Wiskundige Redenering:

  • VIGOR bereikt de doelnauwkeurigheid met tot wel 2,3$\times$ minder rollouts vergeleken met GRPO, GRESO en RL-ZVP (specifiek op Qwen2.5-3B).
  • Bij eerlijke vergelijkingen op basis van gelijkwaardige rollout-budgetten behaalt VIGOR de beste gemiddelde scores over alle vier de geteste model-schalen.
  • Zelfs in vergelijking met GRESO-g (dat ongeveer twee keer het rollout-budget gebruikt), behaalt VIGOR hogere gemiddelde scores op de meeste benchmarks.

• Coderen (LiveCodeBench v6):

  • Op Qwen3-8B bereikt VIGOR de volledige pass-rate van GRPO met 1,49$\times$ minder rollouts (een reductie van 32,9%).
  • VIGOR verbetert de gemiddelde test pass rate met 3,4 procentpunt (van 63,4% naar 66,8%) vergeleken met GRPO.

• Efficiëntie en Overhead:

  • Metingen van de wandkloktijd laten zien dat VIGOR geen extra tijd-overhead veroorzaakt vergeleken met de baseline GRPO bij hetzelfde rollout-budget.
  • VIGOR is aanzienlijk sneller dan GRESO, dat extra rollouts moet genereren voor filtering.
  • Ablatie-studies bevestigen dat variantie-gebaseerde selectie beter presteert dan willekeurige selectie en moeilijkheidsgraad-gebaseerde selectie, wat de theoretische motivatie valideert.

5. Betekenis en Claims

Het paper claimt dat VIGOR een eenvoudige maar effectieve methode biedt om de efficiëntie van RLVR-training te verbeteren. De betekenis ligt in:

• Optimalisatie in de Vroege Fase: Door middelen adaptief toe te wijzen op basis van online variantiesignalen, zorgt VIGOR ervoor dat de meest kritieke vroege trainingsfasen de rekenkracht gebruiken voor de meest informatieve voorbeelden, wat een sleutelbeperking van geschiedenis-afhankelijke methoden aanpakt.
• Behoud van het Paradigma: In tegen tegenstelling tot methoden die de trainingsdoelstelling wijzigen of complexe hulp-signalen vereisen, werkt VIGOR binnen het standaard GRPO-raamwerk, waardoor het gemakkelijk te integreren is.
• Schaalbaarheid: De methode vertoont robuuste prestaties over verschillende modelgroottes en taakdomeinen (wiskunde en coderen), wat suggereert dat variantie-gestuurde iteratieve rollout-generatie een generaliseerbare strategie is voor computationeel efficiënte redenering.

De auteurs concluderen dat VIGOR een veelbelovende richting vertegenwoordigt voor het schalen van RLVR, waardoor modellen een hogere prestatie kunnen leveren met aanzienlijk gereduceerde computationele budgetten.