Technische Samenvatting: Vector Policy Optimization (VPO)

Probleemstelling

Huidige post-training paradigma's voor Large Language Models (LLM's), met name die welke Reinforcement Learning (RL) met Group Relative Policy Optimization (GRPO) gebruiken, optimaliseren voor een enkele, vooraf gespecificeerde scalare beloning. Hoewel dit effectief is voor het convergeren naar een specifiek antwoord met hoge waarschijnlijkheid, leidt deze aanpak vaak tot "mode collapse", waarbij het beleid lage-entropie responsverdelingen produceert. Dit gebrek aan diversiteit wordt een kritieke knelpunt wanneer LLM's worden ingezet binnen zoekprocedures op het moment van testen (bijvoorbeeld afwijzingsstalen, evolutionaire algoritmen zoals AlphaEvolve, of best-of-$k$ selectie).

In zoekversterkte systemen zou de trainingsfase idealiter een rijke pool van diverse, bekwame kandidaten moeten bieden die het zoekalgoritme kan benutten. Echter, standaard scalair RL-training collapseert de kandidaatverdeling naar een enkele optimale afweging, waardoor extra steekproeven bijna-duplicaten worden. Bijgevolg kan de zoekprocedure geen superieure oplossingen ontdekken die verschillende afwegingen tussen concurrerende doelen vereisen (bijvoorbeeld codecorrectheid versus efficiëntie, of verschillende redeneerpaden bij multi-hop vragen).

Methodologie: Vector Policy Optimization (VPO)

De auteurs stellen Vector Policy Optimization (VPO) voor, een RL-algoritme dat is ontworpen om beleidsregels expliciet te trainen om diverse sets oplossingen te produceren die het Pareto-frontier van vector-gewaardeerde beloningen bestrijken. VPO werkt op de premisse dat bij veel realistische taken (codegeneratie, multi-hop redenering, gebruik van hulpmiddelen) beloningen van nature kunnen worden ontbonden in vectorcomponenten (bijvoorbeeld correctheid per testgeval, ratings per criterium).

VPO bestaat uit twee kerncomponenten:

1. Multi-Antwoordketens als In-Context Exploratie:
   In plaats van één respons per prompt te genereren, wordt het model getraind om een set van $m$ kandidaat-volledigingen ($S = \{y_1, \dots, y_m\}$) binnen één autoregressieve rollout uit te zenden. Elke volgende kandidaat kan in de context aandacht besteden aan de eerder gegenereerde antwoorden, waardoor het model expliciet kan herkennen welke gebieden van de oplossingsruimte zijn bestreken en nieuwe kandidaten kan sturen naar onontdekte gebieden. Dit transformeert diversiteit van een bijproduct van bemonsteringsruis naar een expliciet, in-context mechanisme.

2. Set-niveau Optimalisatie via Stochastische Scalarisatie:
   Om het model te stimuleren diverse sets te produceren in plaats van te collapse naar een enkele mode, vervangt VPO de vaste scalare beloning door een verdeling over beloningsgewichtingen.

   • Voor elke rollout wordt een gewichtvector $w$ bemonsterd uit een Dirichlet-verdeling ($w \sim \text{Dir}(\alpha)$, waarbij $\alpha=1$ impliceert een uniforme verdeling over het simplex).
   • De beloning voor de set $S$ wordt berekend als de verwachte maximale gescalariseerde beloning over de bemonsterde gewichten:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Dit doel belooft het model voor het bestrijken van het Pareto-frontier: verschillende elementen in de set $S$ worden gestimuleerd om te specialiseren in verschillende afwegingen van de beloningscomponenten.

VPO wordt geïmplementeerd als een drop-in vervanging voor de GRPO-voordeelschatter. Het gebruikt het GRPO-framework, maar berekent voordelen op basis van de set-niveau beloning afgeleid van stochastische scalarisaties, waarbij dezelfde $K$ gewichtvectoren worden gedeeld over een groep van $G$ rollouts om vergelijkbaarheid te waarborgen.

Belangrijkste Bijdragen

1. Herformulering van RL Post-Training: Het paper betoogt dat bij systemen met zoekprocedures op het moment van testen, de rol van RL-training moet verschuiven van het convergeren naar een enkele beste respons naar het maximaliseren van de diversiteit van een set bekwame oplossingen, waarbij de exploitatie wordt overgelaten aan de zoekprocedure.
2. Vector Beloningsstructuur: Het toont aan dat de vector-gewaardeerde aard van beloningen in praktische taken een natuurlijk mechanisme biedt voor diversiteit. Door het model te trainen om het Pareto-frontier van verschillende doelen te bestrijken, behoudt het beleid een populatie van alternatieven die optimaal zijn onder verschillende gewichtingen.
3. VPO-algoritme: De auteurs stellen VPO voor, dat multi-antwoordgeneratie combineert met gerandomiseerde beloningsscalarisaties. Dit stelt het model in staat diverse kandidaatsets binnen één rollout te genereren, met optimalisatie voor dekking van de beloningsruimte in plaats van een enkele scalare piek.

Experimentele Resultaten

De auteurs evalueerden VPO over vier diverse domeinen: Maze (navigatie met item-afwegingen), MuSiQue (multi-hop QA), EUREQA (ketenredenering) en ToolRL (functieaanroepen). Ze vergeleken VPO met diverse baselines, waaronder standaard GRPO, Multi-RLVR (multi-antwoord met vaste scalare beloning), Random-Weighting GRPO en Max-at-$k$ training.

• Schalen op het Moment van Testen: Over alle domeinen heen presteerde VPO consistent beter dan scalare baselines op best@k metrieken. Terwijl de prestaties van scalair GRPO snel plat liepen naarmate $k$ toenam (wat kandidaat-collapse aangeeft), bleef VPO verbeteren met extra steekproeven, waarbij de kloof groter werd naarmate het zoekbudget groeide.
• Diversiteitsmetrieken: VPO behield een hoge diversiteit in de beloningsruimte (gemeten door de pairwise L1-afstand tussen beloningsvectoren), terwijl baselines zoals Multi-RLVR en standaard GRPO vroeg in de training collapseerden naar bijna-identieke beloningsvectoren.
• Moeilijke Problemen & Evolutionaire Zoek: In een case study over LiveCodeBench (een competitief programmeerbewijs) presteerde een met VPO getraind model (Qwen2.5-Coder-7B) aanzienlijk beter dan een GRPO-model met vergelijkbare rekkracht. Cruciaal: wanneer geïntegreerd in OpenEvolve (een evolutionaire zoeklus), losten VPO-modellen problemen op die GRPO-modellen bij geen enkel kandidaatbudget konden oplossen, wat aantoont dat VPO oplossingen ontsluit die complexe afwegingen vereisen.
• Ablatie Studies:
  • Alleen multi-antwoordgeneratie (zonder stochastische scalarisatie) was onvoldoende om diversiteit te behouden.
  • Alleen stochastische scalarisatie (zonder multi-antwoordketens) leverde niet dezelfde winst op.
  • Goal-conditioned GRPO (conditioneren op specifieke gewichten) slaagde er niet in VPO te evenaren, wat suggereert dat het genereren van een diverse set in-context effectiever is dan expliciet conditioneren op gewichten op het moment van inferentie.
  • De voordelen van VPO waren het meest uitgesproken wanneer beloningscomponenten niet-collineair waren (d.w.z. wanneer echte afwegingen bestonden). In domeinen met bijna-collineaire beloningen (bijvoorbeeld UltraFeedback) nam het voordeel van VPO af, wat overeenkomt met de theoretische premisse.

Betekenis en Beweringen

Het paper stelt dat naarmate zoekprocedures op het moment van testen een standaardcomponent van AI-systemen worden, het optimaliseren voor diversiteit de standaard post-training doelstelling moet worden. De auteurs beweren dat VPO een principiële manier biedt om exploratie (trainen voor een diverse pool) te scheiden van exploitatie (selectie op het moment van zoeken).

De betekenis van VPO ligt in het vermogen om:

• Moeilijkere Problemen te Ontsluiten: Door het behoud van diverse strategieën die lokaal suboptimaal kunnen lijken onder een vaste scalare waarde, maar die gedeeltelijke redeneerpatronen bevatten die nuttig zijn voor zoeken, stelt VPO de ontdekking van oplossingen mogelijk die door scalair getrainde beleidsregels volledig worden gemist.
• Te Schalen met Rekkracht: De prestatiekloof tussen VPO en scalare baselines wordt groter naarmate het zoekbudget op het moment van testen toeneemt, waardoor VPO bijzonder waardevol is voor inferentiescenario's met hoge rekkracht.
• Drop-in Compatibiliteit: VPO vereist geen architecturale wijzigingen aan bestaande LLM's en fungeert als een eenvoudige vervanging voor de voordeelschatter in standaard RL-frameworks zoals GRPO.

De auteurs concluderen dat VPO, hoewel het de pass@1-prestaties opoffert (aangezien het exploratie prioriteert boven directe exploitatie), de superieure aanpak is voor regimes waar zoekprocedures op het moment van testen beschikbaar zijn, wat beleidsoptimalisatie effectief omzet in een dekkingprobleem over het Pareto-frontier.