Technische Zusammenfassung: Vektor-Policy-Optimierung (VPO)

Problemstellung

Aktuelle Paradigmen für das Nachtrainieren von Large Language Models (LLMs), insbesondere solche, die Reinforcement Learning (RL) mit Group Relative Policy Optimization (GRPO) nutzen, optimieren eine einzelne, vorab festgelegte skalare Belohnung. Obwohl dieser Ansatz effektiv ist, um auf eine spezifische Antwort mit hoher Wahrscheinlichkeit zu konvergieren, führt er häufig zu einem „Mode Collapse", bei dem die Policy Verteilungen von Antworten mit niedriger Entropie erzeugt. Dieser Mangel an Vielfalt wird zu einem kritischen Engpass, wenn LLMs in Suchverfahren zur Laufzeit (z. B. Rejection Sampling, evolutionäre Algorithmen wie AlphaEvolve oder Best-of-$k$-Auswahl) eingesetzt werden.

In suchtgestützten Systemen sollte die Trainingsphase idealerweise einen reichen Pool an vielfältigen, kompetenten Kandidaten bereitstellen, den der Suchalgorithmus ausnutzen kann. Das standardmäßige skalare RL-Training kollabiert die Kandidatenverteilung jedoch zu einem einzigen optimalen Kompromiss, wodurch zusätzliche Stichproben zu fast identischen Duplikaten werden. Folglich kann das Suchverfahren keine überlegenen Lösungen entdecken, die unterschiedliche Kompromisse zwischen konkurrierenden Zielen erfordern (z. B. Korrektheit von Code versus Effizienz oder verschiedene Schlussfolgerungspfade bei Multi-Hop-Fragen).

Methodik: Vektor-Policy-Optimierung (VPO)

Die Autoren schlagen Vector Policy Optimization (VPO) vor, einen RL-Algorithmus, der explizit darauf ausgelegt ist, Policies zu trainieren, die vielfältige Lösungsmengen erzeugen, die die Pareto-Grenze vektorwertiger Belohnungen abdecken. VPO basiert auf der Prämisse, dass sich Belohnungen in vielen realistischen Aufgaben (Code-Generierung, Multi-Hop-Schlussfolgerung, Werkzeugnutzung) natürlich in vektorielle Komponenten zerlegen lassen (z. B. Korrektheit pro Testfall, Bewertungen pro Kriterium).

VPO besteht aus zwei Kernkomponenten:

1. Multi-Antwort-Ketten als Kontext-Exploration:
   Anstatt pro Prompt eine einzelne Antwort zu generieren, wird das Modell trainiert, innerhalb eines einzigen autoregressiven Durchlaufs eine Menge von $m$ Kandidaten-Vervollständigungen ($S = \{y_1, \dots, y_m\}$) auszugeben. Jeder nachfolgende Kandidat kann auf die zuvor generierten Antworten im Kontext achten, was es dem Modell ermöglicht, explizit zu erkennen, welche Bereiche des Lösungsraums bereits abgedeckt sind, und neue Kandidaten in Richtung unerforschter Gebiete zu lenken. Dies verwandelt Vielfalt von einem Nebenprodukt des Sampling-Rauschens in einen expliziten, kontextbasierten Mechanismus.

2. Optimierung auf Set-Ebene durch stochastische Skalarisierung:
   Um das Modell zu incentivieren, vielfältige Mengen zu produzieren, anstatt auf einen einzigen Modus zu kollabieren, ersetzt VPO die feste skalare Belohnung durch eine Verteilung über Belohnungsgewichtungen.

   • Für jeden Durchlauf wird ein Gewichtvektor $w$ aus einer Dirichlet-Verteilung gesampelt ($w \sim \text{Dir}(\alpha)$, wobei $\alpha=1$ eine gleichmäßige Verteilung über dem Simplex impliziert).
   • Die Belohnung für die Menge $S$ wird als der erwartete maximale skalarisierte Wert über die gesampelten Gewichtungen berechnet:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Dieses Ziel belohnt das Modell für die Abdeckung der Pareto-Grenze: Verschiedene Elemente in der Menge $S$ werden incentiviert, sich auf unterschiedliche Kompromisse der Belohnungskomponenten zu spezialisieren.

VPO wird als Drop-in-Ersatz für den GRPO-Advantage-Schätzer implementiert. Es verwendet das GRPO-Framework, berechnet die Advantages jedoch basierend auf der auf Set-Ebene definierten Belohnung, die aus stochastischen Skalarisierungen abgeleitet ist, und nutzt dieselben $K$ Gewichtvektoren über eine Gruppe von $G$ Durchläufen hinweg, um Vergleichbarkeit sicherzustellen.

Hauptbeiträge

1. Neudefinition des RL-Nachtrainings: Die Arbeit argumentiert, dass sich die Rolle des RL-Trainings in Systemen mit Suchverfahren zur Laufzeit von der Konvergenz auf eine einzelne beste Antwort hin zur Maximierung der Vielfalt einer Menge kompetenter Lösungen verschieben sollte, wobei die Ausbeutung dem Suchverfahren überlassen bleibt.
2. Vektor-Belohnungsstruktur: Sie zeigt, dass die vektorwertige Natur von Belohnungen in praktischen Aufgaben einen natürlichen Mechanismus für Vielfalt bietet. Durch das Trainieren des Modells zur Abdeckung der Pareto-Grenze verschiedener Ziele behält die Policy eine Population von Alternativen bei, die unter unterschiedlichen Gewichtungen optimal sind.
3. VPO-Algorithmus: Die Autoren schlagen VPO vor, das Multi-Antwort-Generierung mit randomisierten Belohnungsskalarisierungen kombiniert. Dies ermöglicht dem Modell, innerhalb eines einzigen Durchlaufs vielfältige Kandidatenmengen zu generieren und sich auf die Abdeckung des Belohnungsraums statt auf einen einzelnen skalaren Peak zu optimieren.

Experimentelle Ergebnisse

Die Autoren evaluierten VPO über vier diverse Domänen hinweg: Maze (Navigation mit Item-Kompromissen), MuSiQue (Multi-Hop-QA), EUREQA (Chain-Reasoning) und ToolRL (Funktionsaufrufe). Sie verglichen VPO mit mehreren Baselines, darunter Standard-GRPO, Multi-RLVR (Multi-Antwort mit fester skalare Belohnung), Random-Weighting-GRPO und Max-at-$k$-Training.

• Skalierung zur Laufzeit: Über alle Domänen hinweg schnitt VPO bei best@k-Metriken konsistent besser ab als skalare Baselines. Während die Leistung von skalarem GRPO schnell plateaulierte, sobald $k$ zunahm (was einen Kandidaten-Kollaps anzeigt), verbesserte sich VPO mit zusätzlichen Stichproben weiter, wobei sich die Lücke mit wachsendem Suchbudget vergrößerte.
• Vielfaltsmetriken: VPO behielt eine hohe Vielfalt im Belohnungsraum bei (gemessen durch den paarweisen L1-Abstand zwischen Belohnungsvektoren), wohingegen Baselines wie Multi-RLVR und Standard-GRPO früh im Training zu fast identischen Belohnungsvektoren kollabierten.
• Schwierige Probleme & Evolutionäre Suche: In einer Fallstudie zu LiveCodeBench (ein Benchmark für wettbewerbsorientierte Programmierung) übertraf ein mit VPO trainiertes Modell (Qwen2.5-Coder-7B) ein GRPO-Modell mit vergleichbarem Rechenaufwand signifikant. Entscheidend war, dass VPO-Modelle, integriert in OpenEvolve (eine evolutionäre Suchschleife), Probleme lösten, die GRPO-Modelle bei keinem Kandidatenbudget lösen konnten, was zeigt, dass VPO Lösungen freisetzt, die komplexe Kompromisse erfordern.
• Ablationsstudien:
  • Alleinige Multi-Antwort-Generierung (ohne stochastische Skalarisierung) reichte nicht aus, um Vielfalt zu erhalten.
  • Stochastische Skalarisierung allein (ohne Multi-Antwort-Ketten) erzielte nicht dieselben Gewinne.
  • Goal-conditioned GRPO (Konditionierung auf spezifische Gewichtungen) konnte VPO nicht erreichen, was darauf hindeutet, dass die Generierung einer vielfältigen Menge im Kontext effektiver ist als die explizite Konditionierung auf Gewichtungen zur Inferenzzeit.
  • Die Vorteile von VPO waren am ausgeprägtesten, wenn Belohnungskomponenten nicht kollinear waren (d. h. wenn echte Kompromisse existierten). In Domänen mit nahezu kollinearen Belohnungen (z. B. UltraFeedback) verringerte sich der Vorteil von VPO, was mit der theoretischen Prämisse übereinstimmt.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass, da Suchverfahren zur Laufzeit zu einem Standardbestandteil von KI-Systemen werden, die Optimierung auf Vielfalt zum Standardziel des Nachtrainings werden muss. Die Autoren behaupten, dass VPO einen prinzipiellen Weg bietet, Exploration (Training für einen vielfältigen Pool) von Ausbeutung (Auswahl zur Laufzeit) zu trennen.

Die Bedeutung von VPO liegt in seiner Fähigkeit:

• Schwierigere Probleme zu lösen: Durch die Bewahrung vielfältiger Strategien, die unter einer festen Skalarisierung lokal suboptimal erscheinen können, aber teilweise Schlussfolgerungsmuster enthalten, die für die Suche nützlich sind, ermöglicht VPO die Entdeckung von Lösungen, die von skalare trainierten Policies vollständig übersehen werden.
• Mit Rechenaufwand zu skalieren: Die Leistungslücke zwischen VPO und skalaren Baselines vergrößert sich, wenn das Suchbudget zur Laufzeit steigt, was VPO besonders wertvoll für Inferenzszenarien mit hohem Rechenaufwand macht.
• Drop-in-Kompatibilität: VPO erfordert keine architektonischen Änderungen an bestehenden LLMs und fungiert als einfacher Ersatz für den Advantage-Schätzer in Standard-RL-Frameworks wie GRPO.

Die Autoren schließen, dass VPO zwar die pass@1-Leistung opfert (da es Exploration vor unmittelbarer Ausbeutung priorisiert), es jedoch der überlegene Ansatz für Regime ist, in denen Suchverfahren zur Laufzeit verfügbar sind, und verwandelt die Policy-Optimierung effektiv in ein Abdeckungsproblem über die Pareto-Front.