Technische Samenvatting: Voorbij Negatieve Rollouts: Positieve Alleen Beleidsoptimalisatie met Impliciete Negatieve Gradiënten

Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) heeft zich ontwikkeld tot een dominant paradigma voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), met name in wiskundige domeinen. Huidige state-of-the-art benaderingen, zoals Group Relative Policy Optimization (GRPO), vertrouwen op het vergelijken van gegroepeerde positieve (juiste) en negatieve (onjuiste) rollouts om voordelen te schatten. Deze paper identificeert echter een fundamentele beperking in het behandelen van onjuiste antwoorden als expliciete leersignalen:

1. Gebrek aan Gradering: In binaire beloningssituaties (bijvoorbeeld $R(x,y)=1$ indien correct, anders $0$) worden alle onjuiste antwoorden gelijk behandeld. Er is geen inherent signaal dat een "licht verkeerd" antwoord onderscheidt van een "volledig onzinnig" antwoord.
2. Combinatorische Omvang: De ruimte van onjuiste antwoorden voor complexe taken (zoals Olympiade-niveau wiskunde) is combinatorisch enorm. Het straffen van enkele gesamplede negatieve rollouts is onwaarschijnlijk om de betekenisvolle faalmodi te dekken of een robuust beloningssignaal te bieden onder binaire beloningen met weinig signalen.
3. Inefficiëntie: De paper stelt de vraag of beleidsverbetering uitsluitend kan worden bereikt door successen te versterken, met parallellen getrokken naar contrastieve zelf-supervised learning (SSL) methoden zoals BYOL en SimSiam, die effectieve representaties leren uitsluitend met positieve samples.

Methodologie: Positieve Alleen Beleidsoptimalisatie (POPO)

De auteurs stellen POPO voor, een nieuw on-policy RL-kader dat uitsluitend leert van positieve rollouts (juiste antwoorden) terwijl het negatieve uitkomsten impliciet afhandelt. Het kader werkt zonder disjuncte negatieve rollouts voor gradiëntgeleiding.

Kerncomponenten

1. Zelf-genormaliseerde Importance Sampling:
   In plaats van een waardenetwerk of groepsrelatief voordeel te gebruiken, past POPO begrenste importance sampling-weights toe over de set van positieve rollouts $S^+(x)$. Het gewicht voor een positief antwoord $y$ wordt gedefinieerd als:
   $$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{waarbij } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$$
   Dit creëert een zelf-concurrentiemechanisme waarbij "zekere" juiste antwoorden sterker worden versterkt, terwijl normalisatie diversiteit behoudt.

2. Impliciete Negatieve Gradiënten:
   De paper levert een theoretisch bewijs (Stelling 3.1) dat aantoont dat expliciete negatieve straffen onnodig zijn. Vanwege de softmax-beperking ($\sum \pi_\theta(y|x) = 1$), verhoogt het verhogen van de waarschijnlijkheid van positieve antwoorden inherent de waarschijnlijkheid van negatieve antwoorden. De gradiëntanalyse toont aan dat de verliesfunctie een strikt positieve gradiënt induceert voor onjuiste logits $y' \in S^-(x)$, wat fungeert als een impliciete "waarschijnlijkheidsbelasting" en entropie-gebaseerde straf.

3. Adaptieve Siamese Anker:
   Om training te stabiliseren zonder een referentiemodel (wat kan leiden tot distributiemismatch of overfitting), maakt POPO gebruik van een Siamese netwerkarchitectuur:

   • Beleidnetwerk ($\pi_\theta$): Het actieve netwerk dat wordt geoptimaliseerd.
   • Siamese Netwerk ($\pi_\xi$): Een doelnetwerk bijgewerkt via Exponentiële Moving Average (EMA) van de beleidsparameters: $\xi \leftarrow \tau \xi + (1-\tau)\theta$.
   • Representatieruimte-uitlijning: In plaats van standaard KL-divergentie (die hoge variantie en token-gevoeligheid kan hebben), uitlijnt POPO de verborgen representaties van het beleids- en Siamese netwerk in een semantische inbeddingsruimte met behulp van een predictor-kop en cosinus-ähnelijkheid. Dit fungeert als een zachte, begrenste beperking.

4. Verliesfunctie:
   Het totale verlies combineert het gewogen negatieve log-waarschijnlijkheid (NLL) op positieve samples, representatieruimte-ähnelijkheid en entropieregulatie:
   $$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$$

Belangrijkste Bijdragen

• Paradigmaverschuiving: Introduceert een kader waarbij RLVR-lering uitsluitend plaatsvindt via online positieve rollouts, wat de conventie uitdaagt dat negatieve samples vereist zijn voor effectieve beleidsoptimalisatie.
• Theoretische Rechtvaardiging: Bewijst het bestaan van impliciete negatieve gradiënten die natuurlijk voortvloeien uit waarschijnlijkheidsverdeling en entropieregulatie, waardoor de noodzaak van expliciete negatieve sampling wordt geëlimineerd.
• Stabilisatiemechanismen: Stelt een Siamese architectuur voor met momentum-gebaseerde adaptatie en representatieruimte-ähnelijkheid om KL-divergentie te vervangen, waardoor beleidsinstorting en onbegrensde drift worden voorkomen.
• Begrensde Importance Sampling: Gebruikt een zelf-genormaliseerd wegingsschema over positieve sets om versterkingssterkte en diversiteit in evenwicht te brengen.

Experimentele Resultaten

De auteurs hebben POPO geëvalueerd met de DeepScaleR-Preview-Dataset voor training en de prestaties getest over vijf wiskundige benchmarks: MATH-500, AMC 2023, AIME 2024, AIME 2025 en OlympiadBench.

• Geteste Modellen: Experimenten werden uitgevoerd op diverse basismodellen, waaronder de Qwen2.5-Math-familie (1.5B, 7B), DeepSeek-R1 gedistilleerde modellen en algemene LLM's (Llama-3.1-8B, DeepSeek-Math-7B).
• Prestaties:
  • POPO behaalde prestaties die vergelijkbaar waren met of superieur waren aan GRPO en zijn varianten (Dr. GRPO, DAPO, SAPO) over de meeste benchmarks.
  • Opmerkelijk Resultaat: Op de AIME 2025 benchmark met Qwen-Math-7B behaalde POPO 36,67%, wat beter was dan GRPO (30,00%).
  • Op OlympiadBench met Qwen-Math-7B bereikte POPO 57,27%, vergeleken met 56,38% voor GRPO.
• Ablatiestudies:
  • Het verwijderen van negatieve rollouts (met behulp van uniforme gewichten) veroorzaakte een significante prestatiedaling, wat de noodzaak bevestigt van de zelf-genormaliseerde gewichtsverdeling.
  • Het verwijderen van momentum-adaptatie of representatieruimte-uitlijning leidde tot instabiliteit en prestatiedegradatie, wat de stabilisatiemechanismen valideert.
• Generalisatie: POPO demonstreerde model-agnostische voordelen, met goede prestaties op zowel op wiskunde gespecialiseerde als algemene LLM's.

Betekenis en Aanspraken

De paper claimt een nieuwe richting voor RLVR te vestigen die effectief werkt zonder negatieve rollouts. De auteurs betogen dat in omgevingen met binaire beloningen met weinig signalen, de combinatorische aard van fouten expliciete negatieve straffen inefficiënt en potentieel luid maakt. Door impliciete negatieve gradiënten te benutten via waarschijnlijkheidsverdeling en het beleid te stabiliseren via representatieruimte-uitlijning, biedt POPO een robuust alternatief voor huidige GRPO-gebaseerde methoden.

De auteurs merken beperkingen op, waaronder de huidige focus op binaire beloningen met weinig signalen (hoewel veel real-world taken dichte beloningen hebben), validatie uitsluitend op tekstuele wiskundige redenering, en testen beperkt tot modellen tot 7B parameters. Zij suggereren dat toekomstig werk zal onderzoeken naar adaptieve rollout-partitionering voor negatieve samples en uitbreiding naar codegeneratie en multimodale redenering.