📊 statistics

Pass@K Policy Optimization: Solving Harder Reinforcement Learning Problems

Dit artikel introduceert Pass-at-k Policy Optimization (PKPO), een nieuw reinforcement learning-framework dat onbevooroordeelde schatters afleidt om direct het collectieve succes van verzamelingen monsters (pass@k) te optimaliseren in plaats van geïsoleerde pogingen, waardoor de exploratie wordt verbeterd en moeilijkere problemen worden opgelost terwijl de pass@1-prestaties behouden blijven of worden verbeterd door middel van k-annealing.

Oorspronkelijke auteurs: Christian Walder, Deep Karkhanis

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Christian Walder, Deep Karkhanis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een student probeert te helpen bij het leren oplossen van moeilijke wiskundeproblemen.

De Oude Manier: De "Eerste Poging" Valstrik
Traditioneel, wanneer AI-modellen worden getraind (zoals de modellen die code schrijven of wiskunde oplossen), probeert de computer een probleem op te lossen, krijgt een score, en past zijn brein aan op basis van die enkele poging. Als de eerste poging mislukt, leert de computer niets van de andere pogingen die hij op de achtergrond misschien had kunnen maken. Het is alsof een student een toets maakt, één vraag fout heeft, en onmiddellelijk opgeeft, waarbij hij negeert dat hij het probleem op zijn tweede of derde poging wel correct had opgelost als hij gewoon was doorgegaan.

Deze methode optimaliseert voor Pass@1: "Werkte het allereerste antwoord?" Dit dwingt de AI om veilig en conservatief te zijn, waardoor het vaak de risicovolle, creatieve gokjes vermijdt die nodig zijn om echt moeilijke problemen op te lossen.

Het Nieuwe Idee: De "Best of the Batch" Benadering
De auteurs van dit artikel stellen een nieuwe strategie voor genaamd Pass@K Policy Optimization (PKPO).

In plaats van alleen om het eerste antwoord te geven, zegt deze methode: "Laten we K verschillende pogingen genereren (zeg 8 of 16) voor elk probleem. Het maakt ons niet uit als de eerste 7 fout zijn; we geven alleen om het feit dat ten minste één van hen goed is."

Denk aan een visnet.

Oude Methode: Je werpt één hengel uit. Als je de vis mist, trek je de lijn binnen en leer je niets.
PKPO Methode: Je werpt een net uit met 16 lijnen. Als zelfs één lijn een vis vangt, is het hele net een succes. De AI wordt beloond voor de beste vangst in het net, niet voor het gemiddelde van alle lijnen.

De Magische Truk: Het Scorebord
Het moeilijke deel is uitzoeken hoe je de AI dit leert. Als je de AI alleen vertelt "Je had een vis op lijn #4", dan kan de AI lijn #1, #2 en #3 misschien negeren. Maar als je de AI vertelt "Je hebt een vis gevangen, dus je hebt het goed gedaan", dan begrijpt de AI misschien niet welke lijn de held was.

De auteurs hebben een speciaal wiskundig "scorebord" (een estimator) uitgevonden dat werkt als een slimme scheidsrechter.

Het bekijkt alle 16 pogingen.
Het berekent een score die de AI beloont voor het hebben van elk willekeurig correct antwoord in de groep.
Cruciaal is dat het ook een beetje krediet geeft aan de "foute" antwoorden ook, omdat ze deel uitmaakten van de groep die uiteindelijk de winnaar produceerde. Dit moedigt de AI aan om te blijven verkennen en wilde, risicovolle ideeën te blijven proberen, wetende dat zelfs een "slechte" gok bijdraagt aan het succes van het team als er later een "goede" gok verschijnt.

Waarom dit Belangrijk is
Het artikel laat zien dat deze methode werkt als een superkracht voor moeilijke taken:

Het ontsluit moeilijke problemen: Op zeer uitdagende wiskunde- en programmeeruitdagingen waar de oude "eerste poging"-methode vastloopt, blijft deze nieuwe methode leren en lost het uiteindelijk problemen op.
Het is flexibel: Je kunt de AI vertellen: "Voor de eerste helft van de training, wees een risiconemer en streef naar de beste van 8 pogingen. Voor de tweede helft, focus op het goed krijgen van de eerste poging." Deze "annealing" (het langzaam veranderen van de regels) hel helpt de AI om eerst te verkennen en daarna te verfijnen.
Het werkt met echte modellen: Ze hebben dit getest op populaire open-source modellen (GEMMA2 en LLAMA3.1) en vonden dat het hun vermogen om wiskundeproblemen op te lossen en code te schrijven aanzienlijk verbeterde vergeleken met eerdere methoden.

In een Notendop
Het artikel leert AI om te stoppen met zich zorgen over het perfect zijn bij de allereerste gok. In plaats daarvan leert het de AI om een diverse set ideeën te genereren, de groep te belonen voor het hebben van elke winnaar, en deze collectieve successen te gebruiken om de moeilijkste puzzels op te lossen. Het gaat om het waarderen van de teaminspanning van meerdere gokken in plaats van alleen de individuele prestatie van een enkele gok.

Technische Samenvatting: Pass@K Policy Optimization (PKPO)

Probleemstelling

Reinforcement Learning (RL) algoritmen toegepast op Large Language Models (LLMs) extraheren vaak meerdere oplossingspogingen ( $n > 1$ ) voor een enkel probleem, maar optimaliseren op basis van de prestaties van individuele samples (pass@1). Deze aanpak geeft prioriteit aan de bruikbaarheid van een enkele hoogbelonende sample boven de collectieve bruikbaarheid van de set, wat effectief de sampling-capaciteit onderbenut. Bijgevolg kunnen standaard policy gradient-methoden er niet in slagen om de oplossingsruimte voldoende te verkennen, met name bij moeilijkere taken waar de waarschijnlijkheid van een enkele correcte sample laag is. Hoewel er methoden zijn voor inference-time search, suggereert de koppeling tussen inference en modelupdates dat het naïef optimaliseren van de verwachte single-sample beloning suboptimaal is voor taken waarbij correctheid kan worden geverifieerd, maar oplossingen niet vooraf bekend zijn.

Methodologie

De auteurs stellen Pass-at-k Policy Optimization (PKPO) voor, een framework dat direct de pass@k metriek (of de continue analogon daarvan, maxg@k) optimaliseert, gedefinieerd als de verwachte maximale beloning over $k$ onafhankelijke samples getrokken uit het beleid.

Kernbijdragen aan de Theorie

De primaire bijdrage is de afleiding van nieuwe, laag-variante, onbevooroordeelde schatters voor zowel de pass@k objectief als de gradiënt ervan. Deze schatters functioneren door eenvoudige schatters te middelen over alle $\binom{n}{k}$ deelverzamelingen van grootte $k$ uit een batch van $n$ samples.

Binaire Beloningen (Sectie 2):
- Voor binaire correctheidslabels ( $f \in \{0, 1\}$ ) leiden de auteurs een onbevooroordeelde schatter $\rho(n, c, k)$ af voor pass@k, waarbij $c$ het aantal correcte samples is.
- Ze bewijzen dat een onbevooroordeelde schatter alleen bestaat als $n \ge k$ .
- Een overeenkomstige onbevooroordeelde gradiëntschatter wordt afgeleid, waarbij gewichten worden toegekend aan samples op basis van hun correctheid en de combinatorische waarschijnlijkheid van hun inclusie in een succesvolle deelverzameling.
Continue Beloningen (Sectie 3):
- Het framework generaliseert naar continue beloningen $g(x)$ via de maxg@k objectief: $E[\max_{i=1}^k g(x_i)]$ .
- Door aan te nemen dat beloningen gesorteerd zijn ( $g_1 \le g_2 \le \dots \le g_n$ ), leiden de auteurs een onbevooroordeelde schatter $\rho^{(g)}(n, c, k)$ af die gesorteerde beloningen weegt met behulp van binomiale coëfficiënten.
- Een onbevooroordeelde gradiëntschatter wordt geconstrueerd waarbij de gewicht $s_i$ voor een sample een lineaire combinatie is van beloningen, berekend in een efficiënte $O(k + n \log n)$ tijd.
Variantiereductie (Sectie 4):
- Om de variantie van gradiëntschattingen te verminderen zonder bias te introduceren, stellen de auteurs Leave-One-Out (LOO) baselines voor.
- Ze introduceren een specifieke baseline $s^{(loo-1)}_i$ die de verwachte maxg@k van deelverzamelingen van grootte $k-1$ (exclusief de huidige sample) aftrekt van de maxg@k van deelverzamelingen van grootte $k$ . Dit generaliseert eerder werk (specifiek [TZSM25]) dat beperkt was tot het geval $n=k$ .
- Deze formulering maakt robuuste optimalisatie mogelijk, zelfs wanneer $n > k$ , een veelvoorkomend scenario in LLM-training waarbij grote batches worden gesampled.

Implementatie

De methode is ontworpen als een "drop-in replacement" voor standaard belonings-transformaties in elk policy gradient algoritme (bijv. PPO). Gegeven een batch van $n$ samples en hun ruwe beloningen, worden de beloningen getransformeerd met behulp van de afgeleide schatters (specifiek de sloo_minus_one functie in de verstrekte code) voordat ze naar de policy update stap worden gevoed.

Belangrijkste Resultaten

De auteurs valideren PKPO via toy-experimenten en real-world benchmarks met behulp van GEMMA2 (2B en 9B parameters) en LLAMA3.1 (8B parameters).

Toy Experimenten:
- In een 1D Gaussische policy experiment slaagt PKPO erin de optimale policy mean te verschuiven naar een meer "risicotolerante" staat voor hogere $k$ , waardoor het model regio's kan verkennen met een lagere waarschijnlijkheid maar een hogere potentiële beloning.
- Variantie-analyse bevestigt dat de voorgestelde sloo_minus_one schatter de gradiëntvariantie aanzienlijk vermindert vergeleken met naïeve partitionering of schatters zonder baselines.
Real-World Benchmarks (MATH, Coding, ARC-AGI-1):
- Selectieve Optimalisatie: Het instellen van de optimalisatie-target $k_{opt}$ gelijk aan de evaluatie-metriek $k_{eval}$ levert de beste prestaties op. Bijvoorbeeld, het optimaliseren voor pass@8 verbetert de pass@8 evaluatie scores aanzienlijk vergeleken met het optimaliseren voor pass@1.
- Oplossen van Moeilijkere Problemen: Op de uitdagende ARC-AGI-1 benchmark stagneert conventionele pass@1 optimalisatie en slaagt het er niet in de cumulatieve solve rate te verbeteren. In contrast hiermee "ontblokkeert" PKPO met $k_{opt} > 1$ het leren, waarbij hogere solve rates en pass@k scores worden bereikt over alle $k$ .
- Annealing Strategie: De auteurs demonstreren dat het verlagen (annealing) van $k$ tijdens de training (beginnend met een hoge $k_{opt}$ om exploratie te stimuleren, gevolgd door het reduceren naar $k_{opt}=1$ om te consolideren) sterke pass@1 prestaties bereikt naast significante pass@k winsten, waarbij de typische trade-off waarbij het verbeteren van pass@k de pass@1 verslechtert, wordt vermeden.
- Vergelijking: PKPO presteert beter dan het speciale geval van $n=k$ (zoals in [TZSM25]) en entropy regularization baselines, met name op moeilijke taken waar exploratie cruciaal is.

Betekenis en Claims

Het artikel claimt dat PKPO een robuuste, efficiënte en theoretisch gefundeerde methode biedt om te optimaliseren voor de collectieve bruikbaarheid van een set samples in plaats van alleen de gemiddelde of de beste enkele sample.

Exploratie Ontblokken: De auteurs argumenteren dat door prioriteit te geven aan de gezamenlijke bruikbaarheid (de waarschijnlijkheid dat ten minste één van $k$ samples slaagt) boven de individuele sample bruikbaarheid, de methode de exploratie verbetert. Dit is cruciaal voor het oplossen van moeilijkere problemen waar het "signaal" (een correcte oplossing) schaars is in de zoekruimte.
Flexibiliteit: In tegen tegenstelling tot eerdere methoden die beperkt waren tot $k=n$ (optimaliseren voor de beste van de gehele batch) of $k=1$ , maakt PKPO robuuste optimalisatie mogelijk voor elke willekeurige $k \le n$ .
Praktische Impact: De methode stelt gebruikers in staat om de exploratie-exploitatie trade-off te tunen via de parameter $k_{opt}$ , waardoor modellen complexere redeneer- en programmeertaken kunnen oplossen die anders ontoegankelijk zouden blijven voor standaard pass@1 optimalisatie.

Het werk positioneert zichzelf als een generalisatie en variantiereductie van bestaande order-statistic policy gradient methoden, en biedt een praktisch pad om RL-training voor LLMs te schalen voor taken die diepe exploratie vereisen.