Technische Samenvatting: Extrapolatieve Gewichtsaveraging onthult Correctheid–Efficiëntie Frontieren in Code RL

Probleemstelling

Bij Reinforcement Learning (RL) voor codegeneratie, met name in competitief programmeren, staan modellen voor een dubbel doel: functionele correctheid (het doorlopen van alle testgevallen) en rekenkundige efficiëntie (oplossen binnen tijd- en geheugenlimieten). Standaard RL-training worstelt vaak met het balanceren hiervan, aangezien optimalisatie voor strikte efficiëntie kan leiden tot correctheidsfouten, terwijl optimalisatie voor correctheid op kleine invoer inefficiënte oplossingen kan opleveren die falen bij grotere stress-tests.

Bestaand werk over modelmerging (bijvoorbeeld "Rewarded Soups") heeft aangetoond dat het lineair interpoleren van gewichten tussen checkpoints die zijn getraind onder verschillende beloningsdoelen, een Pareto-friente tussen die doelen kan traceren. Het blijft echter onduidelijk of extrapolatieve gewichtsaveraging (het middelen van gewichten met coëfficiënten buiten het interval $[0, 1]$) deze frontieren kan uitbreiden naar nieuwe, bruikbare checkpoints zonder extra training. Kan extrapolatie specifiek de grenzen van individuele RL-trainingruns overstijgen om beleidsplannen te ontdekken die noch puur correct noch puur efficiënt zijn, maar complementair?

Methodologie

Experimentele Opstelling

De auteurs onderzoeken deze vraag met competitief programmeren als gecontroleerde setting, waarbij de strengheid van de verifieerder dient als natuurlijke experimentele as.

• Modellen: Experimenten worden uitgevoerd op modellen met 7B en 32B parameters (Qwen 2.5 7B en CWM-SFT 32B).
• Trainingsomgeving: Drie verschillende RL-settings worden gebruikt:
  1. Pure Redenering: Generatie in één beurt.
  2. Tool-gebruik: Redenering in meerdere beurten met Python-tooloproepen.
  3. Agentisch Programmeren: Interactie in meerdere beurten met een in een zandbak geplaatste terminal.
• Sweep van Beloningsstrengheid: Startend vanuit een gedeelde Supervised Fine-Tuning (SFT)-checkpoint, worden onafhankelijke RL-runs getraind op de CodeContestsPlus-dataset. De beloningsfunctie is een genest binair signaal gebaseerd op drempels voor invoerlengte ($k$):
  • $R_k(y) = 1$ als de oplossing alle tests doorloopt met invoerlengte $< 10^k$.
  • $R_\infty(y) = 1$ als de oplossing alle tests doorloopt (volledige suite).
  • Dit creëert een geordende familie van checkpoints van "laag-dekking" (ontspannen, kleine invoer) tot "hoog-dekking" (strikt, volledige stress-tests).

Gewichtsaveraging

De kernoperatie is lineaire gewichtsaveraging tussen twee eindpunten, $\theta_{low}$ (laag-dekking) en $\theta_{high}$ (hoog-dekking):
$$\theta_\alpha = \alpha \theta_{high} + (1 - \alpha) \theta_{low}$$

• Interpolatie: $\alpha \in [0, 1]$.
• Extrapolatie: $\alpha \notin [0, 1]$ (bijvoorbeeld $\alpha < 0$ of $\alpha > 1$).

Evaluatie

Checkpoints worden geëvalueerd op de LiveCodeBench (LCB) benchmark (vastgehouden, volledige testdekking). Uitkomsten worden gecategoriseerd in:

1. Correct: Doorloopt alle tests.
2. Optimalisatiefout: Doorloopt kleinere tests maar overschrijdt tijd/geheugenlimieten bij grotere tests.
3. Correctheidsfout: Faalt door logische fouten of runtime-uitzonderingen binnen de limieten.
4. Formaatfout: Niet-parsbare output.

Belangrijkste Bijdragen en Resultaten

1. Emergentie van een Correctheid–Efficiëntie Front

De studie onthult dat het variëren van de strengheid van de verifieerder geen eenvoudige rangschikking van checkpoints oplevert. In plaats daarvan traceert het op moeilijke problemen een correctheid–efficiëntie front:

• Training met laag-dekking vermindert correctheidsfouten maar verhoogt optimalisatiefouten (inefficiënte oplossingen).
• Training met hoog-dekking vermindert optimalisatiefouten maar verhoogt correctheidsfouten (modellen proberen efficiënte algoritmen maar falen in de logica).
• Stabiliteit van Oplossingspercentage: Het algehele oplossingspercentage blijft bijna constant over de front; de afweging is primair tussen hoe het model faalt (inefficiëntie versus incorrectheid), niet of het het probleem oplost.

2. Interpolatie Herstelt de Front

Lineaire interpolatie tussen eindpunten met laag- en hoog-dekking herstelt succesvol de front die wordt getraceerd door de onafhankelijk getrainde checkpoints. Een enkele interpolatierichting in de gewichtsruimte is voldoende om de afweging tussen optimalisatie- en correctheidsfouten te doorlopen.

3. Extrapolatie Breidt de Front Uit

Cruciaal breidt extrapolatieve gewichtsaveraging deze front uit voorbij de eindpunten die door enige enkele RL-run worden bereikt:

• Voorbij RL-grenzen: Voor $\alpha > 1$ en $\alpha < 0$ zetten de geëxtrapolerde checkpoints dezelfde afwegingscurve voort, waarbij niveaus van optimalisatie/correctheidsfoutenverhoudingen worden bereikt die geen enkel individueel RL-checkpoint bereikte.
• Stabiliteit: Deze voortzetting is stabiel over een breed bereik (bijvoorbeeld $\alpha \in [-0.5, 1.5]$). Extreme extrapolatie ($|\alpha| > 2$) leidt tot degradatie, voornamelijk door formatfouten (token-uitputting) in plaats van een instorting van de front-logica.
• Generalisatie: Dit fenomeen geldt voor alle drie de inferentiesettingen (redenering, tool-gebruik, agentisch programmeren) en beide modelgroottes (7B, 32B), mits de probleemmoeilijkheid is afgestemd op de capaciteit van het model.

4. Inferentie-tijd Schaling via Ensembles

Het artikel demonstreert dat geëxtrapolerde checkpoints complementaire beleidsplannen zijn:

• Per-probleem Omloop: Verschillende punten langs de geëxtrapolerde as lossen verschillende subsets van moeilijke problemen op. Hoewel het algehele oplossingspercentage vlak is, variëren de specifieke problemen die worden opgelost aanzienlijk.
• Ensemble-winsten: Door checkpoints langs de uitgebreide front te ensemble (interpolatie + extrapolatie), verbeteren de auteurs de pass@250-metriek op LCB/hard met 3,3% ten opzichte van de beste enkele checkpoint bij een gelijkblijvend steekproefbudget.
• Diversiteit: De geëxtrapolerde pool biedt unieke oplossingen voor problemen die pools die alleen interpolatie gebruiken, missen, met name bij de moeilijkste problemen.

5. Wat Beweegt de Front?

De auteurs zetten statische beloningsvorming af tegen training gebaseerd op faalvoorwaarden:

• Statische Beloningsvorming: Het toekennen van gedeeltelijke credit voor het doorlopen van kleinere tests (discreet of continu) houdt het model op dezelfde front. Het herschikt alleen bestaande uitkomsten zonder nieuwe informatie toe te voegen.
• Training Gebaseerd op Faalvoorwaarden: Het gebruik van faalcontext (gefaalde code + uitvoerstatistieken) om een herstelbeleid te trainen (online-reparatie) toont potentie om de front naar buiten te verschuiven, waardoor zowel de reparatiesnelheid als de oorspronkelijke slaagkans verbeteren. Dit suggereert dat rijkere faalsignalen nodig zijn om voorbij de bestaande afweging te gaan.

Betekenis en Claims

Het artikel stelt dat geneste unit-testdekking in code RL een correctheid–efficiëntie front induceert die kan worden genavigeerd, uitgebreid en geëxploiteerd via extrapolatieve gewichtsaveraging.

• Nieuwheid: Het stelt vast dat extrapolatie niet slechts een wiskundige curiositeit is, maar een praktische methode om toegang te krijgen tot een "voortzetting" van de Pareto-front, waardoor diverse beleidsplannen worden gegenereerd die door geen enkele enkele trainingsrun worden geproduceerd.
• Praktische Nut: Geëxtrapolerde checkpoints dienen als een goedkope, trainingsvrije mechanisme voor schaling tijdens de inferentie, waardoor de dekking van opgeloste problemen wordt verbreed zonder extra RL-berekeningen.
• Beperkingen: De front wordt geïnduceerd door de specifieke afweging tussen correctheid en efficiëntie in competitief programmeren. De auteurs merken op dat het verplaatsen van de front zelf (het verbeteren van de Pareto-front) waarschijnlijk trainingsignalen vereist die onthullen waarom programma's falen (bijvoorbeeld training gebaseerd op faalvoorwaarden) in plaats van alleen strengere tests.

Het werk suggereert een nieuw paradigma voor RL in code: in plaats van te zoeken naar een enkele "optimale" checkpoint, kunnen practitioners gewichtsaveraging benutten om een spectrum van complementair gedrag te verkennen, waardoor de capaciteiten van bestaande modellen worden uitgebreid via eenvoudige rekenkundige bewerkingen op gewichten.