🤖 AI

Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

Dit artikel introduceert Reference-Sampled Boltzmann Projectie (BOLT), een methode die een unieke, prompt-genormaliseerde gewogen SFT-doelstelling afleidt om exact overeen te komen met het KL-geregulariseerde RLVR-doelbeleid, waardoor online rollout-flessenhalsen worden geëlimineerd en een eindige one-shot-analyse wordt geboden die de grenzen van statische training en de voordelen van ververst sampling verduidelijkt.

Oorspronkelijke auteurs: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student (een AI-model) probeert te leren hoe hij moeilijke wiskundeproblemen moet oplossen. Je hebt een zeer strenge leraar (een "verifier") die direct kan controleren of een antwoord goed of fout is, maar deze leraar legt niet uit waarom het goed is; hij geeft alleen een score.

Dit artikel behandelt een specifiek probleem: Hoe leren we de student met behulp van deze scores zonder dat we elke keer dat we het brein van de student updaten, nieuwe oefenopgaven moeten genereren?

Hier is de uiteenzetting van de ideeën uit het artikel, met behulp van eenvoudige analogieën:

1. De Oude Manier: De "Live" Trainingslus

Momenteel werkt de meeste geavanceerde AI-training als een live kookwedstrijd.

De chef (het AI-model) bereidt een gerecht (genereert een antwoord).
De jury (de verifier) proeft het en geeft een score.
De chef past zijn recept direct aan op basis van die score.
Vervolgens bereidt de chef een nieuw gerecht, de jury proeft het opnieuw, en de cyclus herhaalt zich.

Het Probleem: Dit is ongelooflijk duur en traag. Elke keer als de chef iets leert, moet hij terug naar de keuken, verse ingrediënten kopen en opnieuw koken om de volgende les te krijgen. De "keuken" (rekenkracht) is de bottleneck.

2. De Voorgestelde Afkorting: Het "Bevroren Menu"

Het artikel stelt een andere aanpak voor: Maak een momentopname van de keuken.

In plaats van live te koken, vragen we de chef om 100 gerechten eenmaal te bereiden met zijn huidige recept.
We laten de jury alle 100 gerechten beoordelen.
We bevriezen deze lijst met gerechten en scores.
Nu kunnen we de chef zo vaak als we willen trainen op dit statische lijstje zonder terug te gaan naar de keuken.

De Vangst: Als je alleen op deze lijst traint, moet je beslissen hoeveel aandacht je aan elk gerecht besteedt.

Slechte aanpak: "Dit gerecht kreeg een score van 10, dus laten we het 10 keer meer bestuderen dan datgene met een score van 1."
Het Inzicht uit het Artikel: Deze simpele wiskunde werkt niet. De lijst met gerechten is gemaakt met het oude recept van de chef. Als het oude recept zelden "perfecte" gerechten maakte, zal je lijst ze niet bevatten, hoe veel je ze ook bestudeert.

3. De Kernontdekking: Het "Perfecte Recept" (Boltzmann-projectie)

De auteurs ontdekten de exacte wiskundige formule om deze bevroren gerechten te wegen, zodat de student precies hetzelfde leert als wat hij in de dure "live" wedstrijd zou hebben geleerd.

Ze noemen dit BOLT (Boltzmann-Targeted SFT).

Stel je het als volgt voor:

Stel je voor dat het "Perfecte Recept" een kaart is van waar de beste gerechten zouden moeten zijn.
Het "Bevroren Menu" is een kaart van waar de gerechten echt zijn.
Het artikel bewijst dat je, om het Bevroren Menu het Perfecte Recept te laten leren, niet alleen naar de score kunt kijken. Je moet voor elk gerecht een speciaal gewicht berekenen.
Dit gewicht is gebaseerd op: Hoeveel beter dit gerecht is dan het gemiddelde, gecorrigeerd voor hoe zeldzaam het oorspronkelijk was.

Als de chef zelden een perfect gerecht maakt, maar de jury gaf het een hoge score, zegt deze formule: "Dit gerecht is een zeldzame parel! We moeten het intensief bestuderen." Als de chef een perfect gerecht heel gemakkelijk maakte, zegt de formule: "We hebben dit al eerder gezien; bestudeer het normaal."

4. De "One-Shot" Limiet: De Ontbrekende Ingrediënten

Het artikel legt ook een harde limiet uit.

De Analogie: Stel je voor dat je de chef probeert te leren een "Gouden Draakentaart" te maken.
Als het oude recept van de chef nooit een Gouden Draakentaart heeft opgeleverd (zelfs geen slechte), en je hebt alleen een bevroren menu van 1.000 gewone taarten, kun je ze niet leren om de Draakentaart te maken.
Geen hoeveelheid bestuderen van het bevroren menu zal een Draakentaart creëren als de ingrediënten (de data) er niet zijn.
De Les: Je kunt een ontbrekend ingrediënt niet oplossen door harder te studeren. Je moet terug naar de keuken en proberen de Draakentaart eerst te koken (dit heet "de sampler verversen").

5. De "Verversen"-Strategie: Iteratief Leren

Wat als de chef de Draakentaart bijna maakt?

Het artikel stelt een strategie voor genaamd Iteratief BOLT.
Stap 1: Train op het bevroren menu. De chef wordt iets beter.
Stap 2: Neem de nieuwe chef en vraag hem om een nieuwe batch gerechten te bereiden.
Stap 3: Bevries deze nieuwe batch en train opnieuw.
Waarom het werkt: Omdat de chef nu beter is, is hij waarschijnlijker om per ongeluk een "Gouden Draakentaart" in de nieuwe batch te maken. Door deze lus te herhalen, leert de chef stap voor stap geleidelijk het onmogelijke gerecht te maken.

6. De Resultaten: Sneller en Slimmer

De auteurs testten dit op wiskunde- en programmeeropgaven (zoals GSM8K en HumanEval).

Snelheid: Omdat ze het "koken" (antwoorden genereren) en "scoren" uit de hoofdtrainingslus hebben gehaald, bespaarden ze enorme hoeveelheden tijd en computergeheugen (tot 85% sneller in sommige tests).
Nauwkeurigheid: Door hun speciale "BOLT"-gewichten te gebruiken in plaats van alleen ruwe scores, leerde de AI beter dan methoden die alleen ruwe scores gebruikten.
Het "Verzadigings"-Punt: Ze toonden aan dat als je gewoon blijft trainen op dezelfde bevroren lijst, de AI uiteindelijk stopt met verbeteren (het botst tegen een muur). Maar als je de lijst "verversen" (terug naar de keuken voor een nieuwe batch), springt de AI naar een nieuw prestatieniveau.

Samenvatting

Dit artikel biedt een blauwdruk voor efficiënte AI-training. Het zegt:

Train niet alleen op "goede" antwoorden; train op antwoorden die zijn gewogen met een specifieke formule die rekening houdt met hoe moeilijk het was om ze te vinden.
Je kunt niet leren wat je niet hebt bemonsterd; als je data het antwoord niet bevat, zal geen hoeveelheid training het creëren.
Om moeilijke dingen te leren, moet je periodiek terug gaan en nieuwe data genereren op basis van je huidige vaardigheden, en vervolgens opnieuw trainen.

Het verandert een langzaam, duur, live-feedbacklus in een snel, efficiënt, tweestapsproces: Eenmaal genereren, correct wegen, en diep leren.

Probleemstelling

Online Reinforcement Learning met Verifieerbare Beloningen (RLVR) transformeert controleerbare uitkomsten (bijvoorbeeld wiskundige bewijzen, code-unittests) in schaalbare trainingssignalen. Echter, standaard online methoden (zoals PPO of GRPO) houden het genereren van rollouts, het scoren door de verifieerder en de evaluaties van het referentiebeleid op het kritieke optimalisatiepad, wat leidt tot hoge rekenkosten en geheugengebruik.

Een natuurlijk alternatief is het ontkoppelen van generatie van optimalisatie: eenmaal geverifieerde rollouts samplen, gewichten toekennen en trainen via statisch Supervised Fine-Tuning (SFT). Het artikel identificeert echter een fundamentele ambiguïteit in deze aanpak: Gewogen SFT is geen enkelvoudig doel. Het beleid dat wordt gegenereerd door gewogen SFT hangt gezamenlijk af van de sampler die de rollouts produceerde en de gewichten die eraan zijn toegewezen. Het eenvoudigweg toekennen van gewichten aan vooraf berekende data garandeert niet dat het resulterende beleid overeenkomt met de optimalisator van het oorspronkelijke online KL-geregulariseerde RLVR-doel. Zonder een specifieke doel-matching conditie kan statisch gewogen SFT een ander beleid aanpassen dan de beoogde RLVR-oplossing, zelfs met oneindige data en exacte optimalisatie.

Methodologie: Boltzmann-projectietheorie

Het artikel ontwikkelt een theoretisch kader om de exacte beleidsniveau-overeenkomst tussen statisch gewogen SFT en vast-referentie KL-geregulariseerd RLVR te identificeren.

1. Het Doelbeleid (Vaste-referentie Boltzmann-doel)
Het artikel stelt vast dat de optimalisator van het KL-geregulariseerde RLVR-doel (maximaliseren van beloning minus KL-divergentie ten opzichte van een referentiebeleid $\pi_{ref}$ ) een specifiek conditioneel beleid is, het Boltzmann-doel $\pi^*$ :
$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$
waarbij $r(x, y)$ de verifieerderbeloning is en $\beta$ de temperatuur. Dit doel is een exponentiële kanteling van het referentiebeleid.

2. De Geïnduceerde-Doel Identiteit
Met behulp van Proposition 1 tonen de auteurs aan dat elk gewogen SFT-doel een doelbeleid $\tilde{\pi}_w$ induceert dat evenredig is met het product van de sampler $q$ en het gewicht $w$ : $\tilde{\pi}_w \propto q(y|x)w(x,y)$ .
Om online RLVR trouw te vervangen, moet het geïnduceerde beleid $\tilde{\pi}_w$ gelijk zijn aan het Boltzmann-doel $\pi^*$ .

3. De Doel-matching Wet
Het artikel leidt de noodzakelijke voorwaarde voor deze overeenkomst af (Stelling 4). Voor een vaste sampler $q$ moeten de gewichten evenredig zijn met de dichtheidsverhouding $\pi^*/q$ .
Cruciaal, in de referentie-gesamplede subklasse waarbij de rollouts worden gegenereerd vanuit het referentiebeleid ( $q = \pi_{ref}$ ), vereenvoudigt de voorwaarde uniek tot het prompt-genormaliseerde Boltzmann-gewicht:
$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$
waarbij $Z(x)$ de partitiefunctie (normalisator) is. Dit gewicht is exact de Radon-Nikodym-afgeleide die referentie-rollouts omzet in doel-rollouts.

4. Het BOLT-algoritme
Gebaseerd op deze theorie stellen de auteurs BOLT (Boltzmann-Doelgerichte SFT) voor. Het werkt in twee fasen:

Fase 1 (Voorberekening): Rollouts samplen vanuit het referentiebeleid, deze evalueren met een verifieerder en de empirische prompt-genormaliseerde Boltzmann-gewichten berekenen met Monte Carlo-schatting van $Z(x)$ .
Fase 2 (Optimalisatie): Het model trainen met standaard multi-epoch SFT op deze vaste gewogen dataset.
Omdat het zware werk (samplen, scoren, normaliseren) vooraf wordt berekend, vereist de optimalisatiefase geen forward-passes van het referentiemodel, wat het geheugen- en rekenkosten aanzienlijk verlaagt in vergelijking met online RLVR.

Analyse van Eindige One-Shot en Beperkingen

Het artikel biedt een rigoureuze analyse van eindige steekproeven (secties 5 en 6) die de fout van statische vervanging decomposeert in onderscheiden componenten:

Support-beperkte Kloof: Als het referentiebeleid $\pi_{ref}$ nooit een voltooiing met hoge beloning samplet, kan geen enkele hoeveelheid wegen of optimalisatie deze herstellen. Het artikel bewijst een exacte ondergrens voor het waardeverlies: $\beta \log(1/\pi^*(S_N | x))$ , waarbij $S_N$ de opgeslagen support is. Dit verklaart waarom extra SFT-epochen ontbrekende dekking niet kunnen repareren.
Temperatuur-Dekking-Variantie Frontier: Er is een afweging waarbij het verlagen van $\beta$ (het scherper maken van het doel) de kosten van de effectieve steekproefgrootte (ESS) en de variantie van de normalisator verhoogt, wat schatting moeilijker maakt als de pass-kans van de referentie laag is.
Iteratief Verversen als KL Beleidspiegelafdaal: Wanneer dekking zwak maar niet-nul is, toont het artikel aan dat iteratief BOLT (waarbij het bijgewerkte beleid de nieuwe referentie wordt voor de volgende ronde) wiskundig equivalent is aan KL Beleidspiegelafdaal (KL-PMD). Dit proces accumuleert beloningskantelingen en verbetert de toekomstige rollout-dekking, terwijl statisch one-shot hergebruik dit niet kan.

Belangrijkste Resultaten en Empirisch Bewijs

De auteurs valideren hun theorie met Qwen-modellen op GSM8K (wiskunde) en HumanEval (code) benchmarks. De experimenten zijn ontworpen om specifieke theoretische mechanismen te isoleren in plaats van leiderschapsranglijsten te claimen.

Doelmatching: Vergelijking van BOLT (Boltzmann-gewichten) met "Refit" (ruwe beloningsgewichten) op dezelfde referentie-rollouts toont aan dat BOLT aanzienlijk hogere nauwkeurigheid bereikt (bijvoorbeeld +1,44 op GSM8K, +3,60 op MATH). Dit bevestigt dat de specifieke dichtheidsverhoudingsgewicht, niet alleen de databron, het geïnduceerde doel bepaalt.
Efficiëntie: BOLT bereikt nauwkeurigheid die vergelijkbaar is met of iets beter is dan online GRPO, terwijl het trainingstijd met ~75–85% en piekgeheugen met ~18–31% wordt verlaagd, omdat de online lus wordt verwijderd.
One-Shot Saturatie versus Verversen: Experimenten tonen aan dat one-shot BOLT vaak verzadigt na enkele epochen als de referentie-support beperkt is. Echter, Iteratief BOLT (het verversen van de sampler) blijft de prestaties verbeteren, wat de KL-PMD-interpretatie valideert.
Behoud: Methoden die referentie-rollouts gebruiken (BOLT, Refit) tonen minder catastrofaal vergeten op algemene benchmarks (PIQA, HellaSwag) in vergelijking met alleen demonstratie-SFT, wat suggereert dat referentie-rollouts helpen de verdeling te verankeren.

Betekenis en Claims

Het artikel claimt een mechanisme-niveau begrip te bieden van statische RLVR-vervanging, verder gaand dan heuristische vergelijkingen van trainingsverliezen. De primaire bijdragen zijn:

Doelidentificatie: Het stelt vast dat statisch gewogen SFT alleen een trouwe vervanging is voor vaste-referentie RLVR als het sampler-gewichtproduct het specifieke Boltzmann-doel induceert. Het identificeert de prompt-genormaliseerde Boltzmann-dichtheidsverhouding als het unieke gewicht voor referentie-gesamplede data.
Eindige Kloof Decompositie: Het scheidt de onherleidbare "supportprijs" (ontbrekende dekking) van eindige schattingsfouten (normalisatorvariantie, optimalisatie-drift). Dit verduidelijkt dat statische methoden dekkingstekorten niet kunnen oplossen die het referentiebeleid niet heeft gesampled.
Iteratieve Interpretatie: Het herformuleert iteratief samplen en wegen niet louter als "meer optimalisatie", maar als een vorm van KL Beleidspiegelafdaal die actief dekking verbetert.
Praktische Efficiëntie: Het demonstreert dat het vooraf berekenen van de doel-definiërende grootheden (gewichten) een statische SFT-procedure mogelijk maakt die overeenkomt met het theoretische doel van online RLVR met aanzienlijk minder rekenoverhead.

De auteurs blijven bescheiden, noteren dat hun resultaten gebaseerd zijn op experimenten met één run en specifieke modelgroottes. Ze benadrukken dat de theorie identificeert wanneer statische vervanging geldig is (gedekte regimes) en waarom het faalt (supportkloven), in plaats van universele superioriteit boven alle online methoden te claimen. Het werk dient als een theoretische brug tussen de geometrie van KL-geregulariseerd RL en de praktische implementatie van statisch, gewogen toezichthoudend leren.