💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

Dit artikel introduceert CoRP, een gradiëntvrije post-training methode die beloningsgewogen Gaussische perturbaties consolideert in een enkele modelupdate door gebruik te maken van een laag-rang structuur, waardoor het aanzienlijke prestatiewinsten behaalt ten opzichte van het basismodel terwijl de multi-pass inferentie-overhead van ensemble-gebaseerde benaderingen zoals RandOpt wordt geëlimineerd.

Oorspronkelijke auteurs: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Gepubliceerd 2026-06-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Te Veel Koks"-dilemma

Stel je voor dat je een briljante, goed getrainde chef hebt (het Basismodel) die bijna alles kan koken. Je wilt hem leren om een specifiek, perfect gerecht te maken (zoals een complex wiskundig probleem of een stuk code).

Normaal gesproken, om een chef te leren, gebruik je Reinforcement Learning (RL). Je laat hem koken, proeft het eten, en als het goed is, pas je zijn recept een klein beetje aan. Dit is als het stap voor stap aanpassen van een recept met behulp van gradiënten. Het werkt, maar het is traag en rekentechnisch duur.

Onlangs kwam er een nieuwe methode genaamd RandOpt aan. In plaats van het recept stap voor stap aan te passen, zegt RandOpt: "Laten we gewoon een heleboel willekeurige kruiden over het basisrecept van de chef gooien en kijken wat er gebeurt."

Het creëert 5.000 lichtelijk verschillende versies van de chef (door willekeurige "perturbaties" of ruis toe te voegen aan de gewichten).
Het test al deze 5.000 versies op een paar oefengerechten.
Het kiest de top 50 versies die het beste hebben gekookt.
Het Nadeel: Om een klant te bedienen, moet je al die 50 "specialistische" chefs vragen om het gerecht te koken, en dan neem je een stemming af over het uiteindelijke antwoord.
- Voordelen: Het is erg slim.
- Nadelen: Het is ongelooflijk traag. Je moet voor elke maaltijd 50 koks laten werken. Ook kun je ze niet gemakkelijk samenvoegen tot één meesterchef, omdat hun "persoonlijkheden" (gewichten) met elkaar kunnen botsen.

De Vraag van het Paper: Kunnen we het Team Samenvoegen?

De auteurs vroegen zich af: "Kunnen we die 50 winnende specialisten samenvoegen tot ÉÉN enkele chef, zodat we maar één kok hoeven te draaien in plaats van 50?"

Als we simpelweg hun recepten middelen, gaat het meestal mis. Waarom? Omdat hoewel ze allemaal goed zijn in koken, ze misschien op verschillende manieren hebben geleerd om verschillende problemen op te lossen. Als je ze blindelings mengt, heffen hun verbeteringen elkaar op, en eindig je met een slechtere chef dan je begon.

De Ontdekking: Het "Verborgen Low-Rank Geheim"

Voordat ze hun oplossing bouwden, deden de auteurs een "split-half" experiment. Ze namen de 5.000 willekeurige chefs, verdeelden ze in twee helften en keken naar de beste presteerders.

Ze ontdekten een verrassend geometrisch patroon: Hoewel de chefs willekeurig waren gecreëerd, was hun "goedheid" niet overal verspreid. In plaats daarvan waren alle nuttige verbeteringen geconcentreerd in een kleine, specifieke "subruimte" (een smalle gang van mogelijkheden) binnen de enorme keuken.

Denk hierover als volgt: Als je 1.000 dartjes tegen een grote muur gooit, lijken ze misschien willekeurig. Maar als je goed kijkt, zie je dat elk "goed" dartje binnen een kleine, onzichtbare cirkel is geland. Het paper vond dat deze "cirkel" (een low-rank structuur) in elk geval aanwezig was dat ze testten, ook al was de gemiddelde richting van de dartjes niet altijd hetzelfde.

De Oplossing: CoRP (Consolidating Rewarded Perturbations)

De auteurs bouwden een hulpmiddel genaamd CoRP om de specialisten samen te voegen tot één inzetbaar model. Het werkt via een proces van drie stappen:

De Headhunter (Reward-Weighted Aggregation):
Eerst kijkt CoRP naar de best presterende chefs en vraagt: "Wat is de gemene deler?" Het creëert een "voorgestelde richting" op basis van wie de hoogste scores behaalde. Dit is als zeggen: "Oké, de beste chefs gebruiken allemaal meer knoflauk."
De Compatibiliteitscheck (Reweighting):
Dit is de magische stap. CoRP luistert niet alleen naar de "knoflook"-chefs. Het controleert elke specialist om te zien of hun stijl past bij de voorgestelde richting.
- Als een chef geweldig is in knoflauk, maar ook erop staat om chocolade toe te voegen (wat botst met het knoflauk-thema), zegt CoRP: "Nee, je bent te incompatibel." Het verlaagt hun gewicht.
- Als een chef geweldig is in knoflauk en niets vreemds toevoegt, zegt CoRP: "Ja, je bent een perfecte match." Het verhoogt hun gewicht.
- Analogie: Stel je voor dat je een huis probeert te bouwen. Je hebt 50 geweldige architecten. Je middelt niet gewoon hun blauwdrukken (want dat wordt een puinhoop). Je kiest de beste ontwerprichting, en vervolgens huur je alleen de architecten in wiens specifieke ideeën die richting ondersteunen zonder ermee te botsen.
De Veiligheidsinspecteur (Held-Out Validation Gate):
Voordat CoRP het nieuwe, enkele recept van de chef definitief maakt, test het de nieuwe chef op een reeks gerechten die de chefs nooit eerder hebben gezien.
- Als de nieuwe chef daadwerkelijk beter is op deze nieuwe gerechten, keurt CoRP de update goed.
- Als de nieuwe chef slechter is (of net zo goed), zegt CoRP: "Nee, laten we het bij de originele chef houden." Het weigert een verandering door te voeren die niet helpt.

De Resultaten: Eén Chef, Eén Pass, Grote Winst

Het paper testte dit op 5 verschillende modellen (variërend van klein tot groot) en 5 verschillende taken (wiskunde, coderen, creatief schrijven).

Snelheid: RandOpt (het team van 50 chefs) heeft 50 forward passes nodig om één vraag te beantwoorden. CoRP heeft slechts 1 forward pass nodig. Het is 50x sneller bij de uitvoering (inference).
Efficiëntie: CoRP had slechts 1/10e van de rekenkracht (perturbatiebudget) nodig die RandOpt gebruikte om te trainen.
Prestaties:
- CoRP verbeterde het basismodel met gemiddeld 8,1 punten.
- CoRP herstelde meer dan de helft van de prestatiewinst die het enorme 50-chef-team behaalde, maar dan met een enkel model.
- In sommige gevallen (zoals bij creatief schrijven) versloeg CoRP zelfs de enkele beste-chef-aanpak (RandOpt K=1) en kwam het heel dicht in de buurt van het 50-chef-team.

Samenvatting in een Notendop

Het paper laat zien dat je geen comité van 50 AI-modellen nodig hebt om geweldige resultaten te behalen. Door de verborgen "gemeenschappelijke geometrie" te vinden in hoe deze modellen verbeteren, en door degenen die botsen zorgvuldig te filteren, kun je ze samenvoegen tot één enkel, super-efficiënt model.

Het is alsof je beseft dat in plaats van 50 verschillende consultants in te huren om een probleem op te lossen, je één expert kunt inhuren die de beste ideeën van al die 50 heeft gesynthetiseerd, zonder de verwarring dat ze met elkaar in discussie gaan. Je krijgt de wijsheid van de massa, maar de snelheid van één persoon.

Technische Samenvatting: Consolidatie van Beloonde Perturbaties voor LLM Post-Training

Probleemstelling
Post-training van grote taalmodellen (LLM's) wordt doorga\nsens een sample-score-update loop geïmplementeerd via gradiëntafdaling (bijv. PPO, GRPO). Een recente alternatief, RandOpt (Gan en Isola, 2026), verplaatst dit proces naar de gewichtsruimte. In plaats van gewichten bij te werken via gradiënten, bemonstert RandOpt Gaussische perturbaties rond een vooraf getraind model, scoort ze op een ondersteunende set, en vormt een ensemble van de top- $K$ beloonde specialisten tijdens inferentie. Hoewel competitief met gradiëntgebaseerde methoden bij gelijke rekenkracht, brengt deze aanpak aanzienlijke inferentiekosten met zich mee ( $K$ forward passes per voorbeeld) en heeft het moeite met het uitbreiden naar taken met vrije tekstgeneratie waar categorische stemming niet van toepassing is. De centrale vraag die dit artikel adresseert, is of de "beloonde populatie" van perturbaties kan worden samengevoegd tot één enkel, inzetbaar model-update, waardoor de inferentie-time ensemble wordt vervangen door één geconsolideerde gewicht-update.

Methodologie: CoRP (Consolidating Rewarded Perturbations)
De auteurs stellen CoRP voor, een gradiëntvrije operator die een populatie van beloonde perturbaties consolideert tot een enkele gewicht-update. De methode is gebouwd op twee primaire inzichten afgeleid van een split-half analyse van 25 model-taak paren:

Lage-rang Structuur: Beloningsgestuurd willekeurig zoeken rond een basismodel concentreert nuttige variantie op een reproduceerbare lage-rang subruimte in elk onderzocht geval, hoewel een enkele gemiddelde richting niet altijd reproduceerbaar is.
Compatibiliteit versus Nuttigheid: Hoog-beloonde perturbaties fungeren vaak als "bijna orthogonale specialisten." Naïve beloningsgewogen middeling faalt omdat het incompatibele richtingen combineert, wat ervoor zorgt dat het model nuttige signalen wegcijfert.

CoRP pakt deze uitdagingen aan via een driestaps, gradiëntvrij proces:

Beloningsgewogen Kandidaatgeneratie:
De methode selecteert eerst de top- $q$ kwantiel van de perturbaties op basis van beloningsscores. Het berekent een voorlopige richting ( $m^{(1)}$ ) als het beloningsgewogen gemiddelde van deze elite-perturbaties. Deze stap identificeert nuttige richtingen, maar zorgt nog niet voor compatibiliteit met elkaar.
Compatibiliteitsbewuste Herweging:
Om te voorkomen dat incompatibele signalen elkaar tegenwerken, herweegt CoRP de elite-perturbaties op basis van hun uitlijning met de voorlopige richting en hun orthogonale dispersie.
- Uitlijning ( $a_i$ ): Meet hoe sterk een perturbatie de voorgestelde richting ondersteunt.
- Dispersie ( $d_i$ ): Meet hoeveel van de perturbatie orthogonaal ligt aan het voorstel.
  De uiteindelijke gewichten ( $w^{(2)}_i$ ) combineren de oorspronkelijke beloning met straffen voor hoge dispersie en bonussen voor hoge uitlijning. Dit zorgt ervoor dat de geconsolideerde update de gedeelde structuur behoudt terwijl incompatibele variaties worden onderdrukt.
Validatie en Iteratie:
- Held-Out Gate: Om overfitting op de ondersteunende set te voorkomen, gebruikt CoRP een split-fold validatiestrategie. Een kandidaat-update wordt alleen gecommitteerd als deze een positieve nauwkeurigheidswinst vertoont op een held-out validatie-fold (Fold B) met een statistisch significante lagere betrouwbaarheidsgrens.
- Probe Kalibratie: Een aparte probe-set (Fold P) wordt gebruikt om de stapgrootte ( $\eta$ ) van de update te kalibreren.
- Iteratie: Als een update wordt geaccepteerd, kan het proces itereren. Nieuwe perturbaties worden gesampled rond het nieuwe centrum met een covariantie-adaptieve distributie die de exploratie concentreert in richtingen waar de vorige beloonde populaties varieerden, terwijl een isotrope vloer voor dekking behouden blijft.

Belangrijkste Bijdragen

Ontdekking van Reproduceerbare Lage-rang Structuur: Het artikel toont aan dat beloonde perturbaties over 25 diverse model-taak paren (variërend van 0,5B tot 8B parameters en taken in wiskunde, code en schrijven) consistent een lage-rang structuur delen, zelfs wanneer een enkele gemiddelde richting niet bestaat.
CoRP Operator: De introductie van een gradiëntvrije consolidatie-operator die erin slaagt een populatie van beloonde perturbaties samen te voegen tot één enkel model. Het scheidt expliciet het identificeren van "nuttige" richtingen van de beoordeling van "compatibiliteit", een onderscheid dat vaak over het hoofd wordt gezien bij naïeve model-merging.
Efficiëntie: CoRP bereikt prestaties vergelijkbaar met grote ensembles met een enkele forward pass tijdens inferentie, waardoor de $K$ -fold inferentiekosten van methoden zoals RandOpt worden geëlimineerd.

Experimentele Resultaten
De auteurs evalueerden CoRP op vijf instructie-getunede modellen (Qwen2.5 varianten, OLMo3, Llama3.1) over vijf taken (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

Prestaties: CoRP verbetert het basismodel met gemiddeld 8,1 punten over alle taken.
Vergelijking met RandOpt: Gebruikmakend van slechts 1/10e van het perturbatiebudget van RandOpt (500 versus 5000 samples), overtreft CoRP de single-inference RandOpt (K=1) met 6,5 punten. Bovendien herstelt het meer dan de helft van de winst behaald door de 50-pass majority-vote ensemble (RandOpt K=50), terwijl het slechts één forward pass per testvoorbeeld vereist.
Vergelijking met Gradiëntgebaseerde Methoden: CoRP is competitief met PPO en GRPO wanneer de trainingsrekenkracht gelijk is, en presteert vaak beter op specifieke taken (bijv. ROCStories) terwijl het de computationele overhead van backpropagation door het taalmodel vermijdt.
Foutanalyse: De decompositie van resultaten laat zien dat de winsten van CoRP komen van echte redeneerverbeteringen (het corrigeren van de inhoud van het antwoord) in plaats van alleen formatverbeteringen, en dat het aanzienlijk minder "regressies" (gevallen waarin het basismodel correct was maar de update het onjuist maakte) vertoont vergeleken met het selecteren van een enkele beste perturbatie.

Betekenis en Claims
Het artikel claimt dat de "beloonde buurt" van een goed voorgetraind model voldoende gedeelde structuur bevat om te worden samengevoegd tot één enkel model, zelfs wanneer een enkele richting niet de gehele populatie samenvat. Door de loop te sluiten in de gewichtsruimte—van het samplen van perturbaties naar het consolideren ervan in een inzetbare update—biedt CoRP een praktisch alternatief voor gradiëntgebaseerde post-training. Het demonstreert dat men substantiële alignment en redeneerverbeteringen kan bereiken zonder backpropagation, met behulp van een enkel model dat efficiënt in te zetten is.

De auteurs blijven bescheiden over beperkingen en merken op dat CoRP momenteel verifieerbare beloningen vereist (wat het beperkt tot taken met categorische of gemakkelijk controleerbare outputs) en dat de kloof tot volledige ensembles groter is op kleinere modellen waar specialisten mogelijk meer uiteenlopend zijn. Ze suggereren dat toekomstig werk de combinatie van gewichtsruimte-sampling met trajectruimte-sampling (zoals gebruikt in RLVR) kan gebruiken om verschillende facetten van voorgetrainde capaciteiten bloot te leggen.