💬 NLP

RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

Dit paper introduceert Variational Alignment with Re-weighting (VAR), een efficiënte methode die Reinforcement Learning from Human Feedback (RLHF) vereenvoudigt tot een reward-gewogen Supervised Fine-tuning (SFT)-formulering, waardoor de stabiliteit en prestaties van Large Language Models aanzienlijk worden verbeterd ten opzichte van bestaande methoden zoals DPO en GRPO, terwijl de rekentijd drastisch wordt verkort.

Oorspronkelijke auteurs: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog wat ruwe robot hebt die alles kan zeggen wat in zijn database staat. Hij is slim, maar hij weet nog niet precies hoe hij moet praten met mensen: soms is hij te luid, soms maakt hij fouten, en soms zegt hij dingen die niet aardig zijn.

Om deze robot (een Groot Taalmodel of LLM) te leren hoe hij zich moet gedragen, gebruiken onderzoekers een methode genaamd RLHF (Reinforcement Learning from Human Feedback). Het is alsof je de robot een lange training geeft waarbij een menselijke trainer elke keer zegt: "Goed zo!" of "Nee, dat was niet goed."

Het probleem is dat deze training tot nu toe erg ingewikkeld, duur en onstabiel was. Het was alsof je de robot probeerde te leren door hem blindelings in een doolhof te zetten en hem telkens een duw te geven als hij de verkeerde kant op ging. Soms liep hij tegen de muur, soms werd hij gek, en het kostte enorm veel energie.

De auteurs van dit paper hebben een nieuwe, slimmere manier bedacht, genaamd VAR (Variational Alignment with Re-weighting). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Goocheltruc"

De oude methoden (zoals DPO of PPO) probeerden de robot te leren door te zeggen: "Doe dit niet!" (voor slechte antwoorden) en "Doe dit wel!" (voor goede antwoorden).

Het probleem: Als je een robot te hard zegt "Doe dit niet!", kan hij in paniek raken. Hij probeert dan zo hard mogelijk om dat ene ding niet te doen, en raakt daardoor de balans kwijt. Het is alsof je iemand zegt: "Denk niet aan een blauwe olifant!" – en plotseling zit die olifant in hun hoofd.
De oplossing: VAR zegt: "Wees niet bang voor de fouten. Focus alleen op het benadrukken van de goede antwoorden."

2. De nieuwe methode: De "Gewogen Lijst"

In plaats van de robot te straffen voor fouten, gebruiken de onderzoekers een slimme truc die lijkt op het maken van een prioriteitenlijst.

Stel je voor dat je een chef-kok bent (de robot) en je hebt een receptenboek (de training).

Oude manier: Je zegt tegen de kok: "Als je deze soep te zout maakt, krijg je een straf. Als je hem te zoet maakt, ook een straf." De kok wordt nerveus en begint alles te doen wat hij niet mag doen.
VAR-methode: Je zegt: "Kijk naar deze soep. Hij is geweldig! Laten we die soep extra vaak koken, maar dan met een speciale 'beloningsscore'."
- Als de soep heel goed is, krijg je een hoge score (bijvoorbeeld 100 punten).
- Als de soep gemiddeld is, krijg je 50 punten.
- Als de soep slecht is, krijg je 0 punten (je krijgt geen straf, je krijgt gewoon geen extra punten).

De robot leert dan: "Oh, ik moet die soep met 100 punten heel vaak maken!" Hij hoeft niet te weten hoe hij de slechte soep moet vermijden; hij wordt gewoon zo sterk getrokken naar de goede soep dat de slechte soep vanzelf verdwijnt.

3. Waarom is dit sneller en beter?

De oude methoden waren als een dure, complexe machine die constant nieuwe proefballonnen moest opblazen om te zien wat er gebeurde (online sampling). Dat kostte veel tijd en geld.

VAR is als een slimme calculator die al het werk vooraf doet:

Geen dure proefballonnen: De robot hoeft niet constant nieuwe antwoorden te genereren om te testen. Hij kijkt gewoon naar een lijst met antwoorden die al bestaan.
Stabiel: Omdat er geen "straf" is voor fouten, raakt de robot niet in paniek. Hij bouwt zijn kennis rustig op, net als een leerling die alleen wordt geprezen voor goede antwoorden.
Snelheid: Het paper laat zien dat VAR 5 keer sneller is dan de beste oude methoden. Het is alsof je van een langzame, zware trein overstapt op een snelle, soepele fiets die toch even snel aankomt.

De Grootte van de Verandering

In de praktijk betekent dit:

Beter gedrag: De robot wordt vriendelijker, helptvaardiger en maakt minder fouten.
Minder kosten: Bedrijven hoeven minder dure computers (GPU's) te huren om de robot te trainen.
Minder gedoe: Het is makkelijker voor ontwikkelaars om dit toe te passen. Het is alsof je de ingewikkelde "RLHF-machine" vervangt door een simpele, maar krachtige "SFT-upgrade" (Supervised Fine-Tuning).

Samenvatting in één zin

In plaats van een robot te leren door hem te straffen voor fouten (wat hem gek maakt), leert deze nieuwe methode hem door de goede antwoorden zo sterk te belonen dat hij vanzelf de goede weg vindt, en dat allemaal veel sneller en goedkoper dan voorheen.

Het is de overstap van een chaotische, dure training naar een rustige, gestructureerde en super-efficiënte manier om AI menselijker te maken.

Titel: RLHF op een SFT-manier: Van Optimale Oplossing naar Reward-Gewogen Alignering

Auteurs: Yuhao Du, Zhuo Li, Pengyu Cheng, et al. (CUHK Shenzhen, Alibaba, Stanford)

1. Het Probleem

Reinforcement Learning from Human Feedback (RLHF) is cruciaal voor het afstemmen van Large Language Models (LLM's) op menselijke waarden (hulpzaamheid en onschadelijkheid). Echter, de huidige RLHF-methoden kampen met ernstige beperkingen:

Hoge Complexiteit en Kosten: Methoden zoals Proximal Policy Optimization (PPO) en Group Relative Policy Optimization (GRPO) vereisen online sampling, meerdere modellen (policy, critic, reward, reference) en zijn rekenkundig zeer intensief.
Instabiliteit: Online methoden leiden vaak tot training-instabiliteit en het risico van modelcollapse.
Beperkingen van Offline Alternatieven: Bestaande offline methoden zoals Direct Preference Optimization (DPO) en A-LoL vermijden online sampling, maar introduceren nieuwe problemen:
- Ze gebruiken vaak "clipping" (beperking van belangswaarden), wat fijne gradaties in voorkeuren verwijdert.
- Ze kunnen negatieve gewichten toepassen op ongewenste antwoorden, wat leidt tot een ongedefinieerde en instabiele optimalisatielandschap (de loss kan onbeperkt dalen).
- Ze zijn soms gevoelig voor overfitting en vereisen hoogwaardige datasets met voorkeur/afkeur-paren.

2. Methodologie: Variational Alignment with Re-weighting (VAR)

De auteurs stellen een nieuwe methode voor, VAR, die RLHF herschrijft vanuit het perspectief van variational inference (variële inferentie). In plaats van een complexe RL-procedure, wordt het probleem omgezet in een gewogen Supervised Fine-Tuning (SFT) taak.

Kernconcepten:

Variële Benadering: De auteurs minimaliseren de Kullback-Leibler (KL) divergentie tussen de te leren policy $\pi_\theta$ $π_{θ}$ en de optimale oplossing van RLHF ( $\pi^*$ $π^{*}$ ), in plaats van de RL-objective direct te maximaliseren.
- De optimale policy is bekend als: $\pi^*(y|x) \propto \pi_{ref}(y|x) \exp(r(x, y)/\beta)$ .
Omzetting naar Gewogen SFT: Door de KL-divergentie te minimaliseren, ontstaat een objectief dat lijkt op een SFT-loss, maar met een reward-gedreven gewicht:
- De loss functie wordt: $L_{VAR} = -\mathbb{E} [ w(x, y) \cdot \log \pi_\theta(y|x) ]$ .
- Het gewicht $w(x, y)$ is evenredig met $\pi_{ref}(y|x) \exp(r(x, y)/\beta)$ .
- Belangrijk: Omdat de exponentiële functie altijd positief is, zijn de gewichten altijd niet-negatief. Dit elimineert het probleem van instabiliteit door negatieve gewichten en zorgt voor een goed gedefinieerd optimalisatielandschap.
In-Batch Normalisatie (Partition Estimation):
- De normalisatiefactor $Z(x)$ (de partitiefunctie) is normaal gesproken onbekend en moeilijk te berekenen omdat deze over alle mogelijke outputsequenties moet worden gesommeerd.
- VAR lost dit op door $Z(x)$ te schatten binnen een mini-batch tijdens het trainen. Door aan te nemen dat de samples in de batch representatief zijn voor de referentie-distributie, wordt $Z(x)$ benaderd via Monte Carlo schatting:
  $\hat{Z}(x) \approx \frac{1}{B} \sum_{j=1}^{B} \exp(r(x, y_j)/\beta) \cdot \pi_{ref}(y_j|x)$
- Dit maakt de methode schaalbaar en praktisch uitvoerbaar zonder extra online sampling.

3. Belangrijkste Bijdragen

Theoretische Reformulering: RLHF wordt herschreven als een variële inferentieprobleem over positieve maten, wat een stabiel optimalisatieproces garandeert zonder clipping of negatieve gewichten.
Efficiëntie: De methode reduceert RLHF tot een offline, reward-gewogen SFT-proces. Dit vereist geen critic-model, geen online sampling en geen complexe PPO-implentatie.
Stabiliteit: Door het gebruik van niet-negatieve gewichten wordt de training robuuster en minder gevoelig voor collapse.
Schaalbaarheid: De in-batch schatting van de normalisatiefactor maakt de methode toepasbaar op grote modellen en datasets zonder enorme rekenkosten.

4. Resultaten

De auteurs evalueren VAR op diverse benchmarks (HHA, MMLU, GSM8k, HumanEval, BBH) en vergelijken het met SFT, DPO, A-LoL en online GRPO.

Prestaties:
- VAR presteert significant beter dan DPO op zowel "Helpfulness" als "Harmlessness" metrics (gemiddeld +7.16% verbetering ten opzichte van DPO).
- Op generatieve benchmarks (MMLU, GSM8k, etc.) overtreft VAR zowel DPO als A-LoL consistent.
- VAR bereikt prestaties die vergelijkbaar zijn met of beter zijn dan online GRPO, maar dan met een veel eenvoudiger trainingsschema.
Trainingssnelheid en Kosten:
- VAR is meer dan 5x sneller per epoch dan GRPO.
- De rekentijd per epoch is vergelijkbaar met standaard SFT en DPO (bijv. ~37 minuten voor VAR vs. ~32 minuten voor DPO op een Llama3.2-3B model), wat aantoont dat de overhead minimaal is.
Stabiliteit:
- Training met VAR toont een gladde en consistente stijging in de validatie-reward, terwijl DPO vaak meer volatiliteit vertoont en soms daalt in de vroege trainingsfasen.
Output Lengte:
- In tegenstelling tot DPO, dat vaak langere (en soms minder efficiënte) antwoorden genereert om de reward te maximaliseren, behoudt VAR een outputlengte die dichter bij de SFT-basis ligt, terwijl het toch hogere scores behaalt.

5. Betekenis en Impact

Dit paper biedt een krachtig alternatief voor de huidige RLHF-paradigma's.

Brug tussen Efficiëntie en Prestatie: VAR sluit de kloof tussen de hoge prestaties van complexe RL-methoden (zoals PPO/GRPO) en de efficiëntie van simpele SFT-methoden.
Democratisering van RLHF: Door de complexiteit en rekenkosten drastisch te verlagen, wordt geavanceerde modelalignering toegankelijker voor onderzoekers en organisaties met beperkte GPU-resources.
Stabielere AI: De theoretische onderbouwing van positieve maten biedt een meer robuuste basis voor het trainen van veilige en nuttige LLM's, wat essentieel is voor de bredere adoptie van AI-systemen.

Kortom, VAR bewijst dat je de voordelen van Reinforcement Learning kunt behalen door het probleem slim te herschrijven als een geoptimaliseerd Supervised Fine-Tuning probleem, zonder de nadelen van online sampling en instabiliteit.