🤖 AI

Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

Dit paper introduceert een framework voor On-Policy SFT, gebaseerd op de Distribution Discriminant Theory, dat door middel van In-Distribution Finetuning en Hinted Decoding de generalisatie van taakspecifieke fine-tuning verbetert tot een niveau dat offline RL-algoritmes overtreft, terwijl de rekenefficiëntie behouden blijft.

Oorspronkelijke auteurs: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms verwarde student (een AI-model) hebt die al veel heeft geleerd op school (de vooraf getrainde kennis). Nu wil je hem specialiseren in wiskunde.

Er zijn twee manieren om dit te doen:

De oude methode (SFT - Supervised Fine-Tuning): Je geeft de student een stapel antwoorden van een leraar en zegt: "Leer dit uit, woord voor woord." Het probleem? Als het antwoord van de leraar net iets anders klinkt dan hoe de student normaal denkt, probeert de student het antwoord letterlijk na te bootsen. Hierdoor vergeet hij soms zijn eigen manier van denken en raakt hij in de war. Hij wordt een "leerling" die alleen maar herhaalt wat er op het bord staat, in plaats van te begrijpen.
De dure methode (RL - Reinforcement Learning): Je laat de student zelf oefenen, probeert, krijgt een punt als het goed is, en leert zo. Dit werkt heel goed, maar het kost enorm veel tijd en energie (zoals een marathon lopen in plaats van een trein te nemen).

De auteurs van dit paper zeggen: "Waarom kiezen we niet voor het beste van beide werelden? Laten we de student laten leren van de antwoorden, maar alleen de antwoorden die op zijn eigen manier van denken lijken."

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. De "Stem-Test" (Distribution Discriminant Theory)

Stel je voor dat de student een eigen "stem" of "stijl" heeft. Als hij een zin zegt, klinkt die natuurlijk. Als je hem een zin geeft die klinkt als een robot of een vreemde taal, voelt dat voor hem onnatuurlijk.

De auteurs hebben een wiskundige "luisteroefening" bedacht (DDT). Dit is als een stemherkenningsapparaat voor de AI.

Het kijkt naar elk woord dat de AI produceert.
Vraag: "Klinkt dit woord alsof jij het zou zeggen, of klinkt het alsof iemand anders het in je mond heeft gelegd?"
Als het woord klinkt als de AI zelf (in-distribution), is het goed.
Als het woord klinkt als een vreemde (out-of-distribution), is het een waarschuwingssignaal.

2. Methode 1: De "Slimme Leraar" (IDFT)

Bij normaal leren (SFT) straft de leraar elke fout even hard. Als de student een woord zegt dat hij niet gewend is, schreeuwt de leraar: "FOUT! Doe het zo!" Dit maakt de student onzeker en doet pijn aan zijn zelfvertrouwen (catastrophic forgetting).

Met hun nieuwe methode, IDFT, wordt de leraar slimmer:

Als de student een woord zegt dat niet bij hem past (een vreemd woord uit de antwoorden), zegt de leraar: "Oké, dit klinkt niet als jij. Laten we dit even negeren of heel zachtjes corrigeren, zodat je niet je eigen stijl verliest."
Als de student een woord zegt dat wel bij hem past, zegt de leraar: "Ja! Dit is jouw stijl, maar het is ook correct. Laten we dit extra belonen!"

Dit zorgt ervoor dat de student zijn eigen "stijl" behoudt terwijl hij toch leert van de juiste antwoorden.

3. Methode 2: De "Taal-Vertaler" (Hinted Decoding)

Soms zijn de antwoorden in het boekje (de dataset) correct, maar klinken ze zo vreemd voor de AI dat de AI ze niet kan begrijpen of kopiëren.

Hier gebruiken ze Hinted Decoding. Stel je voor dat je een vertaler hebt die een tekst van een vreemde taal (het antwoord in het boekje) naar de moedertaal van de student (de AI) vertaalt, terwijl hij de inhoud correct houdt.

De AI krijgt een vraag en het juiste antwoord.
De AI denkt na: "Hoe zou ik dit antwoord geven, als ik het juiste antwoord al wist?"
Het resultaat is een antwoord dat correct is (zoals in het boekje), maar klinkt alsof de AI het zelf heeft bedacht.

Het is alsof je een acteur (de AI) een script geeft, maar je laat hem de tekst zo zeggen dat het klinkt als zijn eigen natuurlijke gesprek, in plaats van als een robot die tekst voorleest.

Waarom is dit geweldig?

Snel en goedkoop: Je hoeft geen dure "marathontraining" (RL) te doen. Het is net zo snel als normaal leren (SFT).
Veilig: De AI vergeet niet wat hij al wist (geen "catastrophic forgetting").
Beter dan de rest: In hun tests bleek dat deze methode zelfs beter presteerde dan de dure RL-methoden op moeilijke wiskundepuzzels, terwijl het veel minder computerkracht kostte.

Kortom: Ze hebben een manier gevonden om AI's te laten leren van de juiste antwoorden, zonder ze te dwingen hun eigen persoonlijkheid en denkstijl op te geven. Het is als het geven van een goede les, maar waarbij de leraar respect heeft voor de manier waarop de leerling denkt.

1. Het Probleem

Hoewel Supervised Fine-Tuning (SFT) computatie-efficiënt is, presteert het vaak slechter in termen van generalisatie vergeleken met Reinforcement Learning (RL) (zoals RLHF of RLVR).

De Kloof: De superioriteit van RL wordt toegeschreven aan het gebruik van on-policy data (data gegenereerd door het model zelf), wat de native distributie van het model behoudt en "catastrophic forgetting" (het vergeten van eerder geleerde kennis) voorkomt.
De Beperking van SFT: Standaard SFT dwingt het model om alle externe data (zelfs als deze sterk afwijkt van de interne distributie van het model) gelijkmatig te leren. Dit kan leiden tot het verstoren van de voorgeöorde kennisstructuur en overfitting op ruis of hallucinaties in de dataset.
De Uitdaging: RL is vaak onhaalbaar of inefficiënt wanneer betrouwbare feedback moeilijk te verkrijgen is (bijv. bij wiskundige bewijzen of complexe agenten) of wanneer het trainen te duur is. Er is behoefte aan een methode die de data-efficiëntie van SFT behoudt, maar de generalisatiekracht van RL nabootst.

2. Methodologie en Kerntheorie

Het paper introduceert een raamwerk om SFT te transformeren naar een on-policy proces door de training te aligneren met de eigen distributie van het model. Dit wordt gedaan via twee hoofdbestanden: Distribution Discriminant Theory (DDT) en twee toepassingen: IDFT en Hinted Decoding.

A. Distribution Discriminant Theory (DDT)

DDT is een theoretisch kader dat bepaalt of data "in-distribution" (ID) is voor een specifiek model.

Hypothese-toetsing: Het probleem wordt geformuleerd als een statistische hypothese-toetsing:
- $H_0$ : Het token is gegenereerd door het model zelf ( $x_t \sim p_t$ ).
- $H_1$ : Het token komt van een externe bron ( $x_t \sim q_t$ ).
Optimale Statistiek: De auteurs bewijzen dat de Centered Log-Likelihood (CLL) de optimale statistiek is om deze hypotheses te onderscheiden, gebaseerd op de Signal-to-Noise Ratio (SNR) uit de Signaal Detectie Theorie.
- De CLL wordt gedefinieerd als: $\phi_t = \log p_t(x_t) + H[p_t]$ , waarbij $H[p_t]$ de entropie is.
- In tegenstelling tot standaard log-likelihood (LL), corrigeert CLL voor de variabiliteit in de moeilijkheidsgraad van de context (entropie), waardoor het een robuustere indicator is voor distributie-alignment.
Sequential Properties: Voor een reeks tokens fungeert de cumulatieve score $S_k$ als een martingaal onder $H_0$ (in-distribution) en vertoont het een negatieve drift onder $H_1$ (out-of-distribution), wat een theoretische basis biedt voor het detecteren van afwijkingen.

B. Toepassing 1: In-Distribution Finetuning (IDFT)

IDFT is een verlies-functie (loss-level) methode die de SFT-objectief aanpast op basis van de DDT-statistiek.

Mechanisme: In plaats van alle tokens gelijk te behandelen, wordt een adaptieve weging $\gamma_t$ $γ_{t}$ toegepast: $\gamma_t = \exp(-\phi_t)$ $γ_{t} = exp (- ϕ_{t})$ .
- In-distribution tokens ( $\phi_t \approx 0$ ): Normale leerintensiteit.
- Sterk in-distribution tokens ( $\phi_t > 0$ ): Versterking van kennisconsolidatie.
- Out-of-distribution tokens ( $\phi_t \ll 0$ ): De gradient wordt onderdrukt (suppression) om te voorkomen dat het model zich aanpast aan ruis of onmogelijke patronen die de native structuur verstoren.
Doel: Dit voorkomt "catastrophic forgetting" en zorgt voor een gecontroleerd leerproces dat alleen de meest relevante en compatibele data integreert.

C. Toepassing 2: Hinted Decoding

Hinted Decoding is een data-level techniek om bestaande datasets (zoals wiskundige oplossingen) te herschrijven zodat ze overeenkomen met de distributie van het model, zonder de correctheid van het antwoord te verliezen.

Probleem: Standaard "Self-distillation" (het model imiteren van een antwoord) behoudt vaak de stijl niet perfect of produceert foutieve redeneringen.
Oplossing: Het algoritme combineert twee decoding-stromen tijdens de inferentie:
1. Target Stream: Geconditioneerd op de vraag én het correcte antwoord (garandeert correctheid).
2. Drafter Stream: Geconditioneerd alleen op de vraag (garandeert de native stijl van het model).
Adaptieve Mix: De uiteindelijke output is een geometrische mix van beide distributies, waarbij de weging $\lambda$ $λ$ dynamisch wordt bepaald door de entropie van de target stream.
- Bij hoge onzekerheid (hoge entropie) wordt meer vertrouwd op de drafter (stijlbehoud).
- Bij lage onzekerheid wordt de target stream gevolgd (correctheid).
FP-detectie: Er is een mechanisme om inconsistenties tussen de redenering (Chain-of-Thought) en het eindantwoord te detecteren en te filteren.

3. Belangrijkste Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op diverse LLM's (Qwen2.5, Mistral, LLaMA, DeepSeek-R1) en datasets (Numina-Math, Code).

Superioriteit t.o.v. Offline RL: De combinatie van Hinted Decoding en IDFT (HD+IDFT) presteerde consistent beter dan toonaangevende offline RL-methoden zoals DPO en SimPO op wiskundige en redenerings-benchmarks (bijv. AIME24, AMC23, Olympiadbench).
Efficiëntie: De methode bereikte deze resultaten met een aanzienlijk lagere rekenkosten (GPU-uur) dan RL-methoden, omdat het geen dure roll-out-fases vereist.
Preventie van Vergeten: In tegenstelling tot standaard SFT en andere geavanceerde SFT-methoden (zoals DFT en EAFT), behield IDFT de algemene redeneercapaciteiten (gemeten op MMLU en ARC) beter, wat aantoont dat "catastrophic forgetting" effectief werd geminimaliseerd.
Robuustheid bij sterke modellen: De methode bleef werken op reeds geavanceerde instructie-modellen en "thinking" modellen, waar andere methoden vaak faalden door de grote distributie-kloof tussen de dataset en het model.

4. Belang en Impact

Praktische Alternatief: Het paper biedt een haalbaar alternatief voor RL in domeinen waar verifieerbare feedback schaars is of waar RL te duur is. Het maakt het mogelijk om de generalisatiekracht van RL te benaderen met de efficiëntie van SFT.
Theoretische Bijdrage: De introductie van DDT en de bewijzen voor de optimaliteit van CLL bieden een rigoureuze theoretische basis voor het begrijpen van distributie-alignment in LLM's, verder dan empirische observaties.
Toekomstperspectief: De techniek kan worden uitgebreid naar online versies (vergelijkbaar met PPO) en is relevant voor nieuwe gebieden zoals speculatieve decoding en diffusie-modellen voor taal.

Conclusie:
Dit werk sluit de kloof tussen SFT en RL door een theoretisch onderbouwde aanpak te introduceren die de training van modellen "on-policy" maakt. Door data en doelen dynamisch af te stemmen op de interne distributie van het model, bereikt het superieure generalisatie en voorkomt het het verlies van kennis, zonder de hoge kosten van traditioneel Reinforcement Learning.