💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

Dit onderzoek toont aan dat de prestaties van supervised fine-tuning voor grote taalmodellen sterk afhankelijk zijn van het modelvermogen, waarbij prior-gerichte objectives beter presteren bij sterke modellen en de traditionele negatieve log-likelihood bij zwakkere modellen, wat leidt tot een principieel kader voor het aanpassen van trainingsdoelen aan het specifieke modelvermogen.

Oorspronkelijke auteurs: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog wat onervaren student (het AI-model) hebt die al veel heeft geleerd door miljoenen boeken te lezen (dit heet "pre-training"). Nu wil je hem specifiek trainen voor een nieuwe taak, zoals wiskundeproblemen oplossen of medische diagnoses stellen. Dit proces noemen we Supervised Fine-Tuning (SFT).

De vraag die deze auteurs zich stellen is: Hoe geef je de student de beste feedback als hij een fout maakt?

Het oude recept: "Tel elke fout even zwaar"

Tot nu toe gebruikten onderzoekers één standaardmethode: Negative Log Likelihood (NLL).
In het Nederlands zou je dit kunnen vertalen als: "Tel elke fout die je maakt, en hoe groter de fout, hoe harder je moet straffen."

Stel, de student moet het antwoord "5" geven.

Als hij denkt dat het "4" is (een kleine fout), krijgt hij een lichte klap.
Als hij denkt dat het "100" is (een enorme fout), krijgt hij een zware klap.

Deze methode werkt perfect als je een student vanaf nul begint te leren. Maar de auteurs zeggen: "Wacht even, onze student is al slim!" Hij heeft al veel kennis in zijn hoofd. Als hij al bijna zeker weet dat het antwoord "5" is, maar hij maakt een kleine twijfel, dan is het misschien niet nodig om die twijfel met een zware klap te straffen. Soms is die twijfel zelfs nuttig om te horen, maar soms is die "ruis" (nauwkeurige twijfel) juist schadelijk als de student al heel goed is.

Het nieuwe inzicht: Het "Vermoogen-continuüm"

De auteurs ontdekken dat er geen "één beste manier" is om te straffen. Het hangt er volledig van af hoe goed de student al is in dat specifieke onderwerp. Ze noemen dit het Model-Capability Continuum (het continuüm van modelvermogen).

Stel je drie situaties voor:

1. De "Super-Student" (Model-Strong)

Situatie: De student is al een expert in wiskunde. Hij heeft duizenden wiskundebomen gelezen. Hij weet al dat het antwoord waarschijnlijk "5" is.
Het probleem: Als je hem nu leert met de oude methode (NLL), blijft hij zich bezighouden met de rare, onwaarschijnlijke antwoorden (zoals "100" of "appel"). Hij wordt afgeleid door ruis.
De oplossing: Gebruik een "Prior-Leaning" methode (gericht op wat hij al weet).
- Metafoor: Zeg tegen de super-sterke student: "Je bent al bijna zeker dat het 5 is. Ignoreer die rare gedachten over 100. Focus alleen op het verfijnen van je sterke kennis."
- Resultaat: De student wordt nog slimmer, omdat hij niet meer tijd verspilt aan het corrigeren van onzin.

2. De "Beginner" (Model-Weak)

Situatie: De student moet een raadsel oplossen waar hij nog nooit van gehoord heeft (bijvoorbeeld een nieuw soort puzzel die niet in zijn boeken stond). Hij heeft geen idee wat het antwoord is.
Het probleem: Als je nu zegt: "Focus alleen op wat je al denkt te weten", dan blijft hij in zijn eigen foutieve gedachten hangen. Hij heeft geen goede basis om op te bouwen.
De oplossing: Gebruik de oude methode (NLL).
- Metafoor: Zeg tegen de beginner: "Je hebt geen idee wat het is. Luister naar elke hint, zelfs de rare. Wees streng voor elke fout, zodat je echt iets nieuws leert."
- Resultaat: Hij leert breed en corrigeert zijn fundamentele fouten.

3. De "Gemiddelde Student" (Model-Intermediate)

Situatie: De student kent het onderwerp een beetje (bijvoorbeeld medische kennis), maar niet perfect.
Het probleem: Er is geen duidelijke winnaar. Soms helpt het om te focussen op wat hij al weet, soms helpt het om alles opnieuw te bekijken.
Resultaat: Het maakt niet zoveel uit welke methode je kiest; ze werken ongeveer even goed.

Waarom is dit belangrijk?

Vroeger dachten onderzoekers dat er één perfecte formule was voor het trainen van AI's. Deze paper zegt: "Nee, dat is niet zo."

Het hangt af van de context:

Is het model al een expert in dat onderwerp? → Gebruik een methode die zijn bestaande kennis respecteert en ruis filtert.
Is het model een beginner in dat onderwerp? → Gebruik de strenge, standaard methode die alles corrigeert.

Samenvatting in één zin

Net zoals je een olympisch atleet niet op dezelfde manier traint als een beginner (de ene heeft fijne afstemming nodig, de ander moet de basis leren), moet je ook AI-modellen op verschillende manieren "straffen" voor fouten, afhankelijk van hoe slim ze al zijn in dat specifieke vakgebied.

De auteurs hebben bewezen dat door de trainingsmethode aan te passen aan het niveau van het model, we veel betere resultaten kunnen krijgen dan met de oude, "één-grootte-past-voor-iedereen" aanpak.

Probleemstelling

Supervised Fine-Tuning (SFT) is de standaardmethode voor het na-trainen van Large Language Models (LLM's) om specifieke taken te leren. De huidige standaardtrainingsoptimalisatie is de Negative Log Likelihood (NLL), ook wel cross-entropy verlies genoemd. Hoewel NLL theoretisch optimaal is bij het trainen van modellen vanaf nul (van scratch), toont de praktijk aan dat SFT vaak beperkte generalisatievermogen vertoont.

De auteurs stellen dat dit probleem niet inherent is aan het SFT-paradigma zelf, maar voortkomt uit het gebruik van NLL als standaarddoel in een context die fundamenteel verschilt van training vanaf nul:

Bestaande Priors: Het model is al voorgetraind en bevat reeds waardevolle, taakgerelateerde a priori kennis.
Ruis en Lange Sequenties: Supervisie bestaat vaak uit lange chain-of-thought (CoT) sequenties die ruis kunnen bevatten (bijv. fouten in tussenstappen).
NLL-beperking: NLL straft elke fout op elk token even hard, wat kan leiden tot het overmatig leren van onbetrouwbare tokens of het "leren van ruis", wat de generalisatie belemmert.

Methodologie

In plaats van één universeel superieur verliesvoorstel te introduceren, analyseren de auteurs systematisch een familie van probabiliteitsgebaseerde doelen en onderzoeken ze wanneer en waarom deze slagen of falen.

Parametrische Familie van Doelen:
De auteurs generaliseren NLL naar een familie van doelen van de vorm $f_\alpha(p) := -\frac{p^\alpha - 1}{\alpha}$ .
- Als $\alpha \to 0$ , benadert dit NLL ( $-\log p$ ).
- Als $\alpha = 1$ , is het doel $1-p$ (wat overeenkomt met het maximaliseren van de verwachte nauwkeurigheid).
- Variaties zoals $-p$ of $-p^{10}$ worden onderzocht.
Het Concept van "Model-Capability Continuum":
De kern van de methodologie is de classificatie van taken langs een continuüm, bepaald door de sterkte van de a priori kennis (priors) van het basismodel:
- Model-Strong (MS): Gebieden waar het model sterke priors heeft (bijv. wiskunde, waar veel trainingsdata in de pre-training zat). Het model is al redelijk goed in de taak.
- Model-Weak (MW): Gebieden waar het model geen relevante priors heeft (bijv. nieuwe puzzels of lage-resources talen). Het model heeft geen voorkeur voor het juiste antwoord.
- Model-Intermediate (MI): Gebieden met gemengde priors (bijv. medische redenering).
Prior-Leaning vs. Prior-Averse Doelen:
De auteurs analyseren de gradiëntvorm ( $W_f(p)$ ) van de doelen:
- Prior-Leaning (Concaaf, bijv. $-p$ ): Geeft meer gewicht aan tokens met een hoge waarschijnlijkheid. Dit vertraagt het leren van onzekere tokens en vertrouwt op de bestaande kennis van het model.
- Prior-Averse (Convex, bijv. NLL): Geeft meer gewicht aan tokens met een lage waarschijnlijkheid. Dit dwingt het model om hard te leren van fouten en onzekere voorspellingen.

Belangrijkste Bijdragen

Ontdekking van het Continuüm: Het paper introduceert het concept dat de effectiviteit van een trainingsdoel afhankelijk is van de capaciteit van het basismodel en de sterkte van de priors, in plaats van dat er één "beste" verliesfunctie bestaat voor alle situaties.
Theoretische Onderbouwing: De auteurs leveren een theoretische analyse (via gradiëntstroom) die aantoont dat prior-leaning doelen een grotere risicoreductie bereiken in het "Model-Strong" regime, terwijl NLL superieur is in het "Model-Weak" regime.
Uitgebreide Empirische Validatie: De bevindingen worden getest op 8 verschillende model-architecturen, 27 benchmarks en 7 domeinen (waaronder wiskunde, medisch, puzzels en code).

Resultaten

De experimentele resultaten bevestigen een duidelijk patroon langs het continuüm:

In het Model-Strong regime (bijv. Wiskunde):
- Doelen die lage-probabiliteit tokens downweighten (zoals $-p$ of gethresholdde varianten van NLL) presteren consistent beter dan standaard NLL.
- Reden: Het model heeft al sterke kennis; NLL straft onbetrouwbare tokens te hard, wat leidt tot overfitting op ruis. Prior-leaning doelen verfijnen de bestaande sterke voorspellingen.
- Resultaat: Tot 16% verbetering in nauwkeurigheid vergeleken met NLL.
In het Model-Weak regime (bijv. Figfont-puzzels):
- Standaard NLL presteert significant beter dan prior-leaning doelen.
- Reden: Het model heeft geen bruikbare priors. Prior-leaning doelen vertrouwen op verkeerde hoge-probabiliteit voorspellingen en versterken fouten. NLL dwingt het model om breed te leren van alle tokens.
In het Model-Intermediate regime (bijv. Medisch):
- Er is geen duidelijk winnend doel; de prestaties van NLL en $-p$ zijn vergelijkbaar. De voordelen van het aanpassen van het doel zijn hier minimaal.
Schalingswet:
- Naarmate het model groter wordt (van 3B naar 14B+ parameters), verschuift het gedrag naar het "Model-Strong" regime, waardoor prior-leaning doelen effectiever worden.

Betekenis en Impact

Dit paper biedt een fundamenteel nieuw perspectief op het na-trainen van LLM's:

Geen "One-Size-Fits-All": Het weerlegt het idee dat NLL altijd de beste keuze is. De keuze van het trainingsdoel moet worden afgestemd op de capaciteit van het model en de aard van de taak.
Praktische Richtlijnen: Voor taken waar het model al veel kennis heeft (zoals wiskunde of code), is het raadzaam om prior-leaning doelen te gebruiken om ruis te filteren en de prestaties te maximaliseren. Voor nieuwe of onbekende domeinen blijft NLL de veiligste en meest effectieve keuze.
Theoretische Koppeling: Het werk verbindt SFT-theorie met concepten uit Reinforcement Learning (waarbij updates vaak ook voorkeur geven aan hoge-probabiliteit acties), en biedt een principieel kader om deze verschijnselen te verklaren.

Kortom, de auteurs tonen aan dat het optimaliseren van het trainingsdoel op basis van de model-capaciteit een krachtige en eenvoudige manier is om de generalisatie van LLM's aanzienlijk te verbeteren.