💬 NLP

What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

Dit paper introduceert een kennis-gewogen fine-tuning-methode die, door middel van geschaalde leersignalen op basis van een nauwkeurige kennis-score, grote taalmodellen in staat stelt om onzekerheid uit te drukken en "ik weet het niet" te antwoorden bij vragen waarvoor ze geen kennis hebben, terwijl de nauwkeurigheid voor bekende vragen behouden blijft.

Oorspronkelijke auteurs: Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) een enorme bibliotheek in zijn hoofd heeft, gevuld met feiten die hij heeft geleerd tijdens zijn opleiding (de "pre-training"). Maar als we hem later extra lessen geven (de "fine-tuning") om hem beter te laten reageren op specifieke vragen, kan er iets misgaan.

Soms leert de chatbot antwoorden te geven op vragen waar hij eigenlijk geen idee van heeft. Hij durft het erop te wagen, zegt iets vol vertrouwen, maar het is helemaal niet waar. Dit noemen we "hallucineren". Het is alsof een student die een examen doet, een antwoord verzint omdat hij denkt dat hij het moet weten, terwijl hij het eigenlijk niet weet.

De auteurs van dit paper, Joosung Lee en zijn team, hebben een slimme oplossing bedacht: KWT (Knowledge-Weighted Fine-Tuning). Laten we dit uitleggen met een paar alledaagse metaforen.

1. De "Werkplaatstest" (Het meten van kennis)

Voordat de chatbot weer gaat studeren, doen de onderzoekers eerst een test. Ze stellen dezelfde vraag niet één keer, maar vijf keer op een iets andere manier.

De analogie: Stel je voor dat je een leraar vraagt: "Wie heeft de uitvinding van de gloeilamp gedaan?" Als de leraar elke keer "Edison" zegt, weet hij het zeker. Maar als hij de ene keer "Edison" zegt, de andere keer "Tesla" en de derde keer "Ik weet het niet", dan is hij onzeker.
Het resultaat: De onderzoekers kijken naar deze variatie. Als het model vaak het juiste antwoord geeft, krijgen die vragen een hoog kennis-score. Als het model twijfelt of fouten maakt, krijgen ze een laag score. Ze weten nu precies hoe goed het model elk specifiek feit al kent.

2. De Slimme Leraar (Het nieuwe trainingsplan)

Normaal gesproken behandelt een computerprogramma alle vragen tijdens het leren even zwaar. Of het nu gaat om iets dat het model al perfect kent, of iets dat het totaal niet snapt.

Het probleem: Als je een student dwingt om te studeren voor een examen over onderwerpen die hij nog nooit heeft gezien, gaat hij paniek raken en gaat hij dingen verzinnen om de leraar tevreden te stellen.
De KWT-oplossing: De onderzoekers gebruiken de scores uit stap 1 om het trainingsplan aan te passen.
- Voor dingen die het model al kent: Ze geven een sterk signaal. "Goed zo, blijf dit doen!" Het model wordt beloond voor wat het al kan.
- Voor dingen die het model niet kent: Ze geven een heel ander signaal. In plaats van te zeggen "Gok maar een antwoord!", zeggen ze: "Zeg gewoon: 'Ik weet het niet'."

3. De "Ik-weet-het-niet"-knop

Dit is het belangrijkste nieuwe trucje. Als het model een vraag krijgt waarvoor het geen kennis heeft (een lage score), leren ze het om een speciaal woordje te zeggen: (Ik weet het niet).

De analogie: Stel je voor dat je een taxichauffeur bent. Als je een bestemming kent, rijd je er snel en zeker naartoe. Maar als je een bestemming ziet die je niet kent, zeg je niet: "Ik denk dat het daar is" en rijd je de verkeerde kant op. Nee, je zegt: "Ik ken die weg niet, zoek maar een andere taxi."
Het voordeel: De chatbot leert nu dat het beter is om eerlijk te zijn over wat hij niet weet, dan om een mooi, maar fout antwoord te geven.

Waarom is dit zo belangrijk?

In de proeven van de auteurs zagen ze drie grote voordelen:

Minder leugens: De chatbot hallucineert veel minder. Hij durft geen onzin meer te verkopen.
Blijven slim: Hij wordt niet "dommer" op de vragen die hij wel kan beantwoorden. Hij blijft net zo goed op de dingen die hij al kent.
Betrouwbaarheid: Als je vraagt iets dat buiten zijn kennis ligt (bijvoorbeeld een heel nieuw medisch feit), zegt hij eerlijk "Ik weet het niet", in plaats van een gevaarlijk verkeerd advies te geven.

Samenvattend

Deze paper zegt eigenlijk: "Leer je computer niet alleen wat hij moet zeggen, maar leer hem ook wanneer hij moet zwijgen."

Door eerst te meten hoe goed een model iets al weet, en daarop de training aan te passen, krijgen we een AI die niet alleen slim is, maar ook verstandig genoeg om te weten wanneer hij de mond moet houden. Het is de overstap van een "veilige gokker" naar een "eerlijke expert".

1. Het Probleem: Hallucinaties door Kennis-Disalignement

Grote Taalmodellen (LLMs) presteren uitstekend op veel taken, maar lijden nog steeds aan hallucinaties: het genereren van zelfverzekerde maar onjuiste informatie. Het paper identificeert de hoofdoorzaak als kennis-disalignement tussen de parametrische kennis (verworven tijdens pre-training) en de datasets die worden gebruikt voor Supervised Fine-Tuning (SFT).

De oorzaak: Wanneer een fine-tuning dataset feiten bevat die het model tijdens pre-training zelden of nooit heeft gezien, wordt het model gedwongen om gelabelde tokens te genereren, zelfs voor feiten die het niet "kent".
Het gevolg: In plaats van toe te geven dat kennis ontbreekt, genereert het model antwoorden voor vragen die niet te beantwoorden zijn, wat leidt tot hallucinaties. Bestaande methoden om onzekerheid te uiten (zoals het trainen op een binair "bekend/onbekend" onderscheid) blijken onvoldoende omdat kennis een gegradueerde (graded) eigenschap is, geen binair concept.

2. Methodologie: Knowledge-Weighted Fine-Tuning (KWT)

De auteurs stellen Knowledge-Weighted Fine-Tuning (KWT) voor, een methode die de trainingssignalen aanpast op basis van hoe goed het model een specifiek voorbeeld al kent.

A. Schatting van Kennis (Knowledge Estimation)

In plaats van te vertrouwen op één antwoord, schat het model de kennis per voorbeeld (instance-level) via multi-sampled inference:

Multi-sampling: Voor elke vraag worden meerdere antwoorden gegenereerd (bijv. met 3-shot prompting en herhaalde steekproeven).
Correctheidscorrectie: Deze antwoorden worden vergeleken met de "gold standard" (het juiste antwoord) met behulp van drie metrieken:
- Exact Match (EM)
- ROUGE (voor semantische variatie)
- LLM-as-a-judge: Een ander LLM beoordeelt de semantische correctheid. Het paper toont aan dat deze methode het beste overeenkomt met menselijke beoordeling.
Kennis Score (KS): De uiteindelijke score is het gemiddelde van de correctheid over alle steekproeven. Dit levert een fijne, continue score op (0 tot 1) in plaats van een binair label.

B. Gewogen Fine-Tuning

De berekende kennis score wordt gebruikt om de training te moduleren:

Gewichting (Familiarity Weighting): Voorbeelden waar het model al veel van weet (hoge KS), krijgen een hoger gewicht in de loss-functie. Dit versterkt de bestaande kennis.
Uitdrukken van Onzekerheid (): Voor voorbeelden met een kennis score van 0 (het model weet het feit niet), wordt een speciaal token <IDK> ("I Don't Know") toegevoegd aan het doelantwoord. Het model wordt hierdoor getraind om expliciet onzekerheid te uiten in plaats van te hallucineren.
Loss-functie: De training loss wordt berekend als een gewogen som, waarbij het gewicht ( $w_i$ ) afhangt van de kennis score ( $KS_i$ ) van het voorbeeld.

3. Belangrijkste Bijdragen

Fijne kennis-schatting: Het aantonen dat het schatten van hoe goed een model een voorbeeld kent (via multi-sampling) cruciaal is om hallucinaties te verminderen.
Kennis-gewogen training: Het introduceren van een strategie waarbij de trainingssignalen worden gewogen op basis van bestaande kennis, wat leidt tot betere prestaties dan uniforme fine-tuning of binaire filtering.
Nieuwe Evaluatiemetrics: Het ontwikkelen van metrics om onzekerheid systematisch te meten, waaronder:
- nAUPC (Normalized Area Under the Product Curve): Een metric die de balans meet tussen het correct afzien van antwoorden (abstention) en het behouden van nauwkeurigheid op bekende vragen.
- IDK Precision & A-FPR: Meten hoe vaak het model terecht "Ik weet het niet" zegt versus hoe vaak het onnodig twijfelt.

4. Resultaten

De methode is getest op diverse datasets (HaluEval, MedQA, SciQ) en vergeleken met baselines zoals standaard SFT, FT-TOP (filteren op bekende data), R-Tuning, en SEAL.

In-domein prestaties: KWT (met LLM-as-a-judge) bereikt een nAUPC die aanzienlijk hoger is dan concurrenten, wat betekent dat het model beter in staat is om onzekerheid uit te drukken zonder de algehele nauwkeurigheid op beantwoordbare vragen significant te verlagen.
Out-of-domein generalisatie: KWT generaliseert goed naar datasets buiten de trainingsdomeinen, waarbij het model betrouwbaarder "Ik weet het niet" zegt bij vragen die buiten zijn parametrische kennis vallen.
Vergelijking met SEAL: In tegenstelling tot SEAL (dat token-level afwijzingen toepast en vaak de nauwkeurigheid verlaagt), behoudt KWT de nauwkeurigheid beter door alleen <IDK> toe te voegen bij volledig onbekende feiten.
Distributiebehoud: Analyse van de KL-divergentie toont aan dat KWT de voorspellende distributie van het basismodel beter behoudt dan SFT of SEAL, wat stabiliteit garandeert.

5. Betekenis en Conclusie

Het paper demonstreert dat het alignen van fine-tuning met de feitelijke kennis van het model een effectieve manier is om hallucinaties te bestrijden.

Kerninzicht: Het is niet voldoende om alleen te vragen om "Ik weet het niet"; het model moet eerst leren wanneer het iets niet weet door de trainingssignalen te baseren op de daadwerkelijke kennis van het model.
Praktische toepassing: De methode biedt een balans tussen het vermogen om vragen te beantwoorden en de betrouwbaarheid om af te zien van antwoorden bij onzekerheid.
Beperkingen: De methode vereist een hoge rekencapaciteit voor de multi-sampled inference tijdens de kennis-schatting, wat de kosten ten opzichte van standaard fine-tuning verhoogt.

Samenvattend biedt KWT een robuust kader om LLM's te trainen om hun eigen kennislimieten te erkennen, waardoor ze veiliger en betrouwbaarder worden in real-world toepassingen.