💬 NLP

Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Dit artikel behandelt het probleem van LLM-hallucinaties door een robuuste evaluatiebenchmark voor te stellen die rekening houdt met pretrainingdata en door een nieuwe methode te introduceren om de eerlijkheid van het model te vergroten via de retrieval van die pretrainingdata.

Oorspronkelijke auteurs: Christopher Adrian Kusuma, Muhammad Reza Qorib, Hwee Tou Ng

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christopher Adrian Kusuma, Muhammad Reza Qorib, Hwee Tou Ng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante maar overmoedige student voor genaamd "LLM" die miljarden boeken heeft gelezen tijdens zijn training. Deze student is geweldig in het beantwoorden van vragen, maar heeft een grote tekortkoming: hij weet niet wat hij niet weet. Wanneer hem een vraag wordt gesteld over een onderwerp dat hij nog nooit heeft gezien, verzint hij in plaats daarvan zelfverzekerd een verhaal. In de wereld van AI wordt dit een hallucinatie genoemd.

Het paper dat je deelde stelt dat we, om AI betrouwbaar te maken, de AI moeten leren het verschil te begrijpen tussen "Ik weet dit" en "Ik weet dit niet". Hier is een uiteenzetting van hun oplossing, gebruikmakend van eenvoudige analogieën.

Het Probleem: De "Black Box" Blinde Vlek

Meestal, wanneer onderzoekers proberen te testen of een AI eerlijk is, behandelen ze de AI als een black box (zwarte doos). Ze stellen vragen en kijken wat de AI zegt, maar ze weten niet precies welke boeken de AI heeft gelezen om zijn feiten te leren.

De Tekortkoming: Als de AI een vraag fout beantwoordt, gaan onderzoekers ervan uit dat de AI het antwoord "niet weet". Maar misschien heeft de AI het antwoord wel gelezen in zijn trainingsboeken; hij is het alleen vergeten of raakte in de war.
Het Resultaat: Eerdere tests waren oneerlijk omdat ze niet konden onderscheiden of de AI loog (hallucineerde) of gewoon een slechte dag had (vergat).

De Oplossing: De "Open Boek" Benadering

De auteurs gebruikten een speciaal, open-source AI-model genaamd Pythia. Het grote voordeel? Wij hebben de volledige bibliotheek met boeken die deze AI heeft gelezen.

De Analogie: Stel je voor dat je de student een specifieke lijst geeft van elk boek dat hij heeft bestudeerd. Nu, wanneer je een vraag stelt, kun je daadwerkelijk de bibliotheek controleren om te zien: "Heeft deze student het antwoord op deze vraag gelezen?"
De Nieuwe Benchmark: Ze creëerden een nieuwe test (genaamd TIP-TRIVIAQA) waarbij we precies weten welke vragen de AI zou moeten weten (omdat het antwoord in zijn trainingsboeken staat) en welke hij niet zou moeten weten (omdat het antwoord nergens in zijn boeken voorkomt). Dit creëert een gelijk speelveld om eerlijkheid te meten.

De Methode: Het "Librarian" Systeem (RETAIN)

Om de eerlijkheid van de AI te verbeteren, zeiden de auteurs niet simpelweg dat de AI "eerlijk moet zijn". Ze bouwden een drieslagig systeem genaamd RETAIN dat fungeert als een slimme bibliothecaris:

De Retriever (De Zoeker):
Wanneer je een vraag stelt, gaat deze agent direct naar de "bibliotheek" van de AI (de pretraining data) om naar het antwoord te zoeken. Het is alsoals een bibliothecaris die boeken uit de kast pakt om te zien of het antwoord erin staat.
De Answerability Classifier (De Poortwachter):
Deze agent kijkt naar de boeken die de zoeker heeft gevonden. Hij vraagt: "Bevat dit boek daadwerkelijk het antwoord?"
- Als Ja: Dan geeft hij het boek door aan de volgende agent.
- Als Nee: Dan stopt het proces en zegt hij tegen de AI: "We hebben het antwoord niet in onze bibliotheek. Zeg 'ik weet het niet'."
De Responder (De Spreker):
Dit is de AI die daadwerkelijk met jou praat. Hij spreekt alleen als de Poortwachter groen licht geeft en een relevant boek ter hand heeft. Als de Poortwachter "Nee" zegt, zegt de Responder simpelweg: "Ik weet het niet."

Waarom Dit Werkt

Het paper vond dat deze methode veel beter is dan eerdere trucjes.

Oude Manier: De AI simpelweg vertellen "Als je het niet zeker weet, zeg dan 'ik weet het niet'" werkte niet goed. De AI probeerde nog steeds te gokken.
RETAIN Manier: Door eerst het bronmateriaal fysiek op te halen, krijgt de AI een "reality check". De AI kan zien: "Oh, het antwoord staat niet in mijn boeken," waardoor hij eerlijk toegeeft dat hij het niet weet.
Bonus: Wanneer het antwoord wel in de boeken staat, geeft de AI een veel nauwkeuriger antwoord omdat hij op dat moment het bronmateriaal leest, in plaats van alleen te vertrouwen op zijn geheugen.

De Resultaten

Toen ze dit nieuwe systeem testten:

Was het veel beter in het zeggen van "ik weet het niet" wanneer het antwoord niet in de trainingsdata zat.
Was het veel beter in het correct beantwoorden van vragen wanneer het antwoord wel in de data zat.
Presteerde het beter dan alle andere methoden die ze testten, wat bewees dat de AI toegang geven tot zijn eigen "broncode" (de boeken die hij las) de sleutel is om hem eerlijk te maken.

Kortom: Het paper laat zien dat om te voorkomen dat AI dingen verzint, je de AI niet alleen niet moet vertellen dat hij eerlijk moet zijn. In plaats daarvan moet je hem een hulpmiddel geven om eerst zijn eigen bibliotheek te controleren. Als het antwoord daar niet staat, moet hij eerlijk genoeg zijn om te zeggen: "Ik heb dat niet gelezen."

Technische Samenvatting: Parametrische Kennis is Niet Alles Wat Je Nodig Hebt

Probleemdefinitie
Grote taalmodellen (LLM's) lijden regelmatig aan "hallucinaties": ze genereren feitelijk onjuiste antwoorden omdat ze zich niet bewust zijn van de grenzen van hun eigen kennis. Huidige methoden om de "eerlijkheid" van LLM's te verbeteren — gedefinieerd als het vermogen om te weigeren vragen te beantwoorden die buiten de eigen kennis vallen (zelfkennis) en om correct te antwoorden wanneer de kennis wel aanwezig is (zelfexpressie) — kampen met aanzienlijke evaluatieproblemen. Bestaande benchmarks behandelen LLM's vaak als zwarte dozen, waarbij de kennisgrenzen indirect worden ingeschat. Dit leidt tot gebrekkige evaluaties waarbij het falen van een model om een antwoord te geven wordt toegeschreven aan een gebrek aan kennis (een zelfkennisprobleem), terwijl het in werkelijkheid een inconsistentie in expressie kan zijn (een zelfexpressieprobleem). Bovalloos is het zonder toegang tot de specifieke trainingsdata onmogelijk om definitief vast te stellen of een model een antwoord zou moeten weten, wat robuuste benchmarking bemoeilijkt.

Methodologie
De auteurs stellen een tweeledige aanpak voor: een nieuwe evaluatiebenchmark en een nieuwe methode voor inferentie genaamd RETAIN (Retrieval-Enhanced Training-Aware Inference).

Benchmark Constructie (TIP-TRIVIAQA):
- Door gebruik te maken van Pythia, een echt open LLM met publiekelijk beschikbare pretraining-data, construeren de auteurs een benchmark waarbij de "ground truth" van kennis bekend is.
- Zij maken gebruik van een tweetraps zoekproces om te bepalen of een vraag "beantwoordbaar" is (het antwoord bevindt zich in de pretraining-corpus) of "onbeantwoordbaar" (dat is het niet):
  - Token-gebaseerde Zoekopdracht: Haalt documenten op die specifieke trefwoorden uit de vraag en het gouden antwoord bevatten. Een LLM beoordeelt de relevantie.
  - Vector-gebaseerde Zoekopdracht: Voor vragen die niet door de token-zoekopdracht zijn opgelost, wordt semantische gelijkenis gebruikt om documenten op te halen, gevolgd door een relevantiebeoordeling.
- Dit creëert een dataset (TIP-TRIVIAQA) waar vragen expliciet gecategoriseerd zijn op basis van de werkelijke blootstelling van het model aan de informatie tijdens de pretraining.
De RETAIN-methode:
- RETAIN is een agentic framework bestaande uit drie componenten:
  - Retriever: Encodeert de invoervraag en haalt de top- $k$ documenten op uit de eigen pretraining-corpus van het model middels dense retrieval.
  - Answerability Classifier: Een gefinetuned model dat bepaalt of de opgehaalde documenten voldoende informatie bevatten om de vraag te beantwoorden. Als er geen relevant document wordt gevonden, triggert het systeem een weigering ("Ik weet het niet").
  - Responder: Een gefinetuned model dat het gouden antwoord genereert met behulp van het opgehaalde document als context, maar alleen als de classifier de vraag als beantwoordbaar beschouwt.

Belangrijkste Bijdragen

Een Robuuste Benchmark: Het artikel introduceert de eerste benchmark voor de eerlijkheid van LLM's die expliciet rekening houdt met de kennisgrens van het model door relevante documenten binnen de pretraining-data te identificeren, waarmee de black-box evaluatie wordt overstegen.
Een Nieuwe Inferentie-methode: De auteurs stellen RETAIN voor, dat retrieval over de eigen pretraining-corpus van het model gebruikt tijdens de inferentie. Dit stelt het model in staat om onderscheid te maken tussen vragen die het heeft gezien (en kan beantwoorden) en vragen die het niet heeft gezien (en moet weigeren).
Empirische Validatie: De studie toont aan dat het simpelweg aanvullen van prompts met documenten uit de pretraining-data zowel de antwoordnauwkeurigheid als het vermogen van het model om zijn beperkingen te herkennen, verbetert.

Resultaten
Experimenten uitgevoerd op de TIP-TRIVIAQA benchmark met Pythia-12b-deduped tonen aan dat RETAIN de bestaande baselines (inclusief SFT, Best-of-N, DPO en R-Tuning) aanzienlijk overtreft.

Prestaties: RETAIN bereikt een ExactMatch-F1 score van 58,57 en een PartialMatch-F1 van 62,23, wat substantieel hoger is dan de op één na beste baseline (R-Tuning met 44,16 PM-F1).
Generalisatie: Op de HoneSet dataset (bevat vragen die mensen niet kunnen beantwoorden) bereikt RETAIN een weigeringspercentage van 87,63%, wat alle baselines aanzienlijk overtreft, wat aangeeft dat de methode generaliseert buiten de specifieke benchmark.
Ablatie: De resultaten bevestigen dat de combinatie van retrieval, answerability classificatie en een getrainde responder noodzakelijk is voor optimale prestaties; het verwijderen van een component verslechtert de F1-score.

Betekenis
Het artikel beweert de eerste te zijn die pretraining-data gebruikt om een LLM-eerlijkheidsbenchmark te construeren en retrieval uitvoert over de eigen pretraining-corpus van een model voor vraagbeantwoording. De auteurs stellen dat parametrische kennis alleen onvoldoende is voor eerlijkheid; in plaats daarvan hebben modellen een mechanisme nodig om hun trainingsdata te raadplegen en te verifiëren om hun kennisgrenzen accuraat waar te nemen. Door gebruik te maken van de transparantie van open modellen zoals Pythia, biedt dit werk een pad naar meer betrouwbare, interpreteerbare en eerlijke AI-assistenten die expliciet kunnen erkennen wanneer ze een antwoord niet weten, waardoor hallucinaties in kritieke domeinen worden verminderd.

Het Probleem: De "Black Box" Blinde Vlek

De Oplossing: De "Open Boek" Benadering

De Methode: Het "Librarian" Systeem (RETAIN)

Waarom Dit Werkt

De Resultaten

Meer zoals dit