💬 NLP

Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models

Dit artikel introduceert Structured Ignorance Certificates (SICs), een in JSON geformatteerd outputschema en een bijbehorende trainingsmethodologie met behulp van een nieuwe cross-domein "Unknown-Unknown"-dataset en GRPO-fijnregeling, wat redeneermodellen in staat stelt om hun kennishiaten expliciet te identificeren en te structureren in plaats van antwoorden te hallucineren, waardoor een hoge validiteit en verbeterde op retrieval gebaseerde generatie wordt bereikt.

Oorspronkelijke auteurs: Subramanyam Sahoo

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Subramanyam Sahoo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, zeer praatgrage robotvriend hebt. Deze robot heeft bijna alles op het internet gelezen. Maar hier is het probleem: wanneer je hem een vraag stelt waarvan hij het antwoord niet weet, zegt hij niet: "Ik weet het niet." In plaats daarvan verzint hij zelfverzekerd een verhaal dat perfect klinkt, maar volkomen onjuist is. Het is als een leerling die, wanneer hij het antwoord op een wiskundevraag niet weet, gewoon een willekeurig getal opschrijft en hoopt dat de leraar het niet merkt.

Dit artikel gaat over het aanleren van een nieuwe superkracht aan die robot: het vermogen om toe te geven wanneer hij echt geen idee heeft, en om precies uit te leggen waarom hij geen idee heeft.

Hier is de onderverdeling van hoe ze het hebben aangepakt, met behulp van eenvoudige analogieën:

1. Het Probleen: "Onbekende Onbekenden" (Unknown Unknowns)

Beschouw kennis als een kaart.

Bekende Onbekenden (Known Unknowns): Je weet dat er een gat in de kaart zit. Je weet dat je de weg naar het volgende dorp niet weet. De robot kan meestal zeggen: "Ik weet dat niet zeker."
Onbekende Onbekenden (Unknown Unknowns): Dit is het enge deel. Dit is een gat in de kaart waarvan je niet eens wist dat het bestond. De robot beseft niet dat hij informatie mist, dus verzint hij gewoon een nepweg om het gat op te vullen.

De onderzoekers richtten zich op deze "Onbekende Onbekenden"—vragen die twee verschillende vakgebieden mengen (zoals vragen hoe biologie invloed heeft op economie). Deze zijn lastig omdat de robot deze specifieke combinatie nog nooit heeft gezien, waardoor hij probeert een antwoord te faken.

2. De Oplossing: "Gestructureerde Onwetendheidscertificaten" (Structured Ignorance Certificates - SICs)

In plaats van de robot te laten gokken, gaven de onderzoekers hem een strikt regelboek. Ze zeiden: "Als je het antwoord niet weet, moet je een specifief formulier invullen genaamd een 'Gestructureerd Onwetendheidscertificaat' (SIC)."

Dit is niet alleen maar zeggen "Ik weet het niet." Het is een digitaal formulier met vier specifieke vakjes die de robot moet invullen:

Het Ontbrekende Deel: Welk specifiek gat in de kennis veroorzaakt het probleem? (bijv. "Ik weet niet hoe ruimtewetgeving van toepassing is op natuurkunde.")
De Ontbrekende Instrumenten: Welke specifieke concepten heb ik nodig om dit op te lossen? (bijv. "Ik moet weten over het Ruimteverdrag en orbitale mechanica.")
De Zoekopdracht: Als ik een zoekmachine had, welke exacte woorden zou ik typen om het antwoord te vinden?
Betrouwbaarheidsniveau: Hoe zeker ben ik van mijn eigen onwetendheid?

Door de robot te dwingen dit formulier in te vullen, stopt hij met hallucineren (dingen verzinnen) en begint hij te handelen als een professionele bibliothecaris die zegt: "Ik kan dat niet beantwoorden, maar hier is precies wat je moet opzoeken om het antwoord te vinden."

3. Hoe ze de robot hebben getraind

Om de robot dit nieuwe gedrag aan te leren, moesten de onderzoekers een speciale trainingskamp organiseren.

De Testvragen: Ze namen een slimme robot (Qwen3-14B) en vroegen hem om 7.347 lastige vragen te verzinnen die twee verschillende onderwerpen mengen (zoals "Hoe beïnvloedt een virus de aandelenmarkt?"). Dit waren de "Onbekende Onbekende" vragen.
Het Beloningssysteem: Ze gebruikten een trainingsmethode genaamd GRPO (Group Relative Policy Optimization). Stel je een spel voor waarbij de robot punten krijgt voor:
- Het correct invullen van het formulier (geldige JSON).
- Het noemen van specifieke, nuttige concepten (niet vage termen).
- Het schrijven van een zoekopdracht die daadwerkelijk het antwoord zou vinden.
- Punten verliezen als hij probeert een antwoord te verzinnen.

4. De Resultaten

Na de training testten ze de robot op nieuwe, lastige vragen die hij nog nooit eerder had gezien. De resultaten waren indrukwekkend:

99,5% Succespercentage: De robot volgde bijna altijd de regels en vulde het formulier correct in in plaats van dingen te verzinnen.
Betere Zoekopdrachten: De "zoekopdrachten" die de robot schreef, waren veel beter dan wat de ongetrainde robot zou hebben gegokt.
De "Divergentie"-test: De onderzoekers gebruikten een slimme truc om te controleren of de robot echt nadacht over zijn onwetendheid. Ze stelden dezelfde vraag op verschillende manieren. Als de robot alleen maar aan het gokken was, zou hij verschillende antwoorden geven. Als hij echt zijn onwetendheid toegaf, zou hij consequent zeggen: "Ik weet het niet, hier is het formulier." De getrainde robot slaagde voor deze test, wat bewees dat hij het gedrag werkelijk had geleerd.

Samenvatting

Dit artikel laat zien dat we AI kunnen trainen om te stoppen met zelfverzekerd liegen wanneer het iets niet weet. In plaats van te gokken, leert de AI je een "Certificaat van Onwetendheid" te overhandigen die duidelijk uitlegt wat het mist en hoe je het echte antwoord kunt vinden. Het verandert een "zelfverzekerde leugenaar" in een "eerlijke, behulpzame gids."

Technische Samenvatting: Kalibratie van Gestructureerde Onwetendheidscertificaten voor het Diagnostiseren van Onbekende Onbekenden in Redeneermodellen

1. Probleemstelling

Large Language Models (LLM's) falen vaak op een specifieke manier wanneer ze vragen tegenkomen die buiten hun trainingsdistributie vallen: in plaats van onwetendheid te erkennen, produceren ze vloeiende maar incorrecte antwoorden (hallucinaties). Dit probleem is bijzonder acuut met betrekking tot "onbekende onbekenden" (unknown unknowns)—kennisgaten waarvan het model niet eens doorheeft dat ze bestaan. Hoewel eerder werk zich heeft gericht op het kalibreren van vertrouwen voor "bekende onbekenden" (gevallen waarbij het model een domein herkent maar een gebrek aan vertrouwen vertoont) of op selectieve voorspelling (onthouden zonder uitleg), is er een gebrek aan systematische methoden voor het produceren van gestructureerde, actiegerichte outputs wanneer een query volledig buiten de representationele dekking van het model valt.

2. Methodologie

2.1. Constructie van de Unknown-Unknown (UU) Dataset

Om het tekort aan data voor "onbekende onbekenden" aan te pakken, hebben de auteurs een dataset van 7.347 cross-domein vragen geconstrueerd.

Bron: Vragen werden gecureerd uit zeven verschillende domeinen: natuurkunde, biologie, techniek, informatica, economie, medisch en juridisch, afkomstig van StackExchange en MedQA-USMLE.
Synthese: Met behulp van een pipeline die Qwen3-14B aanroept, hebben de auteurs paren van vragen uit verschillende domeinen aan elkaar gekoppeld (21 mogelijke paren) om nieuwe queries te creëren die een echte integratie van concepten uit beide velden vereisen.
Filtering: Samples werden alleen behouden als het genererende model een hoge "uu-vertrouwen" (>0,4) uitdrukte dat de vraag onbeantwoordbaar is door een expert uit een enkel domein.
Robuustheid: Een multi-stage JSON-parsing pipeline behaalde een succespercentage van 99,3% bij het extraheren van geldige samples uit het generatieproces.

2.2. Gestructureerde Onwetendheidscertificaten (Structured Ignorance Certificates - SIC)

Het kernoutputschema is het Structured Ignorance Certificate (SIC), een JSON-object ontworpen om vage vaagheid om te zetten in operationele epistemische metadata. Een SIC bevat vier velden:

Ontbrekende Intersectie (Missing Intersection): Een beschrijving in natuurlijke taal van de conceptuele kloof.
Vereiste Concepten (Required Concepts): Specifieke benoemde concepten uit elk domein, gescoord door een Certificate Specificity Score (CSS).
Retrieval Query: Een gerichte zoekstring bedoeld om het antwoord te ontsluiten, gescoord via ROUGE-L tegen de grondwaarheid-concepten.
Vertrouwen van Onwetendheid (Confidence of Ignorance): Een scalaire waarde in [0, 1].

2.3. Training via Group Relative Policy Optimization (GRPO)

De auteurs hebben een 14B-parameter model (Qwen3-14B) gefinetuned met behulp van LoRA-adapters en 4-bit kwantisatie.

Algoritme: GRPO werd gekozen vanwege de geheugenefficiëntie, waarbij een aparte value function wordt vermeden door gebruik te maken van intra-groep relatieve beloningen.
Beloningsfunctie: Een samengestelde beloning $R(c, r)$ $R (c, r)$ werd gedefinieerd om drie doelstellingen te optimaliseren:
- Retrieval Utility (50%): ROUGE-L score tussen de gegenereerde retrieval query en de grondwaarheid-concepten.
- Concept Specificity (30%): Gebaseerd op het aantal genoemde vereiste concepten (verzadigend bij 4).
- Format Validity (20%): Binaire beloning voor een geldige JSON-output.
Training: Het model werd getraind voor 500 stappen op een enkele NVIDIA A100 GPU.

2.4. Evaluatie via Paraphrase-Divergence Probe

Om te verifiëren of de interne staat van het model de beoogde epistemische verschuiving reflecteert, is een "paraphrase-divergence probe" getraind.

Hypothese: De interne onzekerheid van een model wordt onthuld door inconsistente reacties op parafrases van dezelfde vraag.
Methode: De probe genereert $K=5$ parafrases van een vraag, berekent response-embeddings en extraheert divergentie-kenmerken (gemiddelde divergentie, maximale divergentie, etc.).
Classificatie: Een logistische regressie-classifier werd getraind om onderscheid te maken tussen Bekende Bekenden (KK), Bekende Onbekenden (KU) en Onbekende Onbekenden (UU).

3. Belangrijkste Bijdragen

UU Dataset: Een schaalbare pipeline voor het genereren van 7.347 cross-domein vragen die de integratie van kennis uit twee verschillende velden vereisen, met een 99,3% parse-succespercentage.
SIC Schema: Een JSON-outputformaat dat modellen dwingt om expliciet de ontbrekende domein-intersecties te benoemen, specifieke concepten op te sommen en retrieval queries voor te stellen, in plaats van antwoorden te hallucineren.
GRPO-gebaseerde Training: Een fine-tuning benadering met behulp van een samengestelde beloning (retrieval utility, specificiteit, format validiteit) die er succesvol in slaagt om gestructureerde onwetendheidsgeneratie-capaciteiten in een 14B model te instilleren.

4. Resultaten

Evaluatie werd uitgevoerd op 735 uit de testset gehouden UU-vragen.

Format Adherence: Het model behaalde een JSON-geldigheid van 99,46%, wat een betrouwbaar leren van de structurele beperkingen aantoont.
Specificiteit: De gemiddelde Certificate Specificity Score (CSS) was 0,967, wat aangeeft dat het model consistent ten minste vier vereiste concepten per certificaat genereerde.
Retrieval Utility: De gemiddelde Productiviteitsscore (SPS, gebaseerd op ROUGE-L) was 0,178. Hoewel bescheiden, weerspiegelt dit de moeilijkheid van lexicale overlap met open-ended conceptlabels.
Epistemische Verschuiving: De paraphrase-divergence probe bevestigde dat de SIC-getunede outputs hogere "onbekende onbekende" waarschijnlijkheidsscores vertoonden (gemiddeld 0,389) vergeleken met de willekeurige baseline (0,333), wat suggereert dat het model naar het UU-regime is verschoven.
Ablatie: Vergeleken met het basismodel vertoonde het SIC-getunede model een relatieve verbetering van 3,6% in ROUGE-L scores op retrieval-gegronde generatie (0,0436 vs. 0,0421), waarbij 27% van de samples positieve delta's vertoonde.

5. Betekenis en Beperkingen

Betekenis:
Het paper demonstreert dat "expliciete epistemische structurering" een leerbare en meetbare capaciteit is. Door modellen te trainen om SIC's te produceren, stelt het framework LLM's in staat om gracieus te degraderen bij de grenzen van kennis in plaats van te confabuleren. Dit dient als een pre-retrieval planner voor Retrieval-Augmented Generation (RAG) systemen, waarbij het veld "retrieval query" een gerichte zoekstring biedt die geworteld is in een expliciete diagnose van het kennisgat.

Beperkingen:

Probe Nauwkeurigheid: De paraphrase-divergence probe behaalde slechts 44,9% nauwkeurigheid in de drieweg-classificatie, waarbij de grens tussen KK en KU ambigu bleef.
Domein Dekking: De UU-dataset is beperkt tot zeven vooraf gedefinieerde domeinen en dekt mogelijk niet opkomende interdisciplinaire velden.
Reward Proxy: De retrieval utility beloning vertrouwt op ROUGE-L tegen geconcateneerde conceptstrings, wat een lexicale proxy is die semantische equivalentie mogelijk niet volledig vangt.
Generalisatie: Experimenten waren beperkt tot één enkele 14B modelfamilie (Qwen3); generalisatie naar andere schalen en architecturen blijft ongetest.
Integratie: End-to-end integratie van SIC-outputs in een live RAG-pipeline werd in dit werk niet geëvalueerd.

De auteurs concluderen dat hoewel het SIC-framework meetbare winst laat zien in epistemische structurering, toekomstig werk rijkere probe-features, uitgebreidere domeintaxonomieën, embedding-gebaseerde beloningen en bredere modelarchitecturen moet verkennen.