Technische Samenvatting: Generalisatie van Verfijnde Onzekerheidscommunicatie en Metacognitie in Large Language Models

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in domeinen met een hoog risico, zoals de juridische sector, de medische wereld en het onderwijs. Een kritieke beperking in deze settings is dat modellen vaak feitelijk onjuiste informatie genereren met een hoge mate van zelfvertrouwen, wat gebruikers kan misleiden die niet beschikken over duidelijke signalen van onzekerheid. Hoewel LLM's mogelijk wel interne onzekerheidssignalen bezitten (bijv. token-waarschijnlijkheden of sampling-consistentie), slagen ze er vaak niet in deze signalen expliciet te communiceren op een gekalibreerde, interpreteerbare wijze. Huidige expliciete betrouwbaarheidsrapportage is vaak slecht afgestemd op de juistheid van het antwoord, en impliciete maten (zoals sampling-gebaseerde consistentie) vereisen toegang tot interne waarschijnlijkheden of veroorzaken hoge computationele kosten. Het centrale probleem dat wordt geadresseerd is of supervised fine-tuning de capaciteit van een LLM kan verbeteren om onzekerheid te communiceren, en of deze metacognitieve verbeteringen generaliseren over verschillende kennisdomeinen en verschillende metacognitieve taakformaten.

Methodologie

Modellen en Datasets

De studie maakte gebruik van twee representatieve modellen: GPT-4.1-mini en Llama3.1-70B-Instruct.

• Trainingsdomeinen: Drie datasets werden gebruikt voor de fine-tuning: MMLU-PRO (expert-niveau meerkeuze), GSM8K (basisschool wiskunde) en TriviaQA (korte antwoorden algemene kennis). Deze werden individueel en in combinatie (M+G+T) gebruikt.
• Out-of-Domain Evaluatie: Drie datasets werden exclusief gereserveerd voor het testen van de generalisatie: TruthfulQA (misconcepties), MetaMedQA (medisch redeneren) en LegalBench (juridisch redeneren).

Metacognitieve Taken

Twee complementaire taken werden geëvalueerd:

1. Single-Question Confidence Estimation: Het model geeft een numerieke betrouwbaarheidsscore (0–1) naast zijn antwoord. De prestaties worden gemeten aan de hand van Kalibratie (Expected Calibration Error, ECE) en Discriminatie (Area Under the Curve, AUC, en antwoordniveau meta-informatie, $meta-I^2_{r,ans}$).
2. Pairwise Confidence Comparison: Gegeven twee vragen, selecteert het model de vraag die het waarschijnlijker correct zal beantwoorden. De prestaties worden gemeten door AUCc (afstemming met referentie-consistentiescores) en AUCa (afstemming met de werkelijke juistheid van het antwoord).

Fine-Tuning Procedure

De auteurs maakten gebruik van supervised fine-tuning met behulp van consistentie-gebaseerde onzekerheidssignalen als trainingsdoelen.

• Doelgeneratie: Voor elke trainingsvraag werden $N=10$ onafhankelijke samples gegenereerd. Een consistentiescore werd berekend op basis van de proportie samples die overeenkomen met het modale antwoord.
• Kalibratie: Voor single-question taken werden consistentiescores in kaart gebracht naar empirische accuratesse (feitelijke kalibratie) om doelbetrouwwaardes te creëren. Kleine hoeveelheden ruis werden toegevoegd aan deze doelen om te voorkomen dat het model discrete bins memoriseert en om een vloeiendere rapportage te stimuleren.
• Trainingsvarianten: Modellen werden gefinetuned op:
  • Single-question betrouwbaarheid (S).
  • Pairwise vergelijking (C).
  • Beide taken gezamenlijk (C+S).

Evaluatiemetrieken

• Kalibratie (ECE): Meet het gat tussen de opgegeven betrouwbaarheid en de geobserveerde accuratesse.
• Discriminatie (AUC): Meet de waarschijnlijkheid dat een correct antwoord een hogere betrouwbaarheid krijgt dan een incorrect antwoord.
• Meta-Informatie: Kwantificeert de reductie in onzekerheid over de juistheid van het antwoord, gegeven de betrouwbaarheidsbin van het model.

Belangrijkste Bijdragen en Resultaten

1. Verbetering binnen Trainingsdomeinen

Supervised fine-tuning verbeterde zowel de kalibratie als de discriminatie aanzienlijk binnen de domeinen die voor training werden gebruikt.

• Kalibratie: Fine-tuning verminderde de ECE substantieel (bijv. $\Delta ECE = -0.57$ voor GPT-4.1-mini op binnen-domein tests). Modellen verschoven van overmoedige, geclusterde voorspellingen naar een breder scala aan betrouwbaarheidswaarden die in lijn zijn met de empirische accuratesse.
• Discriminatie: De AUC nam significant toe (bijv. $\Delta AUC = 0.17$), wat aangeeft dat de modellen beter werden in het toekennen van een hogere betrouwbaarheid aan correcte antwoorden en een lagere aan incorrecte antwoorden.
• Accuratesse: Cruciaal is dat de algehele antwoordaccuratesse stabiel bleef ($\Delta Accuracy \approx 0$), wat bevestigt dat de winst in discriminatie voortkwam uit een betere onzekerheidsschatting in plaats van verbeterde feitelijke juistheid.

2. Generalisatie over Domeinen

Modellen die gefinetuned zijn op de gecombineerde dataset (M+G+T) vertoonden verbeterde kalibratie en discriminatie bij evaluatie op out-of-domain benchmarks (TruthfulQA, MetaMedQA, LegalBench).

• Hoewel de winsten kleiner waren dan de verbeteringen binnen het domein, waren ze statistisch significant ($\Delta AUC = 0.05$, $\Delta ECE = -0.03$).
• Dit suggereert dat metacognitieve vaardigheden met betrekking tot onzekerheidscommunicatie kunnen worden overgedragen naar onbekende inhoud en antwoordformaten, inclus�els complexe medische en juridische redeneertaken.

3. Beperkte Transfer tussen Metacognitieve Taken

Een belangrijke bevinding is het gebrek aan bidirectionele transfer tussen de twee metacognitieve taken wanneer deze in isolatie worden getraind.

• Modellen die uitsluitend gefinetuned zijn op single-question betrouwbaarheid, vertoonden geen verbetering in pairwise vergelijkings-taken.
• Modellen die uitsluitend gefinetuned zijn op pairwise vergelijking, vertoonden geen verbetering in single-question betrouwbaarheidsschatting.
• Dit geeft aan dat absolute schatting en relatieve rangschikking worden geleerd als afzonderlijke metacognitieve routines in plaats van verschillende expressies van één enkel onderliggend onzekerheidssignaal.

4. Voordelen van Multitask Fine-Tuning

Multitask fine-tuning (C+S) produceerde een bredere generalisatie dan single-task training.

• Modellen die op beide taken tegelijkertijd zijn getraind, vertoonden superieure prestaties in cross-domain evaluaties vergeleken met single-task modellen.
• Bijvoorbeeld, op MetaMedQA behaalde het multitask-model een hogere AUC en een lagere ECE dan de single-task modellen.
• Dit suggereert dat gezamenlijke training de ontwikkeling van gedeelde interne representaties van onzekerheid stimuleert, waardoor de kloof tussen geïsoleerde metacognitieve routines wordt overbrugd.

5. Verschillen in Modelarchitectuur

Hoewel zowel GPT-4.1-mini als Llama-3.1-70B vergelijkbare trends vertoonden, waren er nuances aanwezig. Llama-3.1-70B profiteerde van multitask training voor single-question taken, maar vertoonde een lichte daling in de prestaties van pairwise vergelijking onder multitask fine-tuning vergeleken met single-task vergelijkings-training. Dit impliceert dat het vermogen om gedeelde onzekerheidsrepresentaties te vormen via multitask training kan variëren per modelarchitectuur.

6. Ablatie-studies

• Feitelijke Kalibratie: Het opnemen van de stap om consistentiescores in kaart te brengen naar empirische accuratesse verbeterde de kalibratie aanzienlijk (het verminderen van overmoed), maar veranderde de discriminatie (AUC) niet significant.
• Ruisinjectie: Het toevoegen van ruis aan de doelbetrouwbaarheidswaarden veranderde de geaggregeerde prestatiemetrieken niet, maar verhoogde de diversiteit van de door het model gerapporteerde betrouwbaarheidswaarden aanzienlijk, waardoor het outputen van enkel discrete, ronde getallen werd voorkomen.

Betekenis en Claims

Het artikel claimt dat onzekerheidscommunicatie in LLM's trainbaar is, maar dat de transfer tussen metacognitieve taken beperkt is zonder specifieke interventie.

• Trainbaarheid: Supervised fine-tuning met behulp van consistentie-gebaseerde signalen stemt de opgegeven betrouwbaarheid effectief af op de geobserveerde accuratesse, wat het risico op overmoedige fouten in scenario's met een hoog risico aanpakt.
• Domein-generalisatie: Deze verbeteringen dragen over naar onbekende domeinen (medisch, juridisch), wat suggereert dat onzekerheidscommunicatie niet strikt gebonden is aan specifieke kennisbases.
• Taak-specificiteit: De studie daagt de aanname uit dat metacognitieve vaardigheden monolithisch zijn. Het falen van single-task training om over te dragen naar andere metacognitieve formaten suggereert dat LLM's onderscheidende "routines" leren voor verschillende soorten onzekerheidsschatting.
• Multitask Oplossing: Het artikel stelt dat multitask fine-tuning een levensvatbare strategie is om deze beperkingen te overwinnen en gedeelde onzekerheidsrepresentaties te bevorderen die een bredere generalisatie ondersteunen.

De auteurs concluderen dat hoewel hun bevindingen veelbelovend zijn, ze beperkt zijn tot twee modelfamilies en specifieke taken. Ze pleiten voor verdere testen over diverse modelfamilies en een breder scala aan metacognitieve taken (bijv. onthouding/abstention, foutdetectie) om de generaliseerbaarheid van deze gedeelde onzekerheidsrepresentaties volledig te begrijpen.