Technische Samenvatting: Mind the Gap – Benchmarking van LLM-onzekerheid en Kalibratie in Klinische QA

Probleemstelling

De implementatie van Large Language Models (LLM's) in klinische domeinen met een hoog risico, zoals klinisch vraag beantwoorden (QA), wordt gehinderd door de neiging van de modellen tot overmatige zelfverzekerdheid (overconfidence). Betrouwbare Onzekerheidskwantificering (Uncertainty Quantification, UQ) is cruciaal voor veilige inzetbaarheid, wat niet alleen discriminatie vereist (het vermogen om correcte van incorrecte voorspellingen te onderscheiden) maar ook kalibratie (de afstemming tussen de voorspelde zekerheid en de werkelijke nauwkeurigheid).

Bestaande literatuur faalt vaak in het volledig adresseren van UQ in klinische settings. Eerdere studies zijn vaak beperkt tot:

• Beperkte sets verouderde modellen, waarbij recente redeneergerichte en domeinspecifieke LLM's ontbreken.
• Geaggregeerde metrieken die prestatievariaties over specifieke medische specialismen en vraagtypen verhullen.
• Een gebrek aan systematische vergelijking tussen verschillende UQ-paradigma's (score-gebaseerd versus set-gebaseerd) en modelarchitecturen (algemeen doelgericht versus biomedisch versus redenerend).
• Een focus op classificatietaken, waardoor de uitdagingen van onzekerheid in natuurlijke taalgeneratie (NLG) grotendeels onverkend blijven in klinische contexten.

Methodologie

De auteurs voerden een uitgebreide benchmark uit over 10 open-source LLM's (inclusclusief algemeen gerichte, biomedische en redeneergerichte modellen) en representatieve propriëtaire modellen. De evaluatie maakte gebruik van twee primaire datasets: S-MedQA (dekking van 6 veelvoorkomende medische specialismen) en MedExQA (dekking van 5 minder frequente specialismen), wat in totaal 1.810 vragen betreft.

Data-annotatie

Er is een nieuw annotatieschema geïntroduceerd om QA-paren toe te wijzen aan 6 verschillende vraagtypen: Diagnose, Behandeling, Diagnostische Test, Definitie, Procedure/Operatie en Overig. Dit maakt een granulaire analyse mogelijk van hoe taakcomplexiteit en onzekerheidsprofielen verschuiven binnen klinische contexten.

Methoden voor Onzekerheidsschatting

De studie evalueerde vier categorieën UQ-benaderingen:

1. Score-gebaseerd (Single-pass):
   • Logit-gebaseerd: Gemiddelde token-niveau waarschijnlijkheid (greedy decoding) en G-NLL (negative log-likelihood van de greedily gedecodeerde output).
   • Linguïstische Zekerheid: Een tweestapsbenadering waarbij het model een antwoord genereert en vervolgens een scalaire zekerheidsscore toekent.
2. Consistentie-gebaseerd (Sampling-gebaseerd):
   • Semantische Entropie: Genereert meerdere reacties (10 per vraag), groepeert ze op basis van de gekozen optie en berekent de entropie van de resulterende distributie.
3. Set-gebaseerd:
   • Conformal Prediction: Construeert voorspellingssets door reacties te samplen om een streefwaarde voor marginale dekking (90%) te bereiken.
4. Gedragskenmerken (Nieuwe Casusstudie):
   • Een lichtgewicht, single-pass methode die linguïstische aanwijzingen extraheert uit redeneersporen (reasoning traces) van redeneergerichte modellen (bijv. DeepSeek-R1, s1.1). Kenmerken omvatten het aantal reasoning-tokens, zelfgestelde vragen en het voorkomen van het token "Wait". Deze kenmerken worden gevoed aan een gesuperviseerd kalibratieregressiemodel om onzekerheid te voorspellen.

Evaluatiemetrieken

Prestaties werden beoordeeld met behulp van:

• Discriminatie: Area Under the Receiver Operating Characteristic Curve (AUROC).
• Kalibratie: Expected Calibration Error (ECE) en Brier Score.
• Set-gebaseerde Metrieken: Empirische dekking en gemiddelde setgrootte.

Belangrijkste Resultaten

1. Heterogeniteit over Specialismen en Vraagtypen

Onzekerheidsbetrouwbaarheid is geen monolithische eigenschap. Significante variaties werden waargenomen:

• Specialisme: Prestaties fluctueren drastisch over de 11 klinische specialismen. Zo presteerden alle modellen nabij het niveau van toeval bij vragen over Spraak- en Taalpathologie, terwijl redeneermodellen uitblonken in Pediatrie en Infectieziekten.
• Vraagtype: "Procedure/Operatie" vragen bleken het meest uitdagend, waarbij alle modellen onderpresteerden. Daarentegen waren "Definitie" vragen het makkelijkst.
• Ontkoppeling: Hoge nauwkeurigheid garandeert geen goede kalibratie of discriminatie. Bijvoorbeeld, het kleinste model (Llama-3.2-3B) behaalde in sommige specialismen de hoogste AUROC ondanks een lage nauwkeurigheid, terwijl grotere modellen soms overconfident waren (hoge nauwkeurigheid maar slechte kalibratie).

2. Prestaties van UQ-methoden

• Semantische Entropie: Leverde consistent de sterkste algehele prestaties in zowel kalibratie als discriminatie over alle modellen heen, hoewel dit meerdere generaties (sampling) vereist.
• Single-pass Methoden: De meeste single-pass methoden (bijv. Avg Token LogProb, G-NLL) slaagden er niet in om zowel goede kalibratie als discriminatie tegelijkertijd te bereiken. G-NLL presteerde ondermaats ondanks eerder succes in niet-klinische QA.
• Gedragskenmerken: De nieuwe methode die gebruikmaakt van gedragskenmerken uit redeneersporen (bijv. "Wait" tokens) bereikte een prestatie die dicht bij die van Semantische Entropie lag, maar dan met slechts een enkele forward pass. Dit biedt een lichtgewicht, interpreteerbaar alternatief voor latentiegevoelige toepassingen.
• Modeltypen: Redeneergerichte modellen (DeepSeek-R1, s1.1) vertoonden over het algemeen superieure nauwkeurigheid en kalibratie. Biomedische modellen toonden voordelen op kleinere schaal (8B), maar presteerden niet consequent beter dan algemeen gerichte modellen op grotere schaal (70B).

3. Conformal Prediction

Set-gebaseerde methoden toonden aan dat hoge nauwkeurigheid niet automatisch vertaalt naar betrouwbare setdekking.

• DeepSeek-R1-70B bereikte de beste balans, met een dekking van 93,8% met compacte sets.
• Llama-3.1-70B kwam tekort voor de streefwaarde van 90% (85,5%), wat duidt op overconfidence en een slechte generalisatie van score-gebaseerde metrieken naar set-gebaseerde betrouwbaarheid.
• Llama3-OpenBioLLM-70B behaalde een hoge dekking (90,1%), maar met grotere setgroottes, wat wijst op conservatisme, en slaagde er niet in de doelen te halen in specifieke categorieën zoals Infectieziekten.

Belangrijkste Bijdragen

1. Granulaire Benchmarking: De eerste grootschalige evaluatie van UQ-methoden over 11 klinische specialismen en 6 vraagtypen, die aantoont dat geaggregeerde metrieken cruciale betrouwbaarheidsverschillen verhullen.
2. Uitgebreide Modelvergelijking: Een systematische vergelijking van algemeen gerichte, biomedische en redeneergerichte LLM's, waarbij wordt benadrukt dat domeinspecifieke tuning geen superieure onzekerheidsschatting garandeert.
3. Nieuwe Gedragsmatige Proxy: Introductie van een lichtgewicht, single-pass onzekerheidsschattingmethode gebaseerd op redeneersporen, die de prestaties van resource-intensieve sampling-methoden benadert.
4. Paradigma Vergelijking: Demonstratie van de mismatch tussen score-gebaseerde en set-gebaseerde onzekerheidsschattingen, wat het belang van een veelzijdige evaluatie onderstreept.

Betekenis en Claims

Het artikel stelt dat onzekerheidsbetrouwbaarheid contextafhankelijk is en aanzienlijk varieert per klinisch specialisme en vraagtype. De auteurs beweren dat "one-size-fits-all" evaluaties onvoldoende en potentieel misleidend zijn voor klinische inzet met een hoog risico.

De primaire bijdrage is een waarschuwende maar constructieve visie:

• Waarschuwing: Geaggregeerde metrieken kunnen gevaarlijke overmatige zelfverzekerdheid in specifieke subdomeinen verbergen.
• Constructie: De voorgestelde methode met gedragskenmerken biedt een praktisch, interpreteerbaar pad voor de echte wereld van klinische besluitvormingsondersteuning waar sampling onhaalbaar is.

De auteurs positioneren dit werk als een eerste stap naar het ontwikkelen van LLM's die zowel accuraat als betrouwbaar zijn in klinisch gebruik, waarbij zij pleiten voor evaluaties die rekening houden met specifieke klinische contexten in plaats van te vertrouwen op globale gemiddelden. Zij benadrukken dat toekomstig werk de betrokkenheid van clinici moet omvatten om te valideren welke onzekerheidssignalen het beste aangeven wanneer menselijk toezicht nodig is.