Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

Probleemstelling

Grote Taalmodellen (LLMs) hebben het potentieel om de gezondheidszorg te transformeren, bijvoorbeeld door klinische besluitvorming te ondersteunen. Een kritieke beperking is echter hun neiging tot "hallucinaties": het presenteren van onjuiste informatie met overtuigende terminologie en een onterechte hoge mate van zekerheid. In medische contexten, waar nauwkeurigheid cruciaal is, vormt dit een groot risico.

Het centrale probleem dat deze studie aanpakt, is de onbetrouwbaarheid van zelfgerapporteerde zekerheid (self-reported confidence) van LLMs. Hoewel het belangrijk is dat modellen hun onzekerheid kunnen kwantificeren om veilig in de kliniek te kunnen worden ingezet, is er onvoldoende bekend over hoe goed verschillende modelarchitecturen (zowel commercieel als open-source) hun eigen prestaties kunnen inschatten. Bestaande methoden voor onzekerheidsschatting (zoals token-probabiliteit of semantische verschillen) zijn vaak computationally intensief of vereisen gespecialiseerde datasets. Deze studie onderzoekt of de eenvoudigste methode – het vragen aan het model om zijn eigen zekerheid te rapporteren – betrouwbaar is voor gastro-enterologische vraagstukken.

Methodologie

De studie voerde een systematische evaluatie uit van 48 verschillende LLMs, waaronder 6 gekwantiseerde (gequantizeerde) en 42 basismodellen van zeven families: Qwen, Llama, Phi, Gemini, Gemma, Claude en GPT.

• Dataset: Er werden 300 meerkeuzevragen (MCQs) gebruikt uit de zelfevaluatie-examens van de American College of Gastroenterology (ACG) uit 2022. Deze vragen, ontwikkeld door experts, zijn zeldzaam in openbare datasets (achter een paywall), wat de kans op "data leakage" (dat het model de antwoorden al kent) minimaliseert.
• Experimenteel Ontwerp:
  • De modellen werden geprompt om een antwoord te geven en een zelfgerapporteerde zekerheidsscore (0-10) te leveren.
  • De prompts waren geoptimaliseerd via prompt-engineering (o.a. "expert mimicry", "Chain of Thought") om de nauwkeurigheid te maximaliseren.
  • De uitvoering vond plaats via diverse kanalen: webinterfaces, API's en lokaal gehoste hardware (bijv. RTX4090Ti, H100).
• Data-extractie: Een semi-automatische pipeline (met menselijke verificatie) haalde de antwoorden en zekerheidsscores uit de ongestructureerde tekst. Scores die niet werden vermeld, werden als ontbrekend gemarkeerd.
• Statistische Analyse:
  • Discriminatie: Gemeten met de AUROC (Area Under the Receiver Operating Characteristic curve). Dit geeft aan hoe goed het model kan onderscheiden tussen juiste en onjuiste antwoorden op basis van de zekerheidsscore.
  • Calibratie: Gemeten met de Brier-score en Expected Calibration Error (ECE). Dit meet de overeenkomst tussen de voorspelde zekerheid en de feitelijke nauwkeurigheid. Een perfecte calibratie betekent dat een model dat 80% zeker is, inderdaad 80% van de tijd gelijk heeft.
  • Analyse van trends: Er werd gekeken naar de relatie tussen zekerheid en vraagmoeilijkheid (gebaseerd op het percentage correcte antwoorden van menselijke kandidaten) en vraaglengte.

Belangrijkste Resultaten

De studie leverde de volgende cruciale bevindingen op:

1. Systematische Oververzekerdheid: Alle onderzochte modellen vertoonden een consistente neiging tot oververzekerdheid. De gemiddelde zekerheidsscores (ranging van 7,99 tot 9,58) lagen aanzienlijk hoger dan de feitelijke nauwkeurigheid (die varieerde van 30% tot 81,5%). Zelfs de beste modellen waren overtuigd van antwoorden die onjuist waren.
2. Prestaties van Discriminatie en Calibratie:
   • De AUROC-scores voor alle modellen bleven onder de drempel van 0,7 (de beste was GPT-o1 mini met 0,626), wat aangeeft dat ze slechts beperkt kunnen onderscheiden tussen juiste en onjuiste antwoorden.
   • Slechts vijf modellen behaalden een Brier-score die beter was dan willekeur: GPT-o1-preview (0,157), Claude-3.5-Sonnet (0,202), GPT-4o (0,206), en twee versies van Claude-3-Opus.
   • GPT-o1-preview had de beste calibratie (laagste ECE van 0,100), maar zelfs dit model was oververzekerd.
3. Invloed van Modelgeneratie: Nieuwere en grotere modellen (zoals GPT-o1, Claude-3.5) presteerden over het algemeen beter in zowel nauwkeurigheid als calibratie dan oudere versies. Dit suggereert dat calibratie een "emergent" vermogen is dat verbetert met schaal en training.
4. Gebrek aan Responsiviteit op Moeilijkheid: Een goed gekalibreerd model zou zijn zekerheid moeten verlagen naarmate de vragen moeilijker worden. De studie toonde echter aan dat de zekerheidsscores van de modellen stabiel bleven ongeacht de moeilijkheidsgraad van de vraag. Zelfs bij vragen die door menselijke kandidaten zelden correct werden beantwoord, bleven de LLMs hun hoge zekerheidsscore handhaven.
5. Problemen met Kwantisatie: Gekwantiseerde open-source modellen (bijv. Llama-3-8B-Q8) hadden vaak lagere nauwkeurigheid en slechtere calibratie dan hun niet-gekwantiseerde tegenhangers of gesloten modellen.

Belangrijkste Bijdragen

• Uitgebreide Vergelijking: Dit is een van de eerste studies die een breed scala aan LLM-families (commercieel, open-source, gekwantiseerd) systematisch test op hun vermogen tot zelfgerapporteerde zekerheid in een gespecialiseerd medisch domein.
• Kwantificering van het "Overconfidence"-probleem: De studie levert kwantitatief bewijs dat zelfs de meest geavanceerde LLMs (zoals GPT-o1) hun onzekerheid niet betrouwbaar kunnen communiceren, wat een fundamentele barrière vormt voor klinische implementatie.
• Validatie van Methodiek: De studie valideert een pipeline voor het extraheren van zekerheidsscores uit ongestructureerde tekst en toont aan dat de huidige "zero-shot" zelfrapportage onvoldoende is voor hoge-risico toepassingen.

Betekenis en Conclusie

De bevindingen hebben grote implicaties voor de toepassing van AI in de gezondheidszorg:

• Veiligheid: Het vertrouwen op zelfgerapporteerde zekerheid van LLMs voor klinische beslissingen is momenteel niet veilig. De systematische oververzekerdheid kan leiden tot het accepteren van foutieve diagnoses of behandelingen.
• Richting voor Toekomstig Onderzoek: Hoewel nieuwere modellen beter calibreren, is de prestatie nog steeds ontoereikend voor high-stakes medische toepassingen. De auteurs stellen dat gerichte training (bijv. few-shot learning, in-context learning) specifiek gericht op onzekerheidsschatting nodig is.
• Alternatieve Benaderingen: Omdat zelfrapportage tekortschiet, moeten er alternatieve methoden worden ontwikkeld, zoals het gebruik van externe validators, ensemble-methoden of het combineren van meerdere generaties, om betrouwbare onzekerheidsmetingen te verkrijgen.

Kortom, hoewel LLMs in de gastro-enterologie steeds nauwkeuriger worden, blijven ze "blind" voor hun eigen onzekerheid, wat een kritieke uitdaging blijft voor hun veilige integratie in de medische praktijk.