Technische Samenvatting: SurgiQ

Probleemstelling

Betrouwbare evaluatie van Large Language Models (LLMs) binnen het domein van chirurgie is nog onderontwikkeld. Hoewel bestaande medische benchmarks (bijv. MedQA-USMLE, MedMCQA) effectief breed klinisch en biomedisch kennis testen, slagen ze er vaak niet in de specifieke complexiteiten van chirurgisch redeneren te vatten. Chirurgie vereist procedurele sequentie, intraoperatieve anatomische kennis, intraoperatief oordeelsvermogen, perioperatief management en het vermogen om de optimale optie te selecteren tussen klinisch plausibele alternatieven. Bovendien hebben recente chirurgische benchmarks zich primair gericht op multimodale perceptie (visueel begrip van chirurgische scènes, instrumenten en workflows) in plaats van bron-gegrondde tekstuele beoordeling van chirurgische kennis en operatieve besluitvorming over verschillende specialismen heen. Er is een gebrek aan een grootschalige, tekstuele benchmark die in staat is om chirurgisch redeneren en kalibratie in open-weight LLMs te evalueren.

Methodologie

Dataset Constructie (SurgiQ)

De auteurs presenteren SurgiQ, een tekstuele, bron-gegronde benchmark bestaande uit 13.055 vieroptie meerkeuzevragen (MCQs).

• Bronnen: De dataset is geconstrueerd uit 27 chirurgische tekstboeken, 635 open-access wetenschappelijke artikelen en examenmateriaal voor chirurgie.
• Domeinen: De vragen beslaan zes chirurgische specialismen: Algemene Chirurgie (53,2%), Neurochirurgie (16,9%), Robotchirurgie (12,6%), Orthopedische Chirurgie (9,1%), Critical Care/Spoedeisende Hulp (4,5%) en Laparoscopische Chirurgie (3,8%).
• Vraagformaten: De dataset bevat vier verschillende formaten om verschillende redeneercapaciteiten te testen:
  1. Casus-gebaseerd: Klinische scenario's die een beslissing vereisen.
  2. Redenering: Vragen die stapsgewijze logische deductie vereisen.
  3. Beste-optie: Het selecteren van de optimale keuze tussen gedeeltelijk correcte alternatieven.
  4. Negatief: Het identificeren van uitspraken die inconsistent zijn met de huidige bewijsvoering (omgaan met negatie).

Generatie Pipeline

De dataset werd gegenereerd met behulp van een meerfasige pipeline gebouwd op Gemini 2.5 Flash:

1. Extractie: Ruwe tekstuele inhoud wordt geëxtraheerd uit brondocumenten, georganiseerd in gestructureerde segmenten (hoofdstukken/pagina's) en schoongemaakt van niet-tekstuele elementen.
2. Feit-extractie & Generatie: Hoogwaardige feiten worden geëxtraheerd uit tekstsegmenten, die vervolgens worden gebruikt om klinisch gegronde MCQs te genereren. Prompts zijn ontworpen om stapsgewijs redeneren aan te moedigen en triviale herinnering te vermijden.
3. Verificatie & Filtering: Een uniforme pipeline voert antwoordverificatie, kwaliteitsfiltering, regelgebaseerde controles en deduplicatie uit.
   • De initiële generatie produceerde 17.068 kandidaten.
   • 4.013 kandidaten (23,5%) werden verwijderd vanwege problemen zoals gebrek aan onderbouwing, ambiguïteit, foutieve opties of inconsistenties tussen antwoord en label.
   • De definitieve set bevat 13.055 vragen.
4. Kwaliteitscontrole: Een audit door artsen van 300 willekeurig gekozen vragen bevestigde een antwoordcorrectheid van 92% en een duidelijkheid van 90%. De inter-annotator overeenstemming was substantieel (Fleiss' κ = 0,84 voor correctheid).

Evaluatieprotocol

De auteurs hebben 35 open-weight LLMs geëvalueerd onder een uniforme, deterministische zero-shot en few-shot framework.

• Modellen: De evaluatie omvatte algemene, biomedische en redeneringsgerichte families (bijv. Qwen2.5, LLaMA-gebaseerd, Mistral, DeepSeek-R1-Distill, MedGemma).
• Scoring: Voorspellingen werden berekend met behulp van log-likelihood over de antwoordopties (A, B, C, D) in plaats van autoregressieve sampling om determinisme te garanderen. De optie met de hoogste log-waarschijnlijkheid werd geselecteerd.
• Metrieken: De primaire metriek is nauwkeurigheid (accuracy). Secundaire analyses omvatten kalibratie (Expected Calibration Error, Brier score), domeinprestaties en foutenpatroonanalyse.

Belangrijkste Bijdragen

1. Dataset: SurgiQ biedt 13.055 bron-gegronde chirurgische MCQs met metadata, die zes domeinen en vier vraagtypen beslaat, vrijgegeven als een versieerbare publieke bron.
2. Validatie: De kwaliteit van de benchmark wordt vastgesteld door artsen-audits, menselijke chirurgische baselines, near-duplicate analyse en robuustheidstests, wat bevestigt dat de dataset niet kan worden opgelost door oppervlakkige heuristieken.
3. Evaluatie: Een uitgebreide beoordeling van 35 open-weight LLMs met behulp van een uniform log-likelihood protocol, vergezeld van kalibratie-, domein- en foutenanalyses.
4. Bevindingen: De studie laat zien dat algemene modellen vaak beter presteren dan gespecialiseerde biomedische modellen in chirurgisch redeneren, en dat zelfs hoogpresterende modellen moeite hebben met kalibratie bij klinisch plausibele distractoren.

Resultaten

Modelprestaties

• Top Performers: Qwen2.5-72B behaalde de hoogste algemene nauwkeurigheid met 68,1%, gevolgd door HuatuoGPT-o1-70B (65,45%) en Meerkat-70B (65,19%).
• Algemeen vs. Gespecialiseerd: Algemene modellen (specifiek Qwen2.5) presteerden beter dan de meeste biomedisch gespecialiseerde modellen. Dit suggereert dat de huidige medische specialisatie nog niet voldoende brede chirurgische dekking biedt en dat breed redeneervermogen cruciaal is.
• Model Schaal: Grotere modellen presteerden over het algemeen beter dan kleinere modellen. Kleinere modellen (2B–9B parameters) presteerden vaak rond de 25% random baseline, wat de moeilijkheidsgraad van de taak benadrukt.
• Menselijke Baseline: Op een handmatig gecontroleerde subset van 300 vragen behaalden menselijke chirurgen een nauwkeurigheid van 89,1%, wat aanzienlijk hoger is dan de beste LLM (51,3% op dezelfde subset), wat aangeeft dat de benchmark nog lang niet verzadigd is.

Vraagtype en Domeinanalyse

• Vraagtypen: "Beste-optie" vragen waren consequent het meest uitdagend vanwege de aanwezigheid van meerdere gedeeltelijk correcte alternatieven. "Negatieve" vragen vertoonden een hoge variantie tussen modellen, wat wijst op problemen met het hanteren van logische negatie.
• Domeinen: Orthopedische Chirurgie was het laagst scorende domein (gemiddelde nauwkeurigheid van 49,23% over alle modellen), aanzienlijk lager dan andere domeinen. Laparoscopische Chirurgie scoorde ook lager dan Neurochirurgie.

Kalibratie en Foutanalyse

• Kalibratie: Zelfs sterke modellen vertoonden kalibratiekloven. Qwen2.5-72B was licht onderbevestigd, terwijl Meerkat-70B aanzienlijk overbevestigd was (ECE = 0,120).
• Foutpatronen: Kwalitatieve analyse van fouten toonde aan dat fouten zelden te wijten waren aan eenvoudige feitelijke herinnering. In plaats daarvan waren de primaire foutmodi:
  1. Verwarring tussen klinisch plausibele "beste-optie" distractoren (39%).
  2. Negatie/uitzonderingsfouten (34%).
  3. Oppervlakkige cue-anchoring (21%).
• Few-Shot Learning: Het toevoegen van few-shot voorbeelden leverde inconsistente winst op; voor sommige modellen (bijv. Qwen2.5-72B) verbeterde één voorbeeld de prestaties door de vormgeving af te stemmen, maar extra voorbeelden leidden niet tot consistente verbeteringen.

Betekenis en Claims

Het artikel positioneert SurgiQ als een complementaire evaluatie-as voor bestaande multimodale chirurgische benchmarks. De primaire betekenis ligt in:

• Identificeren van Gaten: Het aantonen dat de huidige medische specialisatie in LLMs onvoldoende is voor chirurgisch redeneren en dat breed algemeen redeneren momenteel effectiever is.
• Betrouwbaarheidszorgen: Het benadrukken dat een hoge nauwkeurigheid niet gelijkstaat aan betrouwbaarheid, aangezien sterke modellen frequent "zelfverzekerde fouten" maken bij klinisch plausibele distractoren.
• Benchmark Standaard: Het bieden van een gecontroleerde, tekstuele omgeving om de vereiste capaciteit te meten om te kunnen differentiëren tussen chirurgische beslissingen, verschillend van inzetbaarheid in de praktijk.

De auteurs stellen expliciet dat SurgiQ geen klinisch beslissingsondersteunend systeem is en dat prestaties op deze MCQs geen klinische competentie of veiligheid in de echte chirurgische setting vaststellen. De benchmark is bedoeld om de ontwikkeling van chirurgische LLMs met bredere dekking en betere betrouwbaarheid te stimuleren via rigoureuze, bron-gegronde evaluatie.