Technische Samenvatting: AI Consilium – Een Benchmark voor Klinische Multidisciplinaire Tweede Opinies via LLM's

Probleemstelling

Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in het genereren van differentiaaldiagnoses voor complexe klinische casussen, vereist een hoogwaardige klinische tweede opinie meer dan alleen diagnostische nauwkeurigheid. Het moet feitelijk onderbouwd, klinisch coherent, actiegericht en veilig zijn. Bestaande evaluaties vertrouwen vaak uitsluitend op diagnostische overeenstemming of behandelen multi-agent systemen als monolithische "black boxes", waarbij ze er niet in slagen de specifieke bijdragen van modelidentiteit, responsstructuur (vrije vorm versus gestructureerd) en het syntheseproces van elkaar te onderscheiden. Bovendien ontbreekt een rigoureuze empirische validatie voor de aanname dat multidisciplinaire deliberatie inherent de uitkomsten verbetert, met name wanneer dit wordt vergeleken met rekenkracht-gematchte baselines en geïsoleerde rol-specifieke opinies. Er is behoefte aan een benchmark die het volledige traject van een klinische tweede opinie evalueert—van onafhankelijke rol-specifieke analyse tot multidisciplinaire synthese—terwijl er onderscheid wordt gemaakt tussen de kwaliteit van de redenering, de uiteindelijke conclusie en het behandelplan.

Methodologie

De auteurs hebben een benchmark ontwikkeld met behulp van 300 diagnostisch opgeloste klinische casussen uit de NEJM–MedQA dataset (Case Records of the Massachusetts General Hospital). Het studieontwerp omvat een driefasige generatiepipeline en een multidimensionaal evaluatiekader.

1. Data en Pipeline-ontwerp

• Dataset: 300 unieke casussen werden gesplitst in 110 casussen voor arts-annotatie en LLM Judge-kalibratie, en 190 casussen voor gehouden evaluatie (held-out evaluation).
• Generatiepipeline:
  • Roltoewijzing: Voor elke casus worden 1–5 klinische rollen (bijv. Radiologie, Endocrinologie) toegewezen, met één aangewezen primaire rol.
  • Pre-Consilium Fase: Elke rol genereert een onafhankelijke tweede opinie onder twee condities: Vrije vorm (narratief) en Gestructureerd (schema-beperkt met specifieke secties zoals syndromen, mechanismen en beheer).
  • Interactieve Consilium Fase: Een interactief protocol synthetiseert de rol-specifieke opinies. Rollen beoordelen een gedeeld rapport iteratief (tot 5 rondes), waarbij ze met "ja" of "nee" stemmen inclusief kritiek. Een moderator lost onenigheid op, en een finalizer produceert een geconsolideerd verslag op casusniveau.
• Modellen: Acht verschillende single-model pipelines werden geëvalueerd op de gehouden set (DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B). In de kalibratieset werd een 3+1 procedure gebruikt waarbij drie werkermodellen opinies genereerden en een vierde (GLM-5.2) deze synthetiseerde.

2. Evaluatiekader

• Referentie door artsen: Zes artsen met interdisciplinaire expertise beoordeelden de outputs op een schaal van 0–3 over acht criteria van responskwaliteit:
  1. Feitelijke juistheid en bronverankering
  2. Identificatie en prioritering van klinische problemen
  3. Volledigheid en relevantie van datagebruik
  4. Coherentie van klinische redenering
  5. Kwaliteit van de differentiaaldiagnose
  6. Kwaliteit van de uiteindelijke klinische conclusie
  7. Rechtvaardiging en specificiteit van het beheer (management)
  8. Klinische veiligheid
  • Speciale regel: Elke gefabriceerde klinisch significante feit resulteert in een score van 0 voor feitelijke verankering en beperkt gerelateerde criteria tot maximaal 1.
• Geautomatiseerde Judge: Een door artsen gekalibreerde LLM Judge (GPT-OSS-120B) werd geoptimaliseerd met behulp van evolutionaire algoritmen (GigaEvo) om de Mean Absolute Error (MAE) ten opzichte van de beoordelingen van artsen voor elk criterium onafhankelijk te minimaliseren.
• Metrieken: De studie analyseert modelidentiteit, responsformaat, bijdragen van de synthese-fase, deliberatiedynamiek (consensusrondes) en inferentiekosten (tokengebruik).

Belangrijkste Bijdragen

1. Dual-Checkpoint Benchmark: De eerste benchmark die zowel op zichzelf staande rol-specifieke opinies als de uiteindelijke multidisciplinaire synthese als afzonderlijke klinische producten op dezelfde casussen evalueert, waardoor de waarde van synthese geïsoleerd kan worden.
2. Multidimensionaal Kwaliteitskader: Een door artsen ontwikkende rubric die de kwaliteiten van feitelijke verankering, redenering, beheer en veiligheid scheidt, waarmee verder wordt gegaan dan eenvoudige diagnostische overeenstemming.
3. Gecontroleerde Vergelijking: Een ontwerp dat onafhankelijk modelidentiteit, responsstructuur en synthesefasen varieert om hun effecten te ontrafelen, inclusief een vergelijking van rekenintensieve multi-agent interactie tegenover single-model baselines.
4. Gekalibreerd Judge-systeem: Een op criterium niveau gekalibreerd LLM Judge-systeem dat schaalbare evaluatie van open eind klinische tweede opinies biedt, gevalideerd tegen artsenbeoordelingen voor specifieke dimensies.

Resultaten

• Dominantie van Modelidentiteit: Modelidentiteit was de sterkste voorspeller van de kwaliteit van het rapport. GPT-5.6-Sol leidde elke geëvalueerde component (rol-redenering, rol-opinie en uiteindelijke conclusies) in zowel vrije vorm als gestructureerde formaten. Het prestatieverschil tussen de beste en slechtste modellen (ongeveer 0,4–0,5 punten) overtrof aanzienlijk de verschillen veroorzaakt door het responsformaat binnen een enkel model.
• Waarde van Synthese: De volledige gestructureerde synthese behaalde hogere gepoolde Judge-scores dan de pre-consilium primaire rol-opinie over alle gedeelde criteria. De grootste verbeteringen werden waargenomen in problemprioritering, feitelijke verankering en redeneercoherentie, wat aangeeft dat de synthese-fase uiteenlopende perspectieven effectief integreert in een meer georganiseerd klinisch verslag.
• Impact van Structuur: Gestructureerde eindrapporten vertoonden hogere gemiddelden dan vrije vorm rapporten in zeven van de acht modelpipelines. Dit voordeel werd primair gedreven door een significante verbetering in beheer (2.740 vs. 2.436), wat suggereert dat gestructureerde prompting de actiegerichtheid en planning bevordert in plaats van uniform alle klinische dimensies te verbeteren.
• Deliberatiedynamiek: Het interactieve protocol bereikte consensus in 97,8% van de gevallen. Echter, langere review-trajecten (meer rondes) correleerden niet met hogere eindscores. GPT-5.6-Sol behaalde de hoogste kwaliteitsscores met de minste review-rondes (gemiddeld ~1,2 rondes), wat aantoont dat een sterke initiële prestatie gecombineerd met snelle convergentie effectiever is dan uitgebreide deliberatie.
• Inferentiekosten: Gestructureerde pipelines vereisten aanzienlijk meer tokens (ongeveer 26,5k extra tokens per casus) dan vrije vorm pipelines, wat wijst op een afweging tussen de marginale winst in de kwaliteit van het beheer en de computationele kosten.

Betekenis en Claims

Het artikel claimt dat de AI Consilium benchmark succesvol de nuances van klinische tweede opinies vangt die diagnostische nauwkeurigheid alleen mist. Het demonstreert dat:

1. Multidisciplinaire synthese waarde toevoegt: Het proces van het aggregeren en herzien van rol-specifieke opinies transformeert geïsoleerd materiaal naar een kwalitatief betere, geïntegreerde tweede opinie, met name in prioritering en coherentie.
2. Keuze van model doorslaggevend is: De identiteit van het onderliggende LLM is een kritischere factor bij het bepalen van de kwaliteit van een klinische tweede opinie dan het specifieke responsformaat of de complexiteit van het deliberatieprotocol.
3. Structuur de actiegerichtheid bevordert: Gestructureerde prompting verbetert specifiek de kwaliteit van de behandelplannen, waardoor de output actiegerichter wordt, hoewel dit gepaard gaat met verhoogde inferentiekosten.
4. Efficiëntie van convergentie: Hoogwaardige modellen kunnen snel consensus bereiken, wat suggereert dat excessieve deliberatierondes niet noodzakelijkerwijs leiden tot betere klinische uitkomsten.

De auteurs concluderen dat hoewel de benchmark een uitgebreid kader biedt voor het vergelijken van toekomstige modellen en synthese-strategieën, prospectieve studies nog steeds noodzakelijk zijn om de impact van deze systemen op de werkelijke klinische besluitvorming en patiëntuitkomsten vast te stellen. De studie benadrukt het belang van het evalueren van klinische kwaliteit, procedurele convergentie en inferentiekosten als complementaire uitkomsten, in plaats van te vertrouwen op diagnostische nauwkeurigheid als enige proxy.