Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support

Hier volgt een gedetailleerde technische samenvatting van het artikel "Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support".

Probleemstelling

Hoewel Large Language Models (LLM's) sterke prestaties hebben aangetoond op statische medische benchmarks (bijv. MedQA, USMLE-achtige examens) waarbij alle patiëntgegevens gelijktijdig worden verstrekt, is klinische diagnose in de praktijk een dynamisch, iteratief proces. Realistische diagnosestelling berust op het hypothetico-deductieve model, waarbij clinici actief hypothesen moeten formuleren en bewijs moeten zoeken via multi-turn interacties (anamnese, lichamelijk onderzoek, laboratoriumtests) onder omstandigheden van initiële informatieschaarste.

Huidige evaluatieparadigma's slagen er grotendeels niet in om dit vermogen tot "actief bewijs zoeken" te vangen. Statische, volledige context-benchmarks kunnen de prestaties van modellen in interactieve settings overschatten, omdat ze niet testen of een model kan beslissen welk bewijs moet worden aangevraagd, wanneer dit moet gebeuren, of hoe hypothesen moeten worden bijgewerkt op basis van gedeeltelijke informatie. Deze kloof creëert het risico dat modellen die goed presteren op statische tests, falen of hallucineren in realistische klinische beslissingssteunsystemen (CDSS) waar informatie incrementeel moet worden verkregen.

Methodologie: Het ROUNDS-Bench Framework

Om dit aan te pakken, introduceren de auteurs ROUNDS-Bench, een door een OSCE (Objective Structured Clinical Examination) geïnspireerd interactief framework dat is ontworpen om actief diagnostisch onderzoek te evalueren in een gecontroleerde, reproduceerbare omgeving.

1. Gestandaardiseerde Patiëntensimulator (SP-sim):

• Kernmechanisme: Een high-fidelity simulator (aangedreven door Qwen2.5-32B-Instruct) die de informati asymmetrie van echte arts-patiënt interacties nabootst.
• Informatie-afscherming: De simulator begint alleen met basisdemografie en de hoofdklacht. Het geeft daaropvolgend bewijs (symptoomdetails, bevindingen uit het lichamelijk onderzoek, laboratoriumresultaten) alleen vrij wanneer het model logische, specifieke klinische verzoeken indient (bijv. "Vraag om een thoraxfoto" of "Vraag naar familiegeschiedenis").
• Beperkingen: De interactie is strikt gecontroleerd. Modellen kunnen het proces niet omzeilen met alwetende queries. De dialoog is beperkt tot 10 beurten, en de simulator onthult pas de definitieve diagnose wanneer het model de sessie expliciet beëindigt.
• Reproduceerbaarheid: Het systeem gebruikt een deterministische temperatuur (0.0) en vaste zaden om ervoor te zorgen dat identieke invoer identieke uitvoer oplevert, waardoor de variabiliteit van open-ended chat-evaluaties wordt vermeden.

2. Dataset Constructie:

• Cohort: 468 gestandaardiseerde klinische gevallen die zes grote klinische systemen bestrijken (Cardiovasculair, Respiratoir, Gastro-Hepatobiliair, Neurologisch, Infectieziekten, Metabool/Nier/Genitourinair).
• Stratificatie: De gevallen zijn strikt gebalanceerd (78 per systeem) en afkomstig uit vier heterogene corpora: MedQA (USMLE-achtig), MedMCQA (Indiase examens), MedFound (afgeleid van MIMIC-III) en MedCaseReasoning (PMC casusrapporten). Dit zorgt voor diversiteit, van tekstboekachtige vragen tot complexe, ongestructureerde realistische verhalen.

3. Dual-Task Evaluatieprotocol:
De studie hanteert een within-subject ontwerp om de "Capaciteitskloof" te isoleren:

• Taak 1 (Volledige Context): Modellen ontvangen direct het volledige elektronische patiëntendossier. Dit vestigt de theoretische bovengrens van statische diagnostische bekwaamheid.
• Taak 2 (Actief Bewijs Zoeken): Modellen starten alleen met de hoofdklacht en moeten autonoom de multi-turn dialoog sturen om bewijs te verkrijgen voordat ze een diagnose stellen.

4. Evaluatiemetrics:

• Exacte Diagnostische Nauwkeurigheid: Strikte semantische equivalentie met de gold standard diagnose.
• Strenge Bewijskwaliteit (StrictEQ): Meet of het ondersteunende bewijs van het model volledig is geworteld in de informatie die daadwerkelijk tijdens de interactie is opgehaald. Het straft "Hallucinerend Redeneren" af (correcte diagnose zonder geldig ondersteunend bewijs).
• Volledig Ondersteunde Nauwkeurigheid (FSA): Het snijpunt van strikte nauwkeurigheid en strenge bewijskwaliteit.

5. Geëvalueerde Modellen:
15 state-of-the-art LLM's werden getest, variërend van 7B tot 32B+ parameters, inclusief propriëtaire modellen (Gemini-2.5-Pro, GPT-4o-mini), open-weights modellen (Qwen-serie, DeepSeek-serie, Llama-3, GLM-4) en redenerings-versterkte varianten (DeepSeek-R1-Distill).

Belangrijkste Resultaten

1. Significante Capaciteitskloof:
De overgang van passieve (Taak 1) naar actieve (Taak 2) diagnose resulteerde in een consistente prestatiedaling bij alle 15 modellen:

• Diagnostische Nauwkeurigheid: Gemiddeld gedaald met 12,75%.
• Bewijskwaliteit: Gemiddeld gedaald met 24,36%.
• Foutverdeling: Cases die in Taak 1 "Strikt Correct" waren, verschoften vaak direct naar "Fout" in Taak 2, in plaats van "Deels Correct" te worden. Dit geeft aan dat modellen onder onzekerheid niet conservatiever worden; in plaats daarvan construeren ze foutieve causale ketens op basis van onvoldoende bewijs.

2. Bewijskwaliteit versus Diagnostische Nauwkeurigheid (Hallucinerend Redeneren):
De daling in bewijskwaliteit was vaak steiler dan de daling in nauwkeurigheid.

• Hallucinerend Redeneren: Veel modellen produceerden correcte diagnoses zonder het benodigde discriminerende bewijs op te halen of te citeren. Bijvoorbeeld, Gemini-2.5-Pro had een nauwkeurigheid van 49,36% in Taak 2 maar slechts 42,52% StrictEQ, wat impliceert dat ongeveer 7% van zijn "correcte" diagnoses geen bewijsgrondslag had.
• Veiligheidsimplicatie: Deze ontkoppeling vormt een veiligheidsrisico voor CDSS, omdat "lucky guesses" niet auditabel zijn en niet door clinici kunnen worden geverifieerd.

3. Impact van Modelgrootte en Architectuur:

• Scaling Laws: Grotere modellen presteerden over het algemeen beter, met een log-lineaire verbetering in Taak 2 nauwkeurigheid. Zelfs de grootste modellen (bijv. Gemini-2.5-Pro, Qwen3-32B) slaagden er echter niet in om de kloof tussen statische en actieve prestaties te dichten.
• Redeneringsarchitecturen: Native redeneringsmodellen (bijv. Qwen3) toonden robuustheid in actief onderzoek. Echter, gedistilleerde redeneringsmodellen op kleinere schaal (bijv. DeepSeek-R1-Distill-7B/14B) presteerden slecht in Taak 2, wat suggereert dat redeneringsvermogens die zijn gedistilleerd uit statische Chain-of-Thought sporen, zich niet goed generaliseren naar proactief bewijs zoeken.

4. Domein- en Data-bron Variabiliteit:

• Resiliente Domeinen: Modellen presteerden relatief goed in Respiratoire en Cardiovasculaire systemen, waarschijnlijk vanwege gestandaardiseerde symptoom-teken koppelingen.
• Kwetsbare Domeinen: Er werd aanzienlijke fragiliteit waargenomen in Neurologische en Metabool/Nier systemen, die nuance vereisen in de lokalisatie van het lichamelijk onderzoek of complexe combinatorische interpretatie van laboratoriumtests.
• Data Bron: Modellen presteerden significant beter op gestandaardiseerde examengerelateerde data (MedQA/MedMCQA) dan op realistische casusrapporten (MedCaseReasoning). De prestaties op realistische data daalden voor veel modellen tot <35%, wat een bottleneck benadrukt bij het filteren van ruis en het extraheren van signalen uit ongestructureerde, hoog-entropische verhalen.

Belangrijkste Bijdragen

1. ROUNDS-Bench: Een reproduceerbaar, gecontroleerd benchmark voor actief diagnostisch onderzoek dat bewijsverkrijging scheidt van bewiessynthese, en zo de beperkingen van statische volledige context-evaluaties aanpakt.
2. Kwantificering van de Capaciteitskloof: De studie levert empirisch bewijs dat statische benchmarks de prestaties van LLM's in interactieve settings overschatten, met een blootlegging van een daling van ongeveer 12,75% in nauwkeurigheid en ongeveer 24,36% in bewijskwaliteit.
3. Identificatie van "Hallucinerend Redeneren": De introductie van de StrictEQ-metric benadrukt een kritiek veiligheidsrisico waarbij modellen tot correcte conclusies komen zonder geldig, traceerbaar bewijs, wat de auditbaarheid ondermijnt die nodig is voor klinisch vertrouwen.
4. Systematische Foutanalyse: Het artikel identificeert specifieke faalmodi, waaronder voortijdige diagnostische sluiting, inefficiënt vragen en het onvermogen van gedistilleerde redeneringsmodellen om zich te generaliseren naar actief onderzoek.

Betekenis en Claims

De auteurs claimen dat hun werk dient als een kritische aanvulling op bestaande statische evaluaties. Zij betogen dat hoge scores op licentie-achtige examens geen garantie bieden voor het vermogen van een model om veilig te functioneren in dynamische klinische workflows.

• Veiligheidswaarschuwing: Het artikel benadrukt dat voor Klinische Beslissingssteunsystemen "correcte" antwoorden die zijn afgeleid van "ongegrond" redeneren inherent onbetrouwbaar zijn. De waargenomen kloof suggereert dat huidige modellen mogelijk niet klaar zijn voor autonome inzet in settings die iteratief bewijsvergaren vereisen.
• Verschuiving in Evaluatie: De studie motiveert een transitie in medische AI-evaluatie van statische vraag-antwoord naar authentieke, dynamische interactie. Het roept op tot toekomstig onderzoek dat zich richt op het verbeteren van interactief bewijs zoeken, auditbaarheid en het vermogen om te beslissen wanneer er voldoende informatie is verzameld.
• Bescheiden Scope: De auteurs erkennen beperkingen, met name dat de simulatie sociopsychologische factoren abstracteert, alleen tekst is (zonder multimodale data zoals beeldvorming) en vertrouwt op een enkele referentiediagnose. Zij positioneren ROUNDS-Bench als een noodzakelijke stap naar veiligere, klinisch effectievere medische AI-agenten, en niet als een definitieve oplossing.