Technische Samenvatting: Automatisering van Multimodaal Evidentiezoeken voor Agentische Klinische Redenering

1. Probleemstelling

Huidige klinische ondersteuningssystemen voor beslissingen, gebaseerd op Large Language Models (LLM's) en agentische frameworks, vertrouwen grotendeels op een paradigma van "gecurateerde evidentie". In bestaande benchmarks en workflows worden relevante patiëntgegevens (bijvoorbeeld specifieke EHR-tabellen, geselecteerde radiologierapporten of samengevatte casuïstieken) vooraf geselecteerd en aan het model overhandigd voordat de inferentie plaatsvindt. Dit wijkt af van de klinische praktijk in de echte wereld, waar clinici actief evidentie moeten zoeken, plannen en synthetiseren uit heterogene bronnen, waaronder ruwe Elektronische Gezondheidsdossiers (EHR's), medische beeldvorming en externe medische kennis.

De kernuitdaging ligt niet enkel in het redeneren over gegeven evidentie, maar in het bepalen waar evidentie moet worden opgehaald, wat er moet worden opgehaald, en hoe deze uiteenlopende signalen kunnen worden geïntegreerd tot een onderbouwde beslissing. Bestaande agentische EHR-systemen missen vaak de reikwijdte om multimodale data (tekst + afbeeldingen) te verwerken, of vertrouwen op vaste patronen voor toolgebruik die niet adaptief zijn voor de specifieke behoeften van een klinische vraag.

2. Methodologie: ClinSeekAgent

De auteurs introduceren ClinSeekAgent, een geautomatiseerd agentisch framework dat is ontworpen om klinische redenering te verschuiven van passieve evidentieconsumptie naar actieve evidentieacquisitie.

2.1 Framework-architectuur

ClinSeekAgent functioneert als een dynamische pijplijn waarbij de agent interactie heeft met een uniforme toolruimte om evidentie iteratief te verzamelen. Gegeven een klinische vraag ($q$), een patiëntidentificatie ($p$) en een referentietijdstip ($t$), voert de agent het volgende uit:

1. Toegang tot Heterogene Bronnen: Het queryt ruwe EHR-databases, repositories voor medische beeldvorming en externe kennisbanken.
2. Iteratieve Planning: De agent observeert de taak en de eerdere interactiegeschiedenis ($h_{k-1}$) om de volgende actie ($a_k$) te bepalen, die een toolaanroep of een definitieve voorspelling kan zijn.
3. Synthese: Het integreert de opgehaalde evidentie om hypothesen te verfijnen en een onderbouwde klinische beslissing te genereren.

2.2 Toolruimte

Het framework blootstelt 20 tools over drie complementaire domeinen:

• EHR-oproep (11 tools): Omvat schema-inspectie, temporele oproep, SQL-gebaseerde query's (ehr.run_sql_query) en grounding van kandidaat-termen. Hierdoor kan de agent de EHR behandelen als een programmeerbare database in plaats van een statisch tekstblok.
• Webzoekopdrachten (3 tools): Browser-tools voor het verwerven van externe medische kennis (bijvoorbeeld medicijindicaties, taxonomieën).
• Medische Beeldvorming (6 tools): Tools voor DICOM-voorverwerking, classificatie van borstfoto's (CXR), rapportgeneratie, grounding van zinsdelen en anatomische segmentatie.

2.3 Evaluatiebenchmarks

Om het framework te valideren, hebben de auteurs ClinSeek-Bench opgezet, dat bestaande benchmarks koppelt aan twee instellingen voor dezelfde taak:

• Gecurateerde Invoer: Het model ontvangt vooraf geselecteerde, taakrelevante evidentie (wat eerder werk nabootst).
• Geautomatiseerd Evidentiezoeken: Het model ontvangt alleen de patiënt-ID en toegang tot de toolruimte van ClinSeekAgent, waardoor het de benodigde evidentie autonoom moet ophalen.

De benchmark omvat:

• Enkel-tekst EHR-taken: Afgeleid van EHR-Bench (45 subtaken over besluitvorming en risicovoorzegging).
• Multimodale taken: Aangepast van EHRXQA en MedMod (6 taakgroepen die integratie van CXR en EHR omvatten).

2.4 Trainingspijplijn

Naast evaluatie tijdens de inferentie gebruiken de auteurs ClinSeekAgent als een trainingspijplijn. Ze maken gebruik van een krachtig teacher-model (Claude Opus 4.6) om hoogwaardige trajecten voor evidentiezoeken te genereren (toolaanroepen en observaties). Deze trajecten worden gebruikt om een open-source model (Qwen3.5-35B-A3B) te finetunen via Supervised Fine-Tuning (SFT), wat resulteert in ClinSeek-35B-A3B.

3. Belangrijkste Resultaten

3.1 Prestaties tijdens Inferentie

Wanneer gekoppeld aan capabele agentische modellen, presteert ClinSeekAgent aanzienlijk beter dan de baseline met gecurateerde invoer, met name bij taken die schaarse of longitudinale evidentie vereisen.

• Enkel-tekst EHR: Claude Opus 4.6 verbeterde van 60,0 naar 63,2 overall F1. MiniMax M2.5 verbeterde van 43,1 naar 47,3.
• Risicovoorzegging: De winst was het meest uitgesproken bij risicovoorzegging (7 van de 9 modellen vertoonden positieve winst). Bijvoorbeeld, Claude Opus 4.6 zag een winst van +9,7 punten in risicovoorzeggingstaken.
• Multimodale taken: Het framework toonde aanzienlijke verbeteringen bij alle geëvalueerde modellen. Claude Opus 4.6 verbeterde van 47,5 naar 62,6 (+15,1 punten). Alle zes geëvalueerde modellen verbeterden op CXR-gerelateerde taken, met winst die wordt toegeschreven aan het vermogen van de agent om visuele evidentie (CXR-classificators/rapporten) te combineren met gestructureerde EHR-gegevens en externe kennis.

3.2 Prestaties tijdens Training

Het gedistilleerde model, ClinSeek-35B-A3B, behaalde state-of-the-art prestaties onder open-source modellen op de AgentEHR-Bench.

• Het verbeterde het basismodel Qwen3.5-35B-A3B van 22,1 naar 34,0 gemiddelde F1 (+11,9 punten).
• Het presteerde beter dan andere open-source baselines (bijvoorbeeld Kimi K2.5, MiniMax-M2.5) en benaderde de prestaties van het teacher-model, Claude Opus 4.6 (34,0 versus 36,0).
• Analyse van toolgebruik onthulde dat het gedistilleerde model een meer divers en flexibel ophaalbeleid leerde, met name door het gebruik van SQL-query's (ehr.run_sql_query) te verhogen van 2,0% naar 12,5% van de toolaanroepen, waardoor de EHR wordt behandeld als een database in plaats van te vertrouwen op vaste sjablonen.

3.3 Waargenomen Beperkingen

Het artikel merkt op dat het framework minder effectief is bij besluitvormingstaken in vergelijking met risicovoorzegging. Bij sommige besluitvormingstaken had de agent moeite om kritieke signalen te identificeren te midden van opgehaalde ruis, soms met een slechtere prestatie dan de baseline met gecurateerde invoer. Dit suggereert dat hoewel actief ophalen uitblinkt in het vinden van schaarse evidentie voor risico's, het bij complexe besluitvormingsscenario's soms excessieve irrelevante informatie kan ophalen.

4. Betekenis en Claims

Het artikel beweert dat ClinSeekAgent een paradigmaverschuiving vertegenwoordigt van passieve evidentieconsumptie naar actieve evidentieacquisitie. De betekenis hiervan ligt op drie gebieden:

1. Realisme: Het brengt AI-evaluatie in overeenstemming met klinische workflows in de echte wereld, waar evidentie niet voorverpakt is maar actief moet worden gezocht uit ruwe, heterogene bronnen.
2. Multimodale Integratie: Het toont aan dat agentische systemen de kloof effectief kunnen overbruggen tussen gestructureerde EHR-gegevens, ongestructureerde medische beeldvorming en externe kennis, waardoor klinische signalen worden hersteld die vaste contexten missen.
3. Schaalbaarheid: Het valideert dat hoogwaardige agentische trajecten kunnen worden gedistilleerd naar compacte open-source modellen, waardoor kleinere modellen complexe, langdurige klinische evidentiezoekopdrachten kunnen uitvoeren zonder dat er tijdens de inferentie tijd proprietary, grootschalige modellen nodig zijn.

De auteurs concluderen dat het automatiseren van het proces van evidentiezoeken een veelbelovende richting is voor het bouwen van flexibelere, onderbouwde en capabelere klinische AI-agenten, en zij verbinden zich ertoe hun model, data en code vrij te geven om toekomstig onderzoek te faciliteren.