Technische Samenvatting: PhenoAgent

Probleemstelling

Klinische fenotype-informatie is voornamelijk ingebed in ongestructureerde, vrije tekst in elektronische patiëntendossiers (EPD's), wat een aanzienlijke barrière vormt voor gestructureerde queries bij cohortselectie en werving voor klinische studies. Hoewel computationele fenotypering essentieel is voor secundair gebruik van EPD's (bijv. onderzoek, kwaliteitsverbetering), kampen bestaande methoden met beperkingen:

• Standaardqueries en trefwoordmatching hebben moeite met synoniemen, negatie en complexe contextuele uitdrukkingen.
• Regelgebaseerde en op woordenboeken gebaseerde methoden vereisen uitgebreide handmatige curatie en missen flexibiliteit voor ad-hoc samengestelde fenotypes (bijv. "hartfalen behandeld met ECMO").
• Machine learning-benaderingen zijn vaak afhankelijk van taakspecifieke fine-tuning en geannoteerde datasets, wat routineuze klinische implementatie beperkt.
• Generatieve Large Language Models (LLM's) bieden veelbelovende mogelijkheden, maar worden geconfronteerd met praktische beperkingen in klinische omgevingen, specifiek met betrekking tot patiëntprivacy (wat het gebruik van cloud-gebaseerde API's beperkt) en de noodzaak van lokale, privacy-bewarende implementatie binnen de firewalls van ziekenhuizen.
• Niet-Engelse contexten, in het bijzonder de Japanse klinische tekst, presenteren unieke uitdagingen vanwege meerdere schrijfsystemen, instellingsspecifieke afkortingen en niet-gesegmenteerde formuleringen, met minder beschikbare geannoteerde bronnen vergeleken met het Engels.

Methodologie: Het PhenoAgent-framework

De auteurs stellen PhenoAgent voor, een lokaal inzetbaar, driefasig agentisch LLM-framework dat is ontworpen om samengestelde klinische fenotypes te extraheren uit vrije Japanse tekst in EPD's, zonder afhankelijk te zijn van cloudservices of taakspecifieke annotatie.

1. Gestructureerde Query-decompositie

In plaats van een klinische query direct tegen een dossier te verwerken, deelt PhenoAgent een klinische query $Q$ eerst op in een gestructureerd JSON-schema $S_k$. Dit schema somt de vereiste constituerende medische concepten op die nodig zijn om de query te beantwoorden en wijst aan elk een Booleaanse waarde toe. Deze stap beperkt de daaropvolgende extractie-taak en vermindert ambiguïteit, waardoor het systeem complexe combinaties van diagnose, behandeling en comorbiditeit kan afhandelen zonder per query fine-tuning te vereisen.

2. Zelfcorrigerende Semantische Evaluatie

Het framework evalueert elk klinisch dossier $C$ tegen het schema $S_k$ met behulp van open-weight LLM's.

• Proces: Het model genereert een JSON-object met binaire waarden en vrije-tekst rationales voor elk veld in het schema.
• Validatie: De outputs worden gevalideerd tegen het vereiste JSON-schema. Als de validatie faalt (bijv. door een slecht gevormde JSON), activeert het systeem een zelfcorrigerende lus, waarbij hetzelfde model opnieuw wordt aangeroepen met een herinnering aan het formaat. Er zijn maximaal twee pogingen toegestaan (in totaal drie pogingen).
• Fallback: Als er na de pogingen geen geldige output wordt verkregen, worden onopgeloste velden op negatief gezet. Dit mechanisme, geïnspireerd door het Reflexion-framework, lost het merendeel van de formateringsfouten op.

3. Unanieme Ensemble-stemming

Om stabiliteit te garanderen en modelspecifieke hallucinaties te verminderen, maakt PhenoAgent gebruik van een ensemble van drie verschillende open-weight LLM's: GPT-OSS-20B, DeepSeek-32B en Llama-3.1-Swallow-70B.

• Beslisregel: Een geval wordt geclassificeerd als positief alleen wanneer alle drie de constituerende modellen unaniem overeenstemmen dat elk vereist veld in het schema positief is.
• Rationale: Deze conservatieve stemregel geeft prioriteit aan precisie boven sensitiviteit, filtert onstabiele voorspellingen uit en zorgt ervoor dat alleen hoog-betrouwbare extracties worden geaccepteerd.

Implementatiedetails

• Implementatie: De volledige pijplijn draait lokaal op een enkele werkstation (Apple M4 Max met 128GB unified memory) met behulp van 8-bit gekwantiseerde modellen via het MLX-framework. Er worden geen externe API-aanroepen gedaan.
• Datasets: Geëvalueerd op twee onafhankelijke Japanse spoedeisende hulp-datasets:
  • TUH-DEM: 842 opnames van het Tohoku University Hospital (2022–2023).
  • OUH-DEM: 196 opnames van het Okayama University Hospital (2023–2024).
• Referentielabels: De grondwaarheid werd vastgesteld via concordantie tussen twee artsen. Een dossier werd als positief gelabeld als twee onafhankelijke artsen in opleiding tot specialist (board-certified emergency physicians) beide oordeelden dat het overeenkwam met de query.

Belangrijkste Resultaten

Prestatie-metrieken

PhenoAgent werd getest tegen drie informatie-retrieval baselines (Keyword Search, Semantic Search met ICD-10 expansie, BM25) en zes single-LLM baselines.

• Macro F1-scores:
  • TUH-DEM (Intern): PhenoAgent behaalde een macro F1 van 71,6 (95% BI 66,5–75,7). Dit kwam overeen met de inter-arts overeenstemming F1 van 71,4 en overtrof de beste single-LLM baseline (GPT-OSS-20B op 67,3) en de informatie-retrieval baselines (Semantic Search op 47,9) met 24–34 punten.
  • OUH-DEM (Extern): PhenoAgent behield een macro F1 van 71,1 (95% BI 68,6–73,8), wat de generaliseerbaarheid aantoont over verschillende instellingen met verschillende documentatiepraktijken. Het presteerde beter dan de informatie-retrieval baselines met 35–43 punten.
• Overeenkomst (Cohen's $\kappa$):
  • PhenoAgent behaalde $\kappa$-waarden van 0,69 (TUH-DEM) en 0,68 (OUH-DEM), wat aanzienlijk hoger is dan keyword search ($\approx$0,38–0,44) en single-LLM baselines (variërend van 0,31 tot 0,61).
• Precisie-sensitiviteit Trade-off:
  • PhenoAgent behield een hoge precisie (70,5% in TUH-DEM, 78,8% in OUH-DEM) die vergelijkbaar is met keyword search, maar bereikte een aanzienlijk hogere sensitiviteit (76,5% vs. 34,0% voor keyword search in TUH-DEM).
  • De unanieme stemstrategie resulteerde in een conservatief voorspellingsprofiel, waarbij de nadruk lag op hoog-betrouwbare extracties. Hoewel single LLM's in sommige gevallen van externe validatie een hogere sensitiviteit behaalden, bleef de precisie van PhenoAgent robuust.

Specifieke Observaties

• Zeldzame Fenotypes: Het framework presteerde goed op zeldzame fenotypes (prevalentie <5%), hoewel de prestaties varieerden voor klinisch ambigue condities zoals sepsis, waarbij bewijs vaak impliciet of afgeleid is van klinische trajecten in plaats van expliciete termen.
• Zelfcorrectie: De zelfcorrigerende lus loste 84–99% van de JSON-formateringsfouten op, wat bijdroeg aan een verbetering van 1,3 punt in de macro F1 in de TUH-DEM dataset.
• Modelselectie: Het ensemble van algemene modellen (geselecteerd via een uitgebreide zoektocht) presteerde competitief ten opzichte van gespecialiseerde medische modellen (bijv. MedLLM-72B), wat suggereert dat instructie-opvolging en gestructureerde outputgeneratie cruciaal zijn voor deze taak.

Betekenis en Claims

De auteurs beweren dat PhenoAgent aantoont dat agentische LLM-workflows flexibele, privacy-bewarende fenotype-extractie uit vrije Japanse tekst in EPD's kunnen ondersteunen.

De belangrijkste bijdragen zijn:

1. Lokale Inzetbaarheid: Het framework werkt volledig binnen door het ziekenhuis beheerde omgevingen met behulp van open-weight modellen, wat kritieke barrières wegneemt met betrekking tot patiëntprivacy, datagovernance en netwerkbeperkingen.
2. Flexibiliteit zonder Fine-Tuning: Door gestructureerde query-decompositie kan het systeem samengestelde fenotypes (diagnose + behandeling/comorbiditeit) afhandelen zonder per query fine-tuning of uitgebreide ontologie-engineering te vereisen.
3. Prestatie gelijkwaardig aan experts: De prestaties van het systeem benaderen het niveau van de inter-rater consistentie waargenomen tussen menselijke artsen, wat suggereert dat het een betrouwbaar hulpmiddel kan dienen voor klinische onderzoekscohortselectie.
4. Robuustheid in Niet-Engelse Contexten: De succesvolle toepassing op Japanse EPD's valideert de aanpak voor omgevingen waar geannoteerde datasets en klinische taalbronnen beperkt zijn.

De conclusie van het artikel is dat hoewel de unanieme stemregel een precisie-georiënteerd systeem creëert dat geschikt is voor onderzoekscohortselectie (waarbij fout-positieven de handmatige beoordeling verhogen), het framework modulair is. Het kan zich aanpassen aan verschillende precisie-sensitiviteit balansen (bijv. via meerderheidsstemming) en sterkere lokale modellen integreren zodra deze beschikbaar komen, en dient zo als een praktische brug tussen de vooruitgang in algemene purpose LLM's en betrouwbare klinische onderzoeksinfrastructuur.