💬 NLP

Human-AI Co-design for Clinical Prediction Models

Het artikel introduceert HACHI, een iteratief human-in-the-loop-framework dat AI-agenten gebruikt om interpreteerbare concepten uit klinische aantekeningen snel te verkennen en te verfijnen via deskundige feedback, waardoor de ontwikkeling van nauwkeurigere en meer generaliseerbare klinische voorspellingsmodellen wordt versneld terwijl de cruciale rol van menselijk toezicht bij het sturen van de AI wordt benadrukt.

Oorspronkelijke auteurs: Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de ultieme, gebruiksvriendelijke checklist probeert te bouwen voor een arts om te voorspellen of een patiënt ziek gaat worden. Traditioneel gezien is het bouwen van een dergelijke checklist als het monteren van een complex meubelstuk terwijl je geblinddoekt bent, met een team van experts die erover discussiëren welke schroeven ze moeten gebruiken, hoe strak ze moeten worden aangedraaid en welke instructies ze moeten volgen. Het duurt eeuwen, vereist een enorm team en vaak is het eindproduct te ingewikkeld om daadwerkelijk te gebruiken in een druk ziekenhuis.

Dit artikel introduceert een nieuwe manier om deze checklists te bouwen, genaamd HACHI. Denk aan HACHI als een "Mens + AI"-danspartnerschap. In plaats van dat de mensen al het zware werk doen en de AI daar alleen maar bij zit, werken ze samen in een lus waarbij de AI het zware verkenningswerk doet en de mensen het schip besturen.

Zo werkt het HACHI-partnerschap, met behulp van eenvoudige analogieën:

Het Probleem: De "Oneindige Bibliotheek"

Artsen hebben toegang tot miljoenen pagina's aan ongestructureerde aantekeningen (zoals handgeschreven krabbels of getypte paragrafen) over patiënten. Deze aantekeningen bevatten een "oneindige bibliotheek" aan potentiële aanwijzingen (concepten) over wat een patiënt ziek maakt.

De Oude Manier: Een menselijk team probeert door deze aantekeningen te lezen en te raden welke aanwijzingen belangrijk zijn. Ze kunnen de belangrijkste aanwijzingen missen of aanwijzingen kiezen die er op papier goed uitzien, maar in de praktijk niet werken.
De AI-alleen Weg: Je zou een superintelligente AI (een Large Language Model) kunnen laten alle aantekeningen lezen en de aanwijzingen laten kiezen. Maar de AI kan in de war raken, vreemde aanwijzingen kiezen (zoals "de dokter schreef met blauwe inkt" in plaats van "de patiënt heeft koorts"), of het grote plaatje missen omdat de AI niet begrijpt waarom de medische situatie zo is.

De Oplossing: De HACHI-dans

HACHI lost dit op door de AI en de mensen om de beurt te laten werken in een lus.

De AI-Agent (De Verkenner): De AI wordt de "oneindige bibliotheek" van aantekeningen in gestuurd. Zijn taak is om razendsnel te scannen, potentiële aanwijzingen te vinden en deze om te zetten in eenvoudige Ja/Nee-vragen (bijv. "Zegt de aantekening dat de patiënt hoofdpijn heeft?"). Vervolgens test de AI deze vragen om te zien welke het beste helpen bij het voorspellen van de ziekte.
Het Menselijke Team (De Coaches): De mensen kijken naar de resultaten van de AI. Zij treden op als coaches. Zij kunnen zeggen:
- "Hé, je hebt een aanwijzing gekozen over de 'stijl van het schrijven van de aantekening', maar dat is valsspelen. Laten we alleen kijken naar de werkelijke symptomen van de patiënt."
- "Je bent het type operatie vergeten! Dat is een enorme factor. Ga op zoek naar dat."
- "Deze aanwijzing is te vaag. Laten we de vraag specifieker maken."
De Lus: De mensen geven deze feedback, en de AI gaat weer de wereld in om betere aanwijzingen te vinden op basis van de nieuwe instructies. Ze herhalen dit een paar keer (meestal 3 of 4 rondes) totdat de checklist perfect is.

Praktijkvoorbeelden uit het artikel

Het team heeft dit getest op twee specifieke medische problemen:

1. Voorspellen van hersenletsel bij kinderen (TBI)

Het Doel: Beslissen welke kinderen met hoofdletsel een CT-scan (die straling gebruikt) nodig hebben en welke niet.
De Eerste Fout van de AI: De AI dacht aanvankelijk dat de aanwijzing "Wordt de Glasgow Coma Scale vermeld in de aantekening?" een goede aanwijzing was. De mensen zeiden: "Nee! Dat is slechts een aanwijzing over hoe de arts de aantekening heeft geschreven, niet over de conditie van de patiënt." Ze ontdekten ook dat de AI per ongeluk gegevens gebruikte van patiënten die al in andere ziekenhuizen waren gescand (data leakage).
De Oplossing: De mensen vertelden de AI om de schrijfstijlen van de aantekeningen te negeren en deze specifieke patiënten te verwijderen.
Het Resultaat: De uiteindelijke checklist was simpel, accuraat en vond zelfs een nieuwe aanwijzing die de oude methoden gemist hadden: "Heeft het kind een normaal looppatroon?" (Als een kind na een klap op het hoofd normaal loopt, is de kans groot dat het wel goed gaat).

2. Voorspellen van nierletsel na een operatie (AKI)

Het Doel: Voorspellen of een patiënt nierbeschadiging krijgt na een algemene chirurgische ingreep.
De Eerste Fout van de AI: De AI keek alleen naar het lichaam van de patiënt (zoals gewicht of bloeddruk) en negeerde de operatie zelf.
De Oplossing: De mensen zeiden tegen de AI: "Stop! Het type operatie is net zo belangrijk. Kijk ook naar de specifieke details zodat verschillende artsen de vragen op dezelfde manier interpreteren."
Het Resultaat: De uiteindelijke checklist bevatte zaken als "Is de operatie spoed?" en "Heeft de patiënt een hartslag boven de 100?". Dit maakte het model veel nauwkeuriger dan eerdere modellen.

Waarom dit ertoe doet

Het artikel beweert dat HACHI sneller en beter is dan de oude manieren omdat:

Het is Snel: Het team besteedde slechts ongeveer 1–2 uur per ronde aan het beoordelen van het werk van de AI.
Het is Helder: De uiteindelijke modellen zijn simpelweg lijsten met Ja/Nee-vragen die elke arts kan begrijpen en gebruiken zonder computer.
Het is Betrouwbaar: Omdat mensen in de loop zitten, vangen zij de fouten van de AI op (zoals data lekken of vreemde correlaties) voordat het model voltooid is.

Kortom, HACHI is als het hebben van een supersnelle, superintelligente stagiair (de AI) die al het onderzoek doet, terwijl de ervaren artsen (de mensen) de stagiair begeleiden om ervoor te zorgen dat het uiteindelijke rapport accuraat, eerlijk en daadwerkelijk nuttig is. Het artikel laat zien dat dit partnerschap betere medische voorspellingsinstrumenten creëert dan zowel de mensen als de AI alleen zouden kunnen bouwen.

Technische Samenvatting: Human-AI Co-design voor Klinische Voorspellingsmodellen (HACHI)

Probleemstelling

De ontwikkeling van veilige, effectieve en praktisch bruikbare klinische voorspellingsmodellen (Clinical Prediction Models, CPM's) vereist traditioneel een iteratieve samenwerking tussen klinische experts, datawetenschappers en informatici. Hoewel eenvoudige, volledig interpreteerbare modellen (bijv. op regels gebaseerde scores) de voorkeur genieten in de klinische praktijk vanwege hun gemakkelijke implementatie en controleerbaarheid, zijn ze moeilijk op schaal te ontwikkelen. Het proces is tijd- en resource-intensief omdat het verfijning van cruciale details vereist, zoals featureselectie en de definitie van klinische categorieën.

Deze uitdaging wordt verergerd bij het integreren van informatie uit ongestructureerde klinische aantekeningen. Deze aantekeningen bevatten een essentieel oneindig aantal concepten (bijv. variaties op de geschiedenis van "roken"), waardoor handmatige exploratie van alle mogelijke features onhaalbaar is. Hoewel recente Large Language Models (LLM's) concepten kunnen extraheren en klinisch redeneren kunnen nabootsen, opereren bestaande AI-agent benaderingen vaak in isolatie. Zonder externe sturing van domeinexperts kunnen deze agenten concepten aanleren die te simplistisch zijn, een gebrek aan klinische geloofwaardigheid hebben of lijden onder datalekken (data leakage), wat resulteert in modellen die niet vertalen naar de klinische praktijk. Bovsamen bestaat er een "kloof van verbeelding" (gulf of envisionment) waarbij klinische teams aanvankelijk niet de helderheid hebben om exacte taakinstructies voor een AI-agent te specificeren, wat een iteratief proces noodzakelijk maakt om doelen af te stemmen.

Methodologie: Het HACHI-framework

De auteurs introduceren HACHI (Human+Agent Co-design for Healthcare Instruments), een iteratief, human-in-the-loop framework ontworpen om de ontwikkeling van volledig interpreteerbare CPM's te versnellen. HACHI wisselt af tussen een AI-agent die kandidatenconcepten verkent en een klinisch AI-team dat feedback geeft om het leerproces te verfijnen.

Kerncomponenten

Conceptdefinitie: Concepten worden gedefinieerd als eenvoudige, menselijk interpreteerbare ja/nee-vragen (bijv. "Vermeldt de aantekening dat de patiënt...?") die binnen lineaire modellen worden gebruikt.
De AI-agent Loop (Inner Loop): De agent voert een greedy hill-climbing procedure uit om $k$ $k$ concepten te selecteren die de voorspellende nauwkeurigheid maximaliseren. Dit omvat drie stappen:
- Initialiseren: De agent extraheert kernwoorden uit klinische aantekeningen en stelt initiële $k$ conceptvragen voor op basis van wereldkennis en kernwoorden.
- Voorstellen: Met behulp van een bag-of-words model op de trainingsdata identificeert de agent kernwoorden die geassocieerd zijn met de uitkomst en stelt nieuwe kandidaat-conceptvragen voor.
- Evalueren: De agent annoteert klinische aantekeningen voor elk kandidaatconcept, past een CPM toe (met behulp van lasso-gepenaliseerde logistische regressie) en evalueert de prestaties op een validatieset. Het best presterende concept vervangt de huidige positie.
De Klinische AI-team Loop (Outer Loop): Het team beoordeelt de resultaten van de ronde van de AI-agent via een PHI-conforme webinterface. Zij geven directionele feedback door:
- Vrije tekstprompts aan te passen (bijv. het veranderen van de prefix van vragen om ervoor te zorgen dat ze patiëntkenmerken extraheren in plaats van de schrijfstijl van de aantekening).
- Criteria voor datainclusie aan te passen (bijv. het verwijderen van patiënten met eerdere CT-resultaten om datalekken te voorkomen).
- Statistische instrumenten aan te passen (bijv. het toevoegen van steekproefgewichten om onbalans tussen locaties aan te pakken).
- Klinische priors af te dwingen (bijv. eisen dat de tekens van coëfficiënten overeenkomen met de klinische intuïtie).

Implementatie

Het framework werd toegepast op twee reële taken bij UCSF:

Traumatisch Hersenletsel (TBI): Het voorspellen van een TBI-diagnose bij kinderen die presenteren met hoofdtrauma.
Acuut Nierfalen (AKI): Het voorspellen van postoperatief AKI bij volwassen patiënten in de algemene chirurgie.

Het proces vereiste doorgaans 3–4 rondes van iteratie om een bevredigend model te bereiken.

Belangrijkste Resultaten

Casestudy 1: Traumatisch Hersenletsel (TBI)

Prestaties: Het uiteindelijke HACHI-model behaalde een AUC van 0,91 totaal, waarmee het de standaard PECARN-regel (AUC 0,75) en een single-round brainstorming-benadering (AUC 0,88) overtrof.
Iteratieve verbeteringen:
- Ronde 1: Behaalde een hoge AUC (0,92) maar vertrouwde op spuriële correlaties (bijv. "vermelding GCS in de aantekening") en datalekken (patiënten met eerdere CT-resultaten).
- Ronde 2: Na het verwijderen van eerdere CT-gevallen en het verfijnen van de prompts om te focussen op patiëntkenmerken, daalde de AUC naar 0,90, maar werden de concepten klinisch valide.
- Ronde 3: Coëfficiënten werden afgestemd op klinische priors (bijv. ervoor zorgen dat een normale GCS een negatieve coëfficiënt heeft).
- Ronde 4: Pakte generalisatieproblemen aan tussen twee ziekenhuiscampussen (Oakland versus Mission Bay) door steekproefgewichten te introduceren. Dit verbeterde de Mission Bay AUC van 0,71 naar 0,80 terwijl de algehele prestaties behouden bleven.
Nieuwigheid: Het uiteindelijke model bevatte een nieuw kenmerk: "Heeft de patiënt een normaal gangbeeld?" wat niet in de standaard PECARN-regels zat.

Casestudy 2: Acuut Nierfalen (AKI)

Prestaties: Het uiteindelijke HACHI-model behaalde een AUC van 0,73 op de interne validatieset en 0,76 op een temporeel gescheiden testset (Periode 2). Dit presteerde beter dan het Kheterpal-model (AUC ~0,65) en een single-round brainstorming-benadering (AUC 0,70).
Iteratieve verbeteringen:
- Ronde 1: Richtte zich alleen op patiëntkenmerken (AUC 0,60).
- Ronde 2: Breidde de focus uit naar chirurgische risicofactoren (bijv. type chirurgie), wat de AUC verbeterde naar 0,70.
- Ronde 3: Verfijnde conceptdefinities om meer precies te zijn (bijv. het definiëren van "actieve systemische infectie" met voorbeelden) en voegde medicatiefactoren toe. Dit verhoogde de AUC naar 0,73 en verbeterde de temporele generaliseerbaarheid.
Nieuwigheid: Het model identificeerde factoren die niet vaak in interpreteerbare AKI-scores voorkomen, zoals "minimaal invasieve chirurgie" (beschermend), "tachycardie" en "slaapapneu".

Belangrijkste Bijdragen

Framework voor Co-design: HACHI demonstreert dat betekenisvolle samenwerking tussen klinische AI-teams en AI-agenten hoogpresterende, interpreteerbare modellen kan produceren die superieur zijn aan zero-shot AI-benaderingen of traditionele handmatige feature engineering.
Overbruggen van de "Kloof van Verbeelding": Het framework adresseert het initiële gebrek aan helderheid in taakspecificatie door een iteratieve feedbackloop te gebruiken. Dit stelt teams in staat om de capaciteiten van de AI-agent geleidelijk af te stemmen op klinische doelstellingen door prompts, data en evaluatiemetrieken in de loop van de tijd te verfijnen.
Ontdekking van Nieuwe Predictoren: Het proces bracht klinisch relevante concepten aan het licht die vaak worden weggelaten uit standaard CPM's (bijv. gangbeeld bij TBI, minimaal invasieve chirurgie bij AKI), terwijl bekende predictoren werden herwonnen.
Efficiëntie: Het framework is efficiënt en vereist slechts 1–2 uur teamreview per ronde; 3–4 rondes zijn voldoende om een robuust model te bereiken.
Interpreteerbaarheid en Vertrouwen: Door concepten te definiëren als ja/nee-vragen en elke stap menselijke controle toe te staan, zorgt het framework ervoor dat de resulterende modellen transparant, controleerbaar en klinisch geloofwaardig zijn.

Betekenis en Claims

Het artikel beweert dat HACHI een praktisch pad biedt voor de ontwikkeling van lokale, interpreteerbare CPM's die zijn afgestemd op specifieke patiëntenpopulaties en institutionele contexten. In tegenstelling tot complexe black-box modellen zijn door HACHI afgeleide modellen eenvoudig genoeg voor implementatie aan het bed (mentale rekenkunde of snelle dossiercontrole) en kunnen ze worden gecontroleerd door domeinexperts.

De auteurs benadrukken dat menselijk toezicht essentieel is, niet alleen voor validatie, maar ook voor het vormgeven van het ontwikkelingsproces op manieren die AI-agenten alleen niet kunnen bereiken—specifiek het identificeren van datalekken, het corrigeren van spuriële correlaties, het waarborgen van eerlijkheid tussen locaties en het verfijnen van de granulariteit van concepten. Het framework is ontworpen om toegankelijk te zijn en vereist enkel toegang tot klinische aantekeningen, een PHI-conforme LLM en begeleiding van een klinisch AI-team.

Het artikel sluit af met voorzichtige claims over implementatie: hoewel retrospectieve validatie sterke prestaties liet zien, is prospectieve validatie in real-time klinische workflows nog vereist. Daarnaast hangt de kwaliteit van de modellen af van de extractienauwkeurigheid van de LLM en de specifieke documentatiepraktijken van de instelling. De auteurs positioneren HACHI als een stap naar het democratiseren van de creatie van hoogwaardige, interpreteerbare klinische instrumenten zonder de prohibitieve middelenkosten van traditionele ontwikkeling.