Implementation of Human-in-the-Loop ChatGPT-based Patient Screening Across Multiple Diverse Clinical Trials

Deze studie toont aan dat een door mensen gecontroleerde, op een groot taalmodel gebaseerde workflow voor het voorselecteren van patiënten voor klinische trials een hoge nauwkeurigheid en kostenefficiëntie biedt, terwijl automatisch leren op basis van feedback de screeningsefficiëntie verder verbetert.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken (de medische dossiers van patiënten) en je moet eruit halen welke boeken voldoen aan een heel specifieke, moeilijke lijst met regels om een exclusief boekclubje (een klinische proef) te mogen joinen.

Vroeger deden mensen dit handmatig. Ze moesten elk boek één voor één openen, lezen en vergelijken met de regels. Dit kostte enorm veel tijd, geld en energie, en vaak werden geschikte leden over het hoofd gezien of werden er veel ongeschikte mensen uitgenodigd die toch niet konden meedoen.

Dit artikel beschrijft hoe een team van artsen en tech-experts in Dallas een slimme robot-assistent (een Large Language Model of LLM, zoals een super-geavanceerde ChatGPT) heeft gebouwd om dit proces te versnellen. Maar ze hebben een belangrijke twist toegevoegd: de robot werkt nooit alleen. Er is altijd een menselijke supervisor bij.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Slimme Robot als "Voorkeur"

Stel je voor dat de robot een super-snelle bibliothecaris is die nooit slaapt.

• Wat hij doet: Hij scant duizenden patiëntdossiers in een paar seconden. Hij leest niet alleen de gestructureerde data (zoals "leeftijd: 50" of "bloeddruk: 120"), maar hij begrijpt ook de vrije tekst in artsennotities (zoals "patiënt heeft last van kortademigheid na inspanning").
• De taak: Voor elke patiënt kijkt hij naar de regels van de proef. Bijvoorbeeld: "Mag de patiënt geen chemotherapie hebben gehad?" of "Moet de tumor kleiner zijn dan 3 cm?".
• Het oordeel: De robot geeft voor elke regel een label:
  • ✅ Voltooid: "Ja, dit klopt zeker."
  • 🤔 Waarschijnlijk: "Het lijkt wel zo, maar ik zie het niet expliciet."
  • ❌ Niet voltooid: "Nee, dit klopt niet."
  • 🚫 Geen gegevens: "Ik kan hier niets over vinden in het dossier."

2. De Menselijke Supervisor (De "Human-in-the-Loop")

De robot is slim, maar niet perfect. Hij kan soms een grapje van een arts verkeerd interpreteren of een oude notitie verwarren met een nieuwe. Daarom werkt hij niet als een "black box" die beslissingen neemt.

• Het filter: De robot sorteert alle patiënten. Hij zegt tegen de menselijke coördinator: "Kijk, deze 100 mensen lijken wel geschikt (80% van de regels kloppen). Die anderen? Die zijn waarschijnlijk niet geschikt, dus laat ze even rusten."
• De controle: De menselijke coördinator kijkt alleen naar die top-lijst. Ze checkt of de robot gelijk had. Als de robot een fout maakt (bijvoorbeeld: "Deze patiënt heeft geen chemotherapie gehad", terwijl dat wel zo is), corrigeert de mens dat.
• De leerkracht: Dit is het slimste deel. Als de mens een fout corrigeert, leert de robot daarvan. Het systeem is zo gebouwd dat het deze feedback gebruikt om de volgende keer slimmer te zijn. Het is alsof je een stagiair hebt die elke dag een beetje beter wordt omdat jij hem corrigeert.

3. De Resultaten: Snel, Goedkoop en Slim

De onderzoekers hebben dit systeem getest bij 26 verschillende medische proeven (van kanker tot hart- en hersenaandoeningen) en 39.000 patiënten gecontroleerd.

• Succes: De robot was in 94% van de gevallen precies goed in het beoordelen van de regels.
• Kosten: Het kostte slechts $0,12 per patiënt om dit te doen. Dat is goedkoper dan een kopje koffie!
• Efficiëntie: Omdat de robot de "slechte" kandidaten eruit filtert, hoeven de menselijke coördinatoren niet meer urenlang te zoeken. Ze kunnen zich focussen op de mensen die écht kans maken.

4. Een Leuk Voorbeeld uit het Artikel

Stel je een proef voor voor een nieuw medicijn tegen een hersentumor. Een van de regels is: "De patiënt mag geen eerdere chemotherapie hebben gehad."

• Eerst: De robot dacht dat een patiënt die een experimenteel medicijn nam, geen chemotherapie had gehad. Hij gaf een "groen licht".
• De mens: De coördinator zag dat dit experimentele medicijn eigenlijk wel als chemotherapie telt voor deze proef. Ze corrigeerde de robot.
• Het resultaat: De robot leerde: "Ah, experimentele medicijnen tellen ook mee!" De volgende keer zag hij dat direct en gaf hij direct een "rood licht". De robot werd slimmer door de menselijke feedback.

Conclusie

Dit artikel laat zien dat je kunstmatige intelligentie niet hoeft te zien als een robot die mensen vervangt, maar als een krachtige hulpmiddel dat menselijke experts ondersteunt.

Het is als het hebben van een super-snelle, nooit-moe wordende assistent die de zware, saaie klus van het scannen van duizenden dossiers doet, zodat de menselijke artsen en coördinatoren hun tijd kunnen besteden aan het nemen van de echte, belangrijke beslissingen en het zorgen voor de patiënten. Het maakt het vinden van de juiste mensen voor medische proeven sneller, goedkoper en nauwkeuriger.

Technische samenvatting

Probleemstelling

Het handmatig screenen van patiënten voor klinische trials is een inefficiënt, tijdrovend en kostbaar proces. Dit leidt vaak tot onvoldoende werving (accrual), wat onderzoek vertraagt, de voorspellende kracht van resultaten beperkt en de kosten verhoogt. Traditionele methoden voor natuurlijke taalverwerking (NLP) vereisten vaak uitgebreide, taakspecifieke aanpassingen. Hoewel grote taalmodellen (LLM's) belofte tonen voor automatisering, zijn eerdere studies beperkt tot individuele trials of specifieke klinische gebieden, en ontbreekt er robuuste integratie van real-time menselijke feedback (Human-in-the-Loop) voor iteratieve verbetering.

Methodologie

De auteurs hebben een prospectief, schaalbaar workflow ontwikkeld en ingezet op een academisch medisch centrum (UT Southwestern) voor 26 actieve klinische trials (21 oncologisch, 5 niet-oncologisch).

1. Architectuur en Data-Verwerking:

• Data-Source: Elektronische Gezondheidsregistraties (EHR) van Epic, geëxtraheerd via Caboodle en Clarity.
• Retrieval-Augmented Generation (RAG): De workflow gebruikt een hiërarchische node-parser om documenten op te splitsen in paragrafen en zinnen. Voor elke patiënt wordt binnen een specifieke tijdsraam (meestal 0-180 dagen) relevante klinische tekst (consulten, pathologie, beeldvorming, labresultaten) opgehaald.
• Vector Database: Teksten worden omgezet in vectoren voor semantische zoekopdrachten. De top 30 meest relevante documentfragmenten worden aan het LLM aangeboden.
• Modellen: Er zijn verschillende modellen gebruikt afhankelijk van beschikbaarheid en kosten (GPT-4o, GPT-4o-mini, GPT-4.1-mini). Embeddings werden gegenereerd met text-embedding-3-large.

2. Tiered Workflow (Gelaagde Evaluatie):

• Tier 1 (Poortwachter): Eerst wordt één hoofdcriterium geëvalueerd. Als dit door de AI als "niet voldaan" of "onzeker" wordt gemarkeerd, worden de overige criteria niet geëvalueerd.
• Tier 2 (Secundaire Criteria): Alleen als Tier 1 als "voldaan" of "waarschijnlijk voldaan" wordt gemarkeerd, worden de overige criteria beoordeeld.
• Output per Criterium: Het LLM classificeert elk criterium in één van zes categorieën: voldaan, waarschijnlijk voldaan, waarschijnlijk niet voldaan, niet voldaan, onzeker, of geen documentatie gevonden. Elk resultaat wordt vergezeld van een redenering en een zekerheidsniveau.

3. Human-in-the-Loop (Menselijke Toezicht):

• Dashboard: Coördinatoren krijgen een gesorteerde lijst van patiënten die de AI als potentieel geschikt heeft gemarkeerd.
• Review-Logica: Coördinatoren reviewen patiënten waarbij de AI een hoge mate van overeenstemming heeft (bijv. ≥50% of ≥80% criteria voldaan). Ze bevestigen of verwerpen de AI-uitspraak en geven feedback bij afwijkingen.
• Automatische Lering: Een semi-geautomatiseerd systeem gebruikt feedback van coördinatoren om de prompts (tips) voor het LLM iteratief te verbeteren. Als een foutpatroon zich herhaalt, wordt de prompt aangepast via een "refinement bot" en goedgekeurd door mensen.

4. Evaluatiemetrics:

• Prestaties werden gemeten op criterium-niveau (niet op patiënt-niveau) met metrics zoals nauwkeurigheid, sensitiviteit, specificiteit, PPV, NPV en F1-score.
• Kosten werden berekend per patiënt op basis van Azure-verbruik.

Belangrijkste Resultaten

Tussen oktober 2024 en september 2025 werden 39.182 patiënten voorgescreend over 26 studies met in totaal 112 unieke criteria.

• Prestaties:
  • Gewogen Nauwkeurigheid: 0,94 (95% CI: 0,92–0,96).
  • Sensitiviteit: 0,98 (zeer hoog, wat betekent dat er weinig geschikte patiënten worden gemist).
  • Specificiteit: 0,81 (iemand die niet in aanmerking komt, wordt soms toch als kandidaat gemarkeerd, wat leidt tot extra menselijke review, maar dit is een bewuste afweging).
  • F1-score: 0,97.
  • PPV/NPV: Respectievelijk 0,95 en 0,93.
• Menselijke Review-efficiëntie:
  • Patiënten met ≥80% door AI gemarkeerde criteria hadden een veel hogere kans om te worden beoordeeld door coördinatoren (93,7% vs 55,1% voor de 60-80% groep).
  • De succesratio voor voorscreening was aanzienlijk hoger in de groep met ≥80% criteria (43,5% vs 19,1%).
• Kosten: De gemiddelde kosten bedroegen slechts $0,12 per patiënt.
• Iteratieve Verbetering: 27 criteria-prompten werden automatisch bijgewerkt op basis van coördinatorfeedback, wat leidde tot een zichtbare stijging in prestaties over de tijd (zoals geïllustreerd in Figuur 1 voor een hersentumor-studie).

Belangrijkste Bijdragen

1. Schaalbaarheid: Bewijs dat LLM-gestuurde screening succesvol kan worden ingezet over een breed scala aan trials (oncologie en niet-oncologie) met hoge nauwkeurigheid.
2. Human-in-the-Loop Integratie: Een robuust framework dat menselijke feedback direct gebruikt om de AI-logica te verfijnen, waardoor het systeem "leert" zonder dat historische data opnieuw hoeft te worden verwerkt.
3. Kostenefficiëntie: Demonstreert dat geavanceerde AI-screening mogelijk is voor een fractie van de kosten van handmatige screening ($0,12/patiënt).
4. Pragmatische Implementatie: Het biedt een blauwdruk voor andere instellingen om AI te integreren in bestaande workflows, waarbij de menselijke beslissing over uiteindelijke inschrijving behouden blijft.

Betekenis en Conclusie

De studie toont aan dat een LLM-ondersteunde, menselijke workflow een haalbare en kosteneffectieve oplossing biedt voor de uitdagingen van patiëntenwerving in klinische trials. Door de AI te gebruiken als een "triage"-systeem, wordt het werk van coördinatoren gefocust op de meest veelbelovende patiënten, terwijl de menselijke toezichtgarantie de veiligheid en nauwkeurigheid waarborgt.

De belangrijkste beperkingen die worden benoemd zijn de afhankelijkheid van de kwaliteit van de EHR-documentatie (vooral voor tijdgevoelige criteria) en het feit dat de studie zich richt op voorscreening en niet op de uiteindelijke inschrijvingscijfers. Toekomstig werk moet zich richten op het meten van de impact op daadwerkelijke werving en inschrijving. Desondanks biedt deze studie een bewezen model voor het schaalbaar inzetten van generatieve AI in de klinische research.