DR. INFO at the Point of Care: A Prospective Pilot Study of an Agentic AI Clinical Assistant

Deze prospectieve pilotstudie toont aan dat het agente AI-assistent DR. INFO bij 29 Portugese zorgverleners leidde tot aanzienlijke tijdsbesparing, verbeterde klinische besluitvorming en een hoge tevredenheidsscore, wat de potentie van dergelijke systemen voor de dagelijkse praktijk onderstreept.

De kern

Stel je voor dat een arts een superheld is, maar die superheld zit vast in een gigantische bibliotheek. Elke dag komen er duizenden nieuwe boeken (medische artikelen) binnen, en de arts moet tegelijkertijd patiënten behandelen, formulieren invullen en beslissingen nemen. Het is alsof je probeert een recept te koken terwijl er duizenden nieuwe kookboeken op je aanrecht worden gegooid. De stress is enorm, en veel artsen raken uitgeput.

Dit onderzoek gaat over een nieuwe digitale assistent genaamd DR. INFO. Het is geen gewone chatbot, maar een "agente" AI. Wat betekent dat? Stel je voor dat een gewone AI een slimme student is die uit zijn hoofd leert, maar soms dingen verzonnen (hallucinaties). DR. INFO is daarentegen als een uitstekende bibliothecaris met een magische bril.

Hier is hoe het werkt en wat het onderzoek heeft ontdekt, vertaald naar simpele taal:

1. De Magische Bibliothecaris (Hoe het werkt)

Wanneer een arts een vraag stelt, doet DR. INFO niet alsof het alles al weet. In plaats daarvan rent het direct naar de beste, meest betrouwbare medische boekenkasten (gecurateerde kennisbanken) en pakt het de meest recente, bewezen feiten.

• De analogie: Een gewone AI is als iemand die een verhaal verzint dat klinkt alsof het waar is. DR. INFO is als iemand die eerst de encyclopedie opent, het antwoord controleert, en dan pas zegt: "Hier is het antwoord, en hier is de pagina waar het staat." Dit voorkomt dat artsen op verkeerde informatie afgaan.

2. Het Experiment: Een Proefperiode

De onderzoekers gaven 29 artsen en medische studenten in Portugal deze digitale assistent voor een week. Ze mochten het gebruiken in hun dagelijkse werk, net zoals ze een telefoon of computer gebruiken.

• De taak: Ze moesten elke dag een kort verslag invullen: "Heeft dit je tijd bespaard?" en "Heeft dit je geholpen bij het nemen van een goede beslissing?"

3. De Resultaten: Een Groot Succes

De resultaten waren verrassend positief, zelfs voor artsen die al gewend waren aan andere hulpmiddelen.

• Tijdbesparing: De artsen gaven een gemiddelde score van 4,27 op 5.
  • Analogie: Het was alsof ze een extra paar handen kregen die het zware werk van het zoeken in boeken voor hen deden. Ze kregen hun tijd terug om zich te richten op de patiënt in plaats van op het scherm.
• Hulp bij beslissingen: De score was 4,16 op 5.
  • Analogie: Het was alsof ze een ervaren mentor naast zich hadden die fluisterde: "Heb je aan dit medicijn gedacht?" of "Kijk eens naar deze richtlijn."
• De "Net Promoter Score" (NPS): Dit is een maatstaf voor hoe graag mensen iets aan een vriend zouden aanbevelen. DR. INFO kreeg een score van 81,2.
  • Vergelijking: In de tech-wereld is een score boven de 50 al fantastisch. Een score van 81 betekent dat bijna iedereen het tooltje met veel enthousiasme aan anderen zou aanbevelen. Niemand was ontevreden.

4. Voor wie werkt het?

Het verrassende was dat het voor iedereen werkte, van de jonge student tot de ervaren specialist.

• Jongeren (Studenten/Assistenten): Vonden het vooral geweldig om snel feiten te leren en casussen te oefenen. Het was als een onuitputtelijke tutor.
• Ouderen (Ervaren artsen): Vonden het vooral nuttig om snel te controleren of hun kennis nog actueel was of om complexe gevallen te verifiëren.
• Eén uitzondering: De enige "Hoofd van de Dienst" (de chef) gaf een lagere score voor het helpen bij beslissingen. Dit is logisch: een chef met 30 jaar ervaring heeft al een enorme kennisbank in zijn hoofd en heeft minder hulp nodig bij de basis, maar hij vond het wel handig om snel informatie te vinden.

5. Wat ging er nog niet helemaal goed?

Niet alles was perfect. De artsen gaven twee belangrijke tips voor verbetering:

1. Snelheid: Soms duurde het antwoord even te lang.
   • Analogie: Het was alsof de bibliothecaris erg grondig werkte, maar soms even te lang nodig had om het juiste boek van de plank te halen. De makers werken nu aan een snellere "lift" voor de boeken.
2. Nauwkeurigheid: Soms waren de antwoorden niet specifiek genoeg voor heel complexe, nuancevolle vragen.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek laat zien dat AI in de medische wereld geen sciencefiction meer is, maar een praktische hulpmethode die nu al werkt. Het helpt artsen niet om hun werk over te nemen, maar om de vermoeidheid en stress te verminderen die komen door het zoeken van informatie.

Stel je voor dat een arts eindelijk weer de tijd heeft om in de ogen van de patiënt te kijken, in plaats van urenlang in een computer te typen. DR. INFO is een stap in die richting: een slimme, betrouwbare assistent die de last van de "bibliotheek" van de schouders van de arts haalt.

Kortom: Het is een veelbelovende proef met een digitale assistent die artsen sneller, slimmer en minder gestrest maakt, mits de snelheid van de antwoorden nog wat wordt opgevoerd.

Technische samenvatting

Titel: DR. INFO bij de Zorg: Een Prospectieve Pilotstudie van een Agente AI-klinische Assistent

1. Het Probleem

Klinische documentatie en informatieopdracht nemen meer dan de helft van de werkuren van artsen in beslag, wat leidt tot cognitieve overbelasting en burn-out (43,2% prevalentie). Hoewel kunstmatige intelligentie (AI) een oplossing biedt, is de adoptie in de dagelijkse praktijk beperkt door zorgen over "hallucinaties" (plausibele maar feitelijke onjuiste output) en de betrouwbaarheid van bronnen. Bestaande grote taalmodellen (LLM's) worden vaak als losse systemen getest zonder integratie met gecureerde medische kennisbronnen, wat de veiligheid in kritieke zorgsituaties in gevaar brengt.

2. Methodologie

De studie is een prospectieve, single-arm pilotstudie uitgevoerd in oktober 2025 in Portugal, een land met een hoge mate van digitale gezondheidsdata.

• Interventie: De evaluatie van DR. INFO v1.0, een "agente" AI-klinische assistent. In tegenstelling tot standaard LLM's, gebruikt DR. INFO een architectuur die eerst zoekt in gecureerde medische kennisbanken en gepubliceerd literatuur voordat het antwoord genereert. Dit is ontworpen om hallucinaties te minimaliseren en transparantie te waarborgen (in lijn met de EU AI Act).
• Deelnemers: 29 zorgverleners (25 artsen en 4 medische studenten) uit verschillende specialismen (o.a. huisarts, intensieve zorg, interne geneeskunde).
• Proces: Deelnemers gebruikten het systeem gedurende 5 werkdagen binnen een periode van twee weken.
• Dataverzameling:
  • Dagelijkse elektronische Case Report Forms (eCRF) met Likert-schalen (1-5) voor tijdwinst en ondersteuning bij klinische besluitvorming.
  • Een definitieve vragenlijst met de Net Promoter Score (NPS) en open vragen.
• Statistische Analyse: Vanwege de exploratieve aard en kleine steekproef werden niet-parametrische methoden gebruikt (Mann-Whitney U, Friedman-test, Spearman-correlatie). Er werd een analyse van uitval (attrition) uitgevoerd om bias te detecteren.

3. Belangrijkste Bijdragen

• Architectuur van Agente AI: Het artikel presenteert een praktische implementatie van een AI-systeem dat LLM-capaciteiten koppelt aan Retrieval-Augmented Generation (RAG) met geverifieerde medische bronnen, specifiek ontworpen voor de klinische praktijk.
• Real-world Validatie: In plaats van alleen bench-marken op standaard datasets (zoals HealthBench, waar DR. INFO al superieur scoorde op GPT-5 en andere modellen), biedt deze studie bewijs van de waargenomen waarde door klinici in hun dagelijkse workflow.
• Robuustheidsonderzoek: De studie omvat een diepgaande analyse van uitval (55% respons op de eindvragenlijst) en sensitiviteitsanalyses voor de NPS, wat de betrouwbaarheid van de positieve uitkomsten versterkt ondanks de beperkte steekproefgrootte.

4. Resultaten

De resultaten tonen een hoge mate van tevredenheid en nut aan:

• Tijdwinst: De gemiddelde score was 4,27/5 (95% BI: 3,97–4,57). 87,8% van de dagelijkse entries gaf aan dat het systeem tijd bespaarde.
• Besluitvorming: De gemiddelde score voor ondersteuning bij klinische beslissingen was 4,16/5 (95% BI: 3,86–4,45).
• Net Promoter Score (NPS): De NPS bedroeg 81,2 (op basis van 16 respondenten), met 81% "Promoters" en geen enkele "Detractor". Zelfs onder conservatieve aannames (waarbij alle niet-responders als "Passive" werden geteld), bleef de NPS positief (44,8).
• Stabiliteit: Er was geen significant verloop in de scores over de vijf dagen (Friedman-test: p > 0,05), wat wijst op een duurzaam nut en geen "novelty effect".
• Subgroepen:
  • Studenten en residenten gaven de hoogste scores voor besluitvorming, wat suggereert dat het systeem waardevol is voor educatie.
  • Er was geen correlatie tussen technologische comfort en waargenomen tijdwinst, wat aangeeft dat de interface toegankelijk is voor gebruikers met verschillende niveaus van digitale vaardigheid.
  • Een enkele hoofd van dienst gaf een lagere score voor besluitvorming (2,40/5), mogelijk omdat deze groep minder behoefte heeft aan basisinformatie dan aan tijdsefficiëntie.
• Feedback: De belangrijkste verbeterpunten uit kwalitatieve feedback waren responsvertraging (50% van de respondenten) en onvoldoende specificiteit van antwoorden (38%).

5. Betekenis en Conclusie

De studie concludeert dat DR. INFO, een agente AI-assistent, door artsen van verschillende carrièrestadia wordt gewaardeerd voor zowel tijdsbesparing als klinische ondersteuning. De hoge scores komen van ervaren gebruikers van bestaande klinische hulpmiddelen, wat de geloofwaardigheid van de bevindingen versterkt.

• Klinische Impact: Het systeem heeft potentie om de cognitieve last te verlagen en administratieve taken te verminderen, wat bij kan dragen aan het verminderen van burn-out.
• Beperkingen: De studie miste objectieve maatstaven voor klinische nauwkeurigheid of patiëntuitkomsten; alle resultaten zijn gebaseerd op subjectieve percepties. De steekproef was klein en beperkt tot Portugal.
• Toekomst: Er is behoefte aan grotere, gecontroleerde studies met objectieve uitkomstmaten om te bepalen of de waargenomen voordelen leiden tot meetbare klinische verbeteringen. De ontwikkelaars hebben reeds prioriteit gegeven aan het verminderen van responsvertraging en het verbeteren van de specificiteit van antwoorden in volgende iteraties.

Samenvattend biedt deze pilotstudie veelbelovend bewijs dat een zorgvuldig ontworpen, bron-gebaseerde AI-assistent veilig en effectief kan worden geïntegreerd in de dagelijkse klinische workflow, mits technische beperkingen zoals snelheid en nuance verder worden geoptimaliseerd.