AI-Generated Responses to Patient's Messages: Effectiveness, Feasibility and Implementation

Deze studie toont aan dat de implementatie van een GenAI-tool voor het genereren van antwoorden op patiëntberichten in een Nederlands academisch ziekenhuis, ondanks hoge initiële verwachtingen, resulteerde in een dalend gebruik en gemengde percepties over de effectiviteit, waarbij beperkte tijdwinst, contentfouten en een gebrek aan duidelijke richtlijnen als belangrijke belemmeringen naar voren kwamen.

De kern

De AI-Boodschapper: Een Proef in het Radboudumc

Stel je voor dat je een arts bent. Je zit achter je computer, omringd door een berg aan patiëntberichten. Sommige vragen zijn simpel ("Wanneer krijg ik mijn uitslag?"), andere zijn complex ("Ik heb last van deze pijn, wat moet ik doen?"). Het is een eindeloze stroom, en het voelt soms alsof je in een oceaan van e-mails drijft zonder reddingsboei.

Om deze overstroming te beteugelen, heeft het Radboudumc in Nederland een nieuwe "hulp" ingeschakeld: een kunstmatige intelligentie (AI) genaamd Art. Deze AI is als een slimme assistent die meekijkt met de patiëntgegevens en voor je een concept-antwoord schrijft.

Maar werkt dit? Is het een reddingsboei of juist een anker dat je vasthoudt? Dat hebben de onderzoekers van dit artikel uitgezocht. Hier is wat ze ontdekten, vertaald in alledaags taal.

1. De Start: De "Nieuwe Spelregels"

Toen de AI voor het eerst werd geïntroduceerd, was de sfeer als een nieuw speelgoed in de klas: iedereen was enthousiast. De artsen dachten: "Wauw, dit gaat mijn werk veel makkelijker maken! Ik hoef niet meer van nul te beginnen."

De AI deed inderdaad iets slimme: hij pakte de medische gegevens uit het systeem, las de vraag van de patiënt en schreef een eerste opzetje. Het was alsof iemand anders de basis van een brief voor je schreef, zodat jij alleen nog maar de laatste hand hoefde te leggen.

2. De Realiteit: De "Magie" Valt Wat Af

Na een paar maanden echter, veranderde de stemming. De enthousiasme vervaagde en maakte plaats voor kritiek. Hier zijn de belangrijkste bevindingen, vertaald naar simpele beelden:

• Het tijdbesparing-misverstand:
  Veel artsen dachten: "Dit bespaart me tijd!" Maar in de praktijk bleek het anders. De AI schreef het antwoord, maar de arts moest het niet zomaar overnemen. Ze moesten het controleren, net als een leraar die een proefwerk nakijkt. Soms zat er een foutje in, soms was de toon te formeel, of miste de AI een belangrijke nuance.

  • De analogie: Het is alsof je een kant-en-klaar maaltijd koopt. Je bespaart tijd op koken, maar je moet het nog wel opwarmen, proeven en soms zelf wat kruiden toevoegen omdat het te zout is. Uiteindelijk duurt het bijna net zo lang als zelf koken.

• De "Hallucinaties":
  De AI is slim, maar niet perfect. Soms verzon hij feiten (zoals een verkeerde medicijnnaam) of gebruikte hij de verkeerde naam van de patiënt.

  • De analogie: Stel je voor dat je een tolk hebt die perfect Nederlands spreekt, maar soms woorden uit een ander boek plukt die niet bij de situatie passen. Je moet dan constant opletten of hij niet aan het fantaseren is.

• De "Persoonlijke Touch":
  Patiënten schrijven vaak emotionele of complexe vragen. De AI schreef soms antwoorden die te zakelijk of te "robotachtig" klonken.

  • De analogie: Het is alsof je een liefdesbrief schrijft, maar je laat een computer de eerste zin doen. Het voelt niet echt van jou, en de ontvanger voelt dat ook.

3. Het Gebruik: Van "Iedereen doet mee" naar "Weet je, ik doe het zelf wel"

Aan het begin gebruikten veel artsen de AI. Maar na verloop van tijd daalde het gebruik.

• De cijfers: Van de 237 artsen die de tool kregen, gebruikte uiteindelijk maar ongeveer 1 op de 6 de AI daadwerkelijk om een antwoord te sturen.
• De reden: Veel artsen vonden het te veel werk om het te controleren, of ze vertrouwden het gewoon niet genoeg. Ze kozen er voor om zelf te typen, omdat ze wisten dat hun eigen antwoord sneller en veiliger was.

4. Wat Leerden We? (De Lessen voor de Toekomst)

De onderzoekers concluderen dat de AI een veelbelovend idee is, maar dat het nog niet klaar is voor de "hoofdrol".

• Verwachtingen managen: We moeten niet denken dat AI ons werk volledig overneemt. Het is meer een "schrijfhulp" dan een "vervanger".
• Verantwoordelijkheid: De arts blijft de baas. De AI kan een suggestie doen, maar de arts moet het goedkeuren. Het is als een navigatiesysteem: het zegt welke weg je moet nemen, maar jij moet zelf kijken of er geen wegwerkzaamheden zijn.
• Aanpassing: De AI moet leren van de artsen. Als een arts vaak een bepaalde toon gebruikt, moet de AI dat kunnen nabootsen. Nu is het nog te star.

Conclusie in één zin

De AI-Boodschapper is een slimme assistent die een goede start maakt, maar hij is nog niet volwassen genoeg om het werk alleen te doen; hij heeft nog steeds een menselijke hand nodig om de foutjes eruit te halen en de warme, persoonlijke toon te vinden.

Kortom: Het is een interessante proef, maar we moeten nog even geduld hebben voordat deze technologie echt zijn werk doet in de dagelijkse praktijk.

Technische samenvatting

Probleemstelling

Generatieve kunstmatige intelligentie (GenAI) en grote taalmodellen (LLM's) worden steeds vaker ingezet in de gezondheidszorg om de administratieve last te verlichten en de kwaliteit van zorg te verbeteren. Een specifieke uitdaging is de explosieve toename van het aantal berichten tussen patiënten en zorgverleners (patiënt-provider messaging), wat is toegenomen met 157% tijdens de COVID-19-pandemie en daarna is blijven stijgen. Dit hoge volume draagt bij aan burn-out en uitputting onder zorgprofessionals (HCP's).

Hoewel er studies zijn uitgevoerd in de VS over het gebruik van LLM's om conceptantwoorden op basis van Elektronische Gezondheidsrecords (EHR) te genereren, ontbreekt er bewijs in niet-Engelstalige contexten, specifiek over de gebruikerservaring en implementatie in de dagelijkse klinische praktijk. Er is onzekerheid over de effectiviteit, haalbaarheid en de barrières die spelen bij de implementatie van dergelijke tools in een Nederlandse academische setting.

Methodologie

Het onderzoek is uitgevoerd als een hybride type 1 effectiviteit-implementatie studie in het Radboudumc (Nijmegen, Nederland).

• Tool: Er werd gebruikgemaakt van Epic's Augmented Response Technology (Art). Dit is een GenAI-tool die LLM's (GPT-4o) inzet om conceptantwoorden te genereren voor patiëntberichten binnen het InBasket-systeem van de EHR.
• Technische Werkwijze:
  • Inkomende berichten (type 54: medische vragen) worden eerst geclassificeerd in vier categorieën (administratief, algemeen, medicatie, resultaten) met GPT-3.5 Turbo.
  • Op basis van deze categorie wordt contextuele informatie uit de EHR opgehaald.
  • Een aangepaste prompt stuurt GPT-4o aan om een conceptantwoord te genereren.
  • De tool is statisch (leert niet van input) en biedt gebruikers de optie om het concept te gebruiken, aan te passen of te verwerpen. Gebruikers kunnen feedback geven op factualiteit, relevantie, kwaliteit, naam en lengte.
• Studiepopulatie: HCP's uit vier afdelingen: Dermatologie, Otorhinolaryngologie (KNO), Medische Oncologie en Longgeneeskunde.
• Datacollectie:
  • EHR-data: Gebruiksmetrics (reviewtijd, schrijftijd, adoptiepercentages) verzameld van januari tot juni 2025.
  • Enquête: Drie meetmomenten: PRE (voor implementatie), POST-1 (1 maand na implementatie) en POST-2 (4 maanden na implementatie).
  • Instrumenten: Gebruikte schalen omvatten NASA Task Load Index, Professional Fulfillment Index (PFI), Technology Acceptance Model (TAM), System Usability Scale (SUS) en Net Promoter Score (NPS).
  • Kwalitatieve analyse: Open vragen werden geanalyseerd met het NASSS-framework (Nonadoption, Abandonment, Scale-up, Spread and Sustainability) om barrières en facilitators te identificeren.

Belangrijkste Resultaten

1. Effectiviteit (Efficiëntie en Welzijn)

• Tijdbesparing: Er was geen significante verbetering in de tijd die nodig was om berichten te reviewen of te beantwoorden. De tijdsverschillen tussen berichten met en zonder Art waren verwaarloosbaar klein (bijv. reviewtijd: 2:02 vs 2:10 minuten).
• Welzijn: Er was geen significante verandering in werkuitputting of mentale last (NASA Task Load).
• Waargenomen Efficiëntie: De perceptie van klinische efficiëntie daalde significant van de verwachtingen (PRE) naar de ervaringen na 4 maanden (POST-2).

2. Haalbaarheid en Adoptie

• Adoptie: De initiële adoptie was hoog, maar nam af over de tijd. Het gemiddelde adoptiepercentage lag op 16,7% over alle afdelingen. Longgeneeskunde had de hoogste adoptie (27,1%), Medische Oncologie de laagste (10,7%).
• Gebruik: Van de 8.410 gegenereerde concepten werden er slechts 1.401 (16,7%) daadwerkelijk gebruikt.
• Feedback: Slechts 2,2% van de concepten werd als "nuttig" gemarkeerd. Bij 5,0% werd constructieve feedback gegeven, waarbij 37,5% ging over feitelijke onjuistheden en 30,4% over gebrek aan relevantie.
• Tevredenheid: De System Usability Scale (SUS) en de intentie om de tool te gebruiken daalden significant over de tijd. De Net Promoter Score (NPS) daalde van -13 naar -38, wat aangeeft dat meer gebruikers de tool zouden afkeuren dan aanbevelen.

3. Barrières en Facilitators (NASSS-analyse)

• Barrières:
  • Technologie: Medische onnauwkeurigheden, hallucinaties (bijv. verkeerde namen), gebrek aan relevantie, en het niet kunnen verwerken van complexe vragen met meerdere deelvragen.
  • Waardepropositie: Beperkte tijdbesparing omdat zorgverleners het concept toch grondig moeten controleren.
  • Adoptie: Angst voor "automation bias" (blind vertrouwen) en het gevoel dat de relatie met de patiënt onpersoonlijk wordt.
• Facilitators:
  • De tool leverde een goed gestructureerd basisconcept dat de focus verschuift van opmaak naar inhoud.
  • Het vermindert het typwerk en biedt een empathische toon.
  • Het haalt automatisch relevante EHR-data op (zoals labwaarden), wat handmatig zoeken overbodig maakt.

Bijdragen en Conclusies

Technische en Praktische Bijdragen:

1. Eerste evaluatie in een niet-Engelse setting: Dit onderzoek biedt zeldzame inzichten in de implementatie van Epic Art in een Nederlandse academische omgeving, waar de taal en zorgcontext verschillen van de VS.
2. Realistische verwachtingen: Het onderzoek toont aan dat de initiële optimisme over GenAI als tijdbespaarder vaak niet wordt waargemaakt in de praktijk. De noodzaak tot menselijke verificatie (human-in-the-loop) blijkt groter dan de tijdswinst.
3. Implementatie-inzichten: Het paper benadrukt dat succesvolle implementatie niet alleen afhangt van de technische kwaliteit van het model, maar vooral van:
   • Duidelijke communicatie over de beperkingen en het doel van de tool.
   • Richtlijnen voor klinische verantwoordelijkheid.
   • Een gestructureerd feedbackmechanisme voor continue verbetering (prompt engineering).
   • Consensus over kwaliteitsindicatoren en drempels voor wanneer een tool veilig genoeg is voor routinematig gebruik.

Significantie:
De bevindingen waarschuwen voor het "hype-cyclus"-effect waarbij hoge verwachtingen snel worden gevolgd door teleurstelling als de tool niet naadloos in de workflow past. Voor de schaalbare implementatie van GenAI in de zorg is het cruciaal om niet alleen te focussen op de technologie, maar ook op de menselijke factoren, de workflow-integratie en de noodzaak van transparantie en educatie. De studie pleit voor een voorzichtige, gefaseerde aanpak met duidelijke kwaliteitskaders voordat GenAI volledig geautomatiseerd wordt ingezet.