Evaluating Safety-Critical Communication Behavior of Large Language Models Using Workflow-Embedded Multi-Agent Clinical Simulation

Ziekenhuizen vertrouwen op een delicate communicatieketen om patiënten veilig te houden. Wanneer een verpleegkundige merkt dat een patiënt achteruitgaat, moet deze snel een senior arts, een zogenaamde registrar, bellen om het probleem te melden en instructies te krijgen. Dit moment van escalatie is cruciaal; als de verpleegkundige een essentieel detail vergeet, of als de arts de urgentie verkeerd begrijpt, kan een patiënt onnodige schade oplopen. Om hierbij te helpen, gebruiken veel ziekenhuizen een standaard checklist genaamd ISBAR, wat staat voor Identify (Identificeren), Situation (Situatie), Background (Achtergrond), Assessment (Beoordeling) en Recommendation (Aanbeveling). Dit hulpmiddel dwingt de spreker om zijn gedachten te ordenen voordat hij spreekt, zodat vitale informatie zoals vitale functies en specifieke verzoeken niet worden overgeslagen.

Terwijl ziekenhuizen beginnen te onderzoeken hoe kunstmatige intelligentie kan helpen bij deze gesprekken, rijst een nieuwe vraag: kan een computerprogramma deze communicatie met hoge inzet veilig afhandelen? Large language models, de technologie achter moderne chatbots, zijn uitstekend in het genereren van mensachtige tekst. Ze staan er echter ook om bekend dat ze soms feiten verzinnen of cruciale details missen wanneer ze aan hun lot worden overgelaten. Voordat een dergelijk systeem in een echt ziekenhuis vertrouwd zou kunnen worden, moesten onderzoekers een manier vinden om te testen of deze programma's zich veilig zouden gedragen wanneer ze in een realistische, tijdsdruk-gevoelige medische workflow worden geplaatst, in plaats van alleen eenvoudige vragen op een scherm te beantwoorden.

Om dit te beantwoorden, bouwde een team van onderzoekers aan University College Cork een digitale simulatie die exact de flow van een ziekenhuisafdeling nabootst. Ze gebruikten geen echte patiënten of echte artsen. In plaats daarvan creëerden ze een gecontroleerde omgeving waarin AI-agenten specifieke rollen speelden: één AI-agent fungeerde als de verpleegkundige van de afdeling, een andere als de senior registrar, en een derde als een verpleegkundig manager. Deze agenten waren "role-locked", wat betekende dat de computerprogramma's strikt werden geïnstrueerd om in hun rol te blijven en nooit hun toegewezen taak te verlaten om het verhaal te vertellen of zich als een ander persoon te gedragen. De onderzoekers voerden deze agenten synthetische patiëntendossiers waarbij de patiënten ziek werden, zoals iemand met een ernstige infectie of een bloedende wond. Het doel was om te observeren hoe de AI-agenten met elkaar communiceerden wanneer de toestand van de patiënt verslechterde.

De onderzoekers zetten een eerlijke test op door hetzelfde scenario twee keer uit te voeren voor elk patiëntengeval. In de eerste versie begon de verpleegkundige-agent het gesprek op een natuurlijke, ongestructureerde manier, precies zoals een mens zou spreken zonder script. In de tweede versie was de verpleegkundige verplicht om de ISBAR-checklist te gebruiken, waarbij de informatie in het specifieke, georganiseerde formaat werd geleverd. De registrar-agent reageerde vervolgens op beide soorten oproepen, en de onderzoekers legden elk woord van de resulterende dialoog vast. Vervolgens gebruikten ze een geavanceerd geautomatiseerd systeem om door honderden van deze gesprekken te lezen, zoekend naar specifieke soorten fouten. Ze controleerden of de verpleegkundige levensreddende details had overgeslagen, of de arts een duidelijk plan gaf met een specifiek tijdstip voor follow-up, en of de AI feiten verzonnen die niet in het patiëntendossier stonden.

De resultaten toonden een verrassende mix van succes en falen. Wanneer de verpleegkundige de ISBAR-structuur gebruikte, werden de gesprekken veel efficiënter. De dialoog was korter, waarbij minder beurten nodig waren om tot een besluit te komen, en de AI was veel minder geneigd om valse medische feiten te verzinnen. In de ongestructureerde gesprekken verzon de AI in ongeveer 26,5 procent van de gevallen details over de toestand van de patiënt, maar wanneer de checklist werd gebruikt, daalde dat aantal naar 10,0 procent. Dit suggereert dat het geven van een strikt formaat de AI hels helpt om geworteld te blijven in de verstrekte feiten.

De studie bracht echter ook een verborgen gevaar aan het licht. Hoewel de gestructureerde gesprekken cleaner en sneller waren, maakten ze de communicatie niet op de meest kritieke manier veiliger. De onderzoekers ontdekten dat de snelheid van het missen van vitale informatie, bekend als veiligheidskritische omissies, niet afnam. Sterker nog, de gestructureerde gesprekken hadden een iets hoger percentage van deze gevaarlijke hiaten, namelijk 16,0 procent, vergeleken met 11,5 procent in de ongestructureerde gesprekken. De onderzoekers vermoeden dat wanneer de AI een rigide checklist volgt, deze ervan uitgaat dat alles is behandeld en stopt met het stellen van de verhelderende vragen die een mens wellicht zou stellen om de ontbrekende stukjes in te vullen. De checklist voorkwam dat de AI dingen verzon, maar het voorkwam niet dat het essentiële zaken vergat te melden.

Om ervoor te zorgen dat hun computeranalyse accuraat was, vroegen de onderzoekers twee ervaren intensive care-verpleegkundigen om een kleinere selectie van deze gesprekken te beoordelen. De menselijke experts zoch evenaars naar dezelfde zaken als de computer: ontbrekende details, verzonnen feiten en duidelijke actieplannen. De menselijke verpleegkundigen en het geautomatiseerde systeem waren het niet altijd eens. De computer was erg goed in het opsporen van potentiële ontbrekende informatie, maar was vaak te streng en markeerde omissies die de menselijke verpleegkundigen als onbelangrijk beschouwden. Omgekeerd miste de computer soms de subtiele manieren waarop een plan tekortschoot op het gebied van echte klinische veiligheid. Deze kloof toonde aan dat hoewel computers duizenden gesprekken snel kunnen scannen, ze nog steeds niet volledig de nuance van klinische veiligheid begrijpen zoals een getraind mens dat doet.

Uiteindelijk toont dit werk aan dat het testen van kunstmatige intelligentie in een realistische, rollenspel-simulatie essentieel is voor het begrijpen van hoe het zich in de echte wereld zal gedragen. De studie toonde aan dat het simpelweg laten volgen van een communicatiechecklist de efficiëntie van een systeem verbetert en de neiging om te liegen vermindert, maar dat het niet garandeert dat het geen kritieke veiligheidsdetails zal missen. De onderzoekers concludeerden dat voordat dergelijke tools in ziekenhuizen kunnen worden gebruikt, ze niet alleen geëvalueerd moeten worden op de vraag of ze beleefd klinken of een format volgen, maar op de vraag of ze in staat zijn om het volledige beeld van de toestand van een patiënt betrouwbaar over te brengen. Het pad naar veilige medische AI vereist meer dan alleen betere software; het vereist een rigoureus testproces dat geautomatiseerde controles combineert met het onvervangbare oordeel van menselijke experts.