Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

In de drukke klinieken van Latijns-Amerika wordt een arts vaak geconfronteerd met een moment van stille onzekerheid: een patiënt presenteert zich met een complex pakket aan symptomen, en het juiste behandelpad is niet onmiddellijk duidelijk. Decennialang was de oplossing om even te pauzeren en naar antwoorden te zoeken, door tekstboeken door te bladeren of zoekopdrachten in te typen in een digitale database. Dit proces vertrouwt op het vermogen van de arts om snel grote hoeveelheden medische informatie te vinden, te lezen en te interpreteren. Vandaag de dag is er een nieuw hulpmiddel dit landschap binnengekomen: conversatiegestuurde kunstmatige intelligentie. Deze systemen, gebouwd op enorme collecties menselijke kennis, kunnen een dialoog voeren, vragen beantwoorden en complexe onderwerpen in enkele seconden samenvatten. De belofte is dat een dergelijk hulpmiddel als partner aan het bed kan fungeren, waarbij het artsen helpt om sneller en nauwkeuriger bewijs te achterhalen. De meeste tests van deze systemen zijn echter uitgevoerd in gecontroleerde, statische omgevingen, ver verwijderd van de realiteit van een druk ziekenhuis in een laag- of middeninkomensland. De kritische vraag blijft of deze digitale assistenten de kwaliteit van de zorg daadwerkelijk verbeteren wanneer ze worden gebruikt door echte artsen in echte situaties, of dat het slechts geavanceerde chatbots zijn die zelfverzekerd klinken maar weinig praktische hulp bieden.

Om het antwoord te vinden, ontwierpen onderzoekers in Latijns-Amerika een directe vergelijking waarbij tweehonderd twee artsen betrokken waren. Ze creëerden een scenario waarin artsen werden gevraagd vier gesimuleerde patiëntencases op te lossen, waarbij elk vier open vragen vereiste. De artsen werden willekeurig in twee groepen verdeeld. Eén groep gebruikte hun gebruikelijke methoden om informatie te vinden, waarbij ze zoals normaal gesproken zouden doen door standaard bronnen te zoeken. De andere groep gebruikte een specifiek conversatiesysteem dat ontworpen is om antwoorden te geven die herleidbaar zijn naar medisch bewijs. Om eerlijkheid te garanderen, beoordeelde twee onafhankelijke specialisten, die niet wisten welke methode elke arts had gebruikt, elk antwoord. Ze evalueerden de antwoorden op basis van zes verschillende dimensies van kwaliteit, waardoor een samengestelde score ontstond die de algemene geldigheid van het gegeven medische advies weerspiegelde.

De resultaten toonden een duidelijk verschil tussen de twee benaderingen. De artsen die het conversatiesysteem gebruikten, produceerden antwoorden die gemiddeld meer valide waren dan die van degenen die vertrouwden op hun gebruikelijke zoekpraktijken. De scores voor de ondersteunde groep waren hoger, met een mediaan van 2,83 vergeleken met 2,46 voor de groep met de gebruikelijke praktijk. Wanneer de onderzoekers corrigeerden voor factoren zoals de academische graden van de artsen, suggereerden de gegevens dat een arts die het systeem gebruikte aanzienlijk vaker een antwoord produceerde dat voldeed aan een hoge standaard van validiteit. Dit voordeel hield stand bij de meeste specifieke criteria die voor de beoordeling werden gebruikt, met name bij de criteria waar de deskundige beoordelaars het meest sterk met elkaar overeenstemden. De studie onthulde echter ook een nuance: wanneer er strikt werd gekeken naar de nauwkeurigheid van de feiten alleen, bereikte het verschil tussen de twee groepen geen niveau van statistische significantie. Dit leidde ertoe dat de onderzoekers de bredere, samengestelde maatstaf van validiteit als de primaire bevinding aanwezen, een beslissing die werd versterkt toen een externe evaluator de analyse van enkel de nauwkeurigheid herhaalde en dezelfde afwezigheid van verschil vond.

Naast de kwaliteit van de antwoorden onderzocht de studie hoe de artsen over het proces dachten en hoe lang het hen kostte. De artsen die het systeem gebruikten, rapporteerden een hoog niveau van tevredenheid en vonden het hulpmiddel acceptabel en gemakkelijk in gebruik. Interessant genoeg vertoonden de tijd die nodig was om de taken te voltooien en het aantal zoekopdrachten dat de artsen rapporteerden, geen duidelijk verschil tussen de twee groepen, hoewel de onderzoekers opmerkten dat ontbrekende gegevens deze specifieke vergelijking moeilijk interpreteerbaar maakten met zekerheid. De studie sluit af met een belangrijke herinnering aan de reikwijdte ervan: de deelnemers waren vrijwilligers die ervoor kozen om de oefening te voltooien, wat betekent dat de bevindingen verkennend zijn en geen definitief bewijs vormen voor hoe het hulpmiddel werkt voor elke arts in elke situatie. Hoewel het systeem niet fungeerde als een toverstaf die elk probleem onmiddellijk oploste, suggereert het bewijs dat het, wanneer gebruikt door praktiserende artsen in deze regio, kan helpen de kwaliteit van de medische informatie die zij aan hun patiënten verstrekken te verhogen.