Drivers of Oncologist Preference of AI-Generated Literature Review in a Randomized Mixed-Methods Study
Deze gerandomiseerde mixed-methods studie onthult dat het vertrouwen en de voorkeur van oncologen voor door AI gegenereerde literatuuroverzichten meer afhangen van ontwerpkenmerken van de rapportage — zoals beknoptheid, verifieerbare citaties en expliciete onzekerheid — dan van nauwkeurigheid alleen, zoals blijkt uit significant lagere bruikbaarheidsbeoordelingen voor op bewijskracht gegradeerde rapporten vergeleken met standaardformaten, ondanks een vergelijkbare kwaliteit van de referenties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de hooggespannen wereld van de oncologie moeten artsen voortdurend navigeren door een veranderend landschap van nieuwe behandelingen, evoluerende richtlijnen en complexe moleculaire gegevens. Om de juiste keuze voor een patiënt te maken, moeten ze vaak snel de nieuwste medische onderzoeken kunnen vinden en begrijpen. Onlangs zijn er kunstmatige intelligentie-tools opgekomen om hen bij deze taak te helpen, die fungeren als digitale assistenten die door enorme bibliotheken van medische literatuur kunnen zoeken en bevindingen in begrijpelijke taal kunnen samenvatten. Er blijft echter een cruciale vraag bestaan: alleen omdat een AI de juiste feiten kan vinden, betekent dat nog niet dat het ze op een manier presenteert waarop een vermoeide arts kan vertrouwen en ermee kan werken. De uitdaging gaat niet louter over de vraag of de computer correct is, maar over hoe de informatie is aangekleed en geleverd. Als een rapport moeilijk leesbaar, verwarrend of ondoorzichtig qua bronvermelding is, kan een medicus een volkomen accuraat antwoord negeren. Deze kloof tussen ruwe data en menselijk vertrouwen is waar het echte werk van klinische kunstmatige intelligentie ligt.
Een team onderzoekers aan de Stanford University en andere instellingen besloot deze kloof te verkennen door dertien vier oncologen te vragen rapporten te beoordelen die zijn gegenereerd door verschillende systemen van kunstmatige intelligentie. Ze vroegen de artsen niet simpelweg welke AI de slimste was; in plaats daarvan testten ze hoe het ontwerp van het rapport de het vertrouwen van de artsen beïnvloedde. De studie omvatte vijf verschillende patiëntscenario's, variërend van radiotherapie tot pediatrische hematologie, waarbij een mix van opleidingsniveaus werd behandeld, van assistenten tot ervaren faculteitsleden. Voor elk scenario beoordeelden de artsen vier verschillende door AI gegenereerde samenvattingen van dezelfde medische vraag. Deze samenvattingen kwamen uit drie verschillende bronnen: een gespecialiseerde medische AI-tool genaamd OpenEvidence, een algemene chatbot bekend als ChatGPT, en een versie van OpenEvidence die de onderzoekers handmatig hadden aangepast. De onderzoekers hadden een specifieke hypothese voor deze aangepaste versie: zij geloofden dat als zij het rapport zouden reorganiseren om de kracht van het bewijs te benadrukken — door de meest betrouwbare, grootschalige klinische studies bovenaan te plaatsen en zwakkere studies onderaan te begraven — artsen dit nuttiger en betrouwbaarder zouden vinden.
De resultaten van dit experiment verrasten de onderzoekers. Ondanks het gebruik van exact dezelfde feiten en citaties, werd het aangepaste rapport dat het team zorgvuldig had vormgegeven om de sterkte van het bewijs te benadrukken, aanzienlijk lager beoordeeld op algemeen nut dan het standaard, ongewijzigde rapport van OpenEvidence. Sterker nog, de aangepaste versie was de minst geprefereerde optie van de vier. De artsen vonden de georganiseerde lay-out niet duidelijker of logischer; in plaats daarvan vonden ze het minder georganiseerd en moeilijker te scannen. Dit bevinding suggereert dat het simpelweg herordenen van de informatie om de "hiërarchie van bewijs" zichtbaarder te maken, niet werkte zoals bedoeld. De artsen wilden niet dat de AI optrad als een rechter die bepaalde welke studies het beste waren; ze wilden dat de AI de informatie op een manier presenteerde die hen in staat stelde dit snel zelf te verifiëren.
Door middel van een reeks interviews en gedetailleerde beoordelingen ontdekten de onderzoekers wat de artsen daadwerkelijk nodig hadden. De meest gewaardeerde kenmerken gingen niet over complexe rangschikkingssystemen, maar over duidelijkheid en snelheid. Artsen gaven de voorkeur aan rapporten die beknopt waren en binnen enkele seconden gescand konden worden, met een duidelijke samenvatting bovenaan. Ze wilden specifieke cijfers uit klinische studies zien, zoals overlevingspercentages of bijwerkingenpercentages, in plaats van vage beschrijvingen. Cruciaal was dat ze eisten dat elke bewering direct gekoppeld was aan de bron met een klikbare citatie, zodat ze de informatie direct konden verifiëren. Ze wilden ook een duidelijke scheiding tussen het ruwe bewijs en de aanbevelingen die de AI zou doen, waarbij ze de voorkeur gaven aan een AI die de data samenvat zonder te overtuigend of sturend te klinken. Wanneer de AI de bronnen begroef, een praatgrage toon gebruikte of een mix van hoogwaardige en laagwaardige studies presenteerde zonder onderscheid te maken, verdween het vertrouwen.
De studie onthulde ook dat de standaard OpenEvidence-tool net zo goed presteerde als de algemene ChatGPT wat betreft algemeen nut, maar dat deze hoger werd beoordeeld voor de kwaliteit van de citaties. Dit geeft aan dat voor medische professionals het vermogen om een bewering terug te leiden naar de oorspronkelijke bron even belangrijk is als het antwoord zelf. De onderzoekers ontdekten dat de manier waarop informatie wordt gepresenteerd de perceptie van een arts over de waarde ervan kan veranderen, zelfs als de inhoud identiek is. Een rapport dat er rommelig uitziet of de indruk wekt dat het zijn werk verbergt, zal worden afgewezen, terwijl een schoon, goed gestructureerd rapport dat de tijd van de arts respecteert en de behoefte aan verificatie erkent, zal worden omarmd. De studie concludeert dat voor kunstmatige intelligentie om echt nuttig te zijn in een ziekenhuis, het niet alleen ontworpen moet worden voor nauwkeurigheid, maar voor de menselijke workflow. De beste tool is niet noodzakelijkerwijs degene die het meeste weet, maar degene die zijn kennis presenteert op een manier die veilig, transparant en gemakkelijk te gebruiken aanvoelt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.