Large language models improve physician accuracy but lead to false reliance
Hoewel het retrieval-augmented LLM-systeem CORA de diagnostische nauwkeurigheid van artsen aanzienlijk verbeterde, onthult de studie een kritiek veiligheidsrisico waarbij brongekoppelde citaties de afhankelijkheid van zowel correct als incorrect advies onevenredig vergrootten, waardoor het vermogen van artsen om weerstand te bieden aan foutieve aanbevelingen werd ondermijnd.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die probeert een lastige zaak op te lossen. Je hebt een briljante, supersnelle assistent die in een seconde miljoenen boeken kan lezen en een oplossing kan suggereren. Deze assistent is een Kunstmatige Intelligentie, specifiek een "Large Language Model" (LLM). Deze AI's zijn als encyclopedieën die hebben geleerd te praten door het hele internet te lezen, maar soms worden ze heel zelfverzekerd over dingen die ze eigenlijk niet weten, waardoor ze feiten verzinnen die perfect klinken maar onjuist zijn. Om dit op te lossen, hebben wetenschappers een truc uitgevonden genaamd "Retrieval-Augmented Generation" (RAG). Denk aan RAG als het geven van een bibliotheekpas aan je AI-assistent en een regel: "Je mag alleen antwoorden als je naar de exacte pagina in een boek kunt wijzen die jouw antwoord bewijst." Op deze manier raadt de AI niet alleen, maar laat hij ook zijn huiswerk zien.
Maar hier komt de grote vraag waar wetenschappers nog steeds over debatteren: helpt het tonen van het huiswerk de menselijke detective eigenlijk wel? Of zorgt het er juist voor dat de mens de assistent te veel vertrouwt, zelfs wanneer de assistent het fout heeft? Dit is het verhaal van een nieuwe studie die dit idee op de proef stelde met echte artsen. Ze wilden zien of het geven van een AI aan artsen die haar bronnen vermeldt, hen beter zou maken in het diagnosticeren van huidaandoeningen, of dat het hen in gevaarlijke fouten zou lokken door een fout antwoord er goed onderbouwd uit te laten zien.
Het Verhaal van CORA en de "Nepbewijs"-valstrik
In deze studie bouwde een team van onderzoekers een speciale AI-assistent genaamd CORA (Citation-Oriented Retrieval Assistant). Stel je CORA voor als een superintelligente onderzoeksstagiair die, wanneer een arts een vraag stelt over een huidaandoening, niet alleen een antwoord uitspuugt. In plaats daarvan gaat CORA naar een digitale bibliotheek van medische tekstboeken, richtlijnen en casusrapporten, vindt de relevante pagina's en zegt: "Hier is mijn antwoord, en dit zijn de drie pagina's die het bewijzen."
De onderzoekers wilden zien hoe dit in de echte wereld werkte. Ze verzamelden 46 artsen uit 21 verschillende landen en gaven hen een reeks puzzels over huidaandoeningen. Eerst moesten de artsen deze puzzels zelf oplossen. Daarna kregen ze het antwoord van CORA te zien, samen met het "bewijs" (de citaties), en werd hen gevraagd of ze bij hun oorspronkelijke antwoord wilden blijven of van mening wilden veranderen.
Het Goede Nieuws: Artsen werden slimmer
De resultaten lieten zien dat CORA een behulpzame sidekick was. Wanneer de artsen alleen werkten, hadden ze in 70,8% van de gevallen het juiste antwoord. Maar wanneer ze CORA gebruikten, sprong hun nauwkeurigheid omhoog naar 82,6%. De AI hielp hen fouten te herstellen, vooral bij lastige gevallen of zeldzame ziekten. Het was alsolijk een tweede paar ogen te hebben dat het regelboekje perfect kende.
Het Slechte Nieuws: De "Citatie-valstrik"
Echter, de studie vond een verraderlijk probleem. Het "bewijs" dat CORA liet zien, was niet altijd echt bewijs. Soms gaf CORA een fout antwoord, maar toonde nog steeds een citatie die er weliswaar op leek te ondersteunen, ook al deed de citatie dat in werkelijkheid niet.
Hier wordt het lastig:
- Wanneer CORA gelijk had: Als de artsen een citatie zagen die leek te ondersteunen, waren ze zeer geneigd van mening te veranderen en het met de AI eens te zijn. Hun succespercentage bij het overnemen van het juiste advies steeg van 34% (zonder dat het ondersteund voelde) naar 76,9% (wanneer de citatie het ondersteunde).
- Wanneer CORA ongelijk had: Dit is het gevaarlijke deel. Als CORA een fout antwoord gaf maar een citatie toonde die ondersteunend leek, stopten de artsen met weerstand bieden. Normaal gesproken zijn artsen koppig en houden ze in 92% van de gevallen vast aan hun correcte antwoord wanneer de AI het fout heeft. Maar wanneer een "ondersteunende" citatie werd getoond, daalde die weerstand naar slechts 34,8%.
De Les: Vertrouw, maar controleer het bewijs
De studie ontdekte een "grounding-miscalibration". Dit is een chique manier om te zeggen dat de artsen werden gefopt door de schijn van bewijs. Wanneer de AI een citatie toonde, gingen de artsen ervan uit dat het antwoord dan wel juist moest zijn, zelfs als de citatie het specifieke punt niet echt bewees. Het is alsof een student een toets inlevert met een tekstboekpagina erbij. Als de pagina over het juiste onderwerp gaat maar de vraag niet echt beantwoordt, kan een docent nog steeds denken: "Oh, ze hebben onderzoek gedaan," en ze toch punten geven. Maar in de geneeskunde kan die puntentelling een fout betekenen.
De onderzoekers kwamen tot de conclusie dat hoewel de AI de artsen in algemene zin nauwkeuriger maakte, het ook een nieuw risico creëerde: artsen waren eerder geneigd hun eigen juiste instincten op te geven als de AI een fout antwoord er goed onderbouwd uit liet zien. De studie suggereert dat voor deze AI-tools om veilig te zijn, we niet alleen kunnen kijken naar of de AI het wel of niet goed heeft. We moeten ervoor zorgen dat het "bewijs" dat het toont ook daadwerkelijk het antwoord bewijst, en niet alleen gerelateerd is aan het onderwerp. Anders kan precies datgene wat bedoeld is om artsen te helpen de waarheid te verifiëren, hen er juist in laten trappen dat ze een leugen vertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.