Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry
Het artikel introduceert Safe-Psych, een sequentiële benchmark die gebruikmaakt van meer dan 1.000 echte psychiatrische aantekeningen om te onthullen dat zelfs de meest geavanceerde grote taalmodellen moeite hebben met het herkennen van incomplete klinische informatie, waarbij ze frequent voortijdige diagnoses stellen of nalaaten om verduidelijking te vragen ondanks veiligheidsbewuste prompting.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen. In de wereld van kunstmatige intelligentie zijn er superintelligente computerprogramma's genaamd Large Language Models (LLM's). Zie ze als ongelooflijk goed onderlegde detectives die bijna elk boek, artikel en elke notitie ooit geschreven hebben gelezen. Ze zijn geweldig in het beantwoorden van vragen wanneer ze alle feiten correct voor zich hebben liggen. Maar in de echte wereld, vooral op plekken zoals ziekenhuizen, krijgen detectives zelden in één keer het hele verhaal. Ze krijgen hier een aanwijzing, daar een getuigenverklaring en misschien een stuk bewijsmateriaal dat nog niet helemaal past.
De grote vraag die wetenschappers zich stellen is: kunnen deze AI-detectives weten wanneer ze niet genoeg aanwijzingen hebben om de zaak op te lossen? Een echt slimme detective zou niet zomaar een dader moeten aanwijzen omdat hij zelfverzekerd is; hij zou moeten zeggen: "Wacht even, ik moet nog één vraag stellen," of "Ik kan dit nog niet oplossen." Dit wordt "kalibratie" genoemd—weten wat je weet en, nog belangrijker, weten wat je niet weet. Als een AI te vroeg een medische diagnose stelt, kan dit leiden tot ernstige fouten. Maar als de AI weigert te antwoorden terwijl hij het wel had kunnen oplossen, wordt hij nutteloos. Het vinden van de perfecte balans is de heilige graal voor het veilig maken van AI in de gezondheidszorg.
Maak kennis met Safe-Psych, een nieuw experiment dat precies deze vaardigheid test in de ingewikkelde wereld van de psychiatrie. De onderzoekers creëerden een speciaal spel waarbij ze de AI niet het volledige patiëntendossier in één keer gaven. In plaats daarvan gedroegen ze zich als een echte arts, door het verhaal van de patiënt stukje bij beetje te onthullen: eerst alleen de symptomen, dan de voorgeschiedenis, dan de onderzoeksresultaten, enzovoort. Bij elke stap moest de AI beslissen: "Heb ik genoeg informatie om een diagnose te stellen?" "Moet ik om meer informatie vragen?" of "Moet ik toegeven dat ik vastloop?"
De resultaten waren een beetje een waarschuwing. Het artikel toonde aan dat zelfs de meest geavanceerde AI-modellen, de "superdetectives" van de techwereld, er slecht in zijn om te weten wanneer ze moeten stoppen en om hulp moeten vragen. Wanneer de informatie incompleet was, bleven deze modellen toch gokken. Sterker nog, voor de meeste geteste modellen probeerden ze gevallen te diagnosticeren waarvoor ze niet genoeg bewijs hadden, in meer dan 60% van de gevallen. Het is alsof een detective roept: "Het was de butler!" nadat hij slechts de voordeur heeft horen opengaan, zonder ooit de woonkamer te hebben gecontroleerd.
De onderzoekers probeerden de AI ook te leren voorzichtiger te zijn door het een speciale instructie te geven: "Gok alleen als je zeker bent, anders zeg je 'ik weet het niet'." Dit hielp een beetje, maar het creëerde een nieuw probleem. De AI sloeg door naar de andere kant. In plaats van te veel te gokken, begon de AI zelfs te weigeren te gokken wanneer hij het wél had gekund. Het is alsof de detective, bang om een fout te maken, besloot om nooit meer een enkele zaak op te lossen. De studie suggereert dat het simpelweg vertellen aan een AI om "veilig te zijn" het hem niet echt leert om te herkennen wanneer informatie ontbreekt; het verschuift de fouten alleen van "foutief gokken" naar "weigeren te gokken."
Misschien wel de meest interessante bevinding ging over timing. Wanneer de AI wachtte tot hij alle aanwijzingen had gezien voordat hij een beslissing nam, waren de antwoorden veel beter. Maar wanneer de AI overhaast een diagnose stelde na het zien van slechts de eerste paar zinnen, daalde de nauwkeurigheid aanzienlijk. Het artikel laat zien dat capaciteit niet gelijkstaat aan veiligheid: alleen omdat een model slim genoeg is om het juiste antwoord te geven wanneer het het volledige verhaal heeft, betekent niet dat het weet wanneer het het volledige verhaal heeft.
Kortom, Safe-Psych laat zien dat onze huidige AI-detectives nog te gretig zijn om het mysterie op te lossen. Ze moeten de moeilijkste les van allemaal leren: soms is het belangrijkste wat een detective kan doen, toegeven dat hij meer aanwijzingen nodig heeft voordat hij met een vinger wijst. Totdat ze dat leren, kunnen we hen niet volledig vertrouwen om artsen te helpen bij beslissingen van leven of dood.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.