Inconsistent and divergent large language model safety guidance during intraoperative crises: a guideline- anchored benchmark
Deze studie onthult dat grensverleggende grote taalmodellen aanzienlijke inconsistentie en divergentie vertonen bij het verstrekken van richtlijngeankerde veiligheidsbegeleiding tijdens gesimuleerde intraoperatieve crises, met name met betrekking tot communicatie en escalatie, wat de kritieke behoefte onderstreept om hun betrouwbaarheid en reproduceerbaarheid te evalueren in plaats van enkel de geaggregeerde nauwkeurigheid voor klinische besluitvormingsondersteuning.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggespannen omgeving van een operatiekamer tellen seconden. Wanneer de toestand van een patiënt tijdens een operatie plotseling verslechtert, moet het medische team onmiddellijk handelen door strikte, levensreddende checklists te volgen die gedurende decennia zijn verfijnd. Deze protocollen zijn ontworpen om fouten te detecteren voordat ze schade veroorzaken, waarbij ze ervoor zorgen dat het team helder communiceert, het probleem naar de juiste personen escaleert en specifieke, kritieke handelingen uitvoert. Nu kunstmatige intelligentie-instrumenten, bekend als grote taalmodellen, de medische wereld beginnen binnen te dringen, groeit de hoop dat zij als een digitale assistent kunnen dienen door realtime begeleiding te bieden tijdens deze chaotische momenten. Echter, in tegenstelling tot een menselijke arts die vertrouwt op training en ervaring, genereren deze computerprogramma's antwoorden op basis van patronen in data, en kunnen ze soms verschillende reacties geven op exact dezelfde vraag. De cruciale vraag voor de patiëntveiligheid is niet alleen of een kunstmatige intelligentie een probleem kan identificeren, maar of het elke keer dat er een crisis optreedt, consequent de juiste, veilige handelingen kan aanbevelen, en of het daarvoor zonder aarzeling of tegenstrijdigheid vertrouwd kan worden.
Een team van onderzoekers van de University of California San Diego zette zich scharpe om precies dit betrouwbaarheid te testen. Zij creëerden een rigoureuze simulatie met tien verschillende soorten chirurgische noodgevallen, variërend van ernstige bloedingen tot luchtwegblokkades en hartcomplicaties. In plaats van de kunstmatige intelligentie simpelweg te vragen het probleem te diagnosticeren, presenteerden de onderzoekers de modellen een stapsgewijs ontvouwende crisis, waarbij ze na elke fase vroegen wat het chirurgisch team vervolgens moest doen. De modellen werden getest tegen een strikte lijst van 150 specifieke veiligheidsacties, afgeleid van gevestigde medische richtlijnen en noodhandleidingen. Deze acties omvatten zaken als het uitroepen van een crisis, het oproepen om hulp, het stoppen van een schadelijke procedure of het uitvoeren van een levensreddende handeling. De onderzoekers voerden elk scenario drie keer uit met drie verschillende toonaangevende kunstmatige intelligentiemodellen, waarbij ze de computerprogramma's behandelden alsof het nieuwe teamleden waren die de operatiekamer binnenkwamen. Het doel was om te zien of de modellen elke keer dezelfde veilige adviezen zouden geven, of dat hun begeleiding onvoorspelbaar zou afdrijven en veranderen.
De resultaten onthulden een significante en verontrustende inconsistentie. Wanneer hetzelfde crisisscenario meerdere keren aan hetzelfde model werd gepresenteerd, gaf de computer niet hetzelfde antwoord. In 29 van de 30 combinaties van model en scenario veranderde het aandeel correcte veiligheidsacties dat het model identificeerde van de ene run naar de volgende. Gemiddeld genomen was het verschil in prestaties tussen twee runs van hetzelfde model aanzienlijk, met een variatie van bijna 15 tot 18 procentpunten. Dit betekent dat als een chirurg tijdens een echte noodsituatie twee keer dezelfde vraag stelt, de computer de tweede keer mogelijk een volledig andere reeks handelingen suggereert, waardoor een kritieke stap de eerste keer wellicht gemist wordt. Hoewel één model, Claude Opus 4.6, in totaal meer correcte acties identificeerde dan de anderen, leed het nog steeds aan dezezelfde instabiliteit, en de verschillen in totale nauwkeurigheid tussen de modellen waren niet groot genoeg om een duidelijke winnaar aan te wijzen. De gevaarlijkste variaties kwamen voor op het gebied van communicatie en escalatie. De modellen faalden regelmatig in het suggereren dat het team een noodsituatie moet verklaren of om extra hulp moet roepen, en de mate waarin ze deze cruciale stappen misten, varieerde enorm, waarbij één model ze bijna drie keer zo vaak miste als een ander onder identieke omstandigheden.
De studie onderzocht ook of de modellen handelingen zouden suggereren die daadwerkelijk schadelijk kunnen zijn voor de patiënt. Gelukkig waren deze onveilige aanbevelingen zeldzaam bij alle geteste modellen. Echter, het feit dat de modellen inconsistent waren in hun veilige aanbevelingen is een grote zorg. De onderzoekers ontdekten dat de modellen over het algemeen beter waren in het suggereren van specifieke medische procedures, zoals het toedienen van een medicijn of het uitvoeren van een operatie, maar dat ze aanzienlijk moeite hadden met de zachtere, op het team gerichte aspecten van crisisbeheer, zoals het organiseren van het team of het communiceren van de ernst van de situatie. Dit suggereert dat hoewel de kunstmatige intelligentie wellicht de medische feiten kent, het niet betrouwbaar de menselijke dynamiek begrijpt die nodig is om een crisis veilig te beheren. De onderzoekers concludeerden dat voor deze instrumenten om bruikbaar te zijn in een operatiekamer, ze niet alleen beoordeeld moeten worden op of ze meestal correct zijn, maar op de vraag of ze consistent reproduceerbaar zijn. Een hulpmiddel dat telkens andere veiligheidsadviezen geeft voor hetzelfde probleem, kan niet vertrouwd worden om een medisch team te ondersteunen wanneer het leven van een patiënt op het spel staat. De studie dient als een benchmark, een meetlat voor toekomstige kunstmatige intelligentie, die bewijst dat betrouwbaarheid net zo belangrijk is als nauwkeurigheid wanneer deze systemen worden gebruikt in situaties met hoge druk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.