High-Stakes Decisions with Language Models: Insights from Emergency Triage

Stel je voor dat jij de kapitein bent van een ruimteschip dat door een mistig asteroïdengestremd gebied navigeert. De computer van je schip is ongelooflijk slim; hij kan naar een wazige stip kijken en zeggen: "Er is een kans van 90% dat die stip een gevaarlijke asteroïde is." Maar de computer weet niet wat hij met dat getal moet doen. Als je crasht, ontploft het schip (een gemiste noodsituatie). Als je een waarschuwingsschot lost op een onschuldige wolk, verspil je brandstof en irriteer je de bemanning (een onnodige verwijzing). De computer heeft een regel nodig: "Als het gevaar boven de 10% ligt, vuur het schot!" of "Vuur alleen als het boven de 90% is!" Deze regel wordt een utiliteitsfunctie genoemd. In de echte wereld staan artsen dagelijks voor precies deze mistige situatie. Zij gebruiken triage om te beslissen wie onmiddellijke hulp nodig heeft en wie kan wachten. Lange tijd wisten wetenschappers al dat het maken van deze beslissingen met hoge inzet niet alleen gaat over het correct raden van de kansen; het gaat erom hoe erg je het vindt om het verkeerde soort fout te maken. Als je te bang bent om een crisis te missen, zul je iedereen naar het ziekenhuis sturen. Als je te bezorgd bent over het verspillen van tijd, mis je misschien een levenbedreigende situatie. De grote vraag is: wanneer we superintelligente computerehersenen (genaamd taalmodellen) de rol van kapitein geven, weten ze dan hun eigen regels vast te stellen, of gokken ze maar wat?

Dit artikel duikt in die vraag door medische triage niet te behandelen als een simpel gokspel, maar als een beslissingspuzzel. De onderzoekers namen een reeks medische verhalen (vignetten) waarbij artsen al hadden besloten wie de spoedeisende hulp (SEH) nodig had en wie niet. Ze vroegen verschillende AI-modellen om deze verhalen te lezen en eerst de kans te raden dat een patiënt spoedeisende zorg nodig had, en daarna te beslissen of ze de patiënt naar de SEH moesten sturen. Het team kwam tot een verrassende ontdekking: de AI-modellen waren eigenlijk heel goed in het raden van de kansen. Ze konden het verschil tussen een zieke patiënt en een gezonde patiënt met hoge nauwkeurigheid aangeven. Echter, wanneer het aankwam op het nemen van de uiteindelijke beslissing, gedroegen de modellen zich alsof ze een geheime, onuitgesproken regel hadden die veel te voorzichtig was met het doorsturen van mensen naar het ziekenhuis.

De auteurs ontdekten dat het "slechte" gedrag dat werd gezien bij een populaire consumenten-gezondheidstool (die bleek meer dan de helft van de echte noodgevallen te missen) niet kwam doordat de AI dom was of de geneeskunde niet begreep. In plaats daarvan gebruikte de AI een verborgen, standaardregel die middelen wilde besparen boven het redden van levens. Het was als een kapitein die weigert het waarschuwingsschot te lossen tenzij de asteroïde voor 99% zeker is, ook al zou het missen ervan catastrofaal zijn. Het paper laat zien dat wanneer de onderzoekers de AI expliciet vertelden: "Hé, het missen van een noodsituatie is 5 keer erger dan een vals alarm," de AI onmiddellijk van gedachten veranderde. De AI begon meer patiënten naar de SEH te sturen, waardoor ongeveer 50% meer echte noodgevallen werden opgevangen zonder dat er een enorme piek in onnodige bezoeken ontstond.

De studie suggereert dat het probleem niet het vermogen van de AI is om de toekomst te voorspellen, maar het vermogen om de orders van de kapitein op te volgen over wat het meest belangrijk is. De onderzoekers ontdekten dat door simpelweg de woorden in de prompt te veranderen om de "kosten" van verschillende fouten te specificeren, ze de AI konden sturen om zich als een veiligheidsbewuste arts of een middelenbesparende arts te gedragen, afhankelijk van wat nodig was. Ze merkten ook op dat zonder deze duidelijke instructies, elk AI-model een eigen vreemde, onzichtbare voorkeur lijkt te hebben die niemand kan zien of controleren. Het paper concludeert dat voor deze tools veilig en nuttig te zijn in echte ziekenhuizen, we ze niet alleen niet simpelweg kunnen vragen om "slim te zijn". We moeten ze expliciet vertellen hoe ze de risico's moeten afwegen, net zoals een kapitein een duidelijke opdracht moet geven aan zijn navigatiecomputer voordat hij de mist in gaat.