Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs
Deze studie toont aan dat hoewel prompting op basis van bewijsvoeringstoereikendheid de onveilige overmoed in klinische LLM's aanzienlijk vermindert, de omvang van deze veiligheidswinst sterk afhankelijk is van de beoordelaar en vaak gepaard gaat met aanzienlijke, modelspecifieke kosten voor de diagnostische bruikbaarheid, wat erop wijst dat dergelijke veiligheidsverbeteringen gerapporteerd moeten worden als relatieve directionele trends in plaats van gekalibreerde absolute percentages.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een super slimme robot leert om een arts te zijn. Je wilt dat de robot behulpzaam is en geweldig advies geeft wanneer hij de feiten kent. Maar je wilt ook dat hij veilig is, wat betekent dat hij niet wild gaat gokken of een zelfverzekerde diagnose stelt wanneer hij cruciale informatie mist, zoals koorts of een bloedtestresultaat. In de wereld van Kunstmatige Intelligentie is dit een lastige evenwichtsoefening. We hebben deze "Large Language Models" (LLM's) die kunnen chatten als mensen, en we moeten testen of ze veilig genoeg zijn om echte artsen te helpen. Om dit te doen, gebruiken wetenschappers vaak een "rechter"—een andere AI die de antwoorden van de robot leest en er een score voor geeft. Maar hier is de grote vraag: verandert de robot echt zijn gedrag om veiliger te worden, of leert hij alleen hoe hij de rechter kan misleiden om een goede score te krijgen? Deze studie duikt in dit mysterie en vraagt zich af of een simpele truc (een speciale prompt) medische AI daadwerkelijk veiliger maakt, of dat de veiligheidsscore slechts een illusie is die wordt gecreëerd door de eigen vooroordelen van de rechter.
De onderzoekers in dit artikel hebben een enorme, belangrijke wedstrijd van "verschil ontdekken" opgezet. Ze namen vier van de slimste beschikbare medische AI-modellen (GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash en Grok 4.3) en stelden hen 1.200 lastige medische vragen. De helft van de tijd stelden ze de modellen de vragen op normale wijze. De andere helft van de tijd gaven ze de modellen een speciale "evidence-sufficiency wrapper"—denk aan een strikt regelboek dat de AI dwong om op te sommen welke bewijzen hij had, wat er ontbrak, en toe te geven als hij niet genoeg informatie had om een diagnose te stellen.
De resultaten waren een mix van goed nieuws en een zeer belangrijke waarschuwing. Wanneer de primaire AI-rechter (GPT-5.4-nano) de antwoorden beoordeelde, deed het speciale regelboek wonderen. Het verminderde het aantal "onveilige, overmoedige" antwoorden bijna met de helft, van 49,3% naar 24,7%. Dat is een enorme daling! Het betekende dat de modellen eindelijk zeiden: "Ik weet niet genoeg om zeker te zijn," in plaats van te gokken.
Echter, het verhaal wordt grillig wanneer je de scheidsrechter verandert. De onderzoekers brachten een andere rechter in, Claude Sonnet 5, om dezelfde antwoorden te beoordelen. Deze nieuwe rechter was het er ook mee eens dat de modellen veiliger waren, maar hij vond dat de verbetering slechts half zo groot was. In plaats van een daling van 24,7 punten, zag hij slechts een daling van 13,1 punten. Dit bewijst dat de "veiligheidsscore" geen vaststaand, perfect getal is zoals een temperatuurmeting; het hangt sterk af van welke AI de beoordeling uitvoert. De primaire rechter was als een zeer gevoelige rookmelder: hij mistte bijna nooit een echt vuur (hij betrapte elke onveilige reactie), maar hij ging ook af voor aangebrand brood (hij markeerde veel veilige reacties als onveilig).
Er was nog een addertje onder het gras: veiliger zijn kwam met een prijs. Het "veiligheidsregelboek" maakte de modellen voorzichtiger, maar soms té voorzichtig. Wanneer de modellen vragen kregen die ze wel konden beantwoorden, zorgde het regelboek ervoor dat ze veel vaker aarzelden en weigerden een diagnose te stellen. Voor één model, Gemini 3.5 Flash, was dit een ramp. Het vermogen om de juiste diagnose te stellen stortte in van 75% naar slechts 17%. Het was zo bang om het fout te hebben dat het ophield behulpzaam te zijn. Een ander model, GPT-5.5, hanteerde de afweging veel beter; het verloor bijna geen nauwkeurigheid terwijl het wel aan veiligheid won.
De onderzoekers controleerden ook of de modellen niet gewoon "erbij deden alsof" door het speciale format te kopiëren waar de rechter van hield. Ze bouwden een controlegroep waarbij de modellen dezelfde chique koppen gebruikten, maar de opdracht kregen om toch een definitief antwoord te geven. De modellen gaven in die groep nog steeds slechte, onveilige antwoorden, wat bewees dat de veiligheidswinst voortkwam uit de instructie om voorzichtig te zijn, en niet alleen uit het gebruik van de juiste woorden.
Uiteindelijk zegt dit artikel niet dat we een magische knop hebben die medische AI perfect veilig maakt. In plaats daarvan laat het zien dat veiligheidsscores relatief zijn. Een "veilige" AI voor de ene rechter kan voor een andere rechter risicovol lijken. De beste aanpak is niet om op één getal te vertrouwen, maar om naar de richting van de verandering te kijken: de speciale prompt zorgt er wel degelijk voor dat modellen voorzichtiger handelen en om ontbrekende informatie vragen, maar het maakt ze ook minder behulpzaam voor sommige modellen. Voordat we deze robots in een echt ziekenhuis toelaten, moeten we precies weten welke robot we gebruiken en welke rechter we vertrouwen, want de balans tussen veilig zijn en behulpzaam zijn is voor iedere robot anders.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.