Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

Stel je voor dat je net een superintelligente robotassistent hebt gebouwd, een die medische dossiers kan lezen en behandelingen kan voorstellen. Je bent enthousiast, maar je weet ook dat zelfs de slimste robots soms feiten kunnen verzinnen, gevaarlijk advies kunnen geven of in de war kunnen raken door lastige vragen. Dit is de wereld van Clinical Large Language Models (LLM's): krachtige AI-tools ontworpen om artsen te helpen, maar die ook een echt risico met zich meebrengen op het gebied van fouten maken die patiënten schade kunnen berokkenen. Om de veiligheid te waarborgen, bouwen wetenschappers "guardrails" (vangrails)—digitale veiligheidsnetten die de antwoorden van de robot controleren voordat iemand ze te zien krijgt. Maar hier komt de grote vraag: werkt een veiligheidsnet op dezelfde manier bij elke robot? En wat gebeurt er als je het menselijke back-upplan wegneemt? Dit artikel duikt precies in dat onderwerp door te testen of een specifieke set regelgebaseerde veiligheidscontroles verschillende AI-modellen veilig kan houden, en hoeveel risico er overblijft als we proberen ze volledig zelfstandig te laten draaien.

De onderzoekers stelden een digitale "sentinel" (wachtpost) op—een strikte, regelvolgende scheidsrechter bestaande uit vijf verschillende poorten—om vijf verschillende AI-modellen (variërend van kleinere open-source modellen tot enorme, top commerciële modellen) in de gaten te houden. Ze testten deze modellen op twee soorten medische scenario's: verzonnen gevallen die ontworpen zijn om de AI te misleiden, en echte gevallen afkomstig uit ziekenhuisarchieven. Ze voerden de tests uit in twee zeer verschillende modi. De eerste modus, "Handoff-On," is alsof er een menselijke supervisor direct naast de robot staat. Als de sentinel een slecht antwoord detecteert, blokkeert het dit en stuurt het naar een menselijke arts om het te herstellen of te beoordelen. De tweede modus, "Handoff-Off," is de "autonome" modus: de robot moet het werk volledig zelf doen. Als de sentinel hier een slecht antwoord detecteert, is er geen mens om de dag te redden; het oorspronkelijke, potentieel gevaarlijke antwoord komt er misschien toch doorheen, of het systeem moet simpelweg de rommel opruimen.

De resultaten waren een mix van "goed nieuws" en "voorzichtigheid geboden." Wanneer de menselijke supervisor aanwezig was (Handoff-On), werkte het veiligheidsnet ongelooflijk goed voor alle modellen. Ongeacht welk AI-model ze testten, bleef het percentage gevaarlijke antwoorden dat de gebruiker bereikte onder de 6%. Het was alsof er een uitsmijter bij een club stond die bijna elke probleemzoeker betrapte. Echter, de kosten van deze veiligheid varieerden enorm. Zwakkere modellen (zoals Qwen 7B en Llama 8B) moesten in bijna de helft van de gevallen worden gestopt en naar een mens worden gestuurd voor hulp. Sterkere modellen (zo zoals Sonnet 4.5 en Gemma 4) hadden nauwelijks hulp nodig en lieten meer dan 99% van hun antwoorden direct doorgaan.

Maar wanneer ze de menselijke supervisor uitschakelden (Handoff-Off), veranderde het verhaal volledig. De veiligheid van het systeem hing plotseling volledig af van welke robot je gebruikte. De sterkste modellen bleven veilig, waarbij gevaarlijke antwoorden erg laag bleven (rond de 0% tot 2%). Maar de zwakkere modellen? Hun veiligheid stortte in. Zonder een mens om hen op te vangen, schoot het percentage gevaarlijke antwoorden omhoog naar tussen de 13% en bijna 50%. Het paper vond dat de sleutel tot dit verschil lag in hoe goed de AI kon "zelfcorrigeren". Wanneer de sentinel een sterk model vertelde: "Hé, je hebt een fout gemaakt, probeer het opnieuw," corrigeerde het sterke model de fout meestal. De zwakkere modellen konden hun eigen fouten echter vaak niet herstellen, vooral als ze de basisstructuur van hun antwoord fout hadden.

De onderzoekers testten ook wat er gebeurt als je een model probeert te "fine-tunen" (opnieuw te trainen) om het beter te maken in specifieke taken. Verrassend genoeg maakte dit de modellen soms juist slechter in het volgen van veiligheidsregels, waardoor ze hun eigen formatteringregels overtraden. Toch was de regelgebaseerde sentinel sterk genoeg om de fouten op te vangen en de uiteindelijke output veilig te houden. Ze testten zelfs een massief model met 70 miljard parameters op bijna 3.000 real-world scenario's van drie verschillende ziekenhuizen, en dit bevestigde de trend: met een menselijke back-up was het perfect veilig; zonder back-up was het nog steeds zeer veilig, maar niet zo perfect als de top commerciële modellen.

Eén laatste, cruciale experiment betrof een menselijke arts die de uiteindelijke antwoorden van de AI beoordeelde. De arts merkte op dat hoewel de veiligheidsregels duidelijke fouten opvingen, ze subtiele maar gevaarlijke fouten in de medische redenering misten. Bijvoorbeeld: de AI kan alle veiligheidsregels perfect volgen en toch de verkeerde medicijndosering voorstellen omdat het een laboratoriumuitslag verkeerd heeft begrepen. Dit bewijst dat hoewel de regelgebaseerde sentinel een fantastisch veiligheidsnet is voor het opvangen van structurele fouten, het geen vervanging is voor het brein van een arts. Het paper concludeert dat als we deze AI-tools in ziekenhuizen willen gebruiken, we het juiste model voor de taak moeten kiezen en eerlijk moeten zijn over de vraag of we een mens klaar hebben staan om in te grijpen. Je kunt er niet vanuit gaan dat een veiligheidsnet voor elke robot op dezelfde manier werkt, en je kunt de zwakste robots absoluut niet het voortouw laten nemen.