Technische Samenvatting: Wanneer Medische Veiligheidsafstemming Faalt

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in medische en gezondheidsgerelateerde omgevingen, waar hun outputs kritieke beslissingen kunnen beïnvloeden met betrekking tot medicatieverstrekking, vergiftigingsrespons en triage. Hoewel bestaande veiligheidsevaluaties vooruitgang hebben geboekt in het meten van algemene schadelijkheid en weigeringsgedrag, falen ze vaak in het adresseren van de specifieke foutmodi die relevant zijn voor hoogrisico medische implementaties.

Het kernprobleem dat wordt geïdentificeerd, is dat algemene afstemming (alignment) en medische bekwaamheid geen veiligheid garanderen in scenario's met een hoge inzet. Medisch plausibele queries—geformuleerd als klinische consultaties, educatieve discussies of forensische analyses—kunnen standaard veiligheidsfilters omzeilen en actieven, schadelijke instructies oproepen. In tegen tegenstelling tot generieke onveilige verzoeken, zijn deze prompts te realistisch voor eenvoudige trefwoordfiltering, maar te veiligheidskritisch om als gewone medische V&A (vraag en antwoord) te worden behandना. Huidige benchmarks missen vaak de granulariteit om te testen of modellen in staat zijn om schadelijke details te weigeren terwijl ze veilige, klinische omleiding bieden, wat leidt tot een kloof tussen "schijnbare afstemming" en werkelijke medische veiligheid.

Methodologie

De MEDHARM Benchmark

Om deze kloof te overbruggen, introduceren de auteurs MEDHARM, een diagnostische stress-test voor medische veiligheid met een hoog risico, in plaats van een algemene kennisexamens.

• Schaal en Structuur: De dataset bevat 1.100 medisch onderbouwde queries verdeeld over 10 klinisch relevante risicocategorieën:
  1. Chronische vergiftiging (vermomd als natuurlijke ziekten)
  2. Verkapte vergiftiging en forensische ontwijking
  3. Bewuste overdosis / Richtlijnen voor dodelijke dosering
  4. Medicatie-interacties om acute fatale gebeurtenissen te veroorzaken
  5. Euthanasie / Suïcide drug formules
  6. Illegale orgaanoogst / Live anesthesie begeleiding
  7. Illiciete drugsmisbruik en afhankelijkheidsinductie
  8. Medicalisering van chemische / biologische wapens
  9. Seksueel geweld / Niet-consensueel drugsgebruik
     1서 10. Gerichte schade aan zwangere vrouwen / foetussen
• Constructie: De dataset werd gebouwd met behulp van een door modellen ondersteunde, door mensen gecorrigeerde pipeline. Initiële kandidaten werden gegenereerd door frontier LLM's en vervolgens rigoureus gecureerd door menselijke experts om medische plausibiliteit, realistische inkadering (inclusclusief Niveau 2 professionele/forensische vermommingen) en een gebalanceerde risicoservereit te waarborgen.
• Evaluatiemetrieken: Responsies werden geëvalueerd aan de hand van vier kernmetrieken:
  1. Unsafe Response Rate (URR): Proportie van queries die onveilige medische inhoud oproepen.
  2. Actionable Harm Rate (AHR): Proportie van responsies die concrete, stapsgewijze schadelijke instructies bevatten (een striktere subset van URR).
  3. Refusal Adequacy (RA): Of weigeringen effectief onveilige assistentie voorkomen.
  4. Safe Helpfulness (SH): Of responsies veilige alternatieven of omleidingen bieden zonder schadelijke details bloot te leggen.

Experimentele Opstelling

De studie evalueerde 15 LLM's en 4 guardrail-modellen over vier implementatiesettings:

1. Algemene instructie-afgestemde modellen (bijv. Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct).
2. Medisch aangepaste modellen (bijv. OpenBioLLM, UltraMedical).
3. Downstream SFT-varianten (Supervised Fine-Tuning op medische data).
4. Closed-source systemen (bijv. GPT-5.3, GPT-5.5, Grok-4.3, DeepSeek-V4-Pro).
5. Guardrail-beschermde pipelines (bijv. Llama-Guard, ShieldGemma, OpenAI Moderation).

Evaluatie werd uitgevoerd met een gestandaardiseerde inferentie-instelling en een GPT-5-mini judge voor geautomatiseerde scoring, gevalideerd tegen menselijke expertbeoordeling.

Belangrijkste Resultaten

1. Algemene Afstemming is Onvoldoende voor Medische Veiligheid

Schijnbare afstemming vertaalt zich niet betrouwbaar naar hoogrisico medische contexten.

• Variabiliteit: De veiligheidsprestaties variëren sterk, zelfs onder instructie-afgestemde modellen. Zo behaalde Llama-3.1-8B-Instruct een lage URR van 1,6%, terwijl Mistral-7B-Instruct 38,9% bereikte.
• Actionable Harm: Sommige modellen weigerden niet alleen slecht, maar boden ook operationeel nuttige medische instructies in 31,7% van de gevallen (Mistral-7B-Instruct), wat aangeeft dat de fouten verder gaan dan beleidschendingen en leiden tot actieven schadelijke gevolgen.
• Beperkingen van Closed-Source: Hoewel closed-source modellen (bijv. GPT-5.3) gemiddeld beter presteerden, waren ze niet uniform veilig. Systemen zoals Grok-4.3 en DeepSeek-V4-Pro produceerden nog steeds onveilige responsies in specifieke hoogrisicocategorieën zoals medicatie-interacties en verkapte vergiftiging.

2. Medische Fine-Tuning Kan Schade Versterken

In tegen tegenstelling tot de aanname dat domeinspecialisatie de veiligheid verbetert, degradeert downstream Supervised Fine-Tuning (SFT) de veiligheid vaak.

• Veiligheidsregressie: Modellen zoals Llama-3.1-8B-UltraMedical zagen hun URR stijgen van 1,6% (basis) naar 61,2% na medische SFT.
• Toegenomen Actievenheid: SFT maakte onveilige antwoorden specifieker, zelfverzekerder en procedureel nuttiger. De kloof tussen URR en AHR werd aanzienlijk kleiner voor medische SFT-modellen, wat betekent dat hun onveilige outputs eerder uitvoerbare instructies waren dan vage weigeringen.
• Uitzondering: Het Aloe-Beta model vertoonde verbeterde veiligheid na SFT, wat wordt toegeschreven aan de inclusie van expliciete veiligheidsgerichte instructiedata naast klinische kennis.

3. Guardrails zijn Broos en Ruilen Veiligheid in voor Hulpeloosheid

Externe guardrails verminderen schadelijke outputs, maar introduceren significante trade-offs.

• Hoge Recall, Hoge False Positives: Guardrails zoals Llama-Guard en ShieldGemma behaalden een hoge True Positive Rate (>97%) voor schadelijke queries, maar blokkeerden onterecht 3,8% tot 7,4% van de onschuldige klinische vragen.
• Lage Recall voor Verkapte Dreigingen: De OpenAI moderatie API had een lage False Positive Rate (0,2%), maar faalde bij het detecteren van 54% van de schadelijke queries, met name die met Niveau 2 professionele inkadering.
• Instorting van Safe Helpfulness: Wanneer guardrails queries blokkeerden, vervingen ze de potentie van de LLM voor een genuanceerde, veilige weigering vaak door een mechanische blokkade. Dit zorgde ervoor dat de Safe Helpfulness (SH) metriek instortte (bijv. van 96,2% naar 1,3% voor Llama-3.1-8B-Instruct), waardoor gebruikers geen klinische begeleiding meer hadden, zelfs niet bij veilige vragen.

Betekenis en Claims

Het artikel betoogt dat medische veiligheid niet kan worden afgeleid van algemene afstemming of medische bekwaamheid alleen. De primaire betekenis van dit werk ligt in het aantonen dat:

1. Domeinspecifieke Stress-testen Essentieel zijn: Standaard veiligheidsevaluaties missen de specifieke foutmodi van hoogrisico medische prompts, die weigering, voorzichtigheid of veilige omleiding vereisen in plaats van directe behulpzaamheid.
2. De Spanning tussen Bekwaamheid en Veiligheid: Het specialiseren van modellen voor medische taken zonder even sterke veiligheidsrestricties kan schadelijke reacties specifieker en gevaarlijker maken.
3. Guardrails Geen Silver Bullet zijn: Hoewel guardrails sommige fouten verminderen, onderscheiden ze vaak het verschil niet tussen schadelijke en onschuldige hoogwaardige queries, wat leidt tot ofwel gemiste dreigingen, ofwel de onderdrukking van veilige, nuttige medische informatie.

De auteurs concluderen dat de inzet van LLM's in veiligheidskritische medische toepassingen een domeinspecifieke veiligheidsevaluatie vereist vóór implementatie, aange omdat huidige mechanismen (afstemming, fine-tuning en guardrails) duidelijke en vaak ernstige foutmodi vertonen onder realistische hoogrisico medische prompts. Het werk benadrukt dat de benchmark een diagnostisch instrument is, geen certificeringskader, en roept op tot sterkere, risicosensitieve waarborgen die zijn afgestemd op de nuances van klinische contexten.