🤖 machine learning

Safety and accuracy follow different scaling laws in clinical large language models

Het artikel introduceert het SaFE-Scale-framework en de RadSaFE-200-benchmark om aan te tonen dat de veiligheid van klinische LLM's geen passief neveneffect van schaling is, maar een eigenschap die afhankelijk is van de implementatie, waarbij hoogwaardig bewijsmateriaal gevaarlijke fouten aanzienlijk vermindert, terwijl standaardretrieval en meer rekenkracht deze veiligheidswinsten niet kunnen repliceren.

Oorspronkelijke auteurs: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Groter Is Niet Altijd Veiliger

Stel je voor dat je een team medische studenten huurt om patiënten te helpen diagnosticeren. Je zou kunnen aannemen dat als je de "slimste" student (het grootste AI-model) huurt of ze een enorme bibliotheek geeft om te lezen (meer data), ze automatisch minder gevaarlijke fouten zullen maken.

Dit artikel betoogt dat deze aanname verkeerd is. In de hoog-risico wereld van de geneeskunde garandeert het simpelweg "slimmer" of "groter" maken van een model niet dat het veilig zal zijn. Een model kan gemiddeld zeer nauwkeurig zijn, maar toch een paar angstaanjagend zelfverzekerde, gevaarlijke fouten maken.

De onderzoekers bouwden een nieuw testterrein genaamd RadSaFE-200 (denk hierbij aan een "Veiligheidscursus" voor medische AI) om te zien wat deze AI-systemen eigenlijk veilig maakt. Ze testten 34 verschillende AI-modellen onder zes verschillende scenario's.

De Zes Scenario's: Hoe We de AI Testten

De onderzoekers stelden de AI niet alleen vragen; ze veranderden hoe de AI mocht antwoorden. Stel je dit voor als zes verschillende manieren waarop een student een toets kan maken:

Gesloten Boek: De student moet alleen uit het geheugen antwoorden. Geen notities toegestaan.
Schone Bewijslast: De student krijgt vlak voor de toets een perfecte, duidelijke, door een arts geschreven samenvatting van de feiten.
Conflicterende Bewijslast: De student krijgt de perfecte samenvatting, maar iemand smokkelt er één verwarrende of tegenstrijdige zin in.
Standaard Zoeken (RAG): De student mag antwoorden opzoeken in een rommelige, niet-gecurateerde encyclopedie (Radiopaedia), maar weet niet hoe het lawaai te filteren.
Agent Zoeken (Agentic RAG): De student heeft een slimme assistent die de encyclopedie doorzoekt, de resultaten leest en ze voor de student samenvat.
Max Context: De student krijgt de hele encyclopedie in zijn schoot gegooid, in de hoop dat hij de juiste pagina tussen het chaos kan vinden.

De Verrassende Resultaten

1. De "Schone Bewijslast" Superkracht

De grootste ontdekking was dat het geven van hoogwaardige, door artsen geschreven feiten aan de AI het enige was dat de veiligheidsproblemen echt oploste.

De Analogie: Stel je een student voor die een toets maakt. Als je ze een spiekbrief geeft geschreven door een Nobelprijswinnende arts, krijgen ze bijna alles goed en maken ze zelden gevaarlijke fouten.
De Data: Toen de AI deze "Schone Bewijslast" kreeg, steeg de nauwkeurigheid van 73,5% naar 94,1%. Belangrijker nog: gevaarlijke fouten daalden van 12% naar slechts 2,6%.

2. De "Zoeken"-Valstrik

De onderzoekers dachten dat het geven van toegang tot het internet (Zoeken/RAG) of een slimme assistent (Agent) de AI veiliger zou maken.

De Analogie: Het is alsof je een student een rommelige bibliotheek geeft. Ze vinden misschien het juiste boek, maar ze kunnen ook een verwarrend blogartikel lezen en zelfverzekerd worden over het verkeerde antwoord.
Het Resultaat: De "Zoeken"-methodes verbeterden de nauwkeurigheid lichtjes, maar ze openden de veiligheidsproblemen niet op. De AI maakte nog steeds gevaarlijke fouten, en soms werd ze zelfverzekerder over die verkeerde antwoorden.

3. De "Groot Brein"-Mythe

Ze testten modellen variërend van klein tot enorm (sommigen met honderden miljarden parameters).

De Analogie: Je zou denken dat een genie-PhD-student veiliger is dan een middelbare scholier. Maar bij deze toets maakte de PhD-student dezelfde specifieke, gevaarlijke fouten als de middelbare scholier als ze niet de juiste notities hadden.
Het Resultaat: Het groter maken van het model maakte het niet automatisch veiliger. De kwaliteit van de informatie die aan het model werd gegeven, was veel belangrijker dan de grootte van het brein van het model.

4. De Zelfvertrouwen-valstrik

Een van de meest beangstigende bevindingen ging over zelfvertrouwen.

De Analogie: Stel je een student voor die een vraag fout heeft, maar met een strak gezicht zegt: "Ik ben 100% zeker dat ik gelijk heb!"
Het Resultaat: De AI was vaak gevaarlijk zelfverzekerd wanneer ze fout zat. Het maakte niet uit of het model klein of groot was; wanneer het een hoog-risico medische fout maakte, was het meestal zeer zelfverzekerd daarover. Je kunt het "zelfvertrouwensmeter" van de AI niet vertrouwen om je te vertellen of het veilig is.

5. Het "Groepsdenken"-Probleem

Ze probeerden drie verschillende AI's samen te zetten om te stemmen over een antwoord (een "Ensemble"), in de hoop dat ze elkaars fouten zouden opvangen.

De Analogie: Het is als een commissie van drie artsen. Je zou denken dat als één persoon fout zit, de anderen hen zouden corrigeren.
Het Resultaat: Soms maakten alle drie de AI's exact dezelfde verkeerde fout op hetzelfde moment. Dit wordt "gesynchroniseerde uitval" genoemd. Wanneer een groep AI's het eens is over een verkeerd antwoord, kan dit mensen ertoe brengen te denken dat het antwoord zeker correct is, waardoor de situatie nog gevaarlijker wordt.

De Conclusie

Het artikel concludeert dat veiligheid geen passief resultaat is van het groter of sneller maken van AI.

Opschalen (modellen groter maken) helpt een beetje, maar lost het veiligheidsprobleem niet op.
Meer rekenkracht toevoegen (de AI langer laten nadenken of meerdere keren laten stemmen) lost de kernproblemen niet op.
Het enige wat werkte: De AI schone, hoogwaardige, door artsen gecureerde bewijslast geven vlak voordat het antwoordt.

De Kernboodschap: Als je een veilige medische AI wilt, koop dan niet gewoon het grootste model. Richt je in plaats daarvan op het bouwen van een systeem dat de best mogelijke, meest betrouwbare informatie aanlevert. De kwaliteit van de "notities" die de AI leest, is belangrijker dan de grootte van de "student" die ze leest.

Technische Samenvatting: Veiligheid en Nauwkeurigheid Volgen Verschillende Schaalwetten in Klinische Grootte Taalmodellen

Probleemstelling
Klinische Grootte Taalmodellen (LLM's) worden steeds vaker ingezet voor besluitvormingsondersteuning, vaak onder de aanname dat het schalen van modelgrootte, contextlengte of compute tijdens de inferentie inherent de veiligheid zal verbeteren. Echter, in klinische domeinen zoals radiologie is veiligheid niet louter een functie van gemiddelde nauwkeurigheid. Een model kan hoge nauwkeurigheid bereiken terwijl het een kleine subset van "hoogrisico"-fouten behoudt—onjuiste antwoorden die de klinische behandeling kunnen veranderen, in strijd zijn met bewijs, of worden geleverd met gevaarlijke overtuiging. Conventionele benchmarks behandelen vaak alle onjuiste antwoorden als equivalent, waardoor ze niet onderscheid maken tussen onschadelijke fouten en die met ernstige klinische gevolgen. De auteurs stellen dat veiligheidsgerelateerde fouten schaars, asymmetrisch en klinisch gestructureerd zijn, wat betekent dat schaalstrategieën die de gemiddelde prestatie verbeteren, deze specifieke, hoog-risico faalmodi niet noodzakelijk mitigeren.

Methodologie
Om deze kloof aan te pakken, introduceren de auteurs SaFE-Scale (Safety-Focused Evaluation of Scaling), een raamwerk voor het meten hoe de veiligheid van klinische LLM's verandert over modelgrootte, bewijskwaliteit, ophaalstrategie, blootstelling aan context en compute tijdens de inferentie.

Benchmarksamenstelling (RadSaFE-200): Het onderzoek maakt gebruik van RadSaFE-200, een radiologie-veiligheidsgerichte evaluatiebenchmark bestaande uit 200 meerkeuzevragen. Het dataset is samengesteld uit eerder gepubliceerde sets (RadioRAG, RaR) en nieuw gecureerde gevallen. Cruciaal bevat elke vraag:
- Door clinici gedefinieerde "zuivere bewijzen" (beknopte, correcte klinische redenering).
- "Conflicterende bewijzen" (zuivere bewijzen plus een afleidende of gedeeltelijk conflicterende zin).
- Optie-niveau veiligheidslabels die aangeven of een specifiek antwoord een hoogrisico-fout vormt (plausibele klinische schade), een onveilig antwoord (in strijd met de standaard van zorg), of een bewijscontradictie.
Experimenteel Ontwerp: De auteurs evalueerden 34 lokaal ingezette LLM's uit zeven families (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) variërend van 0,5B tot 685B parameters. De evaluatie volgde een volledig factorieel ontwerp over zes inzetcondities:
- Gesloten boek: Zero-shot prompting zonder externe bewijzen.
- Zuivere bewijzen: Prompting met gecureerde, door clinici geschreven bewijzen.
- Conflicterende bewijzen: Prompting met bewijzen die een afleider bevatten.
- Standaard RAG: Retrieval-Augmented Generation met een vast proces en Radiopaedia als bron.
- Agentic RAG: Retrieval-and-Reasoning (RaR)-raamwerk met meervoudige query-hervorming en synthese.
- Max-context: Prompting met het maximale mogelijke contextvenster.
Secundaire experimenten onderzochten compute tijdens de inferentie via zelfconsistentie (meerderheidsstemming over 20 steekproeven) en vaste ensembles van drie modellen (meerderheidsstemming over heterogene modellen).
Metingen: Primaire uitkomsten waren de hoogrisico-foutenratio, het percentage onveilige antwoorden, de contradictieratio en gevaarlijke overtuiging (gedefinieerd als een onjuist, hoogrisico-antwoord met entropie-genormaliseerd vertrouwen $\ge$ 0,80). Nauwkeurigheid werd gerapporteerd als secundair eindpunt.

Belangrijkste Resultaten
Het onderzoek toont aan dat veiligheid en nauwkeurigheid aanzienlijk uit elkaar vallen over inzetcondities:

Bewijskwaliteit is doorslaggevend: De meest significante verbetering in zowel nauwkeurigheid als veiligheid kwam voort uit het verstrekken van zuivere, door clinici geschreven bewijzen. Dit verschuifde de gemiddelde modelnauwkeurigheid van 73,5% (gesloten boek) naar 94,1% en verlaagde hoogrisico-fouten van 12,0% naar 2,6%. Gevaarlijke overtuiging daalde van 8,0% naar 1,6%.
Beperkingen van Ophalen en Agente Redenering: Hoewel Standaard RAG en Agente RAG de nauwkeurigheid verbeterden ten opzichte van prompting met gesloten boek (respectievelijk 76,0% en 78,1%), slaagden ze er niet in het veiligheidsprofiel van zuivere bewijzen te reproduceren. Agente RAG, ondanks verbeterde nauwkeurigheid ten opzichte van Standaard RAG, resulteerde in hogere gevaarlijke overtuiging (8,0% versus 5,7%), wat aangeeft dat verbeterde bewijsintegratie niet automatisch zelfverzekerde, hoogrisico-fouten elimineert.
Ondoeltreffendheid van Schaling en Compute:
- Modelgrootte: Binnen modelfamilies verbeterden grotere parameters de baselines met gesloten boek, maar elimineerden ze hoogrisico-fouten niet. Zuivere bewijzen comprimeerden de variantie tussen families, wat suggereert dat bewijskwaliteit een sterkere determinant van veiligheid is dan modelgrootte.
- Contextlengte: Prompting met max-context verhoogde de latentie (27,0s versus 18,0s) zonder de veiligheidskloof te dichten, en leverde een nauwkeurigheid op die vergelijkbaar was met prompting met gesloten boek (74,0%).
- Compute tijdens Inferentie: Zelfconsistentie bood slechts marginale winsten in nauwkeurigheid (+0,39%) en veiligheid, en slaagde er niet significant in hoogrisico-fouten te verminderen.
- Ensembles: Hoewel ensembles de geaggregeerde nauwkeurigheid verbeterden ten opzichte van het paneelgemiddelde, introduceerden ze gesynchroniseerde fouten, waarbij alle drie de leden hetzelfde verkeerde optie selecteerden. Veel ensemble-hoogrisico-fouten waren unaniem, en ensembles presteerden niet consequent beter dan het veiligste individuele lid.
Vertrouwen als Signaal: Vertrouwen bleek een onbetrouwbare veiligheidsfilter. Modellen behielden een hoog vertrouwen (vaak >85%) zelfs bij het produceren van hoogrisico- of onveilige fouten. De kloof tussen vertrouwen op correcte antwoorden en hoogrisico-fouten was te klein om als inzetfilter te dienen.
Concentratie van Worst-Case Scenario's: Klinisch consequente fouten waren niet willekeurig; ze concentreerden zich in een kleine subset van vragen. De top 15 hoogste-risico vragen produceerden hoogrisico-fouten in >50% van het modelpaneel, waarbij sommige vragen faalpercentages van 100% veroorzaakten over alle 34 modellen.

Betekenis en Claims
Het artikel claimt dat de veiligheid van klinische LLM's geen passief gevolg is van schaling (modelgrootte, context of compute), maar een eigenschap van de inzet die wordt gevormd door bewijskwaliteit, ophaalontwerp en contextopbouw.

Ontkoppeling van Metrieken: De auteurs betogen dat schaalwetten voor nauwkeurigheid niet van toepassing zijn op veiligheid. Een systeem kan nauwkeuriger worden terwijl het onveilig blijft als de inzetstrategie (bijv. ophalen) niet de specifieke aard van hoogrisico-fouten aanpakt.
Bewijs is Cruciaal: De primaire hefboom voor veiligheid is de kwaliteit van de informatie die aan het model wordt verstrekt. Gecureerde, door clinici geschreven bewijzen zijn de enige geteste conditie die modellen consequent in een "veilig inzetgebied" bracht (nauwkeurigheid $\ge$ 90%, hoogrisico-fout $\le$ 5%).
Herwaardering van Inzetstrategieën: De bevindingen suggereren dat vertrouwen op ophalen, agente redenering of ensemblemethoden alleen onvoldoende is voor klinische veiligheid. Deze methoden kunnen de gemiddelde prestatie verbeteren, maar laten residu, zelfverzekerde fouten achter die klinische risico's vormen.
Verschuiving in Evaluatie: Het artikel pleit voor een verschuiving in de evaluatie van klinische LLM's van rapportage van nauwkeurigheid met één metriek naar een multidimensionaal veiligheidsprofiel dat expliciet hoogrisico-fouten, contradicties en gesynchroniseerde fouten meet. RadSaFE-200 en SaFE-Scale worden gepresenteerd als instrumenten om dit type granulaire, inzet-specifieke veiligheidsanalyse mogelijk te maken.

De auteurs concluderen dat veiligere klinische AI-systemen expliciete veiligheidsmeting op inzetniveau vereisen, met prioriteit voor de vermindering van hoogrisico-fouten via kwaliteitscontroles van bewijs, in plaats van aan te nemen dat veiligheid zal ontstaan uit het schalen van modelparameters of compute tijdens de inferentie.