🤖 machine learning

Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors

Dit artikel introduceert een open evaluatietaak gebaseerd op de METR Task Standard die test of frontier AI-agenten autonoom gestructureerde klinische AI-beveiligingsaudits kunnen uitvoeren door aanvallen te implementeren, beveiligingsscores te berekenen en rapporten te genereren, waarbij wordt aangetoond dat modellen zoals Claude Sonnet 4.6 en GPT-4.1 perfecte scores kunnen behalen over meerdere datasets en architecturen.

Oorspronkelijke auteurs: Michael O. Eniolade

Gepubliceerd 2026-07-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michael O. Eniolade

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers leren om artsen te worden, waarbij ze helpen bij het diagnosticeren van ziekten en het beslissen over behandelingen. Deze "AI-artsen" zijn ongelooflijk slim, maar ze hebben een geheim zwak punt: ze kunnen worden bedrogen. Net zoals een mens misleid kan worden door een slimme optische illusie, kan een AI in de war worden gebracht door minuscule, bijna onzichtbare veranderingen in de gegevens die hij ontvangt. Als een hacker weet hoe hij deze kleine veranderingen moet aanbrengen, zou hij de AI kunnen misleuren om te zeggen dat een patiënt gezond is terwijl hij eigenlijk ziek is, of andersom. Dit wordt een "adversarial attack" genoemd, en dit is een enorm probleem omdat we deze trucjes niet moeten ontdekken voordat we de AI echte patiënten laten helpen, want dan zouden mensen erbij in de problemen kunnen komen.

Om dit te stoppen, hebben we "security auditors" nodig—specialisten die de AI met opzet proberen te breken om te zien hoe sterk deze is. Maar hier zit de crux: het zijn van een security auditor is moeilijk. Het vereist diepe wiskundige vaardigheden, speciale computerprogramma's en veel tijd. De meeste teams in ziekenhuizen hebben geen experts die dit kunnen doen, en de tools om dit te doen ontbreken vaak of zijn te ingewikkeld. Dus, de grote vraag is: Kan een nieuw soort superintelligent computerprogramma, een "AI agent" genoemd, dit moeilijke werk helemaal zelfstandig doen? Deze agents zijn als digitale stagiairs die instructies kunnen lezen, hun eigen computercode kunnen schrijven, tests kunnen uitvoeren en een rapport kunnen schrijven zonder dat een mens hen bij elke stap de hand houdt.

Dit artikel onderzoekt dat idee. De onderzoekers hebben een uitdagend "examen" gemaakt voor drie van de meest geavanceerde AI-agents ter wereld. Het examen vroeg hen om te fungeren als autonome security auditors voor een klinisch AI-model. De agents kregen een medisch voorspellingsmodel (zoals een model dat borstkanker of sterftecijfers op de IC voorspelt), een dataset met patiëntgegevens en een geschreven set instructies over hoe ze vier verschillende soorten security attacks moeten uitvoeren. De agents moesten hun eigen code vanaf nul schrijven om deze aanvallen uit te voeren, de cijfers te verwerken en een definitief beveiligingsrapport in een specifiek formaat te schrijven, alles binnen een beveiligde digitale container met een strikte tijdslimiet van 40 "turns" (of stappen).

De resultaten waren een mix van verbazingwekkend succes en interessante mislukkingen. Twee van de drie AI-agents, Claude Sonnet 4.6 en GPT-4.1, slaagden voor het examen met vlag en wimpel. Ze voltooiden elke versie van het examen perfect, schreven correcte code en genereerden telkens accurate beveiligingsrapporten bij elke poging. Ze deden dit efficiënt, waarbij ze relatief weinig "tokens" (de eenheden tekst die de AI verwerkt) gebruikten. De derde agent, GPT-4o, had echter moeite. Hij slaagde in slechts ongeveer 61% van de pogingen. Wanneer hij faalde, kwam dat niet omdat hij de wiskunde niet begreep; hij faalde omdat hij het proces kwijtraakte. Soms stopte hij met werken voordat hij het definitieve rapport kon opslaan, soms maakte hij een simpele rekenfout bij het optellen van de eindscores, en soms leverde hij een leeg bestand in. De studie suggereert dat hoewel topniveau AI-agents nu in staat zijn om complexe, meerstaps security auditing zelfstandig uit te voeren, ze niet allemaal even betrouwbaar zijn. Het verschil tussen succes en falen kwam vaak neer op "discipline"—het vermogen om gefocust te blijven, voortgang bij te houden en de klus te klaren zonder afgeleid te raken of slordige fouten te maken. Dit betekent dat voor ziekenhuizen die AI willen gebruiken om hun eigen medische AI te controleren, het kiezen van de juiste "digitale auditor" net zo belangrijk is als het medische model zelf.

Technische Samenvatting: Evaluatie van Frontier AI-agenten als Autonome Klinische Security Auditors

Probleemstelling
Klinische AI-modellen worden steeds vaker ingezet in omgevingen met een hoog risico (bijv. mortaliteitsvoorspelling, radiologische screening) zonder formele adversariële testen. Hoewel deze modellen goed kunnen presteren op onafhankelijke testdata, blijven ze gevoelig voor kleine, doelbewuste inputperturbaties die tot schade aan patiënten kunnen leiden. Huidige security-auditing vormt een structurele flessenhals: het vereist statistische expertise, aangepaste software-implementatie (bijv. gradiënt-gebaseerde aanvallen, schaduwmodellen, kalibratiemetrieken) en aanzienlijke tijd. De meeste klinische implementatieteams beschikken niet over deze middelen, wat leidt tot ad hoc, incomplete of door leveranciers gedelegeerde evaluaties. Het artikel stelt dat frontier AI-agenten, die in staat zijn tot meerstapsredeneren en toolgebruik, deze kloof autonoom kunnen overbruggen door gestructureerde security-evaluatiespecificaties te implementeren zonder menselijke tussenkomst.

Methodologie
De auteurs hebben een open evaluatietaak geconstrueerd op basis van de METR Task Standard v0.3.0 om te testen of frontier AI-agenten autonoom een Security Posture Score (SPS) evaluatie kunnen uitvoeren.

Taakomgeving: De agent opereert binnen een Docker-container met toegang tot een vooraf getraind klinisch model, een patiëntendataset en een geschreven audit-specificatie. De agent heeft geen scaffolding-code; hij moet alle logica implementeren op basis van de pseudocode die in de instructies wordt verstrekt.
Het SPS-framework: De agent moet vier afzonderlijke adversariële componenten implementeren en deze aggregeren in een gewogen score:
1. FGSM Robuustheid ( $s_{fgsm}$ ): De implementatie van de Fast Gradient Sign Method met behulp van een surrogaat logistische regressie om gradiënten te benaderen voor niet-differentieerbare doelmodellen.
2. Membership Inference Resistentie ( $s_{mi}$ ): Het trainen van vier schaduwmodellen op overlappende datasegmenten om een aanvalsklassificator te construeren en deze te testen tegen het doelmodel.
3. Expected Calibration Error ( $s_{ece}$ ): Het indelen van voorspelde waarschijnlijkheden in bins en het berekenen van de gewogen gemiddelde absolute afwijking tussen nauwkeurigheid en vertrouwen.
4. Boundary Attack Resistentie ( $s_{ba}$ ): Het iteratief bewegen vanaf testpunten richting de tegenovergestelde klasse om de nabijheid van de beslissingsgrens te meten.
Restricties: De agent moet een gestructureerd JSON-rapport naar submission.txt schrijven via een bash tool-interface binnen een limiet van 40 beurten (turns).
Experimenteel Ontwerp:
- Datasets: Twee klinische datasets werden gebruikt: Wisconsin Diagnostic Breast Cancer (WDBC) en MIMIC-IV (ICU mortaliteit).
- Modellen: Drie modelarchitecturen met toenemende defensieve kracht (Logistische Regressie baseline, Random Forest met Platt scaling, XGBoost met adversariële training).
- Agenten: Drie frontier modellen werden geëvalueerd: Claude Sonnet 4.6, GPT-4.1, en GPT-4o.
- Protocol: Elk model voerde drie onafhankelijke runs uit per variant (6 varianten in totaal), wat resulteerde in 54 evaluaties in totaal.

Belangrijkste Bijdragen

Open Evaluatietaak: Het artikel publiceert een METR-gestandaardiseerde taak voor klinische AI security-auditing, inclusclusief de SPS-specificatie, geautomatiseerde scoring-infrastructuur en publieke assets voor de WDBC-varianten.
Empirische Vergelijking: Een pilot-evaluatie met 54 runs die de taakvoltooiingspercentages, token-efficiëntie en numerieke precisie van drie frontier modellen vergelijkt.
Taxonomie van Foutmodi: Een karakterisering van drie verschillende foutmodi die bij GPT-4o zijn waargenomen: voortijdige beëindiging van de sessie vóór het schrijven van bestanden, rekenfouten in de gewogen aggregatie en lege indieningsbestanden.

Resultaten

Taakvoltooiing: Claude Sonnet 4.6 en GPT-4.1 behaalden een taakvoltooiing van 100% (18/18 runs elk) met perfecte evaluatorscores. Ze produceerden numeriek identieke resultaten over de runs heen (met een kleine variantie in GPT-4.1 door stochastische schaduwmodel-trainingsseeds).
Prestaties GPT-4o: GPT-4o behaalde een voltooiingspercentage van 61% (11/18 runs). De 7 mislukte runs resulteerden in geen geldige indiening of een gedeeltelijke score door aggregatiefouten.
Efficiëntie en Kosten:
- Tokengebruik: GPT-4o verbruikte ongeveer 5 keer meer input-tokens per run dan Claude Sonnet 4.6 (169K vs. 34K).
- API-kosten: Over 18 runs kostte GPT-4.1 ~$8, Claude Sonnet 4.6 ~$12, en GPT-4o ~$27.
- Beurten (Turns): Claude gemiddelde 4,7 beurten; GPT-4.1 gemiddelde 10,4 beurten; GPT-4o gemiddelde 16,9 beurten, waarbij sommige runs de limiet van 40 beurten bereikten.
Falanalyse: De fouten van GPT-4o werden toegeschreven aan problemen met de "agentic execution discipline" in plaats van een gebrek aan redeneervermogen. Specifieke fouten omvatten:
- Het beëindigen van sessies voordat het uiteindelijke JSON-bestand werd geschreven (5 gevallen).
- Handmatige rekenfouten in de uiteindelijke gewogen aggregatiestap in plaats van een programmeerbare berekening (1 geval).
- Het creëren van een leeg indieningsbestand (1 geval).

Betekenis en Claims
Het artikel claimt dat frontier AI-agenten in staat zijn om autonoom gestructureerde, meerstaps klinische security-evaluaties met hoge getrouwheid uit te voeren, mits de taak goed gedefinieerd is. De resultaten suggereren dat modelselectie een primaire architecturale beslissing is voor clinici die agentische security-pipelines bouwen; de kloof tussen de perfecte prestaties van Claude Sonnet 4.6/GPT-4.1 en het foutpercentage van 39% van GPT-4o is aanzienlijk genoeg om de betrouwbaarheid van de implementatie te beïnvloeden.

De auteurs benadrukken dat dit een pilot-evaluatie is ( $n=18$ per model) bedoeld om patronen te identificeren in plaats van precieze punt-schattingen te geven. Ze merken expliciet op dat de SPS-framework gewichten en drempelwaarden afkomstig zijn van een begeleidend preprint (Eniolade, 2026) en nog niet onafhankelijk zijn beoordeeld door peers. De studie concludeert dat hoewel de technologie levensvatbaar is, de "execution discipline" van de agent — specifiek het vermogen om de voortgang bij te houden en context-inflatie of voortijdige beëindiging te voorkomen — een cruciaal onderscheidend vermogen is in meerstaps technische taken. Het artikel beweert niet dat deze agenten volledig menselijke statistici kunnen vervangen, maar wel dat zij de implementatie van rigoureuze evaluatieprotocollen kunnen automatiseren die momenteel ontoegankelijk zijn voor veel klinische teams.

Meer zoals dit