🤖 AI

What AI Red-Team Evaluations Can and Cannot Prove

Dit artikel stelt een berekenbaar "bewijslastplafond" vast voor AI-red-teamingevaluaties, waarbij wordt aangetoond dat hoewel huidige benchmarks effectief de veiligheid voor veelvoorkomende schade kunnen certificeren, ze fundamenteel ontoereikend zijn voor het bewijzen van de veiligheid van zeldzame, catastrofale risico's vanwege inherente statistische beperkingen.

Oorspronkelijke auteurs: Bandana Kaur

Gepubliceerd 2026-07-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bandana Kaur

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Is deze nieuwe robot veilig om in de echte wereld los te laten?" Om dit te achterhalen, vraag je de robot niet simpelweg om te zeggen "Ik ben goed"; je onderwerpt hem aan een reeks slimme tests, zoals een red-teaming oefening waarbij je probeert de robot te mislezen om iets gemeens of gevaarlijks te zeggen. Dit is de wereld van AI-veiligheidsevaluatie. Maar hier zit de crux: hoeveel trucjes moet je proberen voordat je er zeker van kunt zijn dat de robot veilig is? Als je 10 trucjes probeert en hij slaagt, is dat dan genoeg? Wat als de robot slechts één keer in een miljoen pogingen gevaarlijk is?

Hier komt statistiek om de hoek kijken. Denk aan een zaklamp in een donkere kamer. Een kleine zaklamp (een kleine test) kan gemakkelijk een grote, overduidelijke rots op de vloer laten zien (een veelvoorkomende fout). Maar als het gevaar een minuscuul, bijna onzichtbaar stofje is dat slechts af en toe verschijnt, kan diezelfde kleine zaklamp dat stofje volledig missen, zelfs als het stofje er wel is. Wetenschappers debatteren al lang of deze AI "veiligheidstests" daadwerkelijk nuttig zijn of dat ze gewoon tijdverspilling zijn. Sommigen zeggen dat ze niets bewijzen; anderen zeggen dat ze alles bewijzen. Dit artikel stapt in om het debat te beslechten door iets heel specifieks te doen: het berekent precies hoe fel de zaklamp moet zijn om verschillende groottes stof te kunnen zien.

Het artikel, geschreven door Bandana Kaur van APIsec Research Labs, betoogt dat veiligheidstests niet nutteloos zijn, maar ook geen toverstokjes. Ze hebben een harde limiet aan wat ze kunnen bewijzen, en die limiet is een wiskundig probleem, geen kwestie van mening. De auteur gebruikt een concept genaamd de "evidential ceiling" (het bewijsplafond). Stel je voor dat je een emmer hebt die slechts een bepaalde hoeveelheid water kan bevatten. Als je probeert te bewijzen dat een lek klein is, is een volle emmer water (een schone test met nul fouten) zeer overtuigend. Maar als je probeert te bewijzen dat een lek minuscuul is (zoals een zeldzaam, catastrofaal falen), dan is diezelfde emmer misschien te klein om genoeg bewijs te vangen om zeker te zijn.

De belangrijkste bevinding van het artikel is dat er een berekenbaar "kruispunt" is. Als een type schade vaak genoeg voorkomt (zoals 1% van de tijd), is een standaard test van ongeveer 520 prompts voldoende om te zeggen: "Oké, dit model is waarschijnlijk veilig genoeg om in te zetten." Sterker nog, als je 520 tests uitvoert en nul problemen ziet, is dat eigenlijk sterker bewijs dan het zien van slechts één probleem. Het is alsof je een schone kamer vindt: als je verwacht dat bacteriën overal aanwezig zijn, is een schone kamer een enorme verrassing en bewijst het dat er iets werkt.

Het artikel trekt echter een harde lijn in het zand voor zeldzame gebeurtenissen. Als een schadelijk gedrag extreem zeldzaam is (bijvoorbeeld minder dan 0,001% van de tijd), vertelt een "schone lijst" (nul fouten), ongeacht hoeveel prompts je probeert binnen een redelijk budget, bijna niets. De wiskunde laat zien dat voor deze zeldzame, catastrofale risico's, een schone testresultaat zwak bewijs is, omdat de schone test simpelweg pech zou kunnen zijn. In deze zone is een enkele geobserveerde fout zelfs informatiever dan een schone test. Het artikel berekent dat huidige publieke benchmarks "orders van grootte tekortschieten" — dat wil zeggen, ze zijn duizenden malen te klein om veiligheid te bewijzen.

De auteur wijst ook op het belang van de manier waarop deze tests worden opgebouwd. Als de testvragen allemaal erg vergelijkbaar zijn (zoals dezelfde vraag in iets andere woorden stellen), is het alsof je op zoek bent naar een speld in een hooiberg, maar je controleert slechts één hoek van de kamer. Het artikel suggereert dat huidige tests vaak clusteren, waardoor ze minder effectief zijn dan ze op papier lijken. Bovendien betoogt het artikel tegen het idee dat we simpelweg "meer" tests nodig hebben. In plaats daarvan hebben we slimmere tests nodig die beter in staat zijn om een veilig model te onderscheiden van een onveilig model. Als een test een slecht model 90% van de tijd kan misleiden maar een goed model slechts 10% van de tijd, dan is dat een krachtig instrument. Maar als het beide evenzeer misleidt, is het nutteloos, ongeacht hoe vaak je het uitvoert.

Uiteindelijk stelt het artikel een nieuwe regel voor voor hoe AI-labs hun resultaten moeten rapporteren. In plaats van alleen te zeggen: "We hebben 500 tests uitgevoerd en niets slechts gevonden," zouden ze precies moeten rapporteren wat hun test kan bewijzen. Als de schadefrequentie hoog is, kunnen ze veiligheid claimen. Als de schade laag en zeldzaam is, moeten ze toegeven dat hun test veiligheid niet kon bewijzen en dat ze andere soorten bewijs nodig hebben. Het artikel zegt niet dat we moeten stoppen met testen; het zegt dat we moeten stoppen met pretenderen dat onze tests dingen kunnen bewijzen die ze wiskundig gezien niet kunnen. Het is een oproep tot eerlijkheid: ken de grenzen van je zaklamp, en beweer niet de hele kamer te zien als je slechts een hoekje verlicht.

Technische Samenvatting: Wat AI Red-Team Evaluaties Wel en Niet Kunnen Bewijzen

Probleemstelling
Huidige AI-veiligheidspraktijken vertrouwen zwaar op red-team evaluaties, waarbij gecureerde adversariële prompts worden gebruikt om modellen te testen op schadelijke outputs. Deze resultaten worden steeds vaker gebruikt als de primaire empirische basis voor toezicht door regelgevers en beslissingen over implementatie. Een groeiende kritiek suggereert echter dat kwantitatieve outputs van deze benchmarks een gebrek hebben aan statistische precisie, niet generaliseren over semantisch equivalente prompts, en geen betekenende vergelijkingen tussen systemen kunnen ondersteunen. Hoewel deze kritieken valide zijn, betoogt het paper dat de conclusie dat veiligheidsbenchmarks "waardeloos" zijn, onjuist is. In plaats daarvan is het centrale probleem dat het vakgebied een formeel kader mist om te bepalen welke specifieke proposities een gegeven evaluatie kan ondersteunen. Zonder dit kader kunnen laboratoria de veiligheid voor zeldzame, catastrofale schade overschatten of benchmarks voor hoogfrequente schade onderbenutten.

Methodologie
Het paper introduceert een formeel statistisch kader om het "evidential ceiling" (het bewijskrachtige plafond) van een evaluatie te definiëren. Dit plafond vertegenwoordigt de maximale factor waarmee een enkel resultaat de posterior odds tussen twee hypothesen kan verschuiven: $H_0$ (aanvaardbaar risico) en $H_1$ (verhoogd risico).

Afleiding van het Evidential Ceiling: De auteurs definiëren het plafond voor een benchmark met een nulresultaat (nul geobserveerde schade) in gesloten vorm. Gebruikmakend van een likelihood ratio-benadering, leiden zij het maximale bewijs af dat een "clean sheet" (schone lei) kan bieden, gegeven een vast budget aan middelen ( $N_{max}$ ) en een schaderate ( $p$ ).
Berekening van de Grens: Het paper leidt een kritische grens af, $p_{min}$ $p_{min}$ , die twee regimes scheidt:
- Boven $p_{min}$ : Een benchmark van haalbare omvang kan een categorie certificeren tot een gestelde bewijskrachtige standaard. In dit regime is een "clean sheet" een sterker bewijs dan een enkele geobserveerde fout.
- Onder $p_{min}$ : Geen passieve benchmark van haalbare omvang kan het gespecificeerde bewijs van veiligheid leveren. In dit regime weegt een enkele geobserveerde fout zwaarder dan een "clean sheet".
Generalisatie naar Adaptieve Elicitatie: Het kader wordt uitgebreid van statische benchmarks naar adaptief red-teaming. De auteurs vervangen de ruwe schaderate door "hypothese-geconditioneerde elicitatierates" ( $q_1$ voor $H_1$ en $q_0$ voor $H_0$ ). Zij demonstreren dat de bewijskracht wordt bepaald door de discriminatie tussen deze rates ( $\kappa = |\log_2((1-q_1)/(1-q_0))|$ ), en niet enkel door de attack success rate.
Empirische Audit: De auteurs auditeren acht veelgebruikte evaluatiesets (bijv. AdvBench, HarmBench, SafetyBench) tegen deze theoretische grenzen. Zij analyseren statistische kracht, kansen op valse certificering en distributionele validiteit (het vergelijken van benchmark-prompts met echte gebruikersvragen uit LMSYS-Chat-1M).

Belangrijkste Bijdragen

Gesloten Vorm van de Grens: Het paper biedt een berekenbare uitdrukking voor de grens tussen certificeerbare en niet-certificeerbare schade. Deze grens daalt als $1/n$ , wat betekent dat grotere benchmarks het bereik van certificeerbare schade vergroten, maar de fundamentele limiet voor extreem zeldzame gebeurtenissen niet kunnen overwinnen.
Omkering van de Bewijskracht: De auteurs bewijzen dat de relatieve bewijskracht van een "clean sheet" versus een "enkele geobserveerde fout" niet absoluut is. Boven de kruisingsrate ( $p_\times$ ) is een "clean sheet" sterker bewijs; eronder is een enkele fout sterker bewijs. Dit kruispunt is eveneens berekenbaar.
Discriminatie boven Success Rate: Het paper stelt vast dat voor adaptief of geautomatiseerd red-teaming de waarde van de metriek de discriminatie is tussen elicitatierates onder veilige en onveilige hypothesen, en niet de ruwe attack success rate. Een procedure die even vaak afgaat op zowel veilige als onveilige modellen levert nul bewijs.
Rapportage Template: Er wordt een minimaal rapportage template voorgesteld (Tabel 5) dat laboratoria verplicht specifieke parameters te publiceren (bijv. effectieve steekproefomvang, intra-cluster correlatie, elicitatierates onder $H_0$ en $H_1$ ) om de bewijskracht van een resultaat te kunnen wegen.

Resultaten

Adequaatheid voor Hoogfrequente Schade: Voor schadecategorieën met rates rond $10^{-2}$ (1%), zijn bestaande publieke benchmarks (bijv. AdvBench met $n=520$ ) adequaat om claims van orde-grootte veiligheidsverbeteringen te ondersteunen.
Inadequaatheid voor Zeldzame/Catastrofale Schade: Voor zeldzame categorieën (bijv. $p = 10^{-4}$ of $10^{-5}$ ), schieten huidige benchmarks tekort met meerdere grootheden. Het paper concludeert dat geen enkele benchmark van haalbare omvang ( $N_{max} \approx 10^5$ ) de afwezigheid van schade bij deze rates kan certificeren.
Distributionele Kloof: Empirische analyse laat zien dat benchmark-prompts meetbaar gescheiden zijn van regulier deploymentverkeer (een 3,1 tot 3,5 keer hogere excess in afstandscriteria). Hoewel dit de afstand tot adversariële verkeer niet begrenst, bevestigt het dat benchmarks de reguliere gebruikersdistributies niet vertegenwoordigen.
Clustering Effecten: Real-world benchmarks vertonen clustering (prompts afgeleid van templates), wat de effectieve steekproefomvang ( $n_{eff}$ ) vermindert en de certificeerbare grens verder omhoog duwt, wat het nut van huidige suites voor zeldzame gebeurtenissen verder beperkt.

Betekenis en Claims
Het paper beweert dat veiligheidsbenchmarks niet oninformatief zijn, maar informatief zijn over een "specifieke en berekenbare set van proposities". De betekenis ligt in de verschuiving van de discipline van de vraag of benchmarks werken naar het definiëren van wat ze kunnen bewijzen.

De auteurs stellen dat de grens tussen wat wel en niet bewezen kan worden een kwestie is van berekening, niet van deskundig oordeel. Door deze grens te formaliseren, stelt het paper een discipline voor waarbij laboratoria voordat ze een evaluatie uitvoeren, kunnen bepalen of hun ontwerp een specifieke certificeringsclaim ondersteunt. Als een schade categorie onder de berekenbare grens valt, zou het vakgebied moeten stoppen met het proberen te certificeren hiervan via nulresultaat-benchmarks en in plaats daarvan moeten vertrouwen op niet-benchmark bewijs. Het paper concludeert dat de huidige "overcorrectie" die stelt dat benchmarks waardeloos zijn, onjuist is; ze zijn eerder precisiemeters met een berekenbare resolutie die expliciet in veiligheidsrapportages vermeld moet worden.

Meer zoals dit