💻 computer science

Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift

Dit position paper pleit voor een verschuiving in AI-veiligheidsresearch naar mensgerichte evaluaties die de 'schadelijke vaardigheidsstijging' meten, oftewel de marginale toename in de vermogen van gebruikers om schade aan te richten met frontier-modellen boven wat conventionele tools al mogelijk maken.

Oorspronkelijke auteurs: Michelle Vaccaro, Jaeyoon Song, Abdullah Almaatouq, Michiel A. Bakker

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michelle Vaccaro, Jaeyoon Song, Abdullah Almaatouq, Michiel A. Bakker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De nieuwe manier om AI-veiligheid te testen: Waarom we niet alleen naar de robot moeten kijken, maar naar het duo

Stel je voor dat je een nieuwe, superkrachtige robot hebt gekocht. Je wilt weten of deze robot gevaarlijk is. Hoe test je dat?

Tot nu toe hebben onderzoekers dit op een simpele manier gedaan: ze zetten de robot in een glazen kooi en geven hem een reeks vragen. "Kun je een explosief maken?" "Kun je een leugen vertellen?" Als de robot "Nee" zegt of faalt op deze tests, is hij veilig. Dit noemen ze statische benchmarks.

Maar, zoals dit paper van onderzoekers van het MIT uitlegt, is dit net alsof je een auto test door hem stil te laten staan in de garage. Je ziet wel of de motor start, maar je weet niet of de auto echt veilig is als je hem op de snelweg rijdt met een mens aan het stuur.

Hier is de kern van het paper, vertaald in alledaags taal met een paar creatieve metaforen:

1. Het probleem: De "Schoonwas" van Veiligheid

De huidige tests kijken alleen naar wat de robot alleen doet. Maar in het echte leven gebruiken mensen de robot als een co-piloot.

De metafoor: Stel je voor dat een gewone mens een mes heeft. Dat is gevaarlijk, maar niet dodelijk. Nu geeft die mens een robot een mes. De robot kan het mes niet alleen vasthouden, maar hij kan de mens ook leren hoe hij het mes moet gebruiken om een hele boom om te hakken in plaats van alleen een appel te snijden.
Het probleem: De robot zelf doet niets kwaadaardigs (hij "zegt" alleen maar hoe je het doet). Maar door samen te werken, wordt de mens plotseling veel gevaarlijker. De huidige tests zien dit niet, omdat ze de mens buiten de deur houden. Ze zien alleen dat de robot "veilig" is, terwijl het gebruik ervan de mens superkrachten geeft om schade aan te richten. Dit noemen de auteurs "Safetywashing": het lijkt alsof het veiliger wordt, maar in werkelijkheid wordt de mens alleen maar sterker in het doen van kwaad.

2. De oplossing: Meet de "Schade-Boost" (Harmful Capability Uplift)

De auteurs zeggen: "Houd op met kijken naar de robot alleen. Kijk naar het duo."
Ze willen een nieuwe maatstaf introduceren: Harmful Capability Uplift.

De analogie: Stel je voor dat je een fietser bent.
- Alleen fietsen: Je kunt 20 km/u rijden.
- Met een motorfiets (de AI): Je kunt 100 km/u rijden.
- De vraag is niet: "Is de motorfiets veilig?" (Misschien heeft hij remmen). De vraag is: "Hoeveel sneller en verder kan de fietser nu rijden dan zonder de motor?"
Als de AI de mens 10 keer sneller in staat stelt om een cyberaanval te doen, of een virus te ontwerpen, dan is dat een "boost" van 10x. Dat is wat we moeten meten.

3. Hoe testen we dit zonder gevaar? (De "Proefballon")

Je kunt mensen natuurlijk niet vragen: "Probeer nu een biowapen te maken met deze AI." Dat is te gevaarlijk.

De oplossing: Gebruik veilige proefballonnen.
De metafoor: In plaats van te testen of iemand een echte bom kan bouwen, test je of ze een "bom" kunnen bouwen van suikerklontjes. Als ze met de AI een perfecte suikerbom kunnen bouwen, weten we dat ze waarschijnlijk ook een echte bom kunnen bouwen als ze echte materialen hebben.
De auteurs zeggen dat we deze proefballonnen heel slim moeten kiezen. Ze moeten op de echte taak lijken, maar dan zonder het gevaar.

4. De nieuwe testopzet: Drie scenario's

Om dit goed te meten, moeten we drie dingen vergelijken:

De Mens alleen: Wat kan de mens doen met Google en een laptop? (De basis).
De AI alleen: Wat kan de robot alleen doen? (Vaak weinig, want hij is passief).
Het Duo (Mens + AI): Wat kan de mens doen met de hulp van de robot?

Als het duo veel meer kan dan de mens alleen, dan is er een gevaarlijke boost. Dat is het signaal dat we moeten stoppen of extra veiligheidsmaatregelen moeten nemen.

5. Wat moeten we nu doen?

De auteurs geven een stappenplan voor iedereen die met AI te maken heeft:

Ontwikkelaars (zoals OpenAI, Google): Stop met alleen kijken naar de cijfers van de robot. Test hoe mensen de robot gebruiken. Maak een dashboard dat laat zien: "Met onze AI kan een beginner nu 5x sneller een hack uitvoeren dan zonder."
Onderzoekers: Stop met het doen van kleine, losse tests. Doe grote, geplande experimenten met echte mensen (maar dan met veilige taken) om te zien hoe de boost werkt.
Overheid & Regelaars: Zet regels op. Als een AI een mens meer dan een bepaalde "veiligheidsdrempel" in gevaarlijke vaardigheden helpt, moet er een stopper komen.

Samenvattend

Het paper zegt eigenlijk: "We testen AI alsof het een onafhankelijke speler is, maar in werkelijkheid is het een krachtversterker voor mensen. Als we niet meten hoeveel krachtversterking het geeft aan een kwaadaardige mens, testen we de verkeerde ding."

Het is alsof je een auto test op een testbaan, maar vergeet te kijken of de bestuurder erachter zit die de remmen loslaat. We moeten kijken naar het gevaarlijke duo, niet alleen naar de machine.

Probleemstelling

Huidige veiligheidsbeoordelingen voor geavanceerde AI-modellen (frontier AI) zijn grotendeels gebaseerd op statische benchmarks, externe annotaties en "red-teaming" (het proberen te hacken van het model). De auteurs stellen dat deze methoden fundamentele beperkingen hebben:

Scheiding van mens en model: De meeste tests meten of het model zelf schadelijke inhoud genereert, maar niet hoe het model de capaciteiten van een mens versterkt om schade aan te richten. Mensen worden vaak gezien als externe beoordelaars in plaats van als geïntegreerde actoren die samenwerken met de AI.
Gebrek aan realiteit: Statische benchmarks kunnen niet de dynamische, adaptieve interacties tussen mens en AI vastleggen die nodig zijn voor complexe, schadelijke taken (zoals het ontwerpen van biologische wapens of cyberaanvallen).
Veiligheidswas (Safetywashing): Verbeteringen in veiligheidsscores op benchmarks lopen vaak parallel aan algemene capaciteitsverbeteringen, waardoor het moeilijk is om te onderscheiden of een model daadwerkelijk veiliger is of alleen maar slimmer.
Ontbrekende controlegroepen: Bestaande red-teaming rapporten missen vaak een contrafactuele basislijn: ze meten niet hoeveel extra schade een gebruiker kan aanrichten met AI vergeleken met wat die gebruiker al kon doen met conventionele tools (zoals zoekmachines of standaardsoftware).

Het paper introduceert het concept "Harmful Capability Uplift" (HCU): de marginale toename in de capaciteit van een gebruiker om schade aan te richten wanneer deze wordt bijgestaan door een frontier-model, vergeleken met wat die gebruiker zonder AI kan bereiken.

Methodologie

De auteurs stellen een rigoureus methodologisch kader voor om HCU systematisch te meten, gebaseerd op principes uit de Human-Computer Interaction (HCI) en gedragswetenschappen.

1. Experimenteel Ontwerp (Drie Condities)
Om de echte bijdrage van de AI te isoleren, moeten experimenten minimaal drie condities omvatten:

Alleen Mens (Human Alone): Deelnemers voeren de taak uit met conventionele tools (zoekmachine, documentatie) zonder AI. Dit vormt de basislijn ( $H$ ).
Alleen AI (AI Alone): Het AI-model voert de taak zelfstandig uit. Dit isoleert de onafhankelijke capaciteit van het model ($AI$).
Mens-AI Samenwerking (Human-AI): Deelnemers voeren de taak uit met AI-ondersteuning, gebruikmakend van realistische interfaces en interactiepatronen ($HAI$).

2. De Proxy-Taak Uitdaging
Direct testen van schadelijke taken (bijv. het maken van een virus) is ethisch en veiligheidsrisico's. Daarom moeten proxy-taken worden gebruikt.

De auteurs stellen een Task Space Framework voor om de gelijkenis tussen een proxy-taak en een echte schadelijke taak te kwantificeren.
Taken worden vertaald naar vectorrepresentaties op basis van cognitieve dimensies, domeinkennis, benodigde middelen en risicodimensies.
Een proxy is alleen geldig als er een sterke voorspellende correlatie is tussen de prestaties op de proxy en de doel-taak (bijv. $R^2 > 0,25$ ).

3. Metriek: Harmful Capability Uplift Ratio ( $U$ )
De kernmetriek is gedefinieerd als:
$U = \frac{HAI}{H}$

$U = 1.0$ : Geen verbetering door AI.
$U > 1.0$ : Proportionele verbetering (bijv. $U=5$ betekent dat de mens 5x effectiever is met AI).
$U \to \infty$ : Een "novel capability flag". Dit gebeurt als een gebruiker zonder AI de taak niet kon uitvoeren ( $H=0$ ), maar het wel kan met AI. Dit markeert een kwalitatieve grensoverschrijding.

4. Statistische Benadering
Voor veiligheidskritieke assessments moet de statistiek worden omgekeerd:

Focus op False Negatives: Het is gevaarlijker om een risico te missen dan een vals alarm te geven.
Power: Studies moeten voldoende statistische power hebben om kleine, maar kritieke effectgroottes (bijv. $U \geq 5$ ) te detecteren.
Equivalency Testing: Niet-significante resultaten moeten worden getoetst op equivalentie (TOST) om te bewijzen dat het effect binnen veilige grenzen ligt, in plaats van simpelweg "geen verschil" te concluderen.
Preregistratie: Experimenten moeten worden gepre-registreerd bij instanties zoals de AI Safety Institutes om transparantie te waarborgen en gevoelige methoden te beschermen.

5. Voorspelling en Generalisatie
Omdat menselijke studies traag zijn, stellen de auteurs voor om regressiemodellen te bouwen die de HCU van nieuwe modelversies voorspellen op basis van goedkopere, publieke benchmarks. Dit vereist domeinspecifieke voorspellers (bijv. biologie-examens voor bio-risico's, code-challenges voor cyber-risico's).

Belangrijkste Bijdragen

Paradigmaverschuiving: Het verschuiven van de focus van "Genereren van gevaarlijke inhoud" naar "Versterking van menselijke schadelijke acties".
Methodologisch Kader: Een gedetailleerd protocol voor het ontwerpen van experimenten, het valideren van proxy-taken en het berekenen van de uplift-ratio.
Operationalisatie van Synergie: Het onderscheid maken tussen puur menselijke verbetering en echte mens-AI synergie (waarbij de combinatie beter presteert dan beide individueel).
Stakeholder Roadmap: Concrete actiepunten voor ontwikkelaars, onderzoekers, financiers en regelgevers.

Resultaten en Analyse

Het paper presenteert geen nieuwe empirische data van een specifiek experiment, maar analyseert de huidige staat van het veld:

Review van bestaande studies: De auteurs analyseren rapporten van grote bedrijven (Anthropic, OpenAI, Google, Meta) en concluderen dat deze vaak gebrekkig zijn qua steekproefgrootte, ontbrekende controlegroepen (geen "Alleen Mens" conditie) en inconsistente methodologieën.
Gevonden tekortkomingen: Veel bestaande studies meten alleen of een model een vraag kan beantwoorden, niet of het een mens in staat stelt een complex plan uit te voeren.
Validatie van het kader: Het paper toont aan dat bestaande methoden niet toereikend zijn om de werkelijke risico's van mens-AI samenwerking te begrijpen, en dat het voorgestelde HCU-kader nodig is om deze gaten te dichten.

Significantie en Impact

Deze paper is cruciaal voor de toekomst van AI-beveiliging omdat:

Realistisch Risicomanagement: Het de kloof overbrugt tussen theoretische benchmarks en de werkelijke dreiging in de realiteit, waar menselijke intentie en AI-capaciteit samenkomen.
Regulering en Toezicht: Het biedt regelgevers een meetbare, gestandaardiseerde metriek ( $U$ ) om drempels voor release en toezicht te stellen (bijv. "geen release als $U > 5$ voor bio-risico's").
Institutionalisering: Het pleit voor de oprichting van infrastructuur (zoals AI Safety Institutes) voor het uitvoeren van deze complexe, ethisch gevoelige studies.
Duurzame Veiligheid: Door de focus te leggen op uplift in plaats van alleen op output, kunnen ontwikkelaars proactief maatregelen nemen voordat een model in staat is om menselijke actoren tot catastrofale niveaus te versterken.

Kortom, het paper pleit ervoor dat "Harmful Capability Uplift" een standaardmetriek moet worden in de AI-industrie, net zoals nauwkeurigheid of snelheid, om ervoor te zorgen dat de kracht van AI niet wordt gebruikt om menselijke kwaadaardige capaciteiten buiten controle te laten groeien.