Designing escalation criteria for international AI incident response: criteria, triggers, and thresholds

Technische Samenvatting: Stress-testen van AI-incidentescalatie

Probleemstelling
Naarmate regelgevingskaders voor AI-incidentrapportage ontstaan (bijvoorbeeld de EU AI-wet, Californië's SB 53), bestaat er een kritieke kloof in het evalueren of de escalatiecriteria binnen deze kaders de incidenten die ze bedoeld te vangen, betrouwbaar detecteren. De huidige literatuur richt zich op het ontwerp van incidentdatabases en het detecteren van systemische schade, maar mist een evaluatie of de upstream-criteria – definities, drempels en triggers – effectief functioneren wanneer ze worden toegepast op real-world scenario's. Slecht ontworpen criteria riskeren het creëren van systematische blinde vlekken, waardoor incidenten die aandacht vereisen, niet worden geëscaleerd.

Methodologie
De auteurs hanteren een sequentieel proces van drie fasen:

1. Kaderontwikkeling: Een escalatiekader met acht criteria werd opgesteld door voorbeelden uit verschillende domeinen te beoordelen (bijvoorbeeld de Internationale Gezondheidsreglementen van de WHO, DORA van de EU, Basel II) en bestaande AI-regelgeving.
2. Stress-testen: Het kader werd onderworpen aan een "walkthrough"-methodologie, geïnspireerd op cybersecurity tabletop-oefeningen en vroege ervaringen met de implementatie van DORA. Tien gedocumenteerde AI-incidenten en gestructureerde varianten werden geanalyseerd in vier hoog-risico domeinen: cyber, CBRN (Chemisch, Biologisch, Radiologisch, Nucleair), psychologische schade en risico's van multi-agent systemen.
3. Contrfactuele Analyse: Voor elk incident bepaalden de auteurs of het kader escalatie zou triggeren, bij welke beslissingspoort en op basis van welk bewijs dat op specifieke tijdstippen beschikbaar was. Gestructureerde variaties werden geïntroduceerd om de omstandigheden te identificeren waaronder classificaties zouden veranderen.

Het Escalatiekader
Het voorgestelde kader classificeert incidenten in drie uitkomsten: Escaleren (internationale coördinatie vereist), Waarschuwen (ondersteuning van capaciteit/informatiedeling) of Verwerpen. Het maakt gebruik van een sequentiële flowchart met acht gepoorteerde criteria:

1. AI-oorzakelijkheid: Was AI een oorzakelijke factor?
2. Scope: Domein-gebaseerde uitsluitingen (bijvoorbeeld militair).
3. Directe Escalatie: Pre-schade triggers (bijvoorbeeld CBRN-bijstand, verlies van ontwikkelaarscontrole) ongeacht bevestigde schade.
4. Patroondetectie: Aggregatie van incidenten die een gemeenschappelijke oorzaak delen (technisch, capability of contextueel).
5. Schadecategorie & Ernst: Beoordeling tegenover erkende taxonomieën (bijvoorbeeld MIT) en ernstniveaus (Niveau 4+).
6. Grensoverschrijdende Verspreiding: Behoefte aan internationale coördinatie.
7. Onomkeerbare Grensoverschrijdende Schade: Permanente schade met downstream-effecten.
8. Bijna-incident: Afgeleide incidenten die faalmodi onthullen die andere systemen beïnvloeden.

Belangrijkste Resultaten
De stress-test onthulde dat het kader betrouwbaar presteert voor incidenten met een discrete aanvang en individuele ernst, waarbij de causale rol van AI duidelijk is. Echter, drie categorieën van incidenten bleken structureel uitdagend, wat leidde tot systematische onderdetectie in huidige regelgevingskaders:

• Cumulatieve, Individueel Onder-drempel Schade: Incidenten zoals niet-toegestane deepfakes en psychologische schade door mens-AI-interactie omvatten miljoenen lage-ernst interacties. Huidige kaders die incidenten individueel beoordelen, slagen er niet in de aggregatie-ernst te vangen, die alleen zichtbaar wordt door patroondetectie en aggregatie.
• Bijna-incidenten en Potentiële Schade: Incidenten met hoge potentiële ernst maar lage gerealiseerde schade (bijvoorbeeld kwetsbaarheden in agentische platformen) worden vaak gemist tenzij specifieke bijna-incidentcriteria worden toegepast.
• Gaten in de Ernstschaal: Diffuse schade (psychologische distress, schendingen van waardigheid) laten zich niet goed vertalen naar bestaande kwantitatieve ernstbeschrijvingen. Huidige kaders missen mechanismen voor cross-categorie aggregatie, waardoor incidenten onder escalatiedrempels vallen ondanks regelgevende behandeling als ernstig.

Vondsten: De Afhankelijkheidsketen en Ontwerppatronen
De auteurs identificeren een drie-laags afhankelijkheidsketen die deze falen verklaart:

1. Laag 1 (Data-infrastructuur): Wat kan worden gedetecteerd.
2. Laag 2 (Definitorische Grondslagen): Hoe incidenten en schade worden gecategoriseerd en gescoord.
3. Laag 3 (Escalatie Triggers): Drempels en beslislogica.

Gaten in upstream-lagen propageren stroomafwaarts. Het paper identificeert vier specifieke ontwerppatronen in huidige kaders (EU AI-wet, SB 53) die onderdetectie aandrijven:

1. Triggers die Bevestigde Schade Vereisen voor Pre-schade Risico's: Het vereisen van daadwerkelijke schade-uitkomsten voordat er wordt gerapporteerd, verhindert de escalatie van hoog-risico gebeurtenissen (bijvoorbeeld een model dat CBRN-bijstand verleent) waarbij de ontwikkelaar de trigger ziet maar niet de downstream-schade.
2. Alleen Individuele Beoordeling die Cumulatieve Schade Mist: Het ontbreken van aggregatiebepalingen betekent dat effecten op populatieniveau (bijvoorbeeld 500.000 gebruikers die risicofactoren vertonen) onzichtbaar zijn wanneer ze worden beoordeeld als discrete gebeurtenissen.
3. Juridisch Gedefinieerde Drempels die Praktisch Niet Testbaar Zijn: Definities die vertrouwen op "schending van fundamentele rechten" of specifieke kwantitatieve drempels (bijvoorbeeld 50 slachtoffers) zijn ofwel niet meetbaar door ontwikkelaars of missen incidenten met gematigde maar reële ernst.
4. Discrete-Event Architectuur Toegepast op Staande Voorwaarden: Het toepassen van gebeurtenisgebaseerde logica op continue, staande voorwaarden (bijvoorbeeld aanhoudende psychologische schade, geleidelijke erosie van informatie-integriteit) maakt deze risico's onzichtbaar, aangezien er geen discrete aanvang of resolutiepunt is.

Voorgestelde Oplossing
Om "staande voorwaarden" aan te pakken, stellen de auteurs tolerantie-gebaseerd monitoring voor, gebaseerd op precedenten uit de financiële dienstverlening (bijvoorbeeld Basel II, Bank of England). Dit omvat:

1. Het standaardiseren van schade-categorisaties over providers heen.
2. Het operationaliseren van continue monitoring (overgang van momentopnames naar continue feeds).
3. Het instellen van toleranties waarbij rapporteerbare gebeurtenissen worden gedefinieerd door abnormale veranderingen in de snelheid, ernst of verdeling van schade (bijvoorbeeld prevalentiepieken boven de basislijn) in plaats van de blote aanwezigheid van schade.

Betekenis en Beweringen
Het paper beweert dat het alleen ontwerpen van betere triggers onvoldoende is. Definitorisch werk (Laag 2) en data-infrastructuur (Laag 1) zijn voorwaarden voor operationele escalatiecriteria. Zonder het aanpakken van deze upstream-lagen riskeren kaders formeel compleet te zijn maar operationeel niet implementeerbaar, met name voor risicodomeinen waar onderdetectie ernstige gevolgen heeft.

Het werk draagt bij aan de "Operationalisatie"-capaciteit van technisch AI-bestuur door:

• Een kader met acht criteria te bieden dat is gebaseerd op voorbeelden uit verschillende domeinen.
• Via stress-testen aan te tonen dat huidige regelgevingsontwerpen structurele kenmerken bevatten die leiden tot systematische blinde vlekken.
• Een afhankelijkheidsstructuur voor te stellen die verklaart waarom bepaalde risico's (cumulatief, psychologisch, staande voorwaarden) momenteel onzichtbaar zijn voor escalatiemechanismen.
• Een constructief voorstel te doen voor tolerantie-gebaseerd monitoring om aanhoudende, populatie-gebaseerde schade aan te pakken.

De auteurs merken beperkingen op, waaronder de steekproefgrootte van tien incidenten en de afhankelijkheid van oordeelsvorming in de walkthrough-methodologie, en suggereren dat toekomstig werk multi-stakeholder validatie en domein-specifieke triggerverfijning moet omvatten.