From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Technische Samenvatting: Van Silo's naar Systemen: Procesgeoriënteerde Hazard-analyse voor AI-systemen

Probleemstelling
Huidige benaderingen voor het analyseren van risico's in Kunstmatige Intelligentie (AI)-systemen richten zich voornamelijk op individuele componenten—zoals trainingsdata of specifieke machine learning-modellen—in isolatie. Dit "silo-perspectief" negeert gevaren die ontstaan door de interacties tussen componenten, de integratie van modellen in bredere softwarestacks, en de sociotechnische processen van ontwikkeling en operatie. Terwijl regelgevende kaders (bijv. de EU AI Act) en industriële praktijken (bijv. system cards) beginnen te differentiëren tussen AI-modellen en AI-systemen, is er een gebrek aan empirische kaders om hazard-analyse op systeemniveau te faciliteren. Bestaande methoden falen vaak in het rekening houden met de emergente aard van veiligheid in complexe sociotechnische systemen, waarbij schade niet alleen voortkomt uit componentfalen, maar uit de wisselwerking tussen technische artefacten, menselijke actoren en institutionele processen. Bovendien bezitten AI-systemen unieke kenmerken—zoals model-opaciteit, probabilistische capaciteiten en output-complexiteit—die aanzienlijk variëren over verschillende paradigma's (bijv. lineaire regressie versus generatieve modellen), wat de toepassing van traditionele veiligheidstechnische instrumenten bemoeilijkt.

Methodologie
De auteurs passen System Theoretic Process Analysis (STPA) aan, een goed gevestigd framework voor hazard-analyse uit het vakgebied van systeemveiligheid, voor gebruik in AI-contexten. STPA behandelt veiligheid als een emergente eigenschap van het gehele systeem, waarbij controle-structuren en feedbackloops worden geanalyseerd in plaats van enkel componentfouten.

Het onderzoek hanteert een kwalitatieve casestudy-aanpak met drie verschillende AI-systemen binnen verschillende domeinen en paradigma's:

1. Casus 1 (C1): Een op lineaire regressie gebaseerd vroege-waarschuwingssysteem voor het voorspellen van sepsis bij pasgeborenen (Human-in-the-loop).
2. Casus 2 (C2): Een op Reinforcement Learning (RL) gebaseerd geautomatiseerd insuline-injectiesysteem voor diabetesbeheer (Human-out-of-the-loop).
3. Casus 3 (C3): Text-to-image (T2I) generatieve modellen gebruikt voor storyboarding in creatieve praktijk (Human-as-tool-user).

De methodologie omvatte gegevensverzameling via stakeholder-interviews, workshops en de review van technische documentatie en academische literatuur. De onderzoekers pasten de vier standaardstappen van STPA toe op elke casus:

1. Het identificeren van het doel van de analyse (verliezen en systeemgrenzen).
2. Het creëren van controlediagrammen (het in kaart brengen van controllers, gecontroleerde processen en feedback).
3. Het identificeren van Onveilige Controleacties (Unsafe Control Actions, UCAs).
4. Het identificeren van verliesscenario's (causale ketens die leiden tot UCAs).

Door middel van iteratieve, reflexieve analyse van deze toepassingen, hebben de auteurs PHASE (Process-oriented Hazard Analysis for AI Systems) ontwikkeld, een richtlijn die STPA-concepten vertaalt om AI-specifieke uitdagingen aan te pakken.

Belangrijkste Bijdragen
De primaire bijdrage is de PHASE-richtlijn, die STPA aanpast voor AI door specifieke modificaties te introduceren om de heterogeniteit van AI-systemen te behandelen:

• Verbreedde Verlies-taxonomie: PHASE breidt de definitie van "verlies" uit voorbij traditionele veiligheidskritische uitkomsten (bijv. verlies van leven) naar prestatiegerelateerde verliezen (bijv. efficiëntie, reputatie) en sociotechnische verliezen (bijv. schending van privacy, verlies van diversiteit, algoritmische bias).
• Procesgeoriënteerde Systeemgrenzen: In plaats van grenzen rond het model zelf te trekken, definieert PHASE grenzen rond de ontwikkelings- en gebruiksprocessen (de algoritmische toeleveringsketen), waarbij wordt erkend dat ontwikkelaars de data en ontwerpkeuzes controleren, maar niet noodzakelijkerwijs de geleerde latente representaties.
• Dynamische Controle-structuren: Het framework faciliteert de vloeibaarheid van rollen in AI, waarbij een component (bijv. een AI-assistent) in de ene context als controller kan fungeren en in een andere als gecontroleerd proces, afhankelijk van organisatorische mandaten en gebruikspatronen.
• AI-specifieke Verliesscenario's: PHASE houdt expliciet rekening met verliesscenario's die voortkomen uit emergente en evoluerende systeemcapaciteiten (bijv. modelupdates, hertraining of uitgebreide gebruiksscenario's) die bestaande waarborgen inhalen, een factor die vaak gemist wordt in traditionele STPA toegepast op statische systemen.

Resultaten en Bevindingen
De toepassing van STPA via PHASE over de drie casestudies leverde verschillende bevindingen op:

• Toepasbaarheid: De kernconcepten en stappen van STPA zijn toepasbaar op AI-systemen, maar vereisen gerichte aanpassingen om AI-specifieke uitdagingen zoals opaciteit en autonomie aan te pakken.
• Hazard-detectie: De systeem-niveau analyse identificeerde succesvol gevaren die onzichtbaar zouden blijven bij component-niveau audits. Zo kan een model bijvoorbeeld een eerlijkheidsaudit in isolatie passeren, terwijl de systeem-niveau interactie tussen een imperfecte waarschuwing en het overmatige vertrouwen van een clinicus kan leiden tot een foutieve diagnose.
• Heterogeniteit doet ertoe: De analyse toonde aan dat verschillende AI-paradigma's (lineaire modellen, RL, generatieve modellen) verschillende eisen stellen aan de analyse. Zo was het definiëren van systeemgrenzen complexer voor open-ended generatieve platforms dan voor het meer geconstrangeerde RL-insulinesysteem.
• Vier Belangrijke Affordances: De studie identificeert vier specifieke affordances die PHASE biedt aan analisten:
  1. Systeem-niveau Detectie: Het identificeren van gevaren die voortkomen uit de accumulatie van uiteenlopende kwesties gedurende de systeemlevenscyclus.
  2. Erkenning van Sociale Factoren: Het expliciet in kaart brengen van sociale factoren (bijv. organisatiecultuur, tijdsdruk) die bijdragen aan algoritmische schade.
  3. Traceerbare Verantwoordelijkheid: Het vaststellen van duidelijke verantwoordelijkheidsketens door controleacties en feedbackloops te koppelen aan specifieke actoren en artefacten, waarbij wordt onderscheid gemaakt of een schade voortkwam uit datacolectie, modeltraining of gebruikersinteractie.
  4. Monitoring van Emergente Gevaren: Het mogelijk maken van de voortdurende monitoring van nieuwe gevaren naarmate AI-systemen zich aanpassen, updaten of hun operationele context veranderen.

Betekenis en Claims
Het artikel claimt dat PHASE een cruciaal complement biedt aan bestaande Responsible AI (RAI)-inspanningen door de analytische lens te verschuiven van geïsoleerde componenten naar de emergente eigenschappen van het gehele systeem. Het betoogt dat veiligheid in AI niet louter een technische attribuut van een model is, maar een sociotechnische eigenschap van de controlesystemen van het systeem.

De auteurs positioneren PHASE als een instrument om:

• De transitie van "silo's" naar "systemen" in AI-veiligheidsanalyse te faciliteren.
• Een gestructureerde methode te bieden voor het vestigen van traceerbaarheid tussen specifieke schade en de actoren of processen die verantwoordelijk zijn voor de mitigatie daarvan, waardoor de "accountability gap" in AI-ontwikkeling wordt aangepakt.
• De ontwikkeling van een veiligheidscultuur binnen organisaties te ondersteunen door impliciete risico's en sociale factoren expliciet te maken.

De auteurs blijven bescheiden over de generaliseerbaarheid van hun bevindingen en merken op dat, hoewel de drie casestudies verschillende paradigma's bestrijken, zij niet het volledige AI-landschap vertegenwoordigen. Zij erkennen dat de effectiviteit van PHASE afhangt van de expertise van de analisten en de bereidheid van organisaties om middelen aan veiligheid toe te wijzen. Het werk wordt gepresenteerd als een fundamentele stap naar de integratie van systeemveiligheidsprincipes in het bredere discours over AI-governance en verantwoordelijke ontwikkeling.