From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Sintesi Tecnica: Dai Silos ai Sistemi: Analisi dei Pericoli Orientata ai Processi per i Sistemi di IA

Problema
Gli approcci attuali all'analisi dei rischi nei sistemi di Intelligenza Artificiale (IA) si concentrano prevalentemente su singoli componenti — come i dati di addestramento o specifici modelli di machine learning — in isolamento. Questa prospettiva "a silos" trascura i pericoli che emergono dalle interazioni tra i componenti, dall'integrazione dei modelli in stack software più ampi e dai processi sociotecnici di sviluppo e operatività. Sebbene i quadri normativi (ad es., l'AI Act dell'UE) e le pratiche industriali (ad es., le system card) stiano iniziando a distinguere tra modelli di IA e sistemi di IA, manca un quadro empirico per facilitare l'analisi dei pericoli a livello di sistema. I metodi esistenti spesso non riescono a tenere conto della natura emergente della sicurezza in sistemi sociotecnici complessi, dove i danni derivano non solo dal fallimento di un componente, ma dall'interazione tra artefatti tecnici, attori umani e processi istituzionali. Inoltre, i sistemi di IA possiedono caratteristiche uniche — come l'opacità del modello, le capacità probabilistiche e la complessità dell'output — che variano significativamente tra i diversi paradigmi (ad es., regressione lineare rispetto a modelli generativi), complicando l'applicazione degli strumenti tradizionali di ingegneria della sicurezza.

Metodologia
Gli autori adattano l'Analisi Sistemica del Processo di Sicurezza (STPA), un framework di analisi dei pericoli ben consolidato nel campo della sicurezza dei sistemi, per l'uso in contesti di IA. STPA tratta la sicurezza come una proprietà emergente dell'intero sistema, analizzando strutture di controllo e cicli di feedback piuttosto che semplici guasti dei componenti.

La ricerca impiega un approccio di studio di caso qualitativo che coinvolge tre distinti sistemi di IA in diversi domini e paradigmi:

1. Caso 1 (C1): Un sistema di allerta precoce basato sulla regressione lineare per la previsione della sepsi a insorgenza tardiva nei neonati pretermine (Human-in-the-loop).
2. Caso 2 (C2): Un sistema di iniezione automatica di insulina basato sul Reinforcement Learning (RL) per la gestione del diabete (Human-out-of-the-loop).
3. Caso 3 (C3): Modelli generativi Text-to-Image (T2I) utilizzati per lo storyboarding nella pratica creativa (Human-as-tool-user).

La metodologia ha previsto la raccolta di dati attraverso interviste agli stakeholder, workshop e revisione della documentazione tecnica e della letteratura accademica. I ricercatori hanno applicato i quattro passaggi standard di STPA a ciascun caso:

1. Identificazione dello scopo dell'analisi (perdite e confini del sistema).
2. Creazione di diagrammi di controllo (mappatura di controller, processi controllati e feedback).
3. Identificazione delle Azioni di Controllo Non Sicure (UCA - Unsafe Control Actions).
4. Identificazione degli scenari di perdita (catene causali che portano alle UCA).

Attraverso un'analisi iterativa e riflessiva di queste applicazioni, gli autori hanno sviluppato PHASE (Process-oriented Hazard Analysis for AI Systems), una linea guida che traduce i concetti STPA per affrontare le sfide specifiche dell'IA.

Contributi Chiave
Il contributo primario è la linea guida PHASE, che adatta STPA per l'IA introducendo modifiche specifiche per gestire l'eterogeneità dei sistemi di IA:

• Tassonomia delle Perdite Ampliata: PHASE espande la definizione di "perdita" oltre i tradizionali esiti critici per la sicurezza (ad es., perdita di vite umane) per includere perdite legate alle prestazioni (ad es., efficienza, reputazione) e perdite sociotecniche (ad es., violazioni della privacy, perdita di diversità, bias algoritmico).
• Confini di Sistema Orientati ai Processi: Invece di tracciare i confini attorno al modello stesso, PHASE definisce i confini attorno ai processi di sviluppo e utilizzo (la catena di approvvigionamento algoritmico), riconoscendo che gli sviluppatori controllano i dati e le scelte di progettazione, ma non necessariamente le rappresentazioni latenti apprese.
• Strutture di Controllo Dinamiche: Il framework si adatta alla fluidità dei ruoli nell'IA, dove un componente (ad es, un assistente IA) può agire come controller in un contesto e come processo controllato in un altro, a seconda dei mandati organizzativi e dei modelli di utilizzo.
• Scenari di Perdita Specifici per l'IA: PHASE tiene esplicitamente conto degli scenari di perdita derivanti da capacità emergenti ed evolutive del sistema (ad es, aggiornamenti del modello, riaddestramento o casi d'uso ampliati) che superano le salvaguardie esistenti, un fattore spesso trascurato nella STPA tradizionale applicata a sistemi statici.

Risultati e Conclusioni
L'applicazione di STPA tramite PHASE nei tre casi di studio ha prodotto diverse conclusioni:

• Applicabilità: I concetti e i passaggi fondamentali di STPA sono applicabili ai sistemi di IA, ma richiedono adattamenti mirati per affrontare sfide specifiche dell'IA come l'opacità e l'autonomia.
• Rilevamento dei Pericoli: L'analisi a livello di sistema ha identificato con successo pericoli che rimarrebbero invisibili nelle analisi dei componenti. Ad esempio, un modello potrebbe superare un audit di equità in isolamento, ma l'interazione a livello di sistema tra un avviso imperfetto e l'eccessiva fiducia di un clinico potrebbe portare a una diagnosi errata.
• L'Eterogeneità Conta: L'analisi ha rivelato che diversi paradigmi di IA (modelli lineari, RL, modelli generativi) pongono diverse richieste all'analisi. Ad esempio, definire i confini del sistema è stato più complesso per le piattaforme generative aperte rispetto al sistema di insulina RL più vincolato.
• Quattro Chiave Affordance: Lo studio identifica quattro specifiche affordance fornite da PHASE agli analisti:
  1. Rilevamento a Livello di Sistema: Identificazione di pericoli derivanti dall'accumulo di problemi disparati lungo l'intero ciclo di vita del sistema.
  2. Riconoscimento dei Fattori Sociali: Mappatura esplicita dei fattori sociali (ad es, cultura organizzativa, pressioni temporali) che contribuiscono ai danni algoritmici.
  3. Responsabilità Tracciabile: Stabilire chiare catene di responsabilità mappando le azioni di controllo e i cicli di feedback su specifici attori e artefatti, distinguendo se un danno sia originato dalla raccolta dati, dall'addestramento del modello o dall'interazione dell'utente.
  4. Monitoraggio dei Pericoli Emergenti: Consentire il monitoraggio continuo di nuovi pericoli man mano che i sistemi di IA si adattano, si aggiornano o cambiano il proprio contesto operativo nel tempo.

Significatività e Rivendicazioni
Il documento sostiene che PHASE offra un complemento critico agli attuali sforzi di IA Responsabile (RAI), spostando la lente analitica dai componenti isolati alle proprietà emergenti dell'intero sistema. Argomenta che la sicurezza nell'IA non è semplicemente un attributo tecnico di un modello, ma una proprietà sociotecnica delle sue strutture di controllo.

Gli autori posizionano PHASE come uno strumento per:

• Facilitare la transizione dai "silos" ai "sistemi" nell'analisi della sicurezza dell'IA.
• Fornire un metodo strutturato per stabilire la tracciabilità tra danni specifici e gli attori o i processi responsabili del loro mitigamento, affrontando così il "gap di accountability" nello sviluppo dell'IA.
• Supportare lo sviluppo di una cultura della sicurezza all'interno delle organizzazioni rendendo espliciti i rischi impliciti e i fattori sociali.

Gli autori rimangono modesti riguardo alla generalizzabilità dei loro risultati, osservando che, sebbene i tre casi di studio coprano paradigmi distinti, essi non rappresentano l'intero panorama dell'IA. Riconoscono che l'efficacia di PHASE dipende dall'esperienza degli analisti e dalla volontà delle organizzazioni di allocare risorse alla sicurezza. Il lavoro è presentato come un passo fondamentale verso l'integrazione dei principi di ingegneria della sicurezza dei sistemi nel più ampio discorso della governance dell'IA e dello sviluppo responsabile.