Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

Sintesi Tecnica: Co-costruzione della Governance Sociotecnica dell'IA tramite la Mappatura Partecipativa dei Sistemi

Problema
I registri degli algoritmi vengono adottati sempre più frequentemente dalle organizzazioni del settore pubblico per fornire trasparenza riguardo all'uso di algoritmi nei servizi pubblici. Tuttavia, le attuali implementazioni affrontano limitazioni significative: spesso non riescono a conciliare i diversi bisogni informativi di vari stakeholder (cittadini, società civile, organi di controllo), e le informazioni fornite sono frequentemente o troppo scarse per essere utili o troppo tecniche per essere comprese. Di conseguenza, questi registri faticano a facilitare una responsabilità (accountability) significativa o a rappresentare i sistemi sociotecnici completi in cui gli algoritmi sono inseriti. Il documento postula che, senza comprendere come i registri costituiscano e informino la governance degli algoritmi, le pratiche di governance rischiano di diventare sforzi disgiunti che non possono anticipare o affrontare i reali pericoli per la sicurezza.

Metodologia
Lo studio impiega un approccio a metodi misti centrato su un caso di studio relativo ad "Avola", uno strumento di supporto decisionale utilizzato dai funzionari comunali di una città olandese per valutare l'idoneità ai sussidi del welfare tramite automazione legale (motore di regole di business). La ricerca ha coinvolto cinque fasi, con un focus primario sulle Fasi IV e V:

1. Identificazione degli Stakeholder: Lo studio ha coinvolto tre gruppi distinti: Personale Comunale (stakeholder diretti, inclusi responsabili della governance degli algoritmi e product owner), Ombudsman Comunali e Organizzazioni della Società Civile (CSO) (stakeholder indiretti).
2. Mappatura Partecipativa del Sistema (Fase IV): Sono stati condotti due workshop con questi gruppi. Ai partecipanti è stata presentata una mappa preliminare del sistema (M0) derivata dal registro algoritmico comunale e dalla documentazione pubblica. I partecipanti hanno annotato la mappa utilizzando fogli di lavoro e mappe a grande formato per identificare attori, processi e cicli di feedback mancanti. Questo processo ha integrato la "conoscenza situata" degli stakeholder indiretti con la documentazione tecnica del registro.
3. Analisi dei Processi di Sicurezza Sistemica (STPA) (Fase V): Gli autori hanno utilizzato il framework STAMP (System-Theoretic Accident Model and Processes) per condurre un'analisi della sicurezza. Le mappe partecipative hanno informato la costruzione di una Struttura di Controllo Gerarchico (HCS). L'analisi ha seguito quattro passaggi iterativi:
   • Identificazione di potenziali perdite (es. diniego indebito di sussidi).
   • Modellazione della struttura di controllo gerarchico (livelli tecnico, operativo, organizzativo e istituzionale).
   • Identificazione di Azioni di Controllo Non Sicure (UCA) in cui i meccanismi di controllo falliscono.
   • Derivazione di Scenari di Perdita che collegano i pericoti del sistema a perdite specifiche.

Contributi Chiave
Il documento apporta tre contributi fondamentali ai campi della governance dell'IA e della scienza della sicurezza:

1. Valutazione Empirica: Fornisce una valutazione critica di un registro algoritmico comunale, dimostrando che, sebbene serva come strumento "disciplinare" per l'auto-monitoraggio interno, esso attualmente non soddisfa i bisogni di trasparenza degli stakeholder esterni a causa dell'astrazione e della mancanza di dettagli azionabili.
2. Schema di Mappatura Partecipativa: Sviluppa e valida un metodo per mappare i sistemi algoritmici e le loro strutture di governance integrando le prospettive degli stakeholder diretti e indiretti. Questo approccio rivela componenti e dinamiche di sistema che risultano occultate nelle standard divulgazioni dei registri.
3. Riflessione Normativa: Riflette sulle dimensioni politiche dell'analisi della sicurezza del sistema, sostenendo che le astrazioni utilizzate per mappare le strutture di governance sono scelte intrinsecamente politiche che determinano cosa sia visibile e cosa rimanga nascosto.

Risultati
La mappatura partecipativa e la successiva analisi STPA hanno rivelato diversi pericoli per la sicurezza e lacune nella governance che non erano apparenti attraverso il solo registro algoritmico:

• Fallimenti dell'Uomo nel Ciclo (Human-in-the-Loop): Mentre il registro afferma che i funzionari hanno l'ultima discrezione, l'analisi ha identificato il rischio di "bias di automazione" dove i funzionari, sotto pressione temporale o fidandosi dell' "automazione legale" come oggettiva, potrebbero non rilevare errori (es. dati dei cittadini obsoleti). Ciò porta allo scenario di perdita di diniego indebito dei sussidi.
• Deficienze nella Procedura di Reclamo: Il registro indicava che i rapporti sugli incidenti venivano condivisi con lo sviluppatore, ma il processo partecipativo ha rivelato che le metriche degli errori non venivano tracciate sistematicamente. Di conseguenza, i reclami sono probabilmente trattati caso per caso piuttosto che aggregati per identificare modelli sistemici, impedendo aggiornamenti necessari al modello.
• Lacune nella Supervisione e nella Responsabilità: Gli Ombudsman e le CSO hanno ritenuto insufficiente la divulgazione delle valutazioni di rischio (FRAIA e DPIA da parte del registro. Il registro dichiarava che le valutazioni erano state condotte, ma ometteva i dettagli sui risultati o sulle metriche di errore. Questa mancanza di documentazione tecnica impedisce agli attori esterni di contestare efficacemente le decisioni o di intraprendere azioni legali in tribunale.
• Contesto Politico: La mappatura ha rivelato che il registro algoritmico è inserito in una complessa gerarchia politica (Assessori, Consiglio Comunale, Ministero dell'Interno). Le informazioni divulgate sono soggette a negoziazioni politiche e vincoli di risorse, privilegiando spesso le esigenze degli intermediari esperti rispetto al pubblico generale.

Significatività e Rivendicazioni
Il documento sostiene che i registri algoritmici, nella loro forma attuale, sono insufficienti per raggiungere una significativa responsabilità pubblica. Gli autori sostengono che la trasparenza è un atto relazionale che richiede la comprensione dell'eterogeneità dei "pubblici". Coinvolgendo gli stakeholder indiretti (Ombudsmen, CSO) attraverso la mappatura partecipativa dei sistemi, lo studio dimostra che:

• La Sicurezza del Sistema Richiede Pluralismo: L'analisi della sicurezza non può essere puramente tecnica; deve incorporare la conoscenza situata di coloro che sono influenzati dal sistema o lo monitorano per identificare pericoli come il bias di automazione e i cicoli di feedback opachi.
• I Registri come Artefatti Politici: Il contenuto di un registro algoritmico non è neutrale; riflette scelte politiche su cosa divulgare. Pertanto, migliorare questi strumenti richiede l'impegno nei processi politici che li plasmano.
• Spostamento Metodologico: Gli autori propongono che i metodi sistemico-teorici come lo STPA, se combinati con il design partecipativo, offrano un framework robusto per ricostruire l'architettura sociotecnica della governance algoritmica. Ciò consente un'identificazione più completa dei pericoli per la sicurezza rispetto al solo registro.

Lo studio conclude che, sebbene i registri algoritmici siano un passo necessario verso la trasparenza, essi devono evolversi per allinearsi meglio ai bisogni informativi di diversi stakeholder e devono essere compresi come parte di un sistema sociotecnico più ampio e politicamente situato.