Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Questo articolo sostiene che gli attuali quadri di governance dell'IA ad alto rischio (NIST, EU AI Act, ISO/IEC 42001) creino un divario probatorio critico privilegiando le prove basate su artefatti rispetto alle prove basate sui processi necessarie per la contestazione, un difetto strutturale evidenziato dall'ambiguità intrinseca nell'interpretazione di tali requisiti e che in definitiva mina i diritti procedurali ed epistemici degli stakeholder governati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui un programma informatico decide chi ottiene un lavoro, chi riceve un prestito o se a qualcuno venga concessa la libertà condizionale. Questi sistemi non sono solo codice che gira nel vuoto; fanno parte di un ecosistema umano più ampio che coinvolge le aziende che li costruiscono, le organizzazioni che li utilizzano e le persone le cui vite vengono alterate dal loro output. Quando questi sistemi commettono un errore, la questione di chi sia responsabile e di come provarlo diventa urgente. Questo è il campo della governance dell'intelligenza artificiale, un ambito dedicato a garantire che questi potenti strumenti siano sicuri, equi e responsabili. Un'idea centrale in questo campo è la "contestabilità", ovvero la capacità di una persona colpita da una decisione di metterla in discussione, capire perché è accaduta e cercare una correzione. Affinché ciò funzioni, deve esserci una prova — la prova che il sistema sia stato controllato, che funzioni come previsto e che un essere umano possa intervenire se le cose dovessero andare male. Ma rimane una domanda critica: chi ha il diritto di vedere questa prova, e la prova è effettivamente utile per la persona che ne ha più bisogno?
Un team di ricercatori provenienti da università degli Stati Uniti e dell'India si è posto l'obiettivo di investigare esattamente questo problema. Hanno esaminato tre grandi insiemi di regole e linee guida che regolano l'intelligenza artificiale ad alto rischio: un quadro volontario dagli Stati Uniti, una legge vincolante dall'Unione Europea e uno standard internazionale per la gestione dei sistemi di IA. Il loro obiettivo era creare una mappa dettagliata, o "crosswalk" (un incrocio), che connettesse i requisiti specifici di questi documenti ai reali metodi tecnici utilizzati per testare l'IA. Volevano vedere se l'evidenza richiesta dalle regole fosse il tipo di evidenza che potrebbe effettivamente aiutare una persona a contestare una decisione, o se fosse semplicemente una collezione di rapporti tecnici che solo le aziende e i regolatori potevano leggere.
I ricercatori hanno iniziato raccogliendo una vasta collezione di metodi di valutazione tecnica. Hanno identificato dodici famiglie distinte di test, che vanno dal controllo di quanto un modello sia accurato su nuovi dati al verificare se può essere ingannato da input malevoli, e dall'analisi della qualità dei dati utilizzati per addestrarlo allo studio di quanto bene gli esseri umani possano supervisionare il sistema. Hanno poi preso queste dodici famiglie e le hanno confrontate con ventidue requisiti specifici presenti nei tre documenti normativi. Per ogni accoppiata, si sono posti una domanda semplice ma profonda: questo test specifico fornisce la prova principale necessaria per soddisfare questo specifico requisito?
Ciò che hanno trovato è stato un evidente squilibrio. Le regole che richiedevano prove riguardo al modello di IA in sé — come la sua accuratezza, la sua robustezza contro gli attacchi o la sua equità in termini statistici — erano ben supportate. Esistevano molti test tecnici disponibili per generare i rapporti necessari. Tuttavia, le regole che chiedevano prove su come il sistema funziona nel mondo reale, dopo essere stato implementato, erano ampiamente prive di supporto. Queste regole riguardavano questioni quali se un supervisore umano potesse effettivamente rilevare un errore, se i log del sistema fossero abbastanza dettagliati da ricostruire una specifica decisione e se l'organizzazione potesse dimostrare di monitorare l'impatto del sistema sulle vite delle persone. Per queste domande cruciali, i ricercatori hanno scoperto che i metodi tecnici disponibili erano del tutto assenti o fornivano solo un supporto debole e secondario.
Lo studio ha rivelato che l'evidenza generata per dimostrare che un sistema di IA è sicuro è progettata principalmente per gli intermediari: le aziende che costruiscono il software, gli auditor che lo controllano e i regolatori governativi che applicano la legge. Le persone che sono effettivamente soggette a queste decisioni — il candidato rifiutato, il richiedente un prestito negato — non hanno una via diretta verso questa evidenza. Potrebbero ricevere una spiegazione di ciò che il sistema ha fatto, ma non possono accedere ai registri sottostanti che permetterebbero di verificare se tale spiegazione sia vera o di capire esattamente come sia stata raggiunta la decisione. I ricercatori sostengono che questo non sia solo un vuoto tecnico o un pezzo mancante di un puzzle; è un difetto fondamentale nel sistema di giustizia. Negando alle persone colpite l'accesso all'evidenza necessaria per contestare una decisione, l'attuale quadro normativo le tratta come soggetti passivi piuttosto che come partecipanti attivi in un processo che determina il loro futuro.
I ricercatori sono stati attenti a sottolineare che le loro conclusioni si basano su un'analisi specifica della letteratura tecnica disponibile e del testo delle leggi. Non hanno affermato che le aziende non effettuino questi controlli internamente, ma piuttosto che i metodi per provare che tali controlli siano efficaci non sono ancora standardizzati o ampiamente disponibili in una forma che soddisfi le regole. Hanno anche evidenziato che il proprio lavoro ha comportato un certo grado di interpretazione. Quando hanno chiesto a esperti indipendenti di revisionare la loro mappatura, gli esperti hanno concordato sulle linee generali, ma talvolta sono discordi sui dettagli più fini, suggerendo che le regole stesse siano aperte a diverse letture ragionevoli. Questa discrepanza, suggeriscono gli autori, è una caratteristica del problema, non un errore: dimostra che i requisiti attuali non sono abbastanza chiari da garantire che venga prodotta l'evidenza corretta.
In definitiva, il documento conclude che l'attuale approccio alla governance dell'IA è incompleto. Si affida pesantemente a prove che possono essere prodotte all'interno della pipeline di sviluppo di un'azienda, come i risultati dei test e la documentazione tecnica, trascurando l'evidenza che può essere raccolta solo osservando come il sistema interagisce con le persone nel mondo reale. Gli autori propongono che, affinché l'IA sia veramente responsabile, le regole debbano evolversi per richiedere prove che non riguardino solo la macchina, ma l'intero sistema socio-tecnico. Ciò include la prova che la supervisione umana sia efficace, che i log siano sufficienti per ricostruire gli eventi e che l'impatto del sistema sulla società venga monitorato. Senza questi cambiamenti, la promessa di responsabilità dell'IA rimane una promessa fatta solo ai potenti, lasciando coloro che sono maggiormente colpiti dalla tecnologia senza gli strumenti per difendersi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.