Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation
Questo articolo critica i limiti dell'attuale standard di spiegazione algoritmica dell'UE e degli esistenti approcci di mitigazione o sostituzione, proponendo invece un quadro orientato alla domanda che ricostruisca lo standard categorizzando i bisogni di spiegazione in base ai punti di controllo degli attori e realizzandoli attraverso schemi sostitutivi fattibili.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo moderno, i computer prendono innumerevoli decisioni che plasmano la nostra vita quotidiana, dal determinare se ottenere un prestito al decidere quali notizie vediamo. Per decenni, l'idea prevalente era che se un computer prendeva una scelta, dovessimo essere in grado di chiedergli di mostrare il proprio lavoro, proprio come uno studente che mostra i compiti di matematica per dimostrare che la risposta è corretta. Questo concetto è noto come spiegazione algoritmica, ed è un pilastro delle leggi sulla privacy nell'Unione Europea e in altre regioni. La legge presuppone che se una persona è influenzata da una decisione automatizzata, abbia il diritto di comprenderne la logica sottostante. Tuttavia, è emerso un problema significativo: i computer che prendono queste decisioni sono cambiati. I vecchi sistemi seguivano regole chiare e passo dopo passo che potevano essere facilmente tracciate. Gli odierni sistemi più potenti, spesso chiamati reti neurali, apprendono da enormi quantità di dati in modi così complessi e interconnessi che nemmeno i loro creatori possono mappare completamente ogni passaggio interno. Ciò crea una situazione di "scatola nera" in cui l'input entra e una decisione esce, ma il percorso intermedio rimane nascosto. Quando la legge esige di vedere l'interno di una scatola che la tecnologia non può aprire completamente, il sistema si interrompe, portando a confusione, elusione legale e perdita di fiducia.
Un ricercatore di nome Feng Zhi, che lavora presso la Scuola di Intelligenza Artificiale e Legge a Chongqing, Cina, ha proposto un nuovo modo per risolvere questo stallo. Invece di cercare di forzare l'apertura di una scatola nera che non può essere aperta, lo studio suggerisce che dovremmo smettere di chiedere di vedere la meccanica interna e iniziare a porre domande che corrispondano a ciò che i responsabili possono effettivamente rispondere. Il nucleo centrale di questo lavoro è che dobbiamo dividere la richiesta di spiegazione in due diversi momenti nel tempo, basandoci su chi ha il controllo del sistema informatico. Il primo momento è quando il sistema viene costruito e configurato; il secondo momento è quando il sistema sta effettivamente prendendo una decisione per una persona specifica. Separando questi due stadi, l'autore sostiene che possiamo sostituire l'impossibile richiesta di vedere il codice con richieste pratiche che siano altrettanto efficaci nel proteggere i diritti delle persone.
L'articolo sostiene che l'attuale approccio, che cerca di fornire diversi livelli di dettaglio a seconda di chi chiede, fallisce perché richiede ancora la stessa impresa tecnica impossibile: scrutare all'interno della scatola nera. Sia che un utente ponga una domanda semplice o una complessa, il computer deve comunque rivelare la sua logica interna per rispondere, il che spesso non può fare senza perdere accuratezza o rivelare segreti commerciali. Un'altra idea comune è quella di fidarsi semplicemente del sistema se sembra sicuro o se le persone che lo hanno costruito sono qualificate. L'autore rifiuta anche questo, sottolineando che un sistema può essere costruito da persone buone e comunque prendere decisioni errate in seguito, o che fidarsi del costruttore non spiega perché una specifica persona sia stata esclusa da un prestito. Lo studio suggerisce che verificare semplicemente se il risultato finale possa essere contestato dopo i fatti è anch'esso insufficiente, perché a quel punto il danno potrebbe già essersi verificato ed essere impossibile da rimediare.
Per risolvere questo problema, l'articolo introduce un quadro basato su "nodi temporali", che sono semplicemente i punti specifici nel tempo in cui diverse persone tengono le redini del controllo. Il primo stadio è la "fase di comportamento". Questa avviene prima che il sistema venga mai utilizzato sul pubblico. Durante questo tempo, gli sviluppatori e le aziende che distribuiscono il sistema hanno il pieno controllo. Essi decidono quali dati utilizzare, come addestrare il modello e quali misure di sicurezza mettere in atto. Poiché hanno il controllo, la richiesta di spiegazione in questa fase non dovrebbe riguardare la decisione finale, ma il rischio. Lo studio propone che, invece di mostrare il codice, questi attori dovrebbero essere tenuti a presentare dichiarazioni dettagliate su come hanno valutato i rischi e quali passi hanno intrapreso per prevenire i danni. Devono anche conservare un registro dei log di attività del sistema. Questo sposta l'attenzione dal "come funziona la matematica?" al "hai fatto il tuo lavoro per assicurarti che questo sia sicuro?". Se si verifica un problema in seguito, questi registri permettono ai regolatori di risalire e vedere se i creatori hanno seguito le regole, allocando efficacemente la responsabilità senza bisogno di comprendere la matematica inesplicabile.
Il secondo stadio è la "fase dell'esito". Questo è quando il sistema è in funzione e prende decisioni che influenzano persone reali. A questo punto, gli sviluppatori hanno perso il controllo; il sistema sta reagendo a nuovi dati in tempo reale. Qui, la richiesta di spiegazione cambia. L'obiettivo non è più controllare i controlli del rischio, ma costruire fiducia nel risultato. L'articolo suggerisce che le persone non hanno bisogno di comprendere la complessa logica interna per fidarsi di una decisione; hanno bisogno di sapere se la decisione ha senso basandosi sull'esperienza umana comune. Ad esempio, se un sistema di valutazione del credito nega un prestito, l'utente non ha bisogno di vedere i pesi della rete neurale; ha bisogno di sapere se la decisione si allinea con ciò che la società generalmente considera equo, come i livelli di reddito o i rapporti di debito. Lo studio propone che le aziende pubblichino queste regole sociali generali in modo che le persone possano confrontare la decisione con esse. Se una decisione devia da ciò che il buon senso suggerirebbe, il sistema deve attivare una revisione umana. Una persona reale deve quindi esaminare il caso e fornire una spiegazione chiara e motivata sul perché sia stata presa quella decisione insolita.
Questo approccio non chiede meno protezione; chiede un tipo diverso di protezione che sia effettivamente possibile fornire. Sostituendo la richiesta di vedere il codice interno con una richiesta di registri dei rischi e una richiesta di coerenza con il buon senso, il sistema può funzionare senza rompersi. L'autore nota che questa non è un'invenzione nuova, ma una riorganizzazione di strumenti legali esistenti, come l'obbligo per le aziende di tenere registri delle proprie attività di trattamento. Lo studio sottolinea che questo metodo rispetta la realtà della tecnologia moderna pur soddisfacendo la promessa legale di accountability. Sposta la conversazione dal compito impossibile di aprire la scatola nera verso il compito pratico di garantire che coloro che costruiscono e utilizzano questi sistemi siano responsabili delle loro azioni e che i risultati che producono abbiano senso per le persone che convivono con essi. La ricerca conclude che questo cambio di prospettiva è necessario per ripristinare il valore pratico della spiegazione algoritmica, garantendo che la legge rimanga rilevante in un'era di macchine intelligenti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.