Counterfactual Explanations and the Scope of Contestability
Questo articolo sostiene che le spiegazioni controfattuali possano ripristinare l'agency nel processo decisionale automatizzato definendo la contestabilità come il diritto di esigere la revoca di una decisione, analizzando come tali spiegazioni aiutino a rilevare errori algoritmici e proponendo un approccio di interrogazione multi-shot per aumentarne l'efficacia.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo moderno, i computer prendono sempre più spesso le decisioni pesanti che modellano le nostre vite. Decidono chi ottiene un prestito, chi viene assunto per un lavoro e chi riceve cure mediche. Questi sistemi operano spesso come "scatole nere", il che significa che la loro logica interna è così complessa che nemmeno le persone che li hanno costruiti possono spiegare facilmente come sia stata presa una specifica scelta. Questa opacità crea un problema per l'agency umana: se non comprendiamo perché una decisione è stata presa, non possiamo contestarla efficacemente se riteniamo che sia sbagliata. Per risolvere questo problema, molti esperti hanno proposto un "diritto alla spiegazione", suggerendo che quando un algoritmo ci rifiuta, debba dirci il perché. Un metodo popolare per fornire queste spiegazioni è il "controfattuale". Questo è un semplice enunciato ipotetico che dice a una persona quale piccolo cambiamento avrebbe portato a un risultato diverso, come: "Se il tuo reddito fosse stato di cinquemila dollari superiore, il tuo prestito sarebbe stato approvato". Sebbene questo sembri utile, un nuovo articolo dei filosofi e scienziati informatici Alice C.W. Huang e Thomas Grote pone una domanda critica: questo tipo di spiegazione conferisce davvero alle persone il potere di lottare contro le decisioni automatizzate ingiuste?
Gli autori iniziano distinguendo esattamente cosa significhi contestare una decisione. Distinguono tra tre diversi obiettivi che le spiegazioni potrebbero servire. Il primo è la giustificazione, che riguarda la prova che il sistema informatico nel suo complesso sia affidabile ed equo per tutti. Il secondo è il ricorso, che è orientato al futuro; dice a una persona quali passi può intraprendere in futuro per ottenere un risultato migliore, come acquisire maggiore esperienza lavorativa per migliorare un curriculum. Il terzo, e l'oggetto di questo articolo, è la contestabilità. Questa è orientata al passato. È la capacità di una persona di guardare a una decisione che è già avvenuta, trovare un errore e pretendere che la decisione venga revocata. I ricercatori definiscono la contestabilità in modo ristretto: essa richiede di fornire informazioni sufficienti affinché una persona possa dimostrare che una specifica decisione era probabilmente un errore, dandole una base solida per richiedere una revisione.
Quando gli autori hanno testato se le spiegazioni controfattuali siano buone nel permettere questo tipo di contestabilità, i risultati sono stati sorprendentemente pessimisti. Hanno esaminato diversi modi comuni in cui le decisioni automatizzate sbagliano. Nei casi di discriminazione, un controfattuale potrebbe mostrare che una persona sarebbe stata assunta se fosse stata di una razza o di un genere diverso. Sebbene ciò sembri una prova forte, i ricercatori hanno trovato un ostacolo principale chiamato "problema di Rashomon". Questa è l'idea che raramente esista un unico motivo per una decisione. Un computer potrebbe dire che un prestito è stato negato a causa del basso reddito, ma potrebbe anche essere vero che il prestito sarebbe stato approvato se il richiedente avesse avuto una diversa storia lavorativa. Poiché esistono molti modi diversi per cambiare l'input e ottenere un risultato differente, il sistema informatico potrebbe semplicemente scegliere la spiegazione meno dannosa per l'istituzione, ignorando quella che prova la discriminazione. Senza un modo per costringere il sistema a mostrare tutte le possibili ragioni, una persona potrebbe non vedere mai il controfattuale specifico che prova il fatto di essere stata trattata ingiustamente.
Il problema peggiora quando l'errore non riguarda l'equità, ma il fatto che il computer abbia frainteso la situazione di una persona specifica. Immaginate un modello sanitario che prevede che una persona sia a rischio di affaticamento perché è vegana, assumendo che la dieta manchi di ferro. Se quella persona ha in realtà una rara condizione ematica che causa un eccesso di ferro, la logica del modello è errata per lei, anche se è corretta per la maggior parte delle persone. Una spiegazione controfattuale potrebbe semplicemente dire: "Se non fossi vegana, non saresti a rischio". Questo non aiuta la persona a dimostrare di essere un'eccezione alla regola; si limita a ripetere l'assunto errato del modello. Per contestare questo, la persona avrebbe bisogno di una profonda conoscenza medica per spiegare perché la regola generale del modello non si applica alla sua specifica biologia. Allo stesso modo, se una decisione è sbagliata a causa di un semplice errore amministrativo, come una banca che ha il numero errato per il debito di una persona, una spiegazione controfattuale è spesso inutile. Il sistema potrebbe dire: "Se il tuo debito fosse più basso, saresti approvato", il che è vero ma ovvio. Non dice alla persona che i registri della banca sono semplicemente errati, che è la vera ragione che deve essere corretta.
I ricercatori concludono che, sebbene le spiegazioni controfattuali siano eccellenti per aiutare le persone a pianificare il futuro, sono spesso troppo deboli per aiutare le persone a combattere gli errori passati. Le informazioni necessarie per provare un errore sono spesso troppo complesse, troppo specifiche per l'individuo o troppo facilmente nascoste dalla capacità del sistema di scegliere quale spiegazione mostrare. Per risolvere questo problema, gli autori non suggeriscono di abbandonare l'idea delle spiegazioni, quanto piuttosto di cambiare il modo in cui vengono erogate. Propongono un approccio "multi-shot" (a più colpi). Invece di dare a una persona una singola risposta preconfezionata, il sistema consentirebbe alla persona di porre al computer molteplici domande. Una persona potrebbe testare diverse idee, come: "E se avessi più esperienza?" o "E se vivessi in un quartiere diverso?". Questo trasforma l'utente da ricevitore passivo di informazioni in investigatore attivo.
Tuttavia, gli autori avvertono che questo da solo non è sufficiente. La maggior parte delle persone non sa quali domande porre o come interpretare le risposte, specialmente quando mancano di conoscenze specialistiche. Per risolvere questo, suggeriscono che le persone dovrebbero essere supportate da assistenti sociali o consulenti (case workers) — esperti che comprendono i dettagli legali e tecnici del sistema. Questi aiutanti potrebbero guidare gli individui su quali domande porre e su come usare le risposte per costruire un caso. L'articolo sostiene che senza questo tipo di supporto umano e la capacità di porre più domande, la promessa di poter contestare una decisione algoritmica rimane una promessa vuota. La tecnologia per generare queste spiegazioni esiste, ma l'attuale modo di usarle è insufficiente per restituire la vera agency alle persone colpite dalle decisioni automatizzate.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.