Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South
Basandosi su un decennio di pratica di audit nel Sud del mondo, questo articolo sostiene che il divario critico tra la rapida implementazione dell'IA e la sua governance sia guidato non da una mancanza di capacità, ma da un deficit di finanziamenti, esortando i finanziatori dello sviluppo e filantropici a imporre valutazioni indipendenti per affrontare difetti sistemici quali proxy non validi e pregiudizi strutturali.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui robot invisibili prendono grandi decisioni sulle vite delle persone: decidere se un bambino ha bisogno di aiuto, se un paziente è malato o se un agricoltore riceve un prestito. Questi robot sono alimentati dall'Intelligenza Artificiale (IA). Ma ecco il problema: il fatto che un robot sia intelligente non significa che sia equo, sicuro o che funzioni davvero come dicono i suoi creatori. Per scoprirlo, abbiamo bisogno di "Audit dell'IA". Pensate a un audit come a un meccanico che ispeziona un'auto prima che la compriiate, o a un insegnante che valuta un compito per vedere se le risposte sono effettivamente corrette. Nelle parti ricche del mondo ("Global North"), ci sono molti meccanici e insegnanti che controllano questi robot di IA. Ma nelle parti in via di sviluppo del mondo ("Global South"), i robot corrono selvaggiamente senza che nessuno li controlli. Questo documento pone una domanda semplice ma urgente: cosa succede quando lasciamo che questi potenti robot prendano decisioni di vita o di morte in luoghi dove a nessuno è permesso guardare sotto il cofano?
Il Grande Divario degli Audit: Robot che Corrono Selvaggi al Sud
Questo documento, scritto da esperti della Fondazione Eticas, racconta la storia di un massiccio squilibrio. Mentre l'IA viene installata in ospedali, scuole e uffici governativi in Africa, America Latina e Asia a una velocità vertiginosa, le persone che dovrebbero controllare se questi sistemi sono sicuri sono quasi interamente assenti.
Gli autori hanno scoperto che, mentre miliardi di dollari vengono investiti per costruire l'IA in queste regioni, ci sono meno di venti rapporti pubblicati da esperti indipendenti che testano effettivamente come questi sistemi funzionano nel mondo reale. Per mettere questo dato in prospettiva: il solo Regno Unito ha più auditor di IA di tutto il Global South messo insieme. È come costruire mille nuovi ponti in un paese ma avere solo un ingegnere disponibile per controllare se sono sicuri, e quell'ingegnere è impegnato a controllare i ponti in un altro paese.
Cosa ci hanno rivelato i pochi controlli che abbiamo fatto
Gli autori non si sono limitati a contare i controlli mancanti; ne hanno effettivamente eseguiti alcuni. Hanno esaminato i sistemi in Brasile, Argentina e altri paesi, e ciò che hanno trovato era spaventoso, ma anche molto chiaro.
1. La trappola del "Rilevatore di Povertà"
In un caso, un governo ha utilizzato un'IA per decidere quali bambini fossero a rischio e avessero bisogno di servizi sociali. Il sistema doveva individuare i bambini i cui diritti venivano violati. Ma quando gli auditor hanno guardato da vicino, si sono resi conto che il robot non stava affatto cercando l'abuso. Stava cercando la povertà. Poiché i dati su cui era stato addestrato provenivano da quartieri poveri, l'IA aveva deciso che essere poveri era la stessa cosa che essere a rischio. Era come un rilevatore di fumo che scatta solo quando cucini del pane tostato, ignorando l'incendio vero e proprio. Il sistema stava assegnando punteggi a milioni di bambini, molti dei quali non aveva mai nemmeno visto, basandosi su un'idea errata di cosa fosse il "rischio".
2. La bugia del "94% di precisione"
In un altro esempio, un ospedale in Brasile ha utilizzato un'IA per prevedere quali pazienti si sarebbero ammalati. Il sistema sosteneva di essere accurato al 94%. Sembra fantastico, vero? Ma gli auditor hanno scoperto che questo numero era un trucco. L'IA era così brava a prevedere che la maggior parte delle persone starebbe bene che otteneva un punteggio alto, anche se mancava proprio le persone specifiche che stavano effettivamente ammalandosi. Era come un'app meteo che dice "Non pioverà" ogni singolo giorno. Tecnicamente ha ragione il 99% delle volte perché piove raramente, ma è inutile quando sta arrivando una tempesta. Gli auditor hanno scoperto che il sistema non stava avvisando i medici riguardo a giovani donne che erano effettivamente in pericolo.
3. Il mito della "Scatola Nera"
Il documento sostiene anche che non abbiamo bisogno di vedere il codice segreto del robot (la "scatola nera") per sapere se è rotto. Non serve essere un meccanico per sapere che un'auto è rotta se non parte o se emana odore di gomma bruciata. Gli auditor hanno scoperto che semplicemente osservando ciò che l'IA faceva — chi aiutava e chi ignorava — potevano individuare i problemi. Il problema non era che il codice fosse troppo difficile da capire; il problema era che nessuno stava controllando i risultati.
Perché sta accadendo? (Non è un problema di "Capacità")
Potreste pensare: "Forse i paesi del Global South non hanno abbastanza persone intelligenti o soldi per controllare questi robot". Il documento dice: No, non è questo.
Gli autori hanno scoperto che potevano fare questi controlli. Li hanno fatti con piccoli team e piccoli budget. Il problema non è che il lavoro sia impossibile; il problema è che nessuno lo sta pagando.
Pensate a una scuola. Se il preside (il governo) non richiede che un insegnante venga valutato, e il consiglio scolastico (i finanziatori) non paga un valutatore, l'insegnante potrebbe non essere mai controllato. Nel Global South, le persone che costruiscono questi sistemi di IA sono spesso finanziate da grandi banche internazionali o enti di beneficenza. Ma questi finanziatori di solito chiedono solo: "Avete promesso di essere buoni?". Non dicono: "Mostrateci la prova che il vostro sistema funziona davvero".
Poiché nessuno costringe i costruttori a mostrare il loro lavoro, e nessuno paga per l'ispezione, le ispezioni non avvengono. È un problema di finanziamenti, non di talento.
La Soluzione: Inserire il Controllo nel Contratto
Il documento si conclude con una soluzione chiara e semplice. Le persone che hanno il potere di risolvere la questione sono i finanziatori.
Se una banca o un ente di beneficenza fornisce denaro per costruire un sistema di IA, deve stabilire una regola: "Non otterrete questo denaro a meno che un esperto indipendente non controlli il vostro sistema prima". E non dovrebbero limitarsi a controllare il codice; dovrebbero controllare i risultati. Il sistema ha davvero aiutato le persone che doveva aiutare?
Gli autori suggeriscono cinque regole semplici per questi finanziatori:
- Imporre il controllo: Rendere gli audit indipendenti un requisito per ottenere fondi.
- Controllare i risultati, non solo la matematica: Osservare come il sistema influisce sulle persone reali, non solo se il codice sembra buono.
- Pubblicare i risultati: Non lasciare che i risultati rimangano segreti. Se un sistema è difettoso, il pubblico deve saperlo.
- Costruire team locali: Formare persone in quei paesi per effettuare i controlli, in modo da non dover dipendere da esperti provenienti da lontano.
- Condividere gli strumenti: Rendere le liste di controllo e i metodi accessibili a tutti.
Il Punto Fondamentale
Il documento sostiene che siamo a un bivio. Possiamo continuare a lasciare che i sistemi di IA operino nel Global South senza supervisione, il che significa che gli errori continueranno a colpire le persone che possono permetterseli meno. Oppure, possiamo cambiare le regole del gioco. Rendendo i controlli indipendenti una condizione per il finanziamento, possiamo trasformare queste "vene aperte" di dati e processi decisionali in qualcosa di sicuro, equo e responsabile.
Gli strumenti per risolvere il problema esistono già. Gli esperti sono pronti. Tutto ciò che manca è la decisione di pagare per l'ispezione. Come dicono gli autori, il prossimo decennio sarà ricordato o come il periodo in cui il Global South ha continuato a costruire sistemi che non poteva controllare, o come il momento in cui ha finalmente iniziato a pretendere che ne fossero responsabili. Questa scelta spetta a chi firma gli assegni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.