Does Human Oversight of AI-Assisted Decisions Work? A Systematic Review of the Evidence and a Framework for Meaningful Human Control

Nel mondo moderno, gli algoritmi sono diventati i partner silenziosi in alcune delle nostre decisioni più critiche. Aiutano a determinare chi riceve un prestito, quali pazienti ricevono cure urgenti e come vengono allocate le risorse della polizia. Poiché questi sistemi possono commettere errori o nascondere il proprio ragionamento, le leggi e le politiche in molti luoghi richiedono ora una semplice salvaguardia: un essere umano deve guardare sopra la spalla della macchina. Questo concetto, noto come supervisione umana, presuppone che se una persona revisiona un suggerimento automatizzato, possa intercettare errori, correggere pregiudizi e garantire che la scelta finale sia equa. L'idea è che il revisore umano agisca come un controllo finale, uno strato di protezione necessario tra la fredda logica del codice e la complessa realtà delle vite umane.

Tuttavia, rimane una domanda significativa senza risposta: questa supervisione funziona davvero? Avere un essere umano presente non garantisce che egli comprenda la macchina, abbia il potere di fermarla o possieda il tempo per svolgere un buon lavoro. Una nuova revisione sistematica condotta dai ricercatori Abid Iqbal e colleghi mira a scoprire se la promessa della supervisione umana corrisponda alla realtà. Hanno raccolto e analizzato 186 studi scientifici per vedere se esiste una reale prova che mettere un essere umano nel ciclo decisionale migliori le decisioni, o se stiamo semplicemente spuntando una casella per soddisfare una regola.

I ricercatori hanno iniziato esaminando il modo in cui scienziati e decisori politici parlano della governance dell'intelligenza artificiale. Hanno scoperto che la conversazione è dominata da due grandi idee: l'accountability (responsabilità), che significa assicurarsi che qualcuno sia responsabile del risultato, e la trasparenza, che significa rendere chiaro il ragionamento del sistema. Questi concetti appaiono in quasi tutti gli studi. Anche l'idea di controllo umano è comune, comparendo in circa il 70 percento della ricerca. Eppure, quando il team ha esaminato più da vicino come queste idee venissero testate, ha riscontrato una lacuna preoccupante. Mentre la letteratura è ricca di teorie e liste di controllo, è quasi priva di prove.

Dagli 186 studi esaminati, solo tre sono stati progettati in modo da poter dimostrare un rapporto di causa-effetto. Ciò significa che per la stragrande maggioranza della ricerca, sappiamo solo che certe regole di governance coesistono con certi risultati, ma non sappiamo se le regole abbiano effettivamente causato tali risultati. Ancora più sorprendente, i due studi che hanno offerto prove causali forti non misuravano se le decisioni stesse fossero migliori o più accurate. Al contrario, misuravano quanto le decisioni sembrassero legittime per le persone coinvolte. In altre parole, la prova più forte che abbiamo mostra che le persone si sentono più a proprio agio con la supervisione umana, ma non dimostra che le decisioni siano effettivamente migliorate.

La revisione ha inoltre evidenziato come il modo in cui i ricercatori misurano il "controllo umano" sia frammentato e incoerente. Spesso, uno studio si limita a contare se un essere umano era presente, senza verificare se quella persona comprendesse davvero i dati, avesse l'autorità per cambiare l'esito o avesse ricevuto abbastanza tempo per riflettere. Gli autori sostengono che, affinché la supervisione sia significativa, debba essere più di una semplice firma su un modulo. Richiede un insieme specifico di condizioni: il decisore deve comprendere le informazioni, detenere il vero potere di scavalcare la macchina, possedere le competenze per farlo e deve essere in grado di contestare la decisione se qualcosa va storto. Senza questi elementi, un revisore umano è solo una figura di facciata, incapace di fermare un algoritmo difettoso dal causare danni.

Per colmare queste lacune, i ricercatori hanno proposto un nuovo framework che suddivide il controllo umano significativo in otto parti chiare. Questo framework collega le regole stabilite da un'organizzazione all'esperienza reale della persona che prende la decisione. Suggerisce che, affinché la supervisione funzioni, l'organizzazione debba fornire le informazioni corrette, concedere una reale autorità e garantire che la persona abbia la formazione e le risorse per agire. Gli autori hanno inoltre delineato un programma di ricerca per testare queste idee, invocando esperimenti che guardino specificamente se gli esseri umani riescano a scavalcare con successo raccomandazioni errate e se ciò porti a risultati migliori.

Il punto fondamentale di questa estesa revisione è che, sebbene la supervisione umana sia la rete di sicurezza predefinita per l'intelligenza artificiale, non sappiamo ancora se sia una rete resistente. Le prove attuali si basano ampiamente su ipotesi e associazioni piuttosto che su prove concrete. La presenza di un revisore umano è un'ipotesi secondo cui le decisioni saranno migliori, non una garanzia. Finché non saremo in grado di misurare esattamente come gli esseri umani interagiscono con questi sistemi e se il loro intervento cambia il risultato, il requisito della supervisione umana rimarrà una politica ben intenzionata in attesa che le prove la raggiungano. La strada da percorrere richiede di andare oltre le semplici liste di controllo per raggiungere una comprensione più profonda di cosa serva realmente affinché un essere umano abbia un controllo significativo sulle macchine che plasmano le nostre vite.