Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

L'intelligenza artificiale non è più una promessa lontana; è una realtà quotidiana che prende decisioni che influenzano la nostra sicurezza, i nostri lavori, la nostra privacy e il nostro accesso ai servizi. Quando questi sistemi funzionano, snelliscono le nostre vite. Quando falliscono, le conseguenze possono essere gravi, spaziando dall'infortunio fisico alla negazione dei diritti civili. Per anni, gli esperti hanno cercato di governare queste tecnologie utilizzando principi etici ampi come l'equità, la trasparenza e la sicurezza. Tuttavia, queste idee di alto livello spesso faticano a tradursi in regole pratiche per i modi disordinati e variegati in cui l'IA viene effettivamente utilizzata nel mondo reale. Una sfida fondamentale è stata comprendere come diversi tipi di IA falliscano in situazioni specifiche. Un'auto a guida autonoma che si schianta è lo stesso tipo di problema di un chatbot che diffonde disinformazione, o di un sistema di riconoscimento facciale che identifica erroneamente un sospetto? Per rispondere a questo, i ricercatori hanno iniziato a considerare i fallimenti documentati non come incidenti isolati, ma come punti dati che potrebbero rivelare modelli più profondi.

Un team di ricercatori dell'Università di la Cumberlands si è posto l'obiettivo di trovare tali modelli esaminando una vasta collezione di incidenti reali legati all'IA. Hanno raccolto 849 casi documentati di fallimenti dell'IA da un database pubblico noto come Repository AIAAIC, che traccia incidenti che coinvolgono l'intelligenza artificiale, gli algoritmi e l'automazione. Invece di trattare ogni evento come una storia unica, i ricercatori hanno analizzato come questi fallimenti si raggruppassero in base a ciò che la tecnologia era, dove veniva utilizzata, cosa doveva fare e quale tipo di danno causava. Il loro obiettivo era vedere se il caos dei singoli incidenti potesse essere organizzato in alcune categorie distinte, o "profili di danno", che avrebbero aiutato i regolatori e le aziende a costruire regole di supervisione migliori e più specifiche.

L'analisi ha rivelato che i fallimenti dell'IA non sono casuali. Tendono a raggrupparsi attorno a due temi strutturali principali. Il primo tema distingue tra sistemi che interagiscono direttamente con il mondo fisico e quelli che elaborano principalmente informazioni. Il secondo tema separa i sistemi progettati per identificare e monitorare le persone da quelli progettati per generare contenuti. Mappando queste relazioni, i ricercatori hanno identificato tre profili di danno chiari e ricorrenti che emergono quando le cose vanno male.

Il primo profilo è quello che i ricercatori chiamano IA Autonoma o Incorporata (Embodied AI). Questi sono sistemi che hanno una presenza fisica e possono causare danni fisici diretti, come veicoli a guida autonoma o robot. Nei dati, questi fallimenti sono avvenuti quasi sempre nel settore dei trasporti. Quando questi sistemi falliscono, il risultato è tipicamente un fallimento della sicurezza: un'auto si schianta, un robot ha un malfunzionamento o un operatore umano perde il controllo. I rischi qui sono immediati e fisici, influenzando la sicurezza di passeggeri, pedoni e soccorritori. Poiché le conseguenze sono tangibili e pericolose, i ricercatori suggeriscono che la governance per questo gruppo debba concentrarsi pesantemente sulla sicurezza operativa, su test rigorosi di hardware e sensori, e su regole chiare su chi sia responsabile quando si verifica un incidente fisico.

Il secondo profilo è il Riconoscimento Visivo. Questa categoria include sistemi che utilizzano telecamere e software per identificare le persone, come la tecnologia di riconoscimento facciale utilizzata dalle forze dell'ordine o dalle agenzie di sicurezza. I dati hanno mostrato che i fallimenti in quest'area sono concentrati nei settori della giustizia e delle forze dell'ordine. A differenza degli scontri fisici del primo gruppo, i danni qui sono profondamente legati ai diritti civili e alla discriminazione. I problemi più comuni riguardano il sistema che identifica erroneamente le persone, in particolare appartenenti a specifici gruppi demografici, o l'uso della sorveglianza in modi che eccedono i confini legali. I ricercatori hanno scoperto che questi fallimenti creano un tipo di rischio diverso: una minaccia alla privacy, all'equità e al diritto di non essere accusati ingiustamente. La governance per questo profilo, pertanto, deve concentrarsi sulla prevenzione dei pregiudizi, sulla garanzia della trasparenza nel modo in cui i sistemi vengono utilizzati e sulla fornitura di percorsi chiari affinché le persone possano contestare le identificazioni errate.

Il terzo profilo è l'IA Generativa. Questa è la tecnologia dietro gli strumenti che creano testi, immagini e altri media. I dati hanno mostrato che i fallimenti in questo ambito sono più comuni nei settori dei media e dell'informazione. I danni associati a questo gruppo sono distinti dagli altri; raramente comportano lesioni fisiche o sorveglianza diretta. Invece, i problemi ruotano attorno alla qualità e alla veridicità dell'informazione. I fallimenti includono la creazione di contenuti convincenti ma falsi, l'impersonificazione di persone reali e la diffusione di disinformazione che può danneggiare le reputazioni o manipolare l'opinione pubblica. Poiché il rischio riguarda l'integrità dell'informazione piuttosto che la sicurezza fisica o la sorveglianza immediata, i ricercatori sostengono che la supervisione per questo gruppo debba concentrarsi sulla verifica della fonte del contenuto, sul monitoraggio di output ingannevoli e sulla garanzia che creatori e piattaforme siano responsabili di ciò che i loro sistemi producono.

Interessante è il fatto che i ricercatori abbiano scoperto che un tipo comune di capacità dell'IA, il monitoraggio predittivo, non ha formato un proprio gruppo separato. Il monitoraggio predittivo si riferisce a sistemi che analizzano i dati per prevedere eventi futuri, come la previsione di crimini, insolvenze di prestiti o esiti sanitari. Lo studio ha mostrato che questi sistemi non si sono raggruppati perché i loro rischi dipendono interamente da dove vengono utilizzati. Un sistema predittivo utilizzato in ambito sanitario affronta sfide etiche diverse rispetto a uno utilizzato nelle assunzioni o nella finanza. Questo risultato suggerisce che il monitoraggio predittivo non è una singola categoria di rischio, ma uno strumento che assume il carattere dell'ambiente in cui entra. Se un sistema predittivo viene utilizzato in un contesto di polizia, eredita i rischi del profilo del Riconoscimento Visivo; se utilizzato nella finanza, eredita i rischi economici di altri profili. Ciò significa che le regole per questi sistemi non possono essere universali; devono essere adattate al contesto specifico in cui viene effettuata la previsione.

I ricercatori propongono un nuovo modo per governare l'IA basato su queste scoperte. Invece di applicare le stesse regole generali a tutta l'intelligenza artificiale, suggeriscono che i regolatori e le aziende debbano prima identificare in quale profilo di danno rientra un sistema. Una volta che un sistema è categorizzato, possono essere applicate le regole specifiche per il monitoraggio, l'audit e l'assegnazione della responsabilità. Ad esempio, un'auto a guida autonoma sarebbe soggetta a rigorosi audit di sicurezza e requisiti di segnalazione immediata per quasi-collisioni fisiche. Un sistema di riconoscimento facciale dovrebbe essere sottoposto a controlli regolari per i pregiudizi razziali e fornire percorsi chiari affinché i cittadini possano fare ricorso contro le identificazioni errate. Una piattaforma di IA generativa dovrebbe dimostrare l'autenticità dei suoi contenuti e avere meccanismi per rimuovere rapidamente la disinformazione dannosa.

Questo approccio sposta la governance dell'IA dai principi astratti alle azioni concrete. Riconosce che un fallimento in un robot è fondamentalmente diverso da un fallimento in un chatbot, e che le persone responsabili di ripararli devono essere diverse. Guardando alla storia effettiva di come l'IA è fallita, i ricercatori hanno fornito una mappa per costruire un sistema di supervisione più efficace e sensibile al contesto. Sostengono che questo metodo permette alla società di affrontare i pericoli specifici di ciascun tipo di tecnologia senza perdersi in generalizzazioni, garantendo che le regole che creiamo siano pratiche e precise quanto la tecnologia stessa. Lo studio conclude che, trattando gli incidenti documentati come una risorsa piuttosto che solo come un registro di errori passati, possiamo costruire un futuro in cui l'IA sia governata da una comprensione del suo impatto nel mondo reale, rendendo la tecnologia più sicura e responsabile per tutti.