The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

La strada davanti alle auto a guida autonoma non riguarda più solo l'evitare gli incidenti; riguarda il compiere scelte quando gli incidenti sono inevitabili. Man mano che queste macchine maturano fino al punto da poter guidare da sole senza l'aiuto umano, si troveranno inevitabilmente di fronte a situazioni in cui uno scontro è certo, e l'unica domanda è chi si farà male. Questa è la versione moderna di un vecchio enigma filosofico noto come il problema del carrello, in cui bisogna scegliere tra due esiti negativi. Per decenni, i filosofi hanno dibattuto su come una persona debba agire in tali momenti, pesando il valore di diverse vite e la moralità dell'agire rispetto al non fare nulla. Ora, gli ingegneri stanno cercando di insegnare ai computer come compiere queste stesse scelte. La sfida non è solo scrivere un programma per computer che segua un insieme di regole rigide, ma insegnare a una macchina a comprendere i valori umani, che sono spesso disordinati, incoerenti e profondamente emotivi.

Un team di ricercatori della Stony Brook University si è posto l'obiettivo di testare se una macchina potesse apprendere questi complessi valori umani direttamente dalle persone, piuttosto che essere programmata con un insieme di istruzioni fisse. Hanno costruito un sistema che chiamano Ethical Decision Head, uno strato specializzato di software progettato per intervenire quando un'auto a guida autonoma affronta un impatto imminente. In questi momenti di frazioni di secondo, l'auto deve decidere se mantenere la propria rotta, sterzare a sinistra o sterzare a destra. I ricercatori volevano vedere se potevano addestrare questo sistema utilizzando un metodo chiamato apprendimento per rinforzo tramite feedback umano. Inveve di dire al computer esattamente cosa fare, hanno mostrato 200 scenari di collisione e hanno chiesto a due volontari umani di scegliere l'esito migliore tra due opzioni. Il computer ha poi imparato a imitare queste scelte umane, sperando di interiorizzare la logica morale che le sottende.

Per testare questa idea, i ricercatori hanno creato due diversi set di regole da far seguire al computer. Il primo era basato sull'utilitarismo, una filosofia secondo la quale l'azione giusta è quella che salva il maggior numero di vite complessivamente. Il secondo era basato sulle idee di Immanuel Kant, un filosofo che sosteneva che alcune azioni siano sbagliate a prescindere dal risultato, come usare una persona come strumento per salvare altri. I ricercatori hanno addestrato il loro sistema per apprendere entrambi gli approcci. Quando hanno testato il sistema con le regole kantiane, ha funzionato perfettamente. Il computer ha rapidamente imparato che l'unica mossa corretta era non sterzare mai verso un pedone, qualunque cosa accadesse, e ha mantenuto questa regola senza sosta. Questo successo ha dimostrato che il sistema di addestramento stesso stava funzionando correttamente e che il computer era capace di apprendere una regola morale rigorosa.

Tuttavia, quando i ricercatori hanno cambiato le regole con quelle utilitaristiche, i risultati sono stati sorprendentemente diversi. Si aspettavano che il computer imparasse come minimizzare il numero totale di feriti facendo la scelta matematicamente corretta in ogni scenario. Inveve, il computer ha imparato qualcosa di completamente diverso. Dopo aver analato 200 diversi scenari di collisione, il sistema non è riuscito a scegliere l'opzione salvavita in quasi la metà dei casi. Invece di minimizzare le vittime, ha iniziato a favorire un modello di comportamento in cui sacrificava se stesso o i passeggeri per evitare di colpire attivamente un pedone. Ciò è accaduto perché i volontari umani che hanno fornito il feedback non hanno effettivamente scelto l'opzione salvavita così spesso quanto le regole dei filosofi avrebbero suggerito che dovessero fare. Le persone tendevano a preferire che l'auto non facesse nulla o che sacrificasse se stessa, anche se ciò significava che un numero maggiore di persone si sarebbe fatto male in totale. Sembrava che sentissero che sterzare attivamente contro una persona fosse peggio che lasciare che una tragedia accadesse per caso, una tendenza psicologica nota come bias di omissione.

Lo studio ha rivelato un profondo divario tra ciò che le persone dicono di credere in teoria e ciò che effettivamente premiano nella pratica. Quando i ricercatori hanno rimosso il feedback umano e hanno addestrato il computer solo sul rigoroso obiettivo matematico di salvare vite, esso è diventato istantaneamente altamente accurato, scegliendo correttamente la via salvavita in oltre il 90 percento dei casi. Ciò ha dimostrato che il computer era capace di apprendere la filosofia utilitaristica, ma che il feedback umano lo aveva allontanato da tale obiettivo. La macchina non era fallita nell'apprendere l'etica; aveva appreso l'etica umana esattamente come gli esseri umani la praticano, con tutte le loro contraddizioni e i loro pregiudizi emotivi. I ricercatori hanno scoperto che quando cerchiamo di insegnare a una macchina a essere morale chiedendo alle persone cosa preferiscono, potremmo finire per insegnarle a essere incoerente, dando priorità ai nostri sentimenti rispetto al risultato effettivo.

Questa scoperta suggerisce che semplicemente chiedere alle persone ciò che vogliono potrebbe non essere sufficiente per costruire un'auto a guida autonoma veramente etica. Se l'obiettivo è creare un sistema che salvi costantemente il maggior numero di vite, fare affidamento sul feedback umano potrebbe in realtà rendere l'auto meno sicura, perché gli esseri umani spesso preferiscono azioni che sembrano giuste nel momento, ma che portano a risultati peggiori complessivamente. Lo studio non sostiene di aver risolto il problema di come programmare la moralità nelle macchine, ma mostra che il percorso è molto più complicato che semplicemente copiare le scelte umane. Evidenzia una tensione fondamentale: i valori che teniamo nella nostra testa quando pensiamo all'etica non sono sempre gli stessi delle scelte che facciamo quando ci viene chiesto di giudicare una situazione reale. Mentre ci muoviamo verso un futuro in cui le macchine prendono decisioni di vita o di morte, potremmo dover decidere se vogliamo che seguano i nostri imperfetti istinti umani o un insieme di principi più rigorosi e coerenti.