Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
Questo articolo sostiene che le attuali valutazioni del ragionamento morale dell'IA si concentrino eccessivamente sull'allineamento dei valori trascurando l'applicazione di norme sensibili al contesto, e propone un programma di ricerca per colmare questa lacuna attraverso rappresentazioni formali standardizzate, dataset annotati da esperti e protocolli di valutazione distinti per la competenza normativa.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Quando le persone chiedono consiglio a un computer su una scelta difficile, spesso pongono una domanda che ha due parti molto diverse. La prima parte riguarda ciò che ci sta a cuore: diamo valore alla gentilezza rispetto alle regole rigide, o all'equità rispetto alla lealtà? La seconda parte riguarda il modo in cui utilizziamo quei valori per prendere una decisione in una situazione specifica. Immaginate di dover decidere se dire una verità dolorosa a un amico. Sapere che si dà valore all'onestà è una cosa; sapere esattamente come quel valore si applichi quando la verità potrebbe ferire qualcuno che amate è un'altra. Questa seconda parte richiede di seguire un insieme di principi che indicano come pesare i diversi interessi l'uno contro l'altro. Per anni, gli scienziati che studiano l'intelligenza artificiale si sono concentrati quasi esclusivamente sulla prima parte, verificando se le risposte di una macchina corrispondano a ciò che gli esseri umani generalmente preferiscono. Ma una nuova analisi suggerisce che fermandosi lì, i ricercatori abbiano trascurato il test più importante per capire se una macchina possa effettivamente pensare come un agente morale.
Un team di ricercatori dell'Università del Connecticut, della Carnegie Mellon University e di Hugging Face ha esaminato come valutiamo attualmente il ragionamento morale dei grandi modelli linguistici. Questi sono i potenti programmi informatici in grado di scrivere saggi, rispondere a domande e offrire consigli. Gli autori sostengono che il campo sia diventato troppo concentrato su un "problema del valore morale", che chiede semplicemente se le risposte del computer siano in linea con le opinioni umane. Essi sostengono che questo approccio lasci in gran parte inesplorato il "problema della norma morale". Il problema della norma morale è la sfida più difficile: vedere se una macchina può identificare i principi corretti per una situazione e applicarli correttamente per raggiungere una conclusione. I ricercatori hanno scoperto che gli attuali test sono come verificare se uno studente abbia memorizzato un elenco di valori, senza mai chiedergli se sia in grado di usare quei valori per risolvere un problema complesso.
Per capire perché questa distinzione sia importante, considerate come gli scienziati abbiano tradizionalmente misurato la moralità sia negli esseri umani che nelle macchine. Si sono affidati pesantemente a framework come la Teoria delle Fondazioni Morali, che suddivide la moralità umana in ampie categorie come cura, equità e lealtà. Questi strumenti sono eccellenti per descrivere ciò che le persone tendono a considerare importante. Se chiedete a un computer di scegliere tra salvare una persona o cinque persone, e esso sceglie le cinque, i ricercatori possono dire che il computer si allinea al valore umano di prendersi cura del maggior numero di persone. Tuttavia, i ricercatori sottolineano che prendersi cura di un valore non è la stessa cosa che sapere come applicarlo. Una macchina potrebbe concordare che "il danno è male", ma non capire che in alcuni sistemi etici, causare danno a una persona per salvarne cinque è una violzione di una regola diversa. I test attuali spesso scambiano la capacità di una macchina di dire le parole giuste per la sua capacità di compiere il ragionamento giusto.
Gli autori hanno esaminato decine di studi esistenti e benchmark utilizzati per valutare la moralità dell'IA. Hanno scoperto che quasi tutti questi test si raggruppano attorno al problema del valore morale. Questi test chiedono al computer di scegliere una risposta da un elenco o di descrivere una preferenza, e poi confrontano tale scelta con ciò che un gruppo di esseri umani sceglierebbe. Sebbene questo ci dica cosa la macchina dia priorità, non ci dice se la macchina possa costruire un argomento valido basato su una specifica teoria etica. I ricercatori hanno scoperto che pochissimi test controllano effettivamente se una macchina possa prendere un insieme di principi, applicarli a una nuova e complicata situazione ed esporre il proprio ragionamento passo dopo passo. Quando i test provano a guardare il ragionamento, spesso usano le stesse ampie categorie di valori come scorciatoia, assumendo che se una macchina si cura dell' "equità", debba necessariamente sapere come applicare le regole dell'equità. Gli autori sostengono che questo sia un errore, perché diverse teorie etiche possono tutte rivendicare di prendersi cura dell'equità pur richiedendo risultati completamente diversi.
Questa confusione crea un vuoto nella nostra comprensione di ciò che queste macchine possono effettivamente fare. I ricercatori hanno identificato tre pezzi mancanti specifici nel panorama attuale delle valutazioni. Primo, non esiste un insieme di risposte corrette di alta qualità e condiviso su come le regole morali debbano essere applicate in diverse situazioni. Senza un riferimento standard, ogni team di ricerca costruisce il proprio test, rendendo impossibile confrontare i risultati o vedere un reale progresso. Secondo, i test non esaminano abbastanza da vicino i passaggi che una macchina compie per raggiungere una conclusione. Una macchina potrebbe arrivare alla risposta giusta per fortuna o per tentativi, ma i metodi attuali spesso non riesse a cogliere se il ragionamento dietro quella risposta sia fallace. Terzo, i test non controllano se la macchina sia in grado di individuare i dettagli più importanti di una storia. Prima che una macchina possa applicare una regola, deve prima di tutto capire quali parti di una situazione siano moralmente rilevanti, e gli strumenti attuali non misurano bene questa abilità.
Per risolvere questi problemi, gli autori propongono una nuova strada da seguire per il settore. Suggeriscono che gli scienziati debbano creare un linguaggio comune per descrivere le teorie etiche, affinché diversi ricercatori possano costruire test che parlino agli stessi principi. Chiamano alla creazione di nuovi dataset in cui esperti di etica annotino come le specifiche regole debbano essere applicate agli scenari del mondo reale. Infine, esortano la comunità a smettere di confondere il test di ciò che una macchina valorizza con il test di come ragiona. Una macchina dovrebbe essere giudicata sulla sua capacità di seguire un percorso logico da un principio a una decisione, non solo sul fatto che la sua scelta finale corrisponda all'opinione umana. I ricercatori concludono che, sebbene abbiamo fatto progressi nell' capire cosa le macchine valorizzano, siamo solo all'inizio del comprendere se possano davvero riflettere su un problema morale. Finché non costruiremo gli strumenti per testare l'applicazione delle regole, non sapremo se questi sistemi siano capaci del tipo di ragionamento morale su cui gli esseri umani fanno affidamento nei loro momenti più difficili.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.