Personalization, Personas, and Forecasting in Value Alignment
Questo studio dimostra che il framing dei prompt — specificamente se ai modelli viene chiesto di personalizzare, interpretare un ruolo o prevedere prospettive in terza persona — altera significativamente il loro allineamento ai valori culturali delle popolazioni umane, con la previsione in terza persona che produce generalmente i risultati più stabili e accurati attraverso diverse lingue e dimensioni di valore.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di parlare con un robot super intelligente che ha letto quasi tutti i libri mai scritti. Potresti pensare che questo robot abbia una personalità singola e fissa, come un essere umano con un unico insieme di convinzioni. Ma nel mondo dell'Intelligenza Artificiale, questi robot sono più simili a camaleonti. Possono cambiare la loro "voce" e le loro "opinioni" a seconda di come poni loro una domanda. Questo campo di studio si chiama allineamento dei valori (value alignment), che è solo un modo elegante per chiedere: "La risposta di questo robot corrisponde a ciò che pensano realmente gli esseri umani?".
Per capire questo, devi conoscere tre modi in cui possiamo parlare con questi robot. Primo, la Personalizzazione è come dire al robot: "Ehi, io sono una persona del Brasile; tu cosa ne pensi?". Il robot cerca di essere un amico utile per te. Secondo, il Role-playing (o Personaggi) è come indossare un costume. Dici: "Fingi di essere una persona del Brasile", e il robot interpreta la parte. Terzo, il Forecasting (Previsione) è come essere un detective. Chiedi: "Cosa risponderebbe una persona del Brasile?", senza chiedere al robot di essere quella persona. Per molto tempo, gli scienziati si sono chiesti se questi tre modi di parlare fossero fondamentalmente la stessa cosa. Se chiedi a un robot di essere un brasiliano, o di parlare a un brasiliano, o di indovinare cosa pensa un brasiliano, dovrebbe dare esattamente la stessa risposta?
Un team di ricercatori ha deciso di mettere alla prova questa idea usando un enorme sondaggio del mondo reale chiamato World Values Survey, che interroga milioni di persone in tutto il mondo sulle loro opinioni su religione, lavoro e società. Hanno chiesto a quattro dei robot IA più intelligenti del mondo di rispondere a 101 di queste domande del sondaggio in 13 lingue e paesi diversi. Hanno provato tutti e tre i metodi — parlare a un utente, interpretare un personaggio e fare previsioni — per vedere quale di questi metodi facesse allineare meglio le risposte del robot ai dati umani reali.
Ecco il colpo di scena che hanno scoperto: il modo in cui poni la domanda cambia la risposta. I ricercatori hanno scoperto che questi tre metodi non sono intercambiabili. In effetti, il modo in cui strutturi il prompt è un fattore enorme nel determinare se il robot suona come un vero essere umano di quel paese o meno.
La scoperta più sorprendente è stata che il forecasting era il vincitore netto. Quando i ricercatori chiedevano ai robot: "Cosa direbbe una persona del [Paese X]?", i robot si avvicinavano molto di più alle risposte umane reali rispetto a quando veniva chiesto loro di "essere" quella persona o di "parlare a" quella persona. È come se i robot fossero più bravi nell'essere un osservatore intelligente che indovina cosa pensa qualcun altro piuttosto che nel cercare di interpretare quella persona. Per tre dei quattro robot testati, questo metodo di "indovinare" era il modo più efficace per ottenere risposte culturalmente accurate.
Tuttavia, i robot non avevano azzeccato tutto. I ricercatori hanno scoperto che i robot erano bravissimi a cogliere le differenze culturali grandi e ovvie, come l'importanza della religione o la visione dei ruoli di genere. Ma quando si trattava di argomenti più complicati e sottili, come la fiducia nel governo, la democrazia o l'efficacia delle istituzioni, i robot faticavano. Anche quando cercavano di indovinare, spesso mancavano il bersaglio su questi temi delicati.
Lo studio ha anche dimostrato che i robot non spostavano le loro risposte casualmente; le spostavano in direzioni specifiche. Ad esempio, quando interrogati sulla religione, le risposte dei robot si muovevano fortemente verso i dati umani reali. Ma per le domande sulla corruzione o sulla fiducia politica, le risposte spesso rimanevano bloccate nella loro modalità "globale" predefinita o addirittura si allontanavano da ciò che pensano gli esseri umani reali.
Quindi, cosa significa questo? Suggerisce che se vuoi che un'IA comprenda una cultura specifica, non puoi limitarti a dirle di "agire come" un locale. Potresti ottenere risultati migliori chiedendole di prevedere cosa penserebbe un locale. Ma anche in quel caso, il robot non è uno specchio perfetto dell'umanità; è più bravo a vedere i segnali culturali grandi e rumorosi che quelli silenziosi e complicati. I ricercatori concludono che il modo in cui poniamo queste domande non è solo una scelta estetica — cambia fondamentalmente ciò che il robot dice e quanto bene si allinea con il mondo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.