Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

Nel mondo dell'intelligenza artificiale, si sta diffondendo la consapevolezza che le macchine non parlano con un'unica voce umana. Quando chiediamo a un computer di scrivere una storia, riassumere un articolo di giornale o offrire un consiglio, persone diverse spesso vogliono cose diverse. Una persona potrebbe dare valore alla brevità e alla direttezza, mentre un'altra potrebbe preferire la sfumatura e la profondità emotiva. Una terza potrebbe dare priorità alla sicurezza sopra ogni altra cosa, mentre una quarta cerca la creatività. Per anni, il modo standard per insegnare queste macchine è stato quello di raccogliere tutte queste diverse opinioni, mescolarle in un unico grande mucchio e addestrare il sistema a soddisfare la media. Questo approccio assume che il disaccordo umano sia solo rumore, una confusione temporanea che scomparirà se raccogliamo abbastanza dati. Ma in realtà, queste differenze sono spesso profonde, persistenti e fondamentali. Rappresentano veri conflitti di valori, non solo errori casuali. La sfida per gli scienziati non è più solo quella di creare una macchina che piaccia alla maggioranza, ma di costruirne una che possa imparare da una folla di punti di vista distinti, talvolta opposti, e arrivare comunque a una singola decisione equa che rispetti la struttura di quel disaccordo.

Questo è il problema centrale affrontato da un team di ricercatori provenienti da istituzioni tra cui il MIT, l'Università della Carolina del Nord e la Carnegie Mellon University. Si sono posti l'obiettivo di risolvere un enigma specifico nel campo del machine learning noto come "allineamento pluralistico". Immaginate una stanza piena di persone che cercano di decidere un'unica linea d'azione, ma che non riescono a concordare su quale sia il miglior risultato possibile. In passato, gli informatici avrebbero semplicemente chiesto a tutti di votare su ogni possibile scelta, avrebbero contato i voti e scelto il vincitore. Il nuovo approccio descritto in questo lavoro sostiene che questo metodo spreca troppe informazioni. Se mescolate i voti di un gruppo che ama il cibo piccante con quelli di un gruppo che lo odia, potreste finire con un compromesso insapore e insoddisfacente che non soddisfa nessuno. Inveve, i ricercatori propongono un metodo che mantiene separati i gruppi durante l'apprendimento, comprendendo esattamente cosa vuole ciascun gruppo, e poi applica una regola specifica e trasparente per combinare quei desideri in un'unica decisione finale.

I ricercatori si sono concentrati su un contesto in cui il computer apprende da dati "offline". Ciò significa che la macchina non sta parlando con le persone in tempo reale; sta esaminando una vasta collezione preesistente di record. In questi record, le persone hanno confrontato due diverse opzioni e hanno dichiarato quale preferivano. Fondamentalmente, i ricercatori si sono assicurati che i dati tenessero traccia di chi avesse effettuato ogni confronto. Non si limitavano a registrare che "l'Opzione A era migliore dell'Opzione B"; registravano che "il Gruppo A preferiva l'Opzione A, mentre il Gruppo B preferiva l'Opzione B". Preservando queste identità, il computer poteva apprendere le preferenze specifiche di ogni gruppo distinto anziché confonderle in una singola media confusa.

Per gestire questa complessità, il team ha sviluppato un quadro matematico che opera in due fasi principali. In primo luogo, il sistema apprende le regole nascoste che guidano le preferenze di ciascun gruppo. Hanno scoperto che, sebbene gruppi diversi vogliano cose diverse, le loro preferenze condividono spesso una struttura sottostante comune, proprio come diverse lingue condividono una grammatica comune. Riconoscendo questa struttura condivisa, il computer può apprendere i desideri specifici di molti gruppi diversi utilizzando molta meno quantità di dati rispetto a quanto farebbe se cercasse di apprendere ciascuno di essi isolatamente. Questo passaggio è vitale perché permette al sistema di essere accurato anche quando i dati per un singolo gruppo sono scarsi o incompleti.

Una volta che il sistema ha compreso cosa vuole ogni gruppo, passa alla seconda fase: prendere la decisione finale. Qui, i ricercatori hanno testato tre modi diversi di combinare queste preferenze, che rappresentano diverse idee di equità. Un metodo, chiamato "Utilitarista", somma semplicemente la felicità totale di tutti i gruppi e sceglie l'opzione che crea il maggior bene complessivo. Un altro, chiamato "Egualitario", si concentra interamente sul gruppo che è meno soddisfatto, assicurando che il gruppo più svantaggiato sia reso il più felice possibile. Il terzo metodo, noto come "Nash", cerca un equilibrio in cui il prodotto della soddisfazione di tutti è massimizzato, impedendo efficacemente che un singolo gruppo venga completamente ignorato pur premiando il progresso generale. I ricercatori hanno dimostrato matematicamente che il loro metodo può trovare una singola politica che funzioni sotto tutte queste definizioni di equità, a condizione che i dati siano sufficienti.

Un risultato chiave dello studio è che semplicemente unire tutti i dati insieme e ignorare chi ha detto cosa porta a un risultato scadente. Quando i ricercatori hanno simulato uno scenario con tre gruppi distinti di persone, il tradizionale metodo "aggregato" (pooled) non è riuscito a identificare un compromesso equo. Spesso sceglieva un'opzione amata da un gruppo ma odiata dagli altri, lasciando metà della popolazione completamente insoddisfatta. Al contrario, il loro nuovo metodo, che manteneva i gruppi distinti durante la fase di apprendimento, ha identificato con successo un'opzione di mezzo che offriva un livello moderato di soddisfazione per tutti. Ciò ha dimostrato che la difficoltà nell'allineare l'intelligenza artificiale non riguarda solo l'avere abbastanza dati, ma il preservare la struttura del disaccordo umano fino a quando non viene fatta una scelta chiara e intenzionale su come risolverlo.

I ricercatori hanno anche esplorato uno scenario più difficile in cui le preferenze umane non possono essere facilmente ridotte a un semplice punteggio o a una classifica. A volte, le scelte delle persone sono incoerenti; potrebbero preferire A rispetto a B, B rispetto a C, ma poi C rispetto ad A. In questi casi, il metodo standard di assegnare un numero singolo a ogni opzione fallisce. Per gestire ciò, il team ha sviluppato una nuova strategia basata sul concetto di un "vincitore di von Neumann". Questo è un approccio probabilistico in cui il sistema non cerca l'unica migliore opzione, ma piuttosto una strategia che sia improbabile che perda in un confronto testa a testa contro qualsiasi altra strategia. Hanno dimostrato che anche in queste situazioni disordinate e incoerenti, il loro metodo può trovare una soluzione stabile e giusta che rispetti le preferenze di tutte le parti, a condizione che i dati siano stati raccolti con la dovuta cura.

Attraverso simulazioni al computer, il team ha dimostrato che il loro approccio supera costantemente i metodi esistenti. Quando hanno testato il loro algoritmo su dati sintetici con un numero variabile di persone e diversi livelli di accordo, il nuovo metodo ha prodotto decisioni più vicine all'esito ideale per ogni gruppo. Le simulazioni hanno confermato che, mantenendo intatte le identità dei gruppi e utilizzando una struttura di apprendimento condivisa, il sistema può apprendere in modo più efficiente e prendere scelte più eque. I risultati sono rimasti validi sia che l'obiettivo fosse massimizzare la felicità media, proteggere il gruppo più vulnerabile o trovare un compromesso equilibrato.

Questo lavoro rappresenta un passo avanti significativo nel modo in cui pensiamo all'addestramento dell'intelligenza artificiale per lavorare con società umane diverse. Si allontana dall'idea che esista un unico modo "corretto" di comportarsi che la macchina debba scoprire. Invece, tratta la diversità dell'opinione umana come una caratteristica da gestire, non un errore da correggere. Rendendo il processo di combinazione di diversi punti di vista esplicito e matematicamente rigoroso, i ricercatori hanno fornito una tabella di marcia per costruire sistemi che possano navigare il conflitto senza cancellare le voci distinte che lo creano. Lo studio non pretende di aver risolto ogni problema nell'interazione uomo-IA, ma offre un modo collaudato e affidabile per apprendere da una folla di persone in disaccordo e produrre una singola decisione collettiva che sia statisticamente fondata ed eticamente trasparente.