Unsupervised Elicitation of Moral Values from Language Models

Sintesi Tecnica: Elicitazione Non Supervisionata dei Valori Morali dai Modelli di Linguaggio

Problematica
Man mano che i sistemi di IA diventano pervasivi in domini ad alto rischio (ad es. assunzioni, sanità, veicoli autonomi), l'allineamento del loro comportamento con i valori umani diventa critico. Gli approoli attuali si affidano pesantemente all'"insegnamento" della moralità ai modelli di linguaggio (LM) attraverso il fine-tuning supervisionato su dati annotati da esseri umani. Tuttavia, questo paradigma affronta significativi colli di bottiglia: la scarsità di etichette morali di alta qualità, il persistente disaccordo tra gli annotatori e la natura non monolitica della moralità attraverso diverse culture e framework. Inoltre, i metodi di allineamento esistenti spesso non riescono a mitigare i pregiudizi sociali e faticano a generalizzare tra diversi framework morali. La domanda centrale affrontata da questo lavoro è se i modelli di linguaggio (LM) pre-addestrati (base) possiedano capacità intrinseche di ragionamento morale che possono essere fatte emergere senza la supervisione umana, riducendo così la dipendenza da etichette umane scarse e potenzialmente distorte.

Metodologia
Lo studio investiga l'Internal Coherence Maximization (ICM), un algoritmo di elicitazione non supervisionata, come alternativa all'allineamento morale supervisionato.

• Meccanismo Core: L'ICM cerca assegnazioni di etichette che massimizzino una funzione di punteggio che combina la predicibilità reciproca (la somma del log-probabilità delle etichette dati gli input e le altre etichette provvisorie) e la coerenza logica (penalizzando le assegnazioni contraddittorie). Utilizza una ricerca di tipo simulated-annealing per proporre e risolvere iterativamente le etichette, effettuando il fine-tuning del modello sulle proprie etichette generate anziché su annotazioni umane esterne.
• Configurazione Sperimentale: Gli autori hanno valutato quattro modelli open-weight (Llama-3.1-8B, Llama-3.1-70B, Mistral-7B-v0.3 e OLMo2-13B) utilizzando i loro pesi pre-addestrati base (senza RLHF o instruction tuning).
• Benchmark:
  1. Norm Bank: Un corpus di circa 1,7 milioni di giudizi morali crowdsourced (campionati a 2.024 punti) che coprono l'etica quotidiana.
  2. ETHICS: Un benchmark di 130.000 scenari attraverso cinque domini normativi: Giustizia, Deontologia, Etica della Virtù, Utilitarismo e Morale del Senso Comune (campionati a 4.096 punti).
  3. UDHR (Dichiarazione Universale dei Diritti Umani): Un set di valutazione dei bias contenente 8.094 affermazioni che testano l'affermazione dei diritti attraverso 12 identità demografiche (ad es. razza, stato socioeconomico, genere).
• Baseline: I confronti sono stati effettuati contro Zero-shot (Base), Zero-shot (Chat), Many-shot (Prompt-Human) e Fine-tuning su Dati Annotati da Umani (FT-Human).

Contributi Chiave

1. Dimostrazione del Ragionamento Morale Latente: Il documento fornisce prove che sostanziali capacità di ragionamento morale sono intrinsecamente codificate nei modelli base pre-addestrati e possono essere attivate senza esplicita supervisione umana.
2. Efficacia Non Supervisionata: Lo studio introduce una pipeline scalabile in cui le etichette generate da ICM vengono utilizzate per il fine-tuning dei modelli, raggiungendo prestazioni comparabili o superiori ai modelli addestrati su dati annotati da umani.
3. Mitigazione dei Bias: Il lavoro dimostra che l'elicitazione non supervisionata può ridurre significativamente gli errori di bias sociale nel ragionamento morale rispetto sia alle baseline zero-shot che a quelle allineate tramite chat.
4. Allineamento Scalabile: Gli autori hanno implementato con successo l'approccio per addestrare un modello di ricompensa non supervisionato e una politica di Reinforcement Learning (RL), dimostrando che l'ICM può sostituire i dati di preferenza umana in contesti simili a RLHF.

Risultati

• Performance su Norm Bank: L'ICM ha raggiunto almeno l'81% di accuratezza in tutti i modelli testati, superando le baseline zero-shot e many-shot dei chatbot. Il fine-tuning sulle etichette generate da ICM (FT-Unsupervised) si è dimostrato all'altezza o superiore a FT-Human, in particolare per OLMo2-13B, Mistral-V03 e Llama-3.1-70B.
• Framework ETHICS: L'ICM ha costantemente superato le baseline zero-shot e chat in tutti i cinque framework morali. I maggiori guadagni relativi sono stati osservati nei domini di Senso Comune e Giustizia. L'Utilitarismo è rimasto la dimensione più impegnativa, sebbene l'ICM abbia comunque migliorato le prestazioni rispetto alle baseline. Sono stati notati effetti di scala all'interno della famiglia Llama (70B > 8B), ma modelli più piccoli come OLMo2-13B hanno ottenuto prestazioni comparabili alla variante più grande di Llama.
• Riduzione del Bias Sociale: Nel benchmark UDHR, l'ICM ha ridotto i tassi di errore del ragionamento morale al 4,1%, che è circa un terzo del tasso di errore dei modelli pre-addestrati (11,97%) e la metà di quello dei modelli chatbot (9,85%). I miglioramenti più significativi si sono verificati nelle categorie relative a razza, stato socioeconomico e aspetto fisico.
• Modellazione della Ricompensa e RL: Un modello di ricompensa non supervisionato addestrato tramite ICM ha raggiunto un'accuratezza del 71,3–75,4%, eguagliando da vicino le baseline supervisionate da umani. Una politica RL guidata da questo modello di ricompensa non supervisionato ha vinto il 71,7% dei confronti a coppie contro una baseline supervisionata da umani, dimostrando la fattibilità di pipeline di allineamento completamente non supervisionate.

Significatività e Rivendicazioni
Il documento sostiene che l'assunto prevalente — ovvero che il ragionamento morale debba essere esplicitamente "insegnato" ai LM tramite dati supervisionati — è incompleto. Inve드로, i modelli pre-addestrati possiedono capacità di ragionamento morale latenti che possono essere affidabilmente elicitate attraverso metodi non supervisionati come l'ICM. Ciò offre un percorso scalabile per l'allineamento dell'IA che riduce la dipendenza da annotazioni umane costose, distorte e culturalmente limitate.

Gli autori mantengono una posizione modesta riguardo all'ambito di questi risultati:

• L'ICM è più efficace quando i concetti target (valori morali) sono già salienti nelle rappresentazioni interne del modello pre-addestrato.
• Sebbene l'ICM migliori significativamente le prestazioni, non risolve universalmente tutte le sfide del ragionamento morale (ad es. l'Utilitarismo rimane difficile).
• La supervisione umana rimane essenziale per la verifica post-addestramento e la valutazione sensibile al contesto, in particolare dove la coerenza interna del modello potrebbe non allinearsi con norme sociali complesse ed evolutive.
• Lo studio suggerisce che l'elicitazione non supervisionata è un meccanismo complementare, piuttosto che un sostituto totale, dei sistemi human-in-the-loop, fornendo una base per un allineamento dell'IA più robusto e consapevole delle culture.