Sintesi Tecnica: Deriva dei Valori: Tracciare l'Allineamento ai Valori durante il Post-Training degli LLM

Definizione del Problema

Man mano che i Large Language Models (LLM) diventano parte integrante del discorso sociale, il loro allineamento con i valori umani diventa critico. Mentre le pipeline di allineamento standard prevedono il Supervised Fine-Tuning (SFT) seguito dall'ottimizzazione delle preferenze (ad esempio, RLHF, DPO), la dinamica di come e quando i modelli acquisiscono valori specifici durante queste fasi di post-training rimane opaca. La letteratura precedente si concentra ampiamente sulle valutazioni post-hoc di modelli completamente addestrati, fallendo nel distinguere i contributi specifici degli algoritmi di addestramento rispetto ai dataset, o nel tracciare l'evoluzione temporale dell'acquisizione dei valori. Questa mancanza di granularità ostacola la capacità di curare dati e selezionare algoritmi che allineino efficacemente i modelli con i desiderati sistemi di valori umani.

Metodologia

Gli autori introducono un framework per tracciare le "derive dei valori" (value drifts): gli spostamenti nelle espressioni valoriali di un modello nel corso dell'addestramento.

1. Operazionalizzazione di Valori e Stance:

• Valori: Definiti come posizioni latenti e soggettive che sottendono alle risposte a prompt normativi (giudizi normativi).
• Stance (Posizioni): La manifestazione concreta dei valori, categorizzata come supporto (support), neutrale (neutral) o opposizione (oppose) rispetto a un dato tema.
• Misurazione: Gli autori utilizzano V-PRISM, un set di valutazione curato di 550 prompt di indagine valoriale suddivisi in 11 categorie semantiche (es. immigrazione, aborto, cambiamento climatico). Per ogni checkpoint del modello, vengono generate risposte e classificate da un LLM (GPT-4o) per determinare le distribuzioni delle stance.

2. Metriche:

• Entità della Deriva (Drift Magnitude): Il cambiamento nella probabilità attesa della stance tra due checkpoint (inizio e fine di una fase di addestramento).
• Tempo della Deriva (Drift Time): La frazione di passi di addestramento necessari affinché la probabilità di una stance raggiunga il suo estremo finale (picco o punto minimo) all'interno di una fase di addestramento.

3. Configurazione Sperimentale:

• Modelli: Llama-3 (3B, 8B) e Qwen-3 (4B, 8B).
• Dataset SFT: WildChat (conversazioni reali uomo-LLM) e Alpaca (dati di istruzione sintetica).
• Dataset di Ottimizzazione delle Preferenze: UltraFeedback e HH-RLHF.
• Algoritmi: Proximal Policy Optimization (PPO), Direct Preference Optimization (DPO) e Simple Preference Optimization (SIMPO).
• Controllo Sintetico: Per isolare l'effetto degli algoritmi dalle proprietà del dataset, gli autori hanno costruito un dataset di preferenza sintetico con un "gap valoriale" controllato ed esplicito (coppie in cui una risposta supporta fortemente un valore e l'altra lo oppone fortemente).

Risultati Chiave

1. L'SFT è il Driver Dominante dell'Allineamento Valoriale

• L'allineamento valoriale avviene rapidamente durante la fase di SFT, spesso entro i primi centinaia di step.
• La scelta del dataset SFT imprime un profilo valoriale distinto sul modello. Ad esempio, i modelli addestrati su WildChat (derivante da interazioni con GPT-3.5) mostrano una stance prevalentemente neutrale (spesso a causa di pattern di rifiuto), mentre i modelli addestrati su Alpaca mostrano un bias di supporto.
• Questa "impronta valoriale" stabilisce un prior forte che persiste attraverso le successive fasi di addestramento.

2. L'Ottimizzazione Standard delle Preferenze Induce una Deriva Valoriale Minima

• Utilizzando dataset standard (UltraFeedback, HH-RLHF), PPO, DPO e SIMPO producono cambiamenti trascurabili nei profili valoriali stabiliti durante l'SFT.
• Causa: Gli autori identificano un "basso gap valoriale" nei dataset di preferenza standard. Le risposte "scelte" e "rifiutate" in questi dataset differiscono principalmente in dimensioni stilistiche (tono, verbosità) piuttosto che in stance o valori sottostanti. Di conseguenza, il segnale di ottimizzazione è troppo debole per rimodellare i prior valoriali del modello.

3. Le Differenze Algoritmiche Emergono con Gap Valoriali Controllati

• Quando forniti con un dataset sintetico contenente un chiaro gap valoriale, gli algoritmi di ottimizzazione delle preferenze possono spostare i valori, ma lo fanno in modo differente:
  • PPO: Preserva ampiamente i valori indotti dall'SFT a causa della penalità della divergenza KL che ancora la policy al modello di riferimento. L'entità della deriva è bassa, a meno che il coefficiente KL non venga significativamente ridotto.
  • DPO: Amplifica le stance che si allineano con il prior dell'SFT. Se il prior dell'SFT si oppone a un valore, il DPO fatica a invertire completamente la stance, risultando solo in spostamenti parziali. È sensibile all'iperparametro $\beta$.
  • SIMPO: Produce derive valoriali modeste con una convergenza più lenta. Il suo obiettivo basato sul margine (che richiede un gap di reward fisso) fa sì che i segnali di ottimizzazione diminuiscano una volta soddisfatto il margine, portando a aggiornamenti contenuti.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima visione sistematica della dinamica temporale dell'acquisizione dei valori durante il post-training. I suoi principali contributi sono:

1. Riformulazione della Formazione dei Valori: Stabilire che l'SFT, e non l'ottimizzazione delle preferenze, è il meccanismo primario per instillare specifiche stance valoriali negli LLM.
2. Diagnosi dei Limiti di Allineamento: Identificare che la mancanza di deriva valoriale nell'ottimizzazione delle preferenze standard non è un fallimento inerente degli algoritmi (PPO/DPO/SIMPO), ma una conseguenza del "basso gap valoriale" nei dataset di preferenza ampiamente utilizzati.
3. Insight Azionabili:
   • Curatela dei Dati: Per cambiare i valori di un modello, il dataset SFT deve essere curato con la distribuzione valoriale desiderata, poiché le fasi successive raramente alterano tali prior.
   • Design dei Dati di Preferenza: Un'efficace ottimizzazione delle preferenze richiede dataset con gap valoriali espliciti e alti tra le risposte scelte e quelle rifiutate.
   • Selezione dell'Algoritmo: La scelta dell'algoritmo di preferenza (PPO vs. DPO vs. SIMPO) impatta significativamente il grado e la direzione degli spostamenti valoriali quando sono presenti segnali forti, particolarmente riguardo alla loro interazione con i prior dell'SFT.

Gli autori concludono che migliorare l'allineamento dei modelli richiede uno spostamento del focus verso la curatela dei dati SFT e la costruzione di dataset di preferenza che codifichino esplicitamente i contrasti a livello di valore, piuttosto che fare affidamento su pipeline standard per correggere o raffinare i valori post-SFT.