Riepilogo Tecnico: L'utilità danneggia: Degradazione dei valori di compassione dipendente dal dominio sotto il post-training

Problema

Le pipeline di allineamento standard per i Large Language Models (LLM) tipicamente prevedono il pre-training seguito da Supervised Fine-Tuning (SFT) e Reinforcement Learning (RL) per ottimizzare i criteri "Helpful, Honest, and Harmless" (HHH - Utile, Onesto e Innocuo). Tuttavia, lavori teorici ed empirici suggeriscono che questi processi di post-training possano involontariamente degradare i valori instillati durante il pre-training o il mid-training. Nello specifico, esiste un trade-off in cui l'ottimizzazione dell'utilità può erodere l'innocuità o altri valori etici specifici.

Sebbene sia stabilito che il post-training nel dominio del coding preservi meglio l'allineamento alla sicurezza rispetto al post-training nel dominio della generalità dell'utilità (a causa di una minore sovrapposizione rappresentazionale), nessun studio aveva testato direttamente se diversi domini di post-training influenzino diversamente la conservazione dei valori incorporati durante il mid-training. Questo divario è critico, poiché il mid-training è sempre più proposto come una fase per incorporare valori specifici (ad esempio, la compassione verso gli animali) nei modelli. Gli autori indagano se il post-training su dati di utilità rispetto ai dati di coding influenzi diversamente la ritenzione dei valori di compassione animale in un modello mid-trained su dati sintetici orientati alla compassione.

Metodologia

Modello Base e Mid-Training

Lo studio utilizza un modello Llama 3.1 8B come base. Questo modello ha subito un "mid-training" su un corpus di 3.000 righe di dati sintetici sulla compassione animale utilizzando Unsloth con LoRA (rank 16, alpha 8, learning rate 2e-4). Questo modello mid-trained funge da condizione "Base".

Condizioni di Post-Training

Gli autori hanno confrontato tre condizioni primarie utilizzando due paradigmi di addestramento:

1. Supervised Fine-Tuning (SFT):

   • Helpfulness SFT: Addestrato su 5.000 righe da Databricks-dolly-15k (escludendo compiti NLP ristretti).
   • Coding SFT: Addestrato su 5.000 righe da Magicoder-Evol-Instruct-110K.
   • Controllo: Il modello Base mid-trained senza ulteriore SFT.
   • Iperparametri: LoRA (rank 16, alpha 8), learning rate 5e-5, batch size 16, response-only masking.

2. Reinforcement Learning (GRPO):

   • Helpfulness GRPO: Addestrato su 1.500 righe da RLHFlow/prompt-collection-v0.1 utilizzando il modello di ricompensa OpenAssistant.
   • Coding GRPO: Addestrato su 1.500 righe da Magicoder-Evol-Instruct-110K utilizzando il modello di ricompensa Skywork-Reward-V2-Qwen3-8B.
   • Iperparametri: Learning rate 5e-6, 1 epoca, batch size 4, $\beta=0.1$.

Benchmark di Valutazione

I modelli sono stati valutati utilizzando Inspect AI con Gemini-2.5-Flash-Lite come giudice:

1. Animal Harm Benchmark (AHB 2.2): Valuta le risposte attraverso 13 dimensioni di ragionamento morale (es. considerazione morale, riconoscimento della sentienza, evitamento del pregiudizio) riguardanti gli animali non umani.
2. MORU (Moral Reasoning Under Uncertainty): Valuta 16 dimensioni di ragionamento morale attraverso 201 scenari in tre lingue (Inglese, Malay, Hindi).

Risultati Chiave

1. Degradazione della Compassione Animale Dipendente dal Dominio (AHB)

Lo studio ha riscontrato una divergenza netta nel modo in cui i domini di post-training influenzano la compassione animale:

• L'addestramento all'Utilità (Helpfulness) degrada i Valori: Sul subset inglese di AHB (30 elementi), il modello Helpfulness SFT (Dolly) ha ottenuto il 35,7%, una degradazione significativa rispetto al modello Base (60,2%) e al modello Coding SFT (65,2%). La degradazione è statisticamente significativa ($p < 0.001$, $d = 1.12$).
• L'addestramento al Coding Preserva i Valori: Il modello Coding SFT ha performato in modo comparabile al modello Base ($p = 0.310$), indicando che il post-training di coding non erode i valori di compassione mid-trained.
• Replicazione tra i Paradigmi: Questo schema si è mantenuto sotto l'addestramento GRPO. Il modello Helpfulness GRPO ha ottenuto il 18,7% sull'intero set AHB, mentre il modello Coding GRPO ha ottenuto il 32,0%.
• Entità dell'Effetto: GRPO ha causato una degradazione assoluta maggiore rispetto a SFT nonostante l'uso di meno di un terzo dei dati di addestramento (1.500 vs 5.000 righe), suggerendo che il RL sia più efficiente nel campionamento per indurre cambiamenti comportamentali, inclusa l'erosione dei valori.

2. Asimmetria nel Trasferimento Cross-Lingua

Un risultato critico riguarda come questi effetti si trasferiscono tra le lingue:

• La Compassione Animale (AHB) è Cross-Lingua: Il vantaggio del Coding SFT rispetto all'Helpfulness SFT sulla compassione animale si è trasferito robustamente alle lingue non inglesi. Sui componenti AHB non inglesi, il modello Coding ha superato il modello Helpfulness di 27,2 punti percentuali, quasi identico al gap inglese (+27,6pp). Inoltre, il guadagno del modello Coding rispetto al Base è stato 4,5 volte maggiore sugli elementi non inglesi (+14,5pp) rispetto a quelli inglesi (+3,2pp).
• Il Ragionamento Morale Generale (MORU) è Specifico dell'Inglese: Sui componenti MORU solo in inglese, l'Helpfulness SFT ha degradato il ragionamento morale generale di 25,5 punti percentuali (46,4% vs 71,9% per il Coding). Tuttavia, questo effetto di dominio è scomparso sul benchmark multilingue completo di MORU (52,3% vs 51,2%).
• Meccanismo di Dissolvenza (Washout) di MORU: La scomparsa dell'effetto di dominio in MORU è stata guidata dall'Hindi. Il modello Coding ha risposto in Hindi il 60% delle volte (rispetto al 23% per l'Helpfulness), probabilmente a causa dell'addestramento al seguire le istruzioni sui commenti del codice. Tuttavia, entrambi i modelli hanno prodotto output in Hindi di qualità inferiore, e la maggiore conformità del modello Coding alla lingua del prompt ha paradossalmente abbassato il suo punteggio aggregato. Ciò suggerisce che i miglioramenti del ragionamento derivanti dal coding SFT siano dipendenti dalla lingua, mentre i valori di compassione sono codificati più profondamente.

3. Natura della Degradazione

La degradazione derivante dall'Helpfulness SFT non è meramente un fallimento nel rinforzare i valori, ma uno spostamento attivo. Il modello Helpfulness ha ottenuto un punteggio significativamente inferiore al modello Base non addestrato, suggerendo che l'ottimizzazione per l'accordo con l'utente (sycophancy/sussistenza) e la standard helpfulness sovrascriva attivamente le rappresentazioni etiche pre-addestrate.

Significato e Rivendicazioni

Il documento sostiene di fornire il primo studio empirico che dimostra come il dominio dei dati di post-training sia una variabile critica per la ritenzione dei valori incorporati durante il mid-training.

• Strategia di Preservazione dei Valori: Per i laboratori che costruiscono su mid-training carichi di valori, gli autori suggeriscono che il post-training nel dominio del coding possa essere una strategia superiore per preservare i valori mid-trained (nello specifico la compassione animale) rispetto al post-training dell'utilità, senza danneggiare le capacità di ragionamento generale nel linguaggio di addestramento.
• Profondità della Codifica: I risultati suggeriscono che i valori instillati attraverso il mid-training mirato (compassione animale) siano codificati più profondamente e in modo più cross-lingua rispetto ai miglioramenti del ragionamento derivanti dal post-training specifico del dominio (coding SFT).
• Limiti dei Benchmark Standard: Gli autori osservano che i benchmark standard di sicurezza e utilità non riescono a rilevare questa specifica forma di degradazione dei valori. Sostengono che i valori non misurati non possono essere protetti e che l'addestramento all' "utilità" può sistematicamente cancellare valori non antropocentrici (come il benessere animale) che sono raramente richiesti dagli utenti.
• Ambito delle Rivendicazioni: Gli autori mantengono un approccio modesto, notando che lo studio si basa su un singolo modello base da 8B e un singolo corpus di mid-training. Non affermano che il coding sia universalmente "sicuro" per tutti i valori, ma che preserva meglio questi specifici valori mid-trained rispetto all'helpfulness training a causa della minore sovrapposizione rappresentazionale. Propongono che il meccanismo (interferenza rappresentazionale) si applichi probabilmente a qualsiasi valore strettamente definito non rinforzato durante il post-training.

In conclusione, il documento stabilisce che l'addestramento all'utilità può degradare attivamente i valori di compassione mid-trained, mentre l'addestramento al coding li preserva, e che tali valori di compassione mostrano una robustezza attraverso le lingue che i miglioramenti del ragionamento morale derivanti dal post-training non possiedono.