Sintesi Tecnica: Oltre l'Oblio Uniforme nella Preferenza Diretta Sequenziale (DPO)

Definizione del Problema

Allineare i Large Language Models (LLM) alle preferenze umane implica tipicamente l'ottimizzazione di molteplici obiettivi comportamentali (ad esempio, utilità, innocuità, onestà, capacità di seguire le istruzioni). In pratica, questi obiettivi vengono spesso ottimizzati sequenzialmente utilizzando metodi come la Direct Preference Optimization (DPO) piuttosto che congiuntamente, per evitare di riaddestrare il modello da zero. Tuttavia, rimane poco chiaro se le fasi di addestramento successive degradino uniformemente le preferenze apprese nelle fasi precedenti (oblio catastrofico) o se il risultato dipenda dalla specifica relazione tra gli obiettivi, la forza del segnale e l'ordine di addestramento.

La letteratura esistente suggerisce che l'oblio nell'allineamento sequenziale sia spesso moderato e dipendente dal task, ma le analisi precedenti si sono basate ampiamente su metriche aggregate (ad esempio, accuratezza nei test a scelta multipla) o si sono concentrate su benchmark di conoscenza. Tali approcci possono mascherare cambiamenti eterogenei a livello di campione e non riescono a distinguere se il driver principale della degradazione delle preferenze sia il conflitto diretto dei gradienti, il drift distributivo o lo squilibrio del segnale.

Metodologia

Gli autori conducono uno studio empirico sistematico utilizzando Llama-3.1-8B-Instruct con adapter LoRA. La pipeline sperimentale prevede l'addestramento di due distinti obiettivi di preferenza in modo sequenziale (Fase 1 e Fase 2) e la valutazione del modello su tutti gli obiettivi dopo ogni fase.

Regimi Sperimentali

Lo studio valuta quattro distinti setting di preferenza, ciascuno testato in entrambi gli ordini di addestramento (A→B e B→A):

1. Conflitto Distributivo (HH-RLHF): Confronta gli obiettivi "utile" (helpful) vs. "innocuo" (harmless), che differiscono per distribuzione dei prompt e dimensioni di preferenza.
2. Interazione Multi-Attributo (HelpSteer2): Confronta "verbosità" vs. "coerenza", testando le interazioni tra attributi della risposta a grana fine.
3. Segnale di Sicurezza Forte (PKU-SafeRLHF): Confronta "innocuo" vs. "utile", dove il segnale di sicurezza è significativamente più forte rispetto a quello di HH-RLHF.
4. Obiettivi Compatibili (UltraFeedback): Confronta "capacità di seguire le istruzioni" (IF) vs. "onestà", dove gli obiettivi premiano comportamenti sovrapponibili di qualità della risposta.

Protocolli di Valutazione

Per catturare cambiamenti sfumati, gli autori impiegano tre livelli di analisi:

1. Metriche Aggregate:
   • Margine di Reward Relativo DPO: Misura il divario di preferenza rispetto a un modello di riferimento fisso (non l'adapter della fase precedente) per garantire una scalabilità coerente.
   • Accuratezza della Preferenza Relativa: La frazione di coppie in cui la policy migliora il gap tra scelto e scartato rispetto al modello base.
2. Analisi a Livello di Coppia:
   • Margini della Policy Normalizzati per Lunghezza: Monitora il cambiamento del margine ($\Delta_i$) per singole coppie scelto-scartato tra le fasi.
   • Decomposizione per Quartili: Le coppie sono ordinate per il margine della Fase 1 (fiducia) e divise in quartili (Q1: difficile/bassa fiducia; Q4: facile/alta fiducia) per determinare dove si concentrano i cambiamenti.
3. Diagnostica Meccanicistica:
   • Similarità del Coseno dei Gradienti: Misura l'angolo tra i gradienti DPO della Fase 2 e un gradiente fisso dell'obiettivo della Fase 1 (calcolato sui parametri LoRA) per rilevare l'opposizione diretta.
   • Movimento dell'Adapter: Analizza lo spostamento dei parametri LoRA tra le fasi per determinare se gli aggiornamenti siano ortogonali o opposti.

Risultati Chiave

1. Pattern di Oblio Non Uniforme

La DPO sequenziale non produce un singolo pattern di "oblio uniforme". Il risultato varia dalla degradazione parziale alla stabilità, dalla redistribuzione a livello di coppia, fino al trasferimento positivo, a seconda della relazione tra gli obiettivi e della forza del segnale:

• HH-RLHF: Mostra una degradazione parziale. Nell'ordine utile $\rightarrow$ innocuo, il margine di utilità scende significativamente (−68,8%), ma l'obiettivo rimane sopra la baseline neutrale.
• HelpSteer2: Mostra una degradazione asimmetrica. In verbosità $\rightarrow$ coerenza, la verbosità degrada leggermente (−6,7%), mentre la coerenza migliora.
• PKU-SafeRLHF: Dimostra stabilità e trasferimento positivo. Il forte segnale di sicurezza previene la degradazione; in innocuo $\rightarrow$ utile, il margine di innocuità aumenta effettivamente (+2,859) dopo l'addestramento sull'utilità.
• UltraFeedback: Mostra un trasferimento positivo. Entrambi gli obiettivi migliorano o rimangono stabili indipendentemente dall'ordine, suggerendo un'alta compatibilità tra l'esecuzione delle istruzioni e l'onestà.

2. Eterogeneità nei Cambiamenti a Livello di Coppia

Le metriche aggregate spesso mascherano una variaia significativa tra le singole coppie di preferenza:

• Redistribuzione: L'addestramento successivo può degradare alcune preferenze precedentemente apprese migliorandone altre.
• Dinamiche dei Quartili: La concentrazione del cambiamento varia per setting.
  • In HH-RLHF (utile $\rightarrow$ innocuo), la degradazione è concentrata nelle coppie ad alta fiducia (Q4).
  • In PKU-SafeRLHF (innocuo $\rightarrow$ utile) e UltraFeedback, le coppie ad alta fiducia sono spesso rinforzate (migliorate), mentre i cambiamenti sono distribuiti diversamente tra i quartili.
  • Ciò indica che l' "oblio" non è uno spostamento uniforme, ma una redistribuzione strutturata che dipende dalla specifica interazione tra gli obiettivi.

3. Approfondimenti Meccanicistici: Assenza di Conflitto Diretto dei Gradienti

Contrariamente all'ipotesi che l'oblio sia guidato dall'opposizione diretta dei gradienti:

• Ortogonalità dei Gradienti: In tutti gli otto ordini, la similarità del coseno tra i gradienti della Fase 2 e il gradiente di riferimento dell'obiettivo precedente è vicina allo zero (angolo medio $\approx 90^\circ$). Non vi è evidenza di un'opposizione sistematica dei gradienti.
• Movimento dell'Adapter: Gli aggiornamenti della Fase 2 muovono l'adapter LoRA in una direzione quasi ortogonale all'adapter della Fase 1 (coseno $\approx 0$), anziché invertirlo.
• Implicazione: I cambiamenti di preferenza sono probabilmente guidati da meccanismi indiretti come il drift distributivo, lo squilibrio del segnale o il movimento indiretto dei parametri, piuttosto che dal conflitto diretto dei gradienti.

Contributi

1. Studio Empirico Sistematico: Il paper fornisce un'analisi completa della DPO sequenziale attraverso quattro distinti regimi di preferenza, dimostrando che il cambiamento di preferenza è uno spettro (dall'oblio al trasferimento positivo) determinato dalle relazioni tra gli obiettivi e dalla forza del segnale, non solo dall'addestramento sequenziale.
2. Diagnostica a Livello di Coppia: Gli autori introducono un'analisi della policy-margin a livello di coppia utilizzando la decomposizione per quartili. Questo rivela pattern di redistribuzione eterogenei che le metriche aggregate del reward margin e l'accuratezza relativa nascondono.
3. Evidenza Meccanicistica: Misurando la similarità del coseno dei gradienti e il movimento dell'adapter, lo studio fornisce prove del fatto che i cambiamenti di preferenza avvengono nonostante direzioni di aggiornamento quasi ortogonali, sfidando la visione che l'opposizione diretta dei gradienti sia il driver principale dell'oblio.

Significato e Rivendicazioni

Il paper sostiene che le future pipeline di allineamento sequenziale non dovrebbero assumere che gli obiettivi successivi influenzino uniformemente le preferenze precedenti. Inveve, i professionisti devono tenere conto della compatibilità degli obiettivi e della forza del segnale.

Gli autori rivendicano con modestia che i loro risultati suggeriscono che i meccanismi indiretti (drift, squilibrio del segnale) siano più probabili driver del cambiamento di preferenza rispetto al conflitto diretto dei gradienti. Essi segnalano i limiti, tra cui l'uso di adapter LoRA su un modello da 8B e la restrizione delle diagnostiche meccanicistiche allo spazio dei parametri, suggerendo che i lavori futuri debbano estendere tali diagnostiche a modelli più grandi e al fine-tuning a tutti i parametri per confermarne la generalizzabilità. Il lavoro mira a migliorare il monitoraggio e la progettazione delle pipeline di post-training sequenziale piuttosto che proporre un nuovo algoritmo specifico.