Sintesi Tecnica: Ricompense Normalizzate per l'Ottimizzazione delle Preferenze

Definizione del Problee

Gli algoritmi di allineamento diretto (DAA), come il Direct Preference Optimization (DPO) e il SimPO, sono diventati lo standard per l'allineamento dei Large Language Models (LLM) con le preferenze umane grazie alla loro efficienza computazionale rispetto al Reinforcement Learning from Human Feedback (RLHF). Tuttavia, studi recenti hanno identificato un limite critico: i DAA soffrono spesso di sovra-ottimizzazione dei loro modelli di ricompensa impliciti.

Una manifestazione primaria di ciò è lo spostamento della verosimiglianza (likelihood displacement), un fenomeno in cui le verosimiglianze sia delle risposte preferite che di quelle non preferite diminuiscono simultaneamente durante l'addestramento. Ciò accade perché gli obiettivi standard dei DAA (DPO, SimPO) ottimizzano la differenza di ricompensa tra coppie di risposte, causando la cancellazione matematica della funzione di partizione $Z(x)$. Di conseguenza, il modello non è incentivato a mantenere una stima calibrata della massa di probabilità totale sullo spazio delle risposte. Questa mancanza di normalizzazione porta a spostamenti di probabilità spurii, in particolare per le risposte "non viste" (quelle non presenti nella coppia di addestramento), potenzialmente causando comportamenti indesiderabili o dannosi.

Le ipotesi esistenti sulla sovra-ottimizzazione — come l'alta similarità di embedding tra le coppie o l'insufficienza della regolarizzazione — non riescono a generalizzare sia ai metodi basati su riferimento (es. DPO) che a quelli privi di riferimento (es. SimPO). Inoltre, analisi precedenti si concentrano spesso su singoli casi di DAA piuttosto che sul meccanismo condiviso della normalizzazione.

Metodologia

Gli autori propongono che la sovra-ottimizzazione della ricompensa derivi da una mancanza di normalizzazione nella ricompensa implicita. Per contrastare questo fenomeno, introducono un termine di regolarizzazione progettato per conservare la massa di probabilità normalizzata per lunghezza della risposta scelta ($y_w$) e di quella rifiutata ($y_l$) all'interno di una coppia di preferenza.

Il Termine di Regolarizzazione

L'intuazione fondamentale è che, per un modello di linguaggio parametrizzato che applica la softmax, la distribuzione in uscita dovrebbe rimanere normalizzata (funzione di partizione = 1) durante l'addestramento. Poiché stimare l'intera funzione di partizione su tutte le possibili risposte è impraticabile, gli autori impongono la normalizzazione sulle risposte osservate.

Definiscono un termine di penalità di regolarizzazione $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$:
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
Dove:

• $\bar{\pi}$ denota le probabilità normalizzate per lunghezza (per mitigare il bias di lunghezza).
• $\lambda$ è un iperparametro.
• Il termine minimizza il quadrato del logaritmo del rapporto della massa di probabilità totale assegnata alla coppia dal modello corrente rispetto al modello di riferimento.

Questa penalità viene aggiunta agli obiettivi standard:

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

Analisi Meccanicistica

Il documento fornisce un'analisi teorica del gradiente di questo termine di regolarizzazione. Il gradiente di $R$ rispetto ai parametri del modello $\theta$ è inversamente proporzionale alla verosimiglianza dei singoli token.

• Token Outlier: L'analisi rivela che lo spostamento della verosimiglianza è guidato da un piccolo set di token outlier con verosimiglianze molto basse. Questi token dominano gli aggiornamenti del gradiente.
• Mitigazione: Quando la verosimiglianza totale della risposta diminuisce, il termine di regolarizzazione genera gradienti che aumentano principalmente la verosimiglianza di questi token outlier a bassa verosimiglianza. Ciò rimodella la distribuzione della ricompensa, prevenendo i massicci cali spurii di probabilità associati allo spostamento, apportando modifiche minime ai token ad alta verosimiglianza rilevanti per la generazione.

Contributi Chiave

1. Identificazione del Deficit di Normalizzazione: Gli autori illustrano come l'incapacità di tenere conto della distribuzione delle risposte non viste (a causa della cancellazione della funzione di partizione negli obiettivi standard) porti allo spostamento della verosimiglianza.
2. Spiegazione Meccanicistica: Collegano lo spostamento della verosimiglianza alla concentrazione degli spostamenti di probabilità sui token outlier e dimostrano, tramite l'analisi del gradiente, che il loro regolarizzatore mitiga questi spostamenti utilizzando i token a bassa verosimiglianza.
3. Nuovi Obiettivi: Propongono N-DPO e N-SimPO, che incorporano il termine di regolarizzazione proposto, applicabili sia ai metodi di allineamento basati su riferimento che a quelli privi di riferimento.
4. Validazione Empirica: Dimostrano che questi obiettivi modificati migliorano il compromesso tra qualità della generazione e capacità generali nei benchmark.

Risultati Sperimentali

Gli autori hanno valutato N-DPO e N-SimPO su Mistral-7B-Instruct, Llama-3.1-8B-Instruct e OLMo-7B-SFT utilizzando il dataset UltraFeedback.

• Qualità della Generazione (AlpacaEval):

  • Su Llama-3.1-8B-Instruct, N-DPO ha ottenuto un incremento relativo >20% nei punteggi AlpacaEval2 (Length-Controlled) rispetto al DPO standard.
  • Su OLMo-7B-SFT, N-SimPO ha mostrato un incremento relativo >75% in AlpacaEval2 (Raw Win-Rate) rispetto a SimPO.
  • I metodi proposti hanno generalmente superato altri baseline di regolarizzazione come DPO+SFT e DPOP.

• Performance sui Benchmark Generali:

  • Contrariamente al tipico trade-off in cui il miglioramento della generazione degrada le capacità generali, N-DPO e N-SimPO mantengono o migliorano i punteggi su benchmark di senso comune e ragionamento (MMLU, ARC, HellaSwag, ecc.).
  • Per Llama-3.1-8B-Instruct, N-DPO ha migliorato i punteggi medi dei benchmark di oltre il 3% migliorando simultaneamente la qualità della generazione.

• Modellazione della Ricompensa:

  • I modelli addestrati con il termine di regolarizzazione hanno mostrato un'accuratezza nella modellazione della ricompensa migliore o comparabile su dataset non visti (HH-RLHF, HelpSteer2) rispetto a DPO/SimPO standard, mentre DPO+SFT e DPOP hanno mostrato cali significativi nell'accuratezza.

• Dinamiche della Verosimiglianza:

  • Le curve di addestramento hanno confermato che la regolarizzazione mitiga lo spostamento della verosimiglianza. In N-DPO, le verosimiglianze delle risposte scelte sono rimaste stabili, mentre nel DPO standard sono diminuite significativamente.
  • L'analisi a livello di token ha confermato che la regolarizzazione mira specificamente e corregge la distribuzione dei minimi reward dei token (outlier).

Significato e Rivendicazioni

Il documento sostiene che la normalizzazione della ricompensa sia un fattore critico, precedentemente trascurato, per il successo degli algoritmi di allineamento diretto. Imponendo esplicitamente la conservazione della massa di probabilità per le risposte osservate, il metodo proposto:

1. Mitiga lo Spostamento della Verosimiglianza: Impedisce gli spostamenti di probabilità spurii che possono portare a comportamenti dannosi, in particolare correggendo il comportamento dei token outlier.
2. Migliora i Compromessi: Permette ai modelli di apprendere le preferenze in modo più efficace senza sacrificare le capacità generali, affrontando il problema della "sovra-ottimizzazione" che ha limitato l'affidabilità dei DAA.
3. Generalizza: L'approccio è efficace in entrambi i framework, sia quelli basati su riferimento che quelli privi di riferimento, suggerendo un meccanismo unificato di sovra-ottimizzazione.

Gli autori concludono che la loro analisi fa luce sul motivo per cui i DAA migliorano la qualità della generazione nonostante la diminuzione delle verosimiglianze (dovuta agli spostamenti dei token outlier) e dimostrano che l'utilizzo di token a bassa verosimiglianza per la regolarizzazione è una strategia efficace per rimodellare le distribuzioni della ricompensa. Notano che, sebbene la loro analisi attuale si concentri su contesti offline, i risultati stimolano ulteriori ricerche sul comportamento granulare dei modelli di ricompensa nell'ottimizzazione delle preferenze.