Towards Bridging the Reward-Generation Gap in Direct Alignment Algorithms

1. Il Problema: Il "Reward-Generation Gap"

Gli algoritmi di allineamento diretto (DAAs), come DPO (Direct Preference Optimization) e SimPO (Simple Preference Optimization), sono diventati alternative efficienti al Reinforcement Learning from Human Feedback (RLHF) per allineare i Large Language Models (LLM) alle preferenze umane. Tuttavia, gli autori identificano un limite fondamentale chiamato "Reward-Generation Gap" (divario tra ricompensa e generazione).

• Natura del divario: Esiste una discrepanza fondamentale tra gli obiettivi di ottimizzazione durante l'addestramento e le dinamiche di decodifica autoregressiva degli LLM.
• La causa principale: Gli LLM generano token sequenzialmente (da sinistra a destra). Gli errori nei token iniziali (prefissi) tendono ad accumularsi e propagarsi, degradando la qualità dell'intera risposta (fenomeno noto come exposure bias).
• Il fallimento dei DAAs attuali: Le funzioni di ricompensa implicite dei DAAs assegnano un peso uguale a ogni token della sequenza. Questo ignora l'importanza critica dei primi token. Di conseguenza, un modello può massimizzare la ricompensa globale (o il margine tra risposte preferite e non preferite) senza necessariamente migliorare la qualità dei prefissi, che sono determinanti per la generazione successiva. Il paper dimostra che un margine di ricompensa più alto non garantisce sempre prestazioni migliori.

2. Metodologia: Prefix-Oriented Equal-length Training (POET)

Per colmare questo divario, gli autori propongono un approccio semplice ma efficace chiamato POET (Prefix-Oriented Equal-length Training).

• Concetto di base: POET tronca sia la risposta preferita ($y_w$) che quella non preferita ($y_l$) per farle corrispondere alla lunghezza della risposta più corta ($k = \min(|y_w|, |y_l|)$).
• Fondamento Teorico:
  • Gli autori adottano una prospettiva MDP a livello di token (Markov Decision Process).
  • Dimostrano teoricamente (Teorema 1) che ottimizzare un modello di preferenza su sottosequenze di uguale lunghezza produce la stessa politica ottimale rispetto all'ottimizzazione su sequenze complete.
  • L'analisi empirica mostra che il divario di qualità tra risposte preferite e non preferite emerge molto presto (nei primi token) e tende a stabilizzarsi (plateau) man mano che la sequenza si allunga. Pertanto, troncare le risposte non altera significativamente l'ordinamento di qualità.
• Meccanismo di funzionamento:
  • Addestrando su coppie di risposte troncate di uguale lunghezza, l'obiettivo di ottimizzazione dei DAAs viene implicitamente vincolato a convergere attraverso tutti i timestep dell'MDP a livello di token.
  • Questo forza il modello a prestare maggiore attenzione ai token del prefisso, dove la ricompensa è più critica, fornendo segnali di ricompensa più granulari per le sottosequenze.

3. Contributi Chiave

1. Identificazione del problema: Definizione formale del "Reward-Generation Gap" come disallineamento tra obiettivi di training e dinamiche di decodifica autoregressiva, causato dalla mancata considerazione dell'importanza dei prefissi.
2. Analisi Teorica ed Empirica: Dimostrazione che l'ordinamento delle preferenze è preservato dopo il troncamento a lunghezza uguale e che la qualità dei prefissi è il fattore determinante per la qualità finale.
3. Proposta di POET: Un metodo di aumento dei dati che non richiede modifiche agli obiettivi di ottimizzazione esistenti, non introduce nuovi iperparametri ed è compatibile con qualsiasi DAA.
4. Versatilità: POET funziona sia con metodi basati su riferimento (come DPO) che senza riferimento (come SimPO).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Mistral-7B, Llama-3-8B e Gemma-2, utilizzando DPO e SimPO come baseline.

• Performance su Istruzioni (Instruction Following):
  • POET ha portato a miglioramenti consistenti rispetto alle implementazioni standard.
  • Il risultato più significativo è un guadagno di 11.8 punti nella metrica AlpacaEval 2 LC (Length-Controlled Win Rate) per Mistral-Base-7B-DPO.
  • I miglioramenti sono stati osservati anche su benchmark difficili come Arena-Hard.
• Task a valle (Downstream Tasks):
  • POET non ha causato il "tax di allineamento" (degradamento delle capacità generali). Al contrario, ha mostrato miglioramenti moderati ma consistenti su task come GSM8K (matematica) e MMLU.
• Allineamento alla Sicurezza:
  • Nel task di sicurezza (PKU-SafeRLHF), POET ha migliorato drasticamente il tasso di sicurezza, portando il modello Mistral-Base da 45.2% a 82.1%. Questo conferma che l'ottimizzazione dei prefissi è cruciale per generare rifiuti sicuri fin dall'inizio.
• Confronto con altri metodi:
  • POET ha superato metodi token-level esistenti come SamPO e D2PO, dimostrando che la strategia di troncamento a lunghezza uguale è più efficace della semplice ponderazione temporale o campionamento casuale.
• Qualità dei Prefissi:
  • L'analisi diretta ha mostrato che i modelli addestrati con POET generano prefissi di qualità superiore rispetto alle baseline, confermando che il metodo costringe l'algoritmo a ottimizzare la parte più critica della generazione.

5. Significato e Conclusioni

Il paper offre una comprensione profonda di perché gli algoritmi di allineamento diretto a volte falliscono nel migliorare la qualità della generazione, nonostante ottimizzino correttamente le funzioni di ricompensa.

• Impatto Pratico: POET offre una soluzione "plug-and-play" che migliora le prestazioni senza richiedere complessità computazionale aggiuntiva o tuning di iperparametri.
• Implicazioni Teoriche: Sposta il focus dalla ottimizzazione della sequenza completa all'importanza critica dei primi token nel processo di generazione autoregressiva.
• Limitazioni: L'efficacia di POET dipende dal fatto che l'ordinamento di qualità sia preservato dopo il troncamento. Questo potrebbe non essere ideale per task dove il segnale di qualità è concentrato esclusivamente alla fine della sequenza (es. ragionamento matematico complesso dove solo l'ultimo token conta), sebbene i DAAs siano raramente usati per tali compiti specifici.

In sintesi, il lavoro suggerisce che per allineare efficacemente gli LLM, è necessario allineare gli obiettivi di training con la dinamica temporale della generazione, dando priorità alla qualità dei prefissi attraverso strategie come POET.