Riepilogo Tecnico: Autoregressive Direct Preference Optimization (ADPO)

Problema

La Direct Preference Optimization (DPO) è diventata un metodo standard per allineare i Large Language Models (LLM) alle preferenze umane, derivando analiticamente la policy ottimale dal modello di Bradley-Terry (BT), eliminando la necessità di un esplicito modello di ricompensa. Tuttavia, gli autori identificano un limite teorico nella formulazione standard della DPO: sebbene gli LLM siano intrinsecamente autoregressivi (generano token sequenzialmente), l'obiettivo standard della DPO applica il modello BT a livello di risposte complete dopo aver assunto la natura autoregressiva della policy.

Nello specifico, la DPO standard deriva la funzione di perdita utilizzando il modello BT sullo spazio di output $\mathcal{Y}$, e solo successivamente espande i log-probabilità in una somma di termini a livello di token. Ciò risulta in una funzione di perdita in cui la sommatoria dei log-rapporti a livello di token avviene all'interno della funzione log-sigmoide. Gli autori sostengono che questo ordine non riesce a sfruttare appieno l'assunzione autoregressiva durante la derivazione del modello di preferenza, potenzialmente limitando la granularità e la coerenza teorica dell'ottimizzazione.

Metodologia: Autoregressive DPO (ADPO)

Il paper propone la Autoregressive DPO (ADPO), una nuova variante che incorpora esplicitamente l'assunzione autoregressiva prima di applicare il modello di Bradley-Terry.

Formulazione Teorica

1. Chiusura del Prefisso e Funzioni di Energia: ADPO estende il dominio della funzione di ricompensa dallo spazio di output completo $\mathcal{Y}$ alla sua chiusura del prefisso $\mathcal{Y}^*$ (l'insieme di tutte le risposte incomplete). Definisce funzioni di energia "per prefisso" $E^*_1$ ed $E^*_2$ su questi prefissi.
2. Modello di Bradley-Terry per Prefisso: Invece di modellare le preferenze su sequenze complete, ADPO definisce un modello BT per prefisso. La probabilità di una sequenza preferita $y_w$ rispetto a una sequenza meno preferita $y_l$ è formulata come il prodotto delle probabilità di preferenza ad ogni passo del prefisso $i$.
3. Derivazione della Perdita: Applicando l'assunzione autoregressiva al modello di riferimento $\pi_{ref}$ e al modello apprendibile $\pi_\theta$ all'interno del framework BT per prefisso, gli autori derivano una nuova funzione di perdita.
   • Differenza Strutturale Chiave: Nella DPO standard, la perdita è $-\log \sigma(\sum_i \Delta_i)$. In ADPO, la sommatoria viene spostata fuori dalla funzione log-sigmoide:
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • Questa formulazione tratta l'ottimizzazione delle preferenze come una sequenza di decisioni a livello di token (o di sottosequenza) piuttosto che come una singola decisione a livello di sequenza.

Analisi Teorica: Misure di Lunghezza

Il paper introduce una distinzione teorica tra due misure di lunghezza, che chiarisce la relazione tra DPO e ADPO:

• Lunghezza dei Token ($\mu$): Il numero di token in una sequenza, inerente alla natura autoregressiva dell'LLM.
• Lunghezza del Feedback ($\mu'$): La granularità alla quale viene applicato il feedback umano.
  • La DPO standard corrisponde al caso speciale in cui $\mu'(y) = 1$ per tutte le sequenze (il feedback è fornito solo sulla risposta completa).
  • ADPO permette a $\mu'$ di essere indipendente da $\mu$, consentendo l'addestramento a granularità arbitrarie (ad esempio, a livello di token, di frase o di finestra fissa).

Gli autori dimostrano che qualsiasi funzione di ricompensa coerente con il modello BT per prefisso può essere riparametrizzata da un modello autoregressivo, garantendo che ADPO rimanga teoricamente coerente con il problema di massimizzazione della ricompensa vincolato dalla KL.

Contributi Chiave

1. Formulazione ADPO: L'introduzione di ADPO, che deriva l'obiettivo di ottimizzazione delle preferenze estendendo il dominio dell'energia alla chiusura del prefisso $\mathcal{Y}^*$, integrando così esplicitamente l'assunzione autoregressiva nel modello BT.
2. Innovazione della Funzione di Perdita: Derivazione di una funzione di perdita in cui la sommatoria dei log-rapporti a livello di token è spostata fuori dalla funzione log-sigmoide, fornendo un modo teoricamente coerente per facilitare l'addestramento a granularità più fine.
3. Insight Teorico sulla Granularità: Identificazione e distinzione tra la misura della lunghezza dei token ($\mu$) e la misura della lunghezza del feedback ($\mu'$). Il paper dimostra che la DPO è un caso speciale di ADPO dove $\mu' \equiv 1$, e che variare $\mu'$ permette una famiglia di algoritmi che spaziano dall'ottimizzazione della risposta completa a quella a livello di token.
4. Completezza della Riparametrizzazione: Dimostrazione che, sotto deboli assunzioni, qualsiasi funzione di ricompensa può essere riparametrizzata da un modello autoregressivo all'interno del framework per prefisso.

Risultati Sperimentali

Gli autori hanno valutato ADPO su compiti di ragionamento matematico e conversazionali attraverso molteplici architetture di LLM (Llama-3, Qwen, Gemma, DeepSeek-Math).

• Ragionamento Matematico (GSM8K, MATH500):
  • Le varianti ADPO hanno superato costantemente la DPO standard e il metodo contrastivo a livello di token cDPO in tutti i modelli.
  • I migliori risultati sono stati ottenuti con cADPO (ADPO combinata con l'identificazione dei token critici), con Qwen-3-8B che ha raggiunto il 91,74% di accuratezza su GSM8K.
  • Analisi della Granularità: Gli esperimenti con le famiglie "Static" (dimensione della finestra fissa $k$) e "Adaptive" (numero fisso di segmenti $m$) hanno mostrato che una granularità più fine migliora generalmente le prestazioni. Nello specifico, il livello di token ($k=1$) e le impostazioni adaptive ad alta segmentazione ($m \ge 128$) hanno prodotto risultati superiori rispetto alla DPO a risposta completa.
• Compiti Conversazionali (AlpacaEval 2, Arena-Hard, MT-Bench):
  • ADPO ha superato la DPO e ha ottenuto prestazioni comparabili o migliori di SimPO su tutti i benchmark.
  • La famiglia adaptive con $m=256$ ha raggiunto il più alto Win Rate controllato dalla lunghezza (45,8%) su AlpacaEval 2.
• Dinamiche di Addestramento: L'analisi dei log-probabilità ha mostato che ADPO amplifica più efficacemente la distinzione tra sequenze preferite e meno preferite, specialmente all'aumentare della granularità.
• Efficienza: I calcoli aggiuntivi per prefisso introdotti da ADPO hanno comportato un sovraccarico di addestramento trascurabile (un aumento di circa il 5,7% del tempo di esecuzione/wall-clock time).

Significato e Rivendicazioni

Il paper sostiene che ADPO fornisca un'estensione teoricamente coerente della DPO che si allinea meglio con la natura autoregressiva degli LLM. Spostando la sommatoria fuori dalla funzione log-sigmoide, ADPO consente l'ottimizzazione a granularità arbitrarie senza violare i principi fondamentali dell'ottimizzazione delle preferenze.

Gli autori sottolineano che il loro lavoro è il primo a distinguere esplicitamente tra la misura della lunghezza dei token e la misura della lunghezza del feedback, offrendo un framework unificato che comprende sia l'ottimizzazione a risposta completa (DPO) che quella a livello di token. I risultati empirici suggeriscono che sfruttare questa granularità più fine porta a un allineamento più robusto, in particolare nei compiti di ragionamento complesso, senza costi computazionali significativi. Il paper conclude notando che, sebbene ADPO si basi sul framework originale vincolato dalla KL, il lavoro futuro potrebbe esplorare la generalizzazione delle metriche di divergenza o l'adattamento delle definizioni di energia per modelli non autoregressivi.