Sintesi Tecnica: Un Framework di Minimizzazione del Rimpianto sulla Preferenza nell'Apprendimento dei Large Language Models

Definizione del Problema

Mentre l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) ha guidato progressi significativi in compiti ad alta intensità di ragionamento come la matematica e la generazione di codice, sfruttando segnali di correttezza automatizzati, molti compiti linguistici realistici (ad esempio, decisioni critiche per la sicurezza, assistenza clienti, ragionamento educativo) mancano di verificatori affidabili. Di conseguenza, il campo si affida pesantemente all'Apprendimento per Rinforzo con Feedback Umano (RLHF).

Il problema centrale affrontato è l'interpretazione del feedback umano all'interno di RLHF. I metodi basati sulle preferenze esistenti (ad esempio, DPO, IPO) interpretano tipicamente le preferenze umane attraverso la lente della massimizzazione della ricompensa, trattando le preferenze come proxy per l'utilità immediata o accumulata assegnata a segmenti di traiettoria osservati. Gli autori sostengono che questa interpretazione sia fondamentalmente disallineata con la cognizione umana. Il giudizio umano è intrinsecamente prospettico (anticipando i risultati futuri) e controfattuale (confrontando gli esiti realizzati rispetto ad alternative plausibili). Gli attuali framework basati sulla ricompensa valutano i passaggi intermedi in modo miope, ignorando che le preferenze umane sulle traiettorie parziali sono modellate dalla continuazione anticipata di tali traiettorie e dal confronto con ciò che avrebbe potuto essere fatto, piuttosto che su un'utilità assoluta e indipendente dall'esito.

Metodologia: Ottimizzazione delle Preferenze basata sul Rimpianto (RePO)

Il documento introduce l'Ottimizzazione delle Preferenze basata sul Rimpianto (RePO), un framework che inquadra l'apprendimento delle preferenze attraverso la minimizzazione del rimpianto anziché la massimizzazione della ricompensa.

Fondazione Teorica

1. Il Rimpianto come Obiettivo: Invece di massimizzare le ricompense immediate, RePO modella il feedback umano come una valutazione relativa della subottimalità. Il rimpianto è definito come la differenza tra il valore della politica ottimale ($V^{\pi^*}$) e il valore Q della politica di comportamento ($Q^\mu$) in un dato contesto.

2. Framework RL con Regolarizzazione KL: Gli autori formalizzano questo concetto all'interno di un framework di RL con regolarizzazione KL a livello di step. Derivano un'espressione in forma chiusa per la funzione Q associata a una politica di comportamento $\mu$.

3. Decomposizione del Rimpianto: Un contributo teorico chiave (Teorema 5.4 e Lemma 5.5) stabilisce che il rimpianto incorso da una politica di comportamento $\mu$ rispetto a una politica ottimale $\pi^*$ può essere scomposto in due componenti:

   • Un termine di preferenza locale: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$, che si allinea all'obiettivo standard della Direct Preference Optimization (DPO).
   • Un termine a lungo orizzonte: Una divergenza KL sequenziale forward ($\bar{D}_{KL}$) che misura la deviazione cumulativa della politica di comportamento $\mu$ dalla politica ottimale $\pi^*$ lungo le rollout future.

   Questa decomposizione rivela che la minimizzazione del rimpianto tiene esplicitamente conto delle deviazioni dipendenti dal comportamento e della coerenza delle traiettorie future, affrontando i problemi di "mismatch di verosimiglianza" presenti nei contesti off-policy dove DPO assume dati on-policy.

Implementazione Pratica

• RePO: L'algoritmo standard utilizza l'aggiornamento in forma chiusa derivato, incorporando il termine di divergenza KL sequenziale. Richiede la conoscenza della politica di comportamento $\mu$ che ha generato i dati.
• RePO_det: Per gestire scenari in cui la politica di comportamento è sconosciuta o computazionalmente proibitiva da accedere (comune negli dataset offline), gli autori propongono RePO_det. Questa variante approssima la politica di comportamento come una distribuzione deterministica (Dirac delta) concentrata sull'output osservato. Sostituisce il termine KL sequenziale con un estimatore basato su campioni che media i rapporti di log-probabilità sulle traiettorie osservate, trattando efficacemente il segmento osservato come una singola rollout.

Contributi Chiave

1. Riformulazione del Feedback Umano: Il documento sostiene che il feedback umano è più naturalmente compreso come giudizi relativi condizionati da esiti anticipati e alternative implicite (rimpianto) piuttosto che segnali per la massimizzazione della ricompensa.
2. Aggiornamento della Politica in Forma Chiusa: Gli autori formalizzano questa prospettiva all'interno di un framework di RL con regolarizzazione KL, derivando un aggiornamento della politica in forma chiusa (RePO) che è compatibile con la Direct Preference Optimization ma modella esplicitamente la deviazione dipendente dal comportamento.
3. Internalizzazione del Bias Induttivo: L'analisi teorica (Lemma 6.1) suggerisce che la minimizzazione del rimpianto internalizza strutturalmente un bias induttivo presente nel feedback umano: le traiettorie di successo incomplete o parzialmente osservate vengono valutate in modo pessimistico a causa dell'incertezza sulla conclusione futura. Ciò consente a RePO di apprendere efficacemente senza richiedere l'aumento esplicito dei dati per imporre tali preferenze.
4. Robustezza alla Politica di Comportamento: L'introduzione di RePO_det dimostra che il framework rimane efficace anche quando l'informazione sulla politica di comportamento non è disponibile, rendendolo applicabile a dataset offline eterogenei.

Risultati Sperimentali

Gli autori hanno valutato RePO su benchmark di ragionamento matematico (GSM8K, MATH, MATH500, AMC23, Minerva) e compiti di allineamento alle preferenze umane (AlpacaEval 2, Arena-Hard, MT-Bench) utilizzando modelli Qwen3 (1.7B/4B) e LLaMA3.

• Guadagni di Performance: RePO ha superato costantemente i baseline esistenti (DPO, IPO, RPO, KTO, TDPO) attraverso sia le scale dei modelli che i tipi di task. Ad esempio, sul modello 4B, RePO ha ottenuto un tasso di vittoria del 55.08% su AlpacaEval 2 (rispetto al 32.89% di DPO), e del 65.54% su GSM8K (rispetto all'87.87% di DPO, sebbene RePO abbia mostrato forti guadagni nei compiti di ragionamento in generale).
• Applicabilità Offline: RePO_det ha ottenuto prestazioni comparabili a RePO all'interno della famiglia Qwen e ha superato significativamente i baseline in scenari cross-model (ad esempio, addestrare modelli LLaMA su dati generati da modelli Qwen), dimostrando la robustezza dell'estimatore del rimpianto basato su campioni.
• Efficienza dei Campioni: Negli studi di ablazione riguardanti l'aumento dei dati mascherati (dove le traiettorie di successo erano parzialmente nascoste per testare la capacità del modello di giudicare percorsi incompleti), DPO richiedeva dati aumentati aggiuntivi per migliorare le prestazioni, mentre la performance di RePO rimaneva stabile e dominante. Ciò supporta l'affermazione che RePO codifica strutturalmente il bias induttivo del giudizio umano riguardo alle traiettorie incomplete, portando a una maggiore efficienza dei campioni.

Significato e Rivendicazioni

Il documento sostiene che RePO offre un'astrazione fedele del feedback umano allineando l'obiettivo di apprendimento con la natura prospettica e controfattuale del giudizio umano. Passando dalla massimizzazione della ricompensa alla minimizzazione del rimpianto, il framework fornisce un'interpretazione principesca delle preferenze su traiettorie eterogenee.

Gli autori concludono che la minimizzazione del rimpianto serve come una base promettente per il post-training allineato all'uomo dei Large Language Models. I risultati suggeriscono che modellare correttamente la relazione tra politiche di comportamento, rollout future e alternative controfattuali è critico per un efficace apprendimento delle preferenze, particolarmente in contesti in cui i segnali di ricompensa espliciti sono assenti o dove i dati sono raccolti da fonti diverse. Il lavoro non pretende di risolvere tutti i problemi di allineamento, ma posiziona la minimizzazione del rimpianto come un raffinamento necessario all'attuale paradigma centrato sulla ricompensa nell'RLHF.