Adaptive Margin RLHF via Preference over Preferences

Sintesi Tecnica: Adaptive Margin RLHF tramite Preference over Preference

Definizione del Problema

Nel Reinforcement Learning from Human Feedback (RLHF), l'allineamento dei Large Language Models (LLM) con le preferenze umane si basa tipicamente su dati di preferenza a coppie. Gli approcci standard, come il modello di Bradley-Terry (BT) e il Direct Preference Optimization (DPO), spesso trattano tutte le coppie di preferenze allo stesso modo o si affidano a margini fissi. Sebbene l'ottimizzazione basata su margini sia nota per migliorare la generalizzazione e la robustezza nei compiti di classificazione, gli esistenti metodi RLHF affrontano significativi limiti:

1. Assenza di Margini o Margini Fissi: Molti metodi applicano nessun margine o un margine costante, fallendo nel rendere conto della variazione di intensità delle diverse preferenze (ovvero, alcune preferenze rappresentano una distinzione netta tra le risposte, mentre altre sono ambigue).
2. Valutazioni Scalari Rumorose: Gli approcci a margine adattivo esistenti derivano spesso i margini da punteggi di preferenza scalari (ad esempio, scale Likert) forniti da umani o LLM. Questi punteggi sono frequentemente mal calibrati, inconsistenti tra gli annotatori e rumorosi, portando a informazioni sul margine inaffidabili.
3. Dipendenza da Punteggi Accurati: I metodi che presuppongono l'accesso a punteggi di preferenza accurati faticano nella pratica perché gli esseri umani trovano difficile fornire valutazioni numeriche affidabili sull'intensità della preferenza.

Il problema centrale è come inferire margini adattivi — margini che variano per ogni dato in base alla forza della preferenza — senza fare affidamento su annotazioni scalari rumorose.

Metodologia

Gli autori propongono un framework chiamato Adaptive Margin RLHF tramite Preference-over-Preference (PoP) supervision. Invece di chiedere agli annotatori di assegnare un punteggio numerico a una singola preferenza, il metodo chiede loro di confrontare due coppie di preferenze e determinare quale rifletta una distinzione più forte.

Concetto Core: Preference over Preference (PoP)

Dati due istanze di preferenza, $A \succ B$ e $C \succ D$, un annotatore (umano o LLM) è chiamato a etichettare quale preferenza sia più forte. Se $(A \succ B)$ è giudicata più forte di $(C \succ D)$, ciò implica che la differenza di reward $r(A) - r(B)$ è maggiore di $r(C) - r(D)$.

• Inferenza: La differenza di reward della preferenza più debole funge da limite inferiore (margine) per la preferenza più forte.
• Vantaggio: Questa formulazione riduce il compito di annotazione a un giudizio binario sulla magnitudo relativa, che è cognitivamente naturale e fondato sui principi dell'analisi decisionale (MACBETH). Evita i problemi di calibrazione delle scale di valutazione discrete e fornisce informazioni più ricche rispetto alle valutazioni discrete, permettendo l'inferenza di margini continui a valori reali.

Algoritmo: DPO-PoP

Il paper istanzia questo framework all'interno dell'algoritmo Direct Preference Optimization (DPO), dando origine a DPO-PoP.

1. Funzione di Perdita: La funzione di perdita standard di DPO viene modificata per incorporare un margine adattivo derivato da una coppia di preferenza più debole. Per una coppia di preferenza più forte $(x_s, y^+_s, y^-_s)$ e una coppia più debole $(x_w, y^+_w, y^-_w)$, la perdita impone che la differenza di reward implicita della coppia forte superi quella della coppia debole.
   $$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$$
   Dove $m_\theta$ è il margine implicito, e $\text{sg}$ denota l'operatore stop-gradient per evitare che il termine del margine influenzi direttamente l'aggiornamento dei parametri della policy.
2. Stabilizzazione: Per affrontare i gradienti instabili causati da margini illimitati, gli autori:
   • Bloccano (clip) i valori del margine in un intervallo fisso $[0, M_{max}]$.
   • Utilizzano una target policy $\hat{\theta}$ aggiornata lentamente (tramite Polyak averaging) per calcolare il riferimento del margine, prevenendo fluttuazioni rapide durante l'addestramento.
3. Strategie di Campionamento: Il paper esplora due strategie per costruire il dataset PoP ($D_{PoP}$):
   • Campionamento Iterativo: Ogni preferenza viene confrontata con $k$ preferenze più deboli. Ciò assicura una rappresentazione uguale di tutte le preferenze ma può sovrarappresentare i confronti deboli (rumorosi).
   • Campionamento Casuale: Le coppie di preferenze vengono selezionate casualmente e confrontate. Ciò produce un dataset in cui le preferenze più forti appaiono più frequentemente.

Contributi Chiave

1. Framework di Supervisione PoP: Un nuovo metodo per derivare margini adattivi da confronti ordinali tra preferenze piuttosto che da valutazioni scalari, migliorando la calibrazione e la robustezza.
2. Algoritmo DPO-PoP: Un'estensione concreta di DPO che integra la supervisione PoP, consentendo l'allineamento consapevole del margine utilizzando solo l'apprendimento supervisionato senza una fase separata di addestramento del modello di reward.
3. Scoperta di un Trade-off: Gli autori identificano un trade-off fondamentale tra performance discriminativa (accuratezza di classificazione sulle etichette di preferenza) e performance generativa (qualità del testo generato).
   • DPO-PoP-Iter (campionamento iterativo) eccelle nei compiti discriminativi, classificando correttamente le preferenze deboli, ma soffre nella qualità generativa, probabilmente a causa dell'overfitting su segnali deboli rumorosi.
   • DPO-PoP-Random (campionamento casuale) raggiunge una performance generativa superiore e una robusta accuratezza discriminativa sui benchmark out-of-distribution, poiché si concentra maggiormente su preferenze forti e chiare.
4. Insight Teorico: Il paper fornisce un limite di generalizzazione per i classificatori a margine adattivo, mostrando che l'errore di generalizzazione dipende dalla somma degli inversi dei quadrati dei margini ($\sum 1/m_i^2$). Questo spiega perché il campionamento Random (con meno margini deboli) offra limiti di generalizzazione migliori rispetto al campionamento Iterativo.

Risultati

Gli esperimenti sono stati condotti sul dataset UltraFeedback utilizzando i modelli Llama-3.2-3b e Llama-3.1-8b, con valutazioni su RewardBench, AlpacaEval-2 e win rate di UltraRM.

• Performance Discriminativa: DPO-PoP-Iter ha raggiunto la massima accuratezza di classificazione di test (circa l'80% su UltraFeedback), superando i baseline di circa 8 punti percentuali, inclusi quelli con accesso ai margini della ground-truth. Tuttavia, ha mostrato una minore correlazione con i margini della ground-truth sulle preferenze forti.
• Performance Generativa: DPO-PoP-Random ha costantemente superato tutti i baseline, inclusi quelli con margini della ground-truth, nelle metriche generative.
  • Su AlpacaEval 2.0, DPO-PoP-Random ha ottenuto un win rate del 14,2%, significativamente superiore al competitor più vicino (12,4%).
  • Su RewardBench, DPO-PoP-Random ha ottenuto il punteggio complessivo più alto, dimostrando stabilità attraverso le categorie Chat, Safety e Reasoning.
• Regime di Small-Data: In contesti con pochi dati, DPO-PoP-Random ha migliorato i win rate di 17 punti percentuali rispetto a DPO-margin-gt, suggerendo che l'annotazione PoP è efficace anche con dati limitati.
• Annotazione LLM: Quando le etichette PoP sono state generate da un LLM (GPT-4.1-mini) invece che utilizzando i punteggi della ground-truth, DPO-PoP-Random ha mantenuto comunque una performance robusta, validando la fattibilità pratica dell'approccio.

Significato e Rivendicazioni

Il paper sostiene che DPO-PoP offra un'alternativa pratica ed efficace alle annotazioni numeriche su scala di valutazione per l'RLHF. Sfruttando i giudizi comparativi tra preferenze, il metodo inferisce informazioni sul margine fine-grained che sono più affidabilmente calibrate tra gli annotatori.

La significatività risiede nella capacità di navigare il trade-off discriminativo-generativo:

• I professionisti che cercano un'alta accuratezza di classificazione in-domain possono utilizzare il Campionamento Iterativo.
• I professionatori che danno priorità alla generazione di testi di alta qualità e alla robustezza ai cambiamenti di distribuzione possono utilizzare il Campionamento Casuale.

Gli autori sottolineano che questo approccio non richiede complessi modelli di reward o cicli di reinforcement learning, integrandosi perfettamente nei pipeline DPO esistenti con un overhead computazionale minimo (un passaggio forward aggiuntivo). Il lavoro suggerisce che le "preferenze sulle preferenze" siano un segnale cognitivamente naturale e informativo per migliorare l'allineamento degli LLM.