Riepilogo Tecnico: Oltre le Coppie: Il Tuo Modello Linguistico Sta Segretamente Ottimizzando un Grafo delle Preferenze

1. Enunciato del Problema

I metodi di allineamento attuali per i Modelli Linguistici su Larga Scala (LLM), in particolare l'Ottimizzazione Diretta delle Preferenze (DPO), si basano prevalentemente su confronti di preferenza a coppie. Sebbene il DPO offra un'alternativa stabile al Reinforcement Learning from Human Feedback (RLHF) eliminando la modellazione esplicita della ricompensa, incontra un collo di bottiglia fondamentale quando applicato a regimi pratici di raccolta dati.

In molti scenari reali (ad esempio, ragionamento, sintesi di programmi), i dati di addestramento consistono in multiple espansioni (rollouts) per prompt che vengono classificate tramite giudizio umano, verifica basata sull'esecuzione o euristiche. Il DPO standard gestisce questo decomponendo queste classifiche multi-campione in confronti a coppie indipendenti ($O(K^2)$ istanze). Questo approccio riduzionista introduce tre limitazioni critiche:

1. Perdita di Transitività: Scarta la struttura transitiva globale intrinseca nelle liste classificate (ad esempio, se $A \succ B$ e $B \succ C$, il DPO standard non impone esplicitamente $A \succ C$).
2. Supervisione Ridondante/Conflittuale: Tratta le coppie isolate come vincoli separati, introducendo potenzialmente rumore quando i campioni sono in parità o quando la classifica è parziale.
3. Incompatibilità con Ordini Parziali: Molti segnali di valutazione (ad esempio, correttezza in matematica o codice) producono classi di equivalenza o ordini parziali che non possono essere rappresentati fedelmente come liste di ordine totale rigoroso richieste dai metodi listwise esistenti (ad esempio, PRO, LiPO).

2. Metodologia: Ottimizzazione Diretta delle Preferenze su Grafo (GraphDPO)

Gli autori propongono GraphDPO, una generalizzazione rigorosa del DPO che sposta la modellazione delle preferenze da coppie isolate o liste rigorose a grafi di preferenza aciclici diretti (DAG).

2.1 Rappresentazione del Grafo delle Preferenze

Per un dato prompt $x$ e un insieme di $K$ risposte candidate $\{y_1, \dots, y_K\}$, GraphDPO costruisce un DAG $G_x = (V, E)$:

• Nodi: Rappresentano le risposte campionate.
• Archi: Codificano le relazioni di dominanza. Un arco $i \to j$ esiste se la risposta $y_i$ è preferita rispetto a $y_j$ ($y_i \succ_x y_j$).
• Classi di Equivalenza: Per gestire segnali discreti (ad esempio, corretto/errato) in cui più risposte condividono lo stesso livello di preferenza, il metodo raggruppa le risposte in classi di equivalenza $C_1 \succ C_2 \succ \dots \succ C_G$. Gli archi sono permessi solo tra classi diverse; gli archi intra-classe sono mascherati. Questo previene gradienti spurii derivanti dall'ordinamento arbitrario di campioni in parità.

2.2 Obiettivo Strutturato su Grafo

GraphDPO ottimizza una verosimiglianza definita su intorni dominati. Per ogni risposta $y_i$, il modello viene addestrato ad assegnare un punteggio più alto rispetto a tutte le risposte che domina ($N^-(i)$).

• Perdita Locale: Utilizzando una formulazione ispirata a Plackett–Luce (PL), la perdita per il nodo $i$ è:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  dove $\tilde{s}_i$ è il punteggio del rapporto logaritmico centrato rispetto a una politica di riferimento.
• Aggregazione Globale: La perdita totale aggrega questi termini locali. Questa formulazione impone la transitività globale: se $y_i$ domina $y_j$, l'obiettivo incoraggia $s_i > s_j$, e le relazioni transitive si propagano naturalmente attraverso gli intorni condivisi.
• Complessità: Nonostante sfrutti l'intero grafo, il metodo mantiene complessità lineare $O(K)$ per prompt sotto la costruzione di classi di equivalenza (DAG stratificato), evitando l'enumerazione $O(K^2)$ dei confronti a coppie o la normalizzazione delle permutazioni dei metodi listwise.

2.3 Ancoraggio alla Verità di Base

Quando sono disponibili soluzioni verificate (risposte oracle), GraphDPO le integra come nodi dominanti nel grafo.

• Perdita di Ancoraggio: Un termine separato incoraggia la risposta oracle a dominare tutte le risposte generate.
• Programma di Ricottura (Annealed Schedule): Per stabilizzare l'addestramento iniziale preservando la flessibilità successiva, il peso del termine di ancoraggio $\lambda_{gt}(t)$ viene inizializzato alto e gradualmente decaduto a 1.0. Questo previene l'overfitting della politica sull'oracle troppo presto, garantendo al contempo una propagazione coerente delle preferenze.

2.4 Obiettivo di Addestramento

L'obiettivo finale combina la perdita del grafo, l'ancoraggio opzionale alla verità di base e un termine di regolarizzazione KL a livello di token per prevenire la deviazione dalla politica di riferimento:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
Il DPO a coppie standard viene recuperato come caso speciale quando $K=2$ con una preferenza rigorosa.

3. Contributi Chiave

1. Ottimizzazione delle Preferenze Strutturata su Grafo: GraphDPO riformula l'apprendimento delle preferenze per costruire un DAG di preferenze globalmente coerente su multiple espansioni, imponendo la transitività e recuperando il DPO standard come caso speciale.
2. Classifica di Gruppo con Gestione delle Preferenze in Parità: Supporta naturalmente le classi di equivalenza, eseguendo confronti solo tra gruppi di preferenze per evitare gradienti spurii da campioni quasi identici.
3. Apprendimento su Grafo Completo in Tempo Lineare: Il metodo cattura informazioni di classificazione globale tramite un'aggregazione efficiente log-sum-exp su insiemi dominati, evitando l'overhead computazionale dell'enumerazione a coppie o della normalizzazione delle permutazioni listwise.
4. Ancoraggio Stabilizzante alla Verità di Base: Introduce un meccanismo di ancoraggio a ricottura che stabilizza l'ottimizzazione iniziale utilizzando soluzioni verificate senza sacrificare la diversità della politica nelle fasi successive.

4. Risultati Sperimentali

Gli autori hanno valutato GraphDPO su benchmark di ragionamento matematico (GSM8K, MATH-500) e sintesi di programmi (APPS) utilizzando modelli base Qwen3.

• Prestazioni: GraphDPO ha costantemente superato le linee di base, tra cui il Fine-Tuning Supervisionato (SFT), GRPO, SPIN e metodi listwise (PRO, LiPO).
  • GSM8K: Ha raggiunto 92.42% (senza ancoraggio) e 92.75% (con ancoraggio), superando la migliore linea di base listwise (LiPO: 89.23%).
  • MATH-500: Ha raggiunto 87.40% (senza GT) e 88.87% (con GT), mostrando un divario maggiore rispetto ai metodi listwise rispetto a GSM8K, suggerendo che i benefici scalano con la complessità del compito.
  • APPS: Ha raggiunto 72.93% (senza GT) e 73.76% (con GT), superando metodi basati su gruppi (GRPO) e metodi listwise.
• Risultati di Ablazione:
  • Grafo vs Listwise: Il divario di prestazioni tra GraphDPO e PRO (che rimuove la codifica degli archi del grafo) conferma che modellare ordini parziali e strutture transitive è superiore alle assunzioni di ordine totale rigoroso.
  • Numero di Espansioni ($K$): Aumentare $K$ ha generalmente migliorato le prestazioni inducendo grafi di preferenze più ricchi, permettendo al modello di sfruttare relazioni di dominanza transitiva non osservabili nel campionamento a coppie.
  • Ancoraggio: L'ancoraggio alla verità di base ha fornito guadagni costanti, in particolare per budget di espansione più piccoli e compiti più difficili (MATH-500), dove ha stabilizzato la propagazione delle preferenze.

5. Significato e Affermazioni

Il documento afferma che modellare la struttura delle preferenze come grafi fornisce un'alternativa scalabile e robusta sia agli obiettivi di allineamento a coppie che a quelli listwise.

• Scalabilità: Mantenendo la complessità lineare mentre cattura la struttura globale, GraphDPO è adatto per impostazioni di allineamento pesanti in espansioni comuni nei compiti di ragionamento e codifica.
• Robustezza: Il metodo gestisce ordini parziali, classi di equivalenza e relazioni di comparabilità sparse che rompono le assunzioni listwise rigorose.
• Bias Induttivo: I risultati suggeriscono che modellare esplicitamente le relazioni strutturate tra le espansioni (transitività e dominanza) è fondamentale per scalare l'allineamento a domini di problemi complessi dove le semplici assunzioni di ordinamento falliscono.

Gli autori concludono che GraphDPO offre un bias induttivo semplice ed efficace per l'allineamento degli LLM, colmando il divario tra la semplicità del DPO e la ricchezza strutturale delle classifiche multi-campione.