Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

Sintesi Tecnica: Transitività incontra Ciclicità: Decomposizione Esplicita delle Preferenze per l'Allineamento Dinamico dei Modelli Linguistici di Grande Dimensione

Enunciato del Problema
Il Reinforcement Learning from Human Feedback (RLHF) standard si basa sul modello di Bradley-Terry (BT), che assume che le preferenze umane siano transitve e possano essere rappresentate da ricompense scalari ($A \succ B \land B \succ C \implies A \succ C$). Tuttavia, le preferenze umane nel mondo reale spesso esibiscono pattern ciclici e intrasitivi (ad esempio, dinamiche di "Sasso-Carta-Forbice") che i modelli scalari non riescono fondamentalmente a catturare. Sebbene approcci recenti come il General Preference Model (GPM) affrontino la ciclicità utilizzando forme bilineari antisimmetriche, gli autori identificano una limitazione teorica critica: la formulazione implicita del GPM intreccia dinamiche gerarchiche (transitive) e cicliche. Questo intreccio impedisce al GPM di garantire la rappresentazione di "soluzioni dominanti" (candidati che sconfiggono strettamente tutti gli altri) in contesti ciclici arbitrari, poiché la capacità geometrica richiesta per gerarchie globali può essere "spiazzata" da cicli locali complessi.

Metodologia
Il documento propone un framework a due fronti per affrontare queste sfide strutturali e di ottimizzazione:

1. Modello Ibrido Ricompensa-Ciclico (HRC):

   • Base Teorica: Attingendo alla decomposizione basata sulla teoria dei giochi (Balduzzi et al., 2019), gli autori formalizzano la modellazione delle preferenze come un Gioco Funzionale-Simmetrico a Somma Zero. Dimostrano che qualsiasi funzione di preferenza può essere decomposta in modo unico in una componente transitiva ortogonale ($\phi_T$) e una componente ciclica ($\phi_C$).
   • Architettura: HRC istanzia esplicitamente questa decomposizione. Combina una testa di ricompensa scalare (che cattura la componente transitiva tramite una struttura simile al BT) con una testa ciclica basata su vettori (che cattura le dinamiche intrasitive tramite un operatore antisimmetrico simile al GPM).
   • Meccanismo: Il punteggio di preferenza finale è la somma della differenza scalare transitiva e dell'interazione vettoriale ciclica: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. Il modello impone vincoli di norma unitaria sugli embedding e utilizza un meccanismo di gating consapevole del contesto per modulare l'intensità ciclica.
   • Vantaggio: A differenza del GPM, che fatica a rappresentare un candidato dominante insieme a un ciclo senza vincoli specifici ad alta dimensionalità, HRC garantisce matematicamente la preservazione delle gerarchie dominanti disaccoppiando le due dinamiche. Mantiene una complessità di inferenza lineare $O((2d+1)K)$.

2. Ottimizzazione delle Preferenze con Auto-Gioco Dinamico (DSPPO):

   • Concetto: Gli algoritmi standard di auto-gioco (ad esempio SPPO) ottimizzano contro un oracolo di preferenze statico. Gli autori sostengono che ciò limiti la capacità del modello di navigare il paesaggio multidimensionale rivelato da HRC.
   • Meccanismo: DSPPO tratta l'allineamento come un gioco variabile nel tempo. Programma il segnale di preferenza sulle iterazioni di addestramento, transitando gradualmente da una struttura di base transitiva robusta a sfumature cicliche raffinate.
   • Programma: Il punteggio di preferenza all'iterazione $t$ è definito come $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$. Questo approccio di apprendimento curricolare stabilizza l'addestramento stabilendo una linea di base di qualità globale prima di introdurre dinamiche locali complesse, garantendo teoricamente la convergenza all'Equilibrio di Nash con un tasso di $O(1/\sqrt{T})$.

Contributi Chiave

• Unificazione Teorica: Il documento fornisce una prova teorica che HRC unifica il modello BT e il GPM decomponendo esplicitamente le preferenze in componenti transitive e cicliche ortogonali, risolvendo l'incapacità strutturale del GPM di garantire soluzioni dominanti in contesti misti.
• Innovazione Algoritmica: L'introduzione di DSPPO, un framework di ottimizzazione dinamico che sfrutta i segnali HRC decomposti per guidare l'evoluzione della politica, offrendo una traiettoria di convergenza più robusta rispetto alle linee di base statiche.
• Validazione Empirica: Esperimenti estensivi dimostrano che HRC supera BT e GPM in accuratezza di modellazione delle preferenze, in particolare in domini che richiedono la gestione di "Pari" e ragionamenti complessi. Il framework HRC+DSPPO migliora significativamente la qualità della generazione a valle.

Risultati

• Modellazione delle Preferenze (RewardBench 2): HRC ha costantemente superato le linee di base BT e GPM. Su Gemma-2B-it, HRC ha raggiunto un'accuratezza media del 57,63%, superando la linea di base più forte (GPM) dell'1,23%. Notevolmente, nel dominio "Ties" (Pari), HRC ha raggiunto il 74,51% rispetto al 73,53% sia per BT che per GPM, validando la sua capacità di gestire preferenze non rigide.
• Allineamento a Valle:
  • AlpacaEval 2.0: Utilizzando Gemma-2B-it come base, HRC+DSPPO ha raggiunto un picco di tasso di vittoria controllato per lunghezza del 44,75%, superando significativamente le linee di base SPPO addestrate con BT o GPM.
  • Arena-Hard-v0.1: HRC+DSPPO ha raggiunto un tasso di vittoria del 46,8% su Gemma-2B-it, un miglioramento del 3,2% rispetto alla migliore linea di base, dimostrando capacità superiori su prompt impegnativi.
  • MT-Bench: Il framework ha mostrato prestazioni robuste nelle conversazioni multi-turno, con HRC+DSPPO che ha raggiunto un punteggio medio di 8,29 su Gemma-2B-it.
• Dati Sintetici: Esperimenti su dataset sintetici "dominante + ciclo" hanno confermato che HRC converge più velocemente e raggiunge un'accuratezza superiore rispetto al GPM in contesti misti transivi-ciclici, mentre il GPM a bassa dimensionalità non è riuscito a catturare strutture cicliche.

Significato
Il documento afferma che rappresentare fedelmente la natura complessa ed eterogenea delle preferenze umane, in particolare la dualità tra gerarchie transitive globali (ad esempio, sicurezza, utilità) e cicli intrasitivi locali (ad esempio, compromessi stilistici), è essenziale per un allineamento AI robusto. Disaccoppiando esplicitamente queste componenti, il framework proposto supera le limitazioni strutturali dei modelli scalari esistenti e dei modelli puramente ciclici. Gli autori ipotizzano che questo approccio consenta ai sistemi AI di navigare più efficacemente diversi paesaggi etici e culturali, promuovendo una maggiore fiducia nel processo decisionale automatizzato rispettando la natura non rigida e multidimensionale del giudizio umano. Il lavoro suggerisce che le future strategie di allineamento dovrebbero andare oltre le ricompense scalari statiche per abbracciare decomposizioni dinamiche basate sulla teoria dei giochi delle preferenze.