Sintesi Tecnica: Ritorno a Blackwell: Chiudere il Ciclo sull'Intransitività nel Fine-Tuning delle Preferenze Multi-Obiettivo

1. Enunciato del Problema

Il lavoro affronta una sfida fondamentale nel Fine-Tuning delle Preferenze (PFT) per i Large Language Models (LLM): le preferenze intransitive (cicliche). L'intransitività si verifica quando un giudice LLM classifica l'opzione $A \succ B$ e $B \succ C$, ma non riesce a classificare $A \succ C$. Questo fenomeno deriva da due fonti principali:

1. Classifiche incoerenti lungo un singolo obiettivo.
2. Scalarizzazione di più obiettivi in un'unica metrica, che può introdurre incoerenze anche se gli obiettivi individuali sono coerenti.

Le pipeline PFT standard si basano sull'apprendimento di un ordinamento totale tramite un modello di ricompensa. Tuttavia, in presenza di preferenze intransitive, non esiste una politica ottimale ben definita (Vincitore di Condorcet), infrangendo le ipotesi fondamentali del PFT standard. Sebbene lavori precedenti abbiano tentato di mitigare questo problema dividendo i giudizi aggregati in più obiettivi (a) o inquadrando il PFT come un gioco a somma zero per trovare una politica robusta contro i comparatori nel caso peggiore (b), combinare questi approcci è tecnicamente difficile. Nello specifico, la suddivisione degli obiettivi in un contesto multi-obiettivo invalida il Teorema Minimax, facendo fallire i meccanismi standard di risoluzione dei giochi (come il self-play).

2. Metodologia

2.1 Concetto di Soluzione: Vincitore Blackwell a Massima Entropia (MaxEntBW)

Gli autori propongono un nuovo concetto di soluzione basato sulla teoria dei giochi chiamato Vincitore Blackwell a Massima Entropia (MaxEntBW). A differenza del Vincitore Minimax (che è mal definito in contesti multi-obiettivo senza il Teorema Minimax), il MaxEntBW è ben definito anche in presenza di preferenze multiple e globalmente incoerenti.

Formalmente, un MaxEntBW è una politica $\pi^*$ che massimizza il valore del gioco $V(\pi)$, definito come:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
Dove:

• $P(\pi \succ \pi' \mid x)$ è il vettore delle probabilità di vittoria a coppie attraverso $m(x)$ obiettivi.
• $w(x)$ rappresenta la ponderazione degli obiettivi da parte dell'avversario.
• $\pi'$ è la politica di comparazione dell'avversario.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ è un termine di regolarizzazione KL che vincola l'avversario a rimanere vicino a una politica di riferimento $\pi_{ref}$.

Questa formulazione garantisce che la politica sia robusta rispetto alla ponderazione degli obiettivi nel caso peggiore e alla politica di comparazione all'interno del suo vicinato locale, senza richiedere che valga il Teorema Minimax.

2.2 Algoritmo: PROSPER

Per calcolare i MaxEntBW su larga scala, gli autori derivano PROSPER (PReference Optimization with a Single Player over Entire Rubrics). L'algoritmo riduce il complesso gioco a tre giocatori (Apprendente, Ponderazioni degli Obiettivi Avversarie, Politica Avversaria) in un problema di ottimizzazione a giocatore singolo trattabile attraverso tre passaggi chiave:

1. Politica Avversaria in Forma Chiusa: Fissando l'apprendente $\pi$ e i pesi $w$, la minimizzazione interna sulla politica avversaria $\pi'$ ammette una soluzione in forma chiusa tramite regolarizzazione dell'entropia (ispirata a Ziebart et al., 2008). Questo elimina la necessità di cicli di addestramento avversario.
2. Minimizzazione per Prompt: Si dimostra che l'ottimizzazione sui pesi degli obiettivi $w$ è concava. Di conseguenza, il $w$ ottimale per qualsiasi prompt è un vertice del simplex (cioè, seleziona un singolo obiettivo nel caso peggiore). Ciò permette all'algoritmo di minimizzare semplicemente sugli obiettivi prompt-wise, eliminando la necessità di ottimizzare $w$.
3. Ottimizzazione Basata su Regressione: L'obiettivo rimanente è concavo in $\pi$. Invece di eseguire direttamente la discesa dello specchio online (che è non fattibile per modelli grandi), PROSPER utilizza una riformulazione basata sulla regressione. Stima i gradienti tramite campionamento e aggiorna i parametri della politica $\theta$ risolvendo un problema di regressione con perdita quadratica:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   dove $g(z)$ è il gradiente stimato derivato dall'obiettivo nel caso peggiore e dalla politica di riferimento.

3. Contributi Chiave

1. Definizione MaxEntBW: Il lavoro introduce il Vincitore Blackwell a Massima Entropia, un concetto di soluzione che generalizza i Vincitori Blackwell ai contesti multi-obiettivo e rimane ben definito sotto preferenze intransitive senza fare affidamento sul Teorema Minimax.
2. Algoritmo PROSPER: Gli autori derivano un algoritmo basato sulla regressione, provatamente efficiente, per calcolare i MaxEntBW. Il metodo fonde intuizioni dall'apprendimento per rinforzo inverso e tecniche recenti di ottimizzazione delle preferenze per eliminare le ottimizzazioni del ciclo interno, riducendo il problema a una semplice regressione.
3. Validazione Empirica: Il lavoro dimostra che il feedback dei giudici LLM multi-obiettivo è sostanzialmente intransitivo nella pratica. Mostra che PROSPER supera le linee di base nel fine-tuning di LLM (scale 3B e 7B) da feedback multi-obiettivo, specificamente nel seguire le istruzioni e nei benchmark di chat generale.

4. Risultati Sperimentali

Gli autori hanno valutato PROSPER utilizzando il dataset WILDCHECKLISTS, dove giudici LLM valutano le risposte rispetto a rubriche specifiche per prompt.

• Analisi dell'Intransitività: Gli esperimenti hanno confermato che dividere le rubriche in singoli elementi (multi-obiettivo) riduce ma non elimina l'intransitività. Una frazione significativa di prompt mostra ancora cicli e manca di un Vincitore di Condorcet.
• Prestazioni sui Benchmark:
  • Follow delle Istruzioni e Chat: Su AlpacaEval 2.0 e Arena-Hard, PROSPER (7B) ha ottenuto i punteggi più alti tra tutte le linee di base, inclusa la linea di base RLCF (Reinforcement Learning from Checklist Feedback) e le varianti di ablazione (PROSPER-JC e PROSPER-VB).
  • Capacità Generali: Su benchmark fuori dominio (IFEval, MMLU, ARC, HellaSwag, TruthfulQA), PROSPER ha mantenuto prestazioni comparabili al modello base e a RLCF, indicando che la natura avversaria dell'addestramento non ha degradato le capacità generali di ragionamento o conoscenza.
• Studi di Ablazione:
  • PROSPER-JC (Obiettivo Singolo/Punteggio Aggregato): Ha performato peggio rispetto a PROSPER completo, evidenziando la necessità di gestire esplicitamente più obiettivi.
  • PROSPER-VB (Competitore Fisso): Ha performato peggio rispetto a PROSPER completo, dimostrando il valore della politica di competitor selezionata avversarialmente.

5. Significato e Affermazioni

Il lavoro afferma che PROSPER fornisce un framework robusto per allineare gli LLM a preferenze umane (o AI) complesse e multi-criterio che sono intrinsecamente incoerenti. Spostandosi dalla scalarizzazione e dalle ipotesi standard della teoria dei giochi che falliscono nei contesti multi-obiettivo, gli autori offrono una soluzione "first-principles" che:

• Gestisce l'Intransitività: Affronta direttamente la natura ciclica delle preferenze senza forzare un ordinamento totale che potrebbe non esistere.
• Scalabilità: Raggiunge l'efficienza riducendo il problema alla regressione a giocatore singolo, evitando i costi computazionali dell'addestramento avversario.
• Utilità Pratica: Dimostra che sfruttare feedback dettagliati da rubriche multi-obiettivo (piuttosto che punteggi aggregati) porta a politiche qualitativamente più forti in scenari reali di chat e follow delle istruzioni.

Gli autori rilasciano checkpoint di modelli addestrati a scale di 3B e 7B parametri per facilitare ulteriori ricerche in questo dominio.