💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Questo articolo introduce MMPO, un metodo di ottimizzazione delle preferenze offline stabile e semplificato che allinea i Large Language Models con le preferenze umane massimizzando la log-likelihood marginale, eliminando così la necessità di modelli di ricompensa espliciti e superando i baseline in termini di qualità dell'allineamento e preservazione delle capacità generali.

Autori originali: Saeed Najafi, Alona Fyshe

Pubblicato 2026-01-27

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Saeed Najafi, Alona Fyshe

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Insegnare a un robot a essere "educato"

Immaginate di avere un robot molto intelligente (un Large Language Model) che ha letto quasi tutto ciò che esiste su Internet. Può scrivere storie, risolvere problemi di matematica e rispondere a domande. Tuttavia, è un po' come un adolescente brillante ma caotico: sa come parlare, ma non sempre sa cosa gli esseri umani vogliano davvero sentire. A volte è maleducato, a volte è confuso e a volte si inventa semplicemente le cose.

Per risolvere questo problema, dobbiamo "allineare" il robot alle preferenze umane. Il metodo standard attuale per farlo si chiama RLHF (Reinforcement Learning from Human Feedback). Pensate a questo come ad assumere un coach severo che osserva il robot, gli assegna punti per le buone risposte e toglie punti per quelle cattive. Ma questo processo è disordinato, costoso e il robot spesso si confonde a causa delle regole incoerenti del coach.

Recentemente, è stato inventato un metodo più semplice chiamato DPO. È come saltare il passaggio del coach e mostrare semplicemente al robot due risposte (una buona e una cattiva) e dire: "Scegli quella buona". Questo funziona meglio, ma presenta ancora alcune stranezze e può essere instabile se si modificano troppo le impostazioni.

Questo articolo presenta un nuovo metodo chiamato MMPO. Gli autori dicono: "Proviamo un approccio completamente diverso". Invece di cercare di insegnare al robot come scegliere il vincitore, trattano il problema come una stima della verosimiglianza marginale (marginal likelihood).

L'idea centrale: Il gioco del "Miglior Indovino"

Per capire MMPO, immaginate di cercare di indovinare il finale di una storia di mistero. Conoscete l'inizio (il prompt) e avete due possibili finali:

Il finale buono: Quello che gli umani preferiscono.
Il finale cattivo: Quello che agli umani non piace.

Il vecchio modo (DPO/RLHF):
I vecchi metodi sono come un gioco di "Caldo o Freddo". Calcolano un punteggio per il Finale Buono, un punteggio per il Finale Cattivo e poi cercano di spingere il Finale Buono verso l'alto e il Finale Cattivo verso il basso. È un po' come cercare di bilanciare un'altalena; se spingi troppo da un lato, l'intera struttura si ribalta (instabilità).

Il nuovo modo (MMPO):
Gli autori propongono un approccio diverso basato sulla Massima Verosimiglianza Marginale (MML).

Immaginate di essere un detective che cerca di capire quanto sia probabile che un particolare "Finale Buono" sia stato il vero finale della storia, dato che avete solo pochi indizi (i due finali che state osservando).

Inveve di confrontare direttamente i due finali tra loro, MMPO chiede: "Se guardiamo tutti i possibili modi in cui questa storia potrebbe finire, quanto è probabile che il 'Finale Buono' sia quello che è effettivamente accaduto?"

Per farlo, la matematica esamina sia il Finale Buono che il Finale Cattivo come "campioni" (indizi) per stimare questa probabilità.

Non ha bisogno di un "Coach" separato (Reward Model) per dirgli cosa è buono.
Non ha bisogno di costringere il robot a essere "creativo" (Entropy Maximization) solo per il gusto di farlo.

Il trucco magico: Come funziona senza un coach

L'articolo sostiene che, utilizzando questo calcolo della "Miglior Ipotesi", il robot impara implicitamente a preferire la risposta buona senza che gli venga esplicitamente ordinato di farlo.

Ecco l'analogia:
Immaginate di insegnare a un cane a stare seduto.

RLHF: Avete un addestratore con un clicker e dei premi. Cliccate quando il cane si siede, e non lo fate quando non lo fa.
DPO: Mostrate al cane una foto di lui seduto e una foto di lui in piedi, e dite: "Mi piace di più la foto in cui sei seduto".
MMPO: Guardate semplicemente la foto del cane "seduto" e calcolate la probabilità che questo sia il comportamento corretto basandovi sulle prove che avete.

L'articolo dimostra matematicamente che quando si esegue questo calcolo, la matematica naturalmente spinge il robot a scegliere il "Finale Buono" più spesso. È come se la matematica stessa agisse come sistema di ricompensa. Il robot impara a aumentare la probabilità della risposta buona e a diminuire leggermente quella cattiva, tutto in un unico movimento fluido.

Perché è meglio? (I risultati)

Gli autori hanno testato questo metodo su robot di diverse dimensioni (dai piccoli robot "giocattolo" a quelli grandi e "geniali"). Ecco cosa hanno scoperto:

È più stabile:
Pensate di sintonizzare una radio. Con i vecchi metodi (DPO), se girate la manopola (un parametro chiamato $\beta$ ) anche solo di un millimetro, la musica potrebbe trasformarsi in statica o interrompersi completamente. Con MMPO, la radio rimane nitida indipendentemente da quanto si giri la manopola. È molto più difficile "rompere" l'addestramento.
Mantiene l'intelligenza del robot:
A volte, quando insegnate a un robot a essere educato, dimentica come fare la matematica o raccontare barzellette. Diventa un "ossequioso" che è sicuro ma noioso.
L'articolo mostra che MMPO è più bravo a mantenere l'intelligenza originale del robot. Impara a essere educato senza dimenticare come essere un assistente versatile.
Vince più spesso:
Quando hanno messo il loro nuovo metodo contro i vecchi in una competizione (AlpacaEval), MMPO ha costantemente vinto o pareggiato per il primo posto, specialmente sui modelli più piccoli ed efficienti.

Gli ingredienti della "Ricetta Segreta"

L'articolo ha anche eseguito esperimenti per vedere quali parti della loro ricetta fossero essenziali. Hanno scoperto due ingredienti chiave che hanno fatto funzionare la magia:

In-Batch Normalization: Questo è come assicurarsi che tutti in una classe siano valutati sulla stessa scala. Se uno studente prende un A+ e un altro un F, l'insegnante regola i punteggi in modo che il confronto sia equo. Questo evita che un esempio strano rovini l'intera lezione.
Nessuna "Entropia Extra": Hanno scoperto che cercare di forzare il robot a essere "diverso" (entropy maximization) lo rendeva in realtà peggiore. Hanno lasciato che la matematica facesse il suo lavoro naturalmente.

Riassunto

In breve, questo articolo dice: "Smettetela di cercare di costruire un complesso sistema di ricompense per insegnare ai robot cosa piace agli umani. Invece, usate un semplice trucco statistico che tratta le preferenze umane come indizi. Questo trucco insegna naturalmente al robot a essere utile, mantiene la stabilità e assicura che non dimentichi come essere intelligente."

Chiamano questo nuovo metodo MMPO (Maximum Marginal Likelihood Preference Optimization), e credono che sia un modo più semplice e affidabile per allineare l'IA ai valori umani.

Sintesi Tecnica: Ottimizzazione delle Preferenze Offline tramite Stima della Massima Verosimiglianza Marginale

Definizione del Problema

Allineare i Large Language Models (LLM) alle preferenze umane è un passaggio critico per il loro dispiegamento nel mondo reale, tradizionalmente ottenuto tramite il Reinforcement Learning from Human Feedback (RLHF). Tuttavia, la tipica pipeline RLHF è complessa e instabile, richiedendo l'addestramento di un modello di ricompensa separato e l'uso di algoritmi di gradiente di policy sensibili come il Proximal Policy Optimization (PPO). Direct Preference Optimization (DPO) ha semplificato questo processo riformulando l'allineamento come un problema di classificazione, ma la sua funzione di perdita è ancora derivata dall'obiettivo RLHF, il che incoraggia implicitamente l'ottimizzazione dell'entropia del modello linguistico. Gli autori indagano se sia possibile ottenere un allineamento efficace anche sotto assunzioni più rilassate, specificamente rimuovendo la necessità esplicita sia di una funzione di ricompensa che del termine di massimizzazione dell'entropia inerente agli obiettivi standard di RLHF.

Metodologia: MMPO

Il paper propone la Maximum Marginal Likelihood Preference Optimization (MMPO), un nuovo algoritmo di allineamento delle preferenze offline.

Fondamento Teorico

MMPO riformula il problema dell'allineamento attraverso la lente della stima della Massima Verosimiglianza Marginale (MML). Invece di ottimizzare direttamente le preferenze, il metodo massimizza la verosimiglianza logaritmica marginale di un output testuale preferito $y$ dato un input $x$ .

Formulazione: L'obiettivo è massimizzare $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ , dove $z$ rappresenta le possibili completazioni testuali e $P^*$ è la vera distribuzione sottostante.
Approssimazione: Poiché la sommatoria su tutti i possibili $z$ è intrattabile, il metodo approssima la marginalizzazione utilizzando la coppia di preferenza fornita $(z_w, z_l)$ (risposte scelte e rifiutate) come campioni.
Stabilità: Per garantire la stabilità numerica durante l'addestramento, l'obiettivo viene riformulato utilizzando l'operazione log-sum-exp.

Connessione Teorica con l'Ottimizzazione delle Preferenze

Gli autori dimostrano (Teorema 3.2) che l'ottimizzazione dell'obiettivo MML approssimato su un dataset di preferenze esegue implicitamente l'ottimizzazione delle preferenze.

Gradiente Implicito: Si dimostra che l'aggiornamento del gradiente risultante è equivalente a una somma pesata dei gradienti per le risposte scelte ( $z_w$ ) e rifiutate ( $z_l$ ).
Meccanismo di Pesatura: L'aggiornamento aumenta naturalmente il peso della risposta scelta rispetto a quella rifiutata, modulato da una funzione sigmoide della differenza dei loro punteggi ( $\sigma(s_w - s_l)$ ).
Distinzione Chiave: Questo processo raggiunge l'allineamento delle preferenze senza formulare esplicitamente una funzione di ricompensa o un termine di massimizzazione dell'entropia.

Implementazione dell'Algoritmo

La funzione di perdita MMPO incorpora diverse scelte di progettazione specifiche:

Definizione del Punteggio: I punteggi $s_w$ e $s_l$ sono definiti sulla base delle log-probabilità e di un termine di ricompensa (approssimato tramite le log-probabilità del modello di riferimento e un iperparametro $\beta$ ).
Normalizzazione In-Batch: Per stabilizzare l'addestramento e prevenire che gli outlier dominino i gradienti, le ricompense vengono normalizzate all'interno di un mini-batch. Ciò assicura che i punteggi relativi siano su una scala coerente.
Obiettivo Ausiliario: Un termine ausiliario, $\log \sigma(s_w - s_l)$ , viene aggiunto per rinforzare esplicitamente il vincolo di preferenza ( $s_w \ge s_l$ ), fornendo un segnale di supervisione diretto simile a DPO ma operando su punteggi normalizzati anziché su rapporti di log-probabilità rispetto a un modello SFT.

Contributi Chiave

Introduzione dell'Algoritmo: La proposta di MMPO, un nuovo algoritmo di ottimizzazione delle preferenze offline che tratta le coppie di preferenza come campioni per la stima MML.
Analisi Teorica: Una dimostrazione che l'applicazione di MMPO sulle coppie di preferenza è equivalente a un aggiornamento del gradiente pesato che favorisce intrinsecamente le risposte preferite senza modelli di ricompensa espliciti o termini di entropia.
Stabilità Empirica: Dimostrazione che MMPO è significativamente più stabile rispetto all'iperparametro chiave $\beta$ rispetto a DPO e SimPO.
Preservazione delle Capacità: Evidenza che MMPO preserva meglio le capacità linguistiche generali (ragionamento e comprensione) dei modelli base istruiti (instruction-tuned) rispetto ai baseline esistenti.
Performance nei Benchmark: Raggiungimento di win-rate competitivi o superiori sul benchmark AlpacaEval-2 su modelli con parametri da 135M a 8B.

Risultati Sperimentali

Gli autori hanno valutato MMPO su quattro dimensioni di modello (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B e Llama3-8B) utilizzando i dataset Orca DPO Pairs e UltraFeedback-Binarized.

Stabilità: A differenza di DPO e SimPO, che hanno mostrato una significativa sensibilità all'iperparametro $\beta$ , MMPO ha mantenuto prestazioni consistenti attraverso una gamma di valori di $\beta$ (0.01, 0.05, 0.5).
Allineamento delle Preferenze: MMPO ha ottenuto forti win-rate su AlpacaEval-2. Ad esempio, su SmolLM2-135M, MMPO ha migliorato i win-rate in modo monotono fino al 67.3%, mentre DPO ha prodotto win-rate molto bassi e SimPO è degradato significativamente durante gli epoch di addestramento.
Ritenzione delle Capacità Generali: Valutato sul benchmark LM Harness (10 compiti diversi di comprensione del linguaggio), MMPO ha causato una degradazione minima nelle capacità linguistiche generali. Al contrario, DPO e SimPO hanno spesso mostrato cali più significativi nell'accuratezza, specialmente quando ottimizzati per un alto allineamento delle preferenze.
Ottimalità di Pareto: MMPO ha dimostrato un profilo di trade-off più favorevole, offrendo win-rate di preferenza più elevati con un sacrificio minimo delle capacità di ragionamento generale rispetto ai baseline.

Studi di Ablazione

Esperimenti sul modello SmolLM2-360M hanno rivelato:

Normalizzazione della Lunghezza: Ha migliorato l'accuratezza generale ma non ha aumentato significativamente i win-rate di preferenza.
Massimizzazione dell'Entropia: L'aggiunta esplicita di un termine di entropia ha degradato le prestazioni su entrambi i benchmark, suggerendo che l'ottimizzazione implicita in MMPO è sufficiente e che l'incoraggiamento esplicito della diversità è deleterio in questo contesto.
Perdita Ausiliaria e Normalizzazione: La rimozione della perdita ausiliaria in stile DPO o della normalizzazione in-batch ha leggermente migliorato i win-rate ma ha degradato l'accuratezza generale di picco, indicando un trade-off in cui il termine core log-sum-exp guida le prestazioni mentre i componenti ausiliari aiutano a preservare le capacità generali.

Significato e Rivendicazioni

Il paper sostiene che MMPO offra un'alternativa più semplice e stabile ai paradigmi di allineamento attuali. Riformulando l'allineamento come un problema di stima MML, elimina la necessità di modelli di ricompensa espliciti e di regolarizzazione dell'entropia, ottenendo implicitamente l'ottimizzazione delle preferenze desiderata. Gli autori sottolineano che la stabilità di MMPO è una proprietà intrinseca della sua formulazione (derivante dalla normalizzazione in-batch e dall'operazione log-sum-exp) piuttosto che il risultato di complessi meccanismi di calibrazione.

Il lavoro suggerisce che un allineamento efficace non richiede strettamente il complesso apparato di RLHF o i vincoli specifici di DPO. Invece, massimizzare la verosimiglianza marginale degli output preferiti utilizzando le coppie di preferenza come campioni fornisce una via robusta verso l'allineamento che preserva le capacità linguistiche fondamentali del modello. Gli autori notano che, sebbene l'attuale valutazione sia limitata a contesti offline e modelli fino a 8B parametri (a causa di vincoli di risorse), il metodo rappresenta una direzione promettente per semplificare la pipeline di allineamento degli LLM.