Riepilogo Tecnico: Miglioramento degli LLM tramite l'Allineamento tra Validatore e Generatore (FLORA)

Definizione del Problema

I Large Language Models (LLM) esibiscono un'incoerenza fondamentale nota come gap Generatore-Validatore (G-V). In questo fenomeno, un LLM che agisce come generatore può produrre una risposta con alta probabilità, ma quando viene interrogato nuovamente per agire come validatore, ritiene che quella stessa risposta sia errata (o viceversa). Questa incoerenza mina le applicazioni che si basano sull'auto-raffinamento, il backtracking e la modellazione delle ricompense (reward modeling).

I tentativi precedenti di colmare questo divario massimizzando la correlazione tra i punteggi del generatore e del validatore hanno affrontato due problemi critici:

1. Bias di Frequenza: I generatori spesso assegnano una bassa probabilità a stringhe valide semplicemente perché tali stringhe sono a priori improbabili (ad esempio, sinonimi rari o formattazioni specifiche), non perché siano errate. Le metriche di coerenza naive non tengono conto di questo, penalizzando risposte valide ma infrequenti.
2. Incertezza Aleatoria: In compiti con molteplici risposte corrette (ad esempio, "Nomina un gas nobile"), un validatore dovrebbe assegnare punteggi elevati a tutte le opzioni corrette, ma un generatore non può assegnare una probabilità uguale a tutte le opzioni valide senza violare le leggi della probabilità su un vocabolario ampio.

I metodi esistenti che ignorano questi fattori rischiano comportamenti patologici, come la soppressione di risposte corrette o l'introduzione di segnali di addestramento contraddittori.

Metodologia: FLORA

Gli autori propongono Frequency-corrected Learning of Ordered Rank Alignment (FLORA), un obiettivo di addestramento progettato per allineare i comportamenti del generatore e del validatore correggendo al contempo la frequenza dell'enunciato.

1. Formulazione Teorica

Il paper modella l'LLM come un agente probabilistico razionale che opera con uno stato di credenza latente $v$ (un vettore di etichette di validità per tutte le possibili risposte).

• Validatore ($p_V$): Rappresenta la credenza del modello che una risposta $y$ sia corretta dato un prompt $x$.
• Generatore ($p_G$): Rappresenta la probabilità di generare $y$, che è una miscela della credenza del modello sugli insiemi validi e di una policy per la selezione delle forme superficiali tra le opzioni valide.

Gli autori derivano una relazione teorica (Teorema 1) tra il log-odds del validatore e le probabilità del generatore. Dimostrano che, affinché la coerenza sia mantenuta, il punteggio del generatore deve essere corretto da un fattore relativo alla frequenza della risposta quando questa viene richiesta erroneamente rispetto a quando viene richiesta correttamente.

Ciò porta alla definizione di un punteggio del generatore corretto per la frequenza ($s_{Adj}$):
$$s_{Adj}(y | x) = \log p_G(y | x) - \log p_G'(y | x)$$
Dove:

• $p_G(y | x)$ è la probabilità di generazione standard.
• $p_G'(y | x)$ è la probabilità di generare $y$ quando esplicitamente istruito a fornire una risposta errata (o un prompt "anti-esperto").

In pratica, poiché $p_G'$ è difficile da elicitare in modo affidabile, gli autori propongono due approssimazioni empiriche:

1. NegFC: Utilizza un prompt negativo per elicitare $p_G'$.
2. Unconditional FC (PMI): Utilizza il log-probability incondizionato della sequenza di token come un proxy più economico per la frequenza, assumendo che la frequenza di una stringa sia indipendente dalla sua correttezza.

2. Obiettivo di Addestramento

FLORA utilizza una perdita di preferenza a coppie (pairwise preference loss) per allineare il generatore con il ranking del validatore delle risposte. La funzione di perdita totale combina:

• Perdita di Preferenza ($L_{pref}$): Una perdita logistica che incoraggia il generatore a classificare una risposta preferita dal validatore ($y^+$) più in alto di una non preferita ($y^-$) basandosi sul punteggio corretto per la frequenza $s_{Adj}$.
• Termini di Negative Log-Likelihood (NLL): Termini standard di supervisione applicati agli esempi etichettati per garantire che il generatore mantenga la correttezza e il validatore mantenga la calibrazione.

I dati di addestramento consistono in coppie di risposte $(y_i, y_j)$ per lo stesso prompt $x$, dove i punteggi del validatore differiscono significativamente. Il metodo opera in un contesto semi-supervisionato, utilizzando coppie etichettate dove la correttezza della verità fondamentale (ground truth) è nota e coppie non etichettate dove viene utilizzato solo il preferimento relativo del validatore.

Contributi Chiave

1. Coerenza G-V Principata: Il paper axiomatizza la coerenza G-V basandosi su un modello di agente razionale, dimostrando che la correlazione ingenua è insufficiente a causa degli effetti di frequenza.
2. Correzione della Frequenza: La derivazione di una relazione teorica che necessita di sottrarre la probabilità di generazione "errata" (o un proxy di frequenza) dal punteggio di generazione standard per ottenere una vera coerenza.
3. Algoritmo FLORA: Un obiettivo di addestramento concreto che implementa questo allineamento corretto per la frequenza, che migliora la discriminabilità del generatore senza degradare le prestazioni del validatore.

Risultati Sperimentali

Gli autori hanno valutato FLORA su tre compiti: Seguire le Istruzioni (IFEval), Coding (HumanEval) e Conoscenza Tassonomica (Iponimia).

• Guadagni di Performance: FLORA supera sostanzialmente i precedenti metodi di allineamento (inclusi SFT, Consistency FT e RankAlign).
  • Correlazione Generatore-Validatore ($\rho$): Ha ottenuto guadagni fino a +27 punti percentuali (ad esempio, su IFEval e HumanEval) rispetto ai più forti baseline precedenti.
  • Discriminabilità del Generatore (AUROC): Ha migliorato l'AUROC del generatore fino a +7,3 punti percentuali.
• Efficacia della Correzione della Frequenza: Anche al tempo di test (senza addestramento), l'applicazione della correzione della frequenza (NegFC o PMI) ha migliorato significativamente la capacità del generatore grezzo di distinguere risposte corrette da errate e ha aumentato la correlazione con il validatore.
• Preservazione del Validatore: Fondamentalmente, l'addestramento FLORA non ha degradato la qualità del validatore. In diversi setting, l'accuratezza e l'AUROC del validatore sono addirittura migliorate (ad esempio, +14 a +17 pp su HumanEval), smentendo le preoccupazioni che l'addestramento di preferenza possa causare "spostamento di verosimiglianza" (likelihood displacement) dove il modello appare allineato solo perché il validatore è degradato.
• Allineamento Qualitativo: L'analisi visiva ha mostrato che l'addestramento FLORA ha prodotto una relazione molto più chiara e strutturata tra i punteggi del generatore e i log-odds del validatore, separando efficacementamente le completazioni corrette da quelle errate nella coda della distribuzione.

Significato e Rivendicazioni

Il paper sostiene che FLORA fornisca una soluzione fondata al gap G-V affrontando la causa principale dell'incoerenza: la confusione tra la frequenza della risposta e la correttezza della risposta.

• Rigore Teorico: A differenza di precedenti approcci euristici, FLORA è basato su una derivazione teorica di come le probabilità del generatore e del validatore di un agente razionale dovrebbero relazionarsi.
• Robustezza: Il metodo funziona attraverso diversi compiti (generazione a breve e lungo termine) e famiglie di modelli (Gemma, Qwen).
• Utilità Pratica: Migliorando la capacità del generatore di classificare le risposte corrette più in alto (anche quelle rare) pur preservando il giudizio del validatore, FLORA consente pipeline di auto-correzione e raffinamento più affidabili per gli LLM.

Gli autori rimangono modesti riguardo ai limiti, notando che il termine teorico $r(y,x)$ è assunto essere vicino a 1 (un'assunzione difficile da validare direttamente) e che l'attuale framework si concentra sulla correttezza binaria piuttosto che sulla correttezza parziale. Inoltre, la valutazione si concentra su set fissi di output (code della distribuzione) piuttosto che sul singolo output migliore di decoding greedy.