Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

1. Il Problema: Bias Distribuzionale nella Generazione Multi-Round

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) siano intrinsecamente probabilistici, le valutazioni standard si concentrano spesso sulla generazione di una singola risposta contro una verità fondamentale fissa. Tuttavia, nelle applicazioni reali, gli utenti interagiscono con i modelli attraverso prompt ripetuti.

Il paper identifica un fenomeno critico chiamato bias distribuzionale: la differenza tra la distribuzione osservata delle risposte generate dall'LLM su più round indipendenti e la distribuzione target desiderata (che può riflettere statistiche reali o una distribuzione uniforme).

• Esempio: Se si chiede a un LLM di scrivere 100 storie su "infermieri nel Regno Unito", un modello non controllato potrebbe generare una distribuzione di genere sbilanciata (es. 90% femmine), rafforzando stereotipi, anche se la realtà statistica o l'obiettivo dell'utente richiede parità.
• Limitazione degli approcci attuali: Le tecniche standard come il Prompt Engineering (esplicito o implicito) e l'ottimizzazione delle preferenze diretta (DPO) falliscono nel controllare affidabilmente queste distribuzioni aggregate. Il DPO, in particolare, tende a cercare un singolo "modo" (mode-seeking), forzando il modello a convergere su una risposta singola invece di mantenere una distribuzione statistica desiderata.

2. Metodologia Proposta

Gli autori propongono un nuovo framework di fine-tuning che combina due obiettivi distinti per allineare la distribuzione di uscita del modello a un target specifico. Il metodo si basa su due fasi principali:

A. Costruzione del Dataset di Preferenza

1. Dataset Base: Si genera un set di risposte per un dato prompt (es. occupazione) rispettando rigorosamente la distribuzione target $P^*$ (es. 99% maschi, 1% femmine per un certo lavoro).
2. Coppie di Preferenza: Ogni campione viene trasformato in una coppia $(y_w, y_l)$:
   • Accettata ($y_w$): La risposta originale preceduta da un Token di Stereotipo (Steering Token) $\tau$ che corrisponde all'attributo desiderato (es. un token speciale per "Maschio").
   • Rifiutata ($y_l$): Una risposta con un attributo negativo (es. "Femmina") e un token di steering corrispondente, campionata uniformemente dagli altri attributi per fornire un segnale contrastivo bilanciato.

B. Framework di Ottimizzazione Ibrida

Il modello viene addestrato con una funzione di perdita combinata che agisce su due livelli:

1. Calibrazione del Token di Steering (KL Divergence Loss - $L_{KL}$):

   • Viene introdotta una serie di token speciali nel vocabolario del modello.
   • L'obiettivo è minimizzare la divergenza di Kullback-Leibler tra la distribuzione di probabilità dei token di steering generati dal modello e la distribuzione target $P^*$.
   • Questo forza il modello ad "intendere" la distribuzione statistica corretta prima ancora di generare il testo.

2. Allineamento Semantico (Kahneman-Tversky Optimization - $L_{KTO}$):

   • Una volta selezionato il token di steering, è cruciale che il testo generato successivamente sia semanticamente coerente con quel token (es. se il token è "Maschio", la storia deve descrivere un uomo).
   • Viene utilizzata la funzione di valore KTO (basata sulla teoria dei prospetti) invece del DPO classico. KTO tratta gli esempi come desiderabili o indesiderabili individualmente, evitando la rigidità del confronto a coppie del DPO.
   • Questo vincola il modello a generare contenuti coerenti con il token di steering scelto.

Obiettivo Finale: $L_{total} = L_{KTO} + L_{KL}$

3. Contributi Chiave

1. Identificazione del Bias Distribuzionale: Dimostrazione empirica che gli LLM "off-the-shelf" e le tecniche di allineamento standard non riescono a controllare le distribuzioni aggregate in scenari di generazione multi-round.
2. Dataset di Preferenza Consapevoli della Distribuzione: Creazione di dataset specifici per attributi sensibili (Genere, Razza, Sentimento) in contesti occupazionali (UK e US), coprendo sia scenari realistici (statistiche reali) che scenari uniformi (de-biasing).
3. Nuovo Framework di Fine-Tuning: Introduzione di un metodo ibrido che separa la calibrazione statistica (KL) dall'allineamento semantico (KTO), permettendo un controllo preciso della distribuzione senza sacrificare la qualità del testo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro modelli (Qwen2.5 e Llama-3, in diverse dimensioni) e sei dataset (Genere UK/US, Razza, Sentimento).

• Performance Superiore: Il metodo proposto ha ottenuto sistematicamente il MAE (Mean Absolute Error) più basso rispetto a tutti i baseline (Zero-shot, Prompt Engineering, IFT, DPO).
  • Su Qwen2.5-7B, il MAE medio è sceso da 0.135 (IFT) a 0.085 (proposto), un miglioramento relativo del 37%.
  • Il DPO ha fallito catastroficamente in molti casi (MAE ~0.50), confermando la sua incapacità di gestire distribuzioni complesse.
• Robustezza: Il metodo mantiene alte prestazioni indipendentemente dai parametri di decodifica (Temperature, Top-p, Top-k) e funziona bene sia su attributi espliciti che su generazione di storie lunghe (sebbene sia più difficile per le storie lunghe a causa dei prior interni del modello).
• Generalizzazione: Il modello addestrato su un set di occupazioni (es. UK) generalizza bene a occupazioni non viste (es. US), indicando che non sta semplicemente memorizzando i dati ma imparando a controllare la distribuzione.
• Capacità Generali: L'addestramento non degrada le capacità generali del modello su benchmark come MMLU, GSM8K o TruthfulQA.

5. Significato e Implicazioni

Questo lavoro è significativo perché sposta il focus dall'allineamento di una singola risposta all'allineamento della distribuzione statistica delle risposte nel tempo.

• Controllo Flessibile: Permette agli sviluppatori di scegliere se allineare il modello alle statistiche reali (utile per simulazioni o analisi fattuali) o a distribuzioni uniformi (utile per applicazioni educative o di equità).
• Superamento del DPO: Offre una soluzione tecnica a un limite fondamentale del DPO, dimostrando che per il controllo distribuzionale è necessario un meccanismo di calibrazione esplicita (KL) combinato con l'allineamento semantico (KTO).
• Etica e Applicazioni: Fornisce uno strumento per mitigare i bias di genere e razziale nelle applicazioni che generano contenuti in massa, permettendo di "sbilanciare" intenzionalmente le uscite per correggere stereotipi o, al contrario, per riflettere accuratamente la realtà demografica quando richiesto.

In sintesi, il paper propone una soluzione robusta e matematicamente fondata per trasformare gli LLM da generatori di singoli testi a generatori controllabili di distribuzioni statistiche, aprendo la strada a applicazioni più affidabili e giuste.