Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

1. Il Problema: Allineamento delle Preferenze e Allucinazioni

I metodi di allineamento delle preferenze, come il Reinforcement Learning from Human Feedback (RLHF) e l'Optimizzazione Diretta delle Preferenze (DPO), sono fondamentali per rendere i Large Language Models (LLM) utili e sicuri. Tuttavia, questi metodi presentano un difetto critico: tendono a rinforzare le allucinazioni.

• La causa: Le annotazioni umane (o i giudici automatizzati) spesso premiano risposte fluide, confidenti e ben strutturate, anche se fattualmente errate. Di conseguenza, l'ottimizzazione delle preferenze può spingere il modello a generare affermazioni false ma convincenti.
• Il limite delle soluzioni attuali: Gli approcci esistenti per migliorare la fattualità richiedono spesso modelli di ricompensa ausiliari, supervisione a livello di token, pipeline di addestramento multi-stadio o verificate esterne, aumentando notevolmente la complessità computazionale e i costi.

2. Metodologia: F-DPO (Factuality-aware Direct Preference Optimization)

Gli autori propongono F-DPO, un'estensione semplice ma efficace del DPO standard che utilizza esclusivamente etichette binarie di fattualità (fatto vs. allucinazione) per correggere l'allineamento tra preferenze e verità fattuale.

Il metodo si basa su due meccanismi principali:

A. Trasformazione delle Etichette (Label Flipping)

Il dataset di preferenze viene arricchito con un indicatore binario $h \in \{0, 1\}$ per ogni risposta ($0$ = fattuale, $1$ = allucinazione).

• Se la risposta "vincitrice" (preferita) è meno fattuale della risposta "perdente" (scartata) (cioè $h_{winner}=1$ e $h_{loser}=0$), la coppia di preferenze viene invertita.
• Questo garantisce che, prima dell'ottimizzazione, la risposta scelta sia sempre almeno altrettanto fattuale quanto quella scartata, correggendo i dati di addestramento rumorosi.

B. Margine Condizionato alla Fattualità (Factuality-Aware Margin)

L'obiettivo di perdita (loss function) del DPO viene modificato introducendo un termine di penalità basato sulla differenza di fattualità ($\Delta h$):
$$m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$$
Dove:

• $m_{\pi, \pi_{ref}}$ è il margine standard di preferenza.
• $\Delta h = h_{loser} - h_{winner}$.
• $\lambda$ è un iperparametro che controlla la forza della penalità.

Effetti:

• Se la risposta scelta è fattuale e quella scartata è un'allucinazione ($\Delta h = 1$), il margine effettivo diminuisce, aumentando la perdita (loss) e costringendo il modello a imparare più fortemente a preferire la risposta corretta.
• Se entrambe le risposte hanno la stessa fattualità ($\Delta h = 0$), l'obiettivo si riduce al DPO standard, preservando le preferenze originali su altri aspetti (es. stile, utilità).

3. Costruzione del Dataset

Per addestrare F-DPO, gli autori hanno creato un dataset di preferenze "consapevole della fattualità":

1. Fonte: Utilizzo del corpus Skywork Reward-Preference (80k coppie).
2. Etichettatura: Utilizzo di GPT-4o-mini come giudice automatico per assegnare etichette binarie (fatto/allucinazione) a ogni risposta.
3. Generazione Sintetica: Creazione di varianti sintetiche di risposte corrette che contengono errori fattuali plausibili ma fluenti, per bilanciare le configurazioni di fattualità.
4. Pipeline: Un processo di 8 stadi che include pulizia, etichettatura, generazione sintetica, bilanciamento e applicazione della trasformazione delle etichette (flipping). Il dataset finale contiene 45.000 coppie bilanciate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 7 LLM open-weight (da 1B a 14B parametri), inclusi modelli della famiglia Qwen, LLaMA e Gemma.

• Riduzione delle Allucinazioni: F-DPO riduce costantemente i tassi di allucinazione rispetto sia ai modelli base che al DPO standard.
  • Su Qwen3-8B, il tasso di allucinazione è sceso da 0.424 a 0.084 (una riduzione di 5 volte), con un aumento del punteggio di fattualità del 50% (da 5.26 a 7.90).
  • Su Qwen2.5-14B, il tasso di allucinazione è sceso a 0.008 (quasi un ordine di grandezza di miglioramento rispetto al modello base).
• Generalizzazione (Out-of-Distribution): Su TruthfulQA, F-DPO ha mostrato miglioramenti significativi:
  • +17% di accuratezza su MC1 (0.500 $\to$ 0.585).
  • +49% di accuratezza su MC2 (0.357 $\to$ 0.531).
  • Al contrario, il DPO standard ha spesso peggiorato le prestazioni su TruthfulQA.
• Efficienza: Il metodo non richiede modelli di ricompensa esterni, annotazioni a livello di token o fasi di addestramento multiple. È un approccio single-stage e response-level.
• Qualità della Risposta: F-DPO mantiene o migliora l'utilità (helpfulness) e riduce l'inadeguatezza delle risposte, senza compromettere la qualità generale del modello.

5. Contributi Chiave

1. F-DPO: Un'estensione del DPO che integra etichette binarie di fattualità tramite label flipping e un margine condizionato, correggendo direttamente le coppie di preferenze disallineate.
2. Efficacia Dimostrata: Miglioramenti coerenti nella fattualità e riduzione delle allucinazioni su una vasta gamma di modelli (1B-14B) senza bisogno di supervisione fine-granulare.
3. Generalizzazione: Dimostrazione che il metodo funziona bene anche su benchmark esterni non visti durante l'addestramento (TruthfulQA).
4. Semplicità: Eliminazione della necessità di modelli di ricompensa ausiliari o pipeline complesse, rendendo l'approccio scalabile ed efficiente.

6. Significato e Implicazioni

Il lavoro di F-DPO è significativo perché affronta direttamente il paradosso per cui l'allineamento delle preferenze, nato per migliorare i modelli, può talvolta peggiorarne la veridicità.

• Semplicità vs. Complessità: Dimostra che è possibile ottenere miglioramenti sostanziali nella fattualità senza la complessità computazionale delle soluzioni attuali (come i verificate multi-stadio).
• Sicurezza e Affidabilità: Riducendo le allucinazioni, F-DPO rende gli LLM più affidabili per applicazioni ad alto rischio (medicina, legge, finanza), dove la precisione fattuale è critica.
• Limiti: Il metodo si basa su etichette binarie (fatto/sbagliato) che potrebbero non catturare sfumature di verità parziale o incertezza epistemica. Inoltre, la scelta dell'iperparametro $\lambda$ richiede una calibrazione, sebbene i risultati mostrino una buona stabilità in un ampio intervallo di valori.

In sintesi, F-DPO offre un percorso pratico ed efficiente per allineare i modelli linguistici alla verità fattuale, mitigando il rischio di generare risposte fluide ma false.