Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

Sintesi Tecnica: Generazione Controllata dalla Fattualità (FCG)

1. Definizione del Problema

I Large Language Models (LLM) possiedono una conoscenza interna con gradi variabili di affidabilità, creando un compromesso intrinseco tra fattualità (accuratezza) e informatività (dettaglio). Nei domini ad alto rischio (ad es. medico, legale), gli utenti richiedono output conservativi e altamente fattuali, mentre i compiti creativi o di brainstorming spesso privilegiano contenuti ricchi nonostante i potenziali rischi di fattualità.

Gli attuali modelli di frontiera mancano di un meccanismo integrato per controllare questo compromesso. Sebbene gli utenti possano tentare di guidare il comportamento tramite prompt (ad es. "sii più fattuale"), le evidenze empiriche mostrano che questi modelli non regolano in modo affidabile i propri output per soddisfare specifici obiettivi di fattualità. Gli esistenti benchmark di valutazione come FactScore rivelano che i modelli standard spesso non riescono a soddisfare anche vincoli di fattualità moderati o rigorosi, rendendo necessaria un'alternativa controllabile che permetta agli utenti di specificare un livello di fattualità desiderato.

2. Metodologia: Generazione Controllata dalla Fattualità (FCG)

Gli autori propongono la Generazione Controllata dalla Fattualità (FCG), un framework in cui un LLM riceve in input una query e un vincolo numerico di fattualità $c \in [0, 1]$, generando una risposta in cui la proporzione di affermazioni fattuali supportate soddisfa o supera $c$, massimizzando al contempo l'informatività.

A. Pipeline di Generazione di Dati Sintetici
Poiché non esiste un dataset etichettato per triadi (domanda, vincolo di fattualità, risposta gold), gli autori introducono una pipeline sintetica guidata dalla confidenza per costruire i dati di addestramento:

1. Generazione Iniziale: Un modello base genera una risposta dettagliata e non vincolata ($r_0$) per una data domanda.
2. Segmentazione dei Fatti: La risposta viene segmentata in affermazioni fattuali atomiche.
3. Scoring della Confidenza: Il modello viene istruito per valutare la confidenza di ogni fatto atomico (ad es. "Questo è Vero o Falso?"), derivando un punteggio di probabilità.
4. Potatura Iterativa (Pruning): I fatti sono classificati per confidenza. Per soddisfare un target di vincolo $c$, il sistema rimuove progressivamente i fatti a minore confidenza finché il sottoinsieme rimanente non soddisfa la soglia di fattualità.
5. Ricostruzione: I fatti rimanenti ad alta confidenza vengono riuniti in una risposta fluida, preservando la formulazione originale ove possibile.
   Questo processo viene ripetuto attraverso un intervallo di valori $c$ (ad es. da 0,1 a 1,0) per creare set di risposte allineati per il fine-tuning supervisionato.

B. Addestramento e Inferenza
Gli autori effettuano il fine-tuning di un modello Mistral-7B sulle triadi sintetiche $(domanda, c, risposta)$. Durante l'inferenza, il modello è condizionato sul livello di fattualità $c$ specificato dall'utente, permettendogli di regolare dinamicamente il proprio output per soddisfare il vincolo senza richiedere filtraggio iterativo o ri-classificazione post-hoc.

C. Metriche di Valutazione
Le prestazioni sono valutate su due assi utilizzando FactScore:

• Adesione alla Fattualità: La proporzione di generazioni in cui il punteggio di fattualità $f(o) \ge c$.
• Informatività: Il numero di affermazioni atomiche validate nell'output, normalizzato per lunghezza.

3. Contributi Chiave

• Definizione del Task: Introduzione della FCG come task di generazione controllata che condiziona gli output degli LLM su una soglia di fattualità specificata dall'utente.
• Framework di Addestramento Sintetico: Sviluppo di una nuova pipeline per generare dati di addestramento potando sistematicamente i fatti a bassa confidenza dalle generazioni non vincolate, consentendo l'apprendimento supervisionato del compromesso fattualità-informatività.
• Validazione Empirica: Dimostrazione che il fine-tuning su questi dati sintetici supera significativamente i baseline basati sul prompting nel rispettare i vincoli di fattualità.

4. Risultati

Gli esperimenti sono stati condotti su un compito di generazione di biografie utilizzando 500 entità (450 per l'addestramento, 50 per la validazione, 183 per il test).

• Adesione alla Fattualità:

  • Baseline di Prompting: Il prompting standard (Factuality-Controlled Inference, FCI) non è riuscito a migliorare l'adesione; in alcuni casi (ad es. $c=0,9$), l'adesione è diminuita rispetto al baseline non vincolato (3,8% vs 5,5%).
  • Addestramento FCG: Il modello sottoposto a fine-tuning ha mostrato miglioramenti sostanziali. L'adesione è aumentata del 17,2% a $c=0,8$ e del 130,0% a $c=0,9$ rispetto al baseline.
  • Vincoli Rigorosi: Al livello più rigoroso ($c=1,0$, che richiede che tutte le informazioni siano corrette), il baseline e i metodi FCI hanno ottenuto un'adesione dello 0%, mentre il modello FCG ha raggiunto il 23,6%.

• Compromesso Fattualità–Informatività:

  • Il modello FCG sposta verso l'esterno la frontiera del compromesso. Per qualsiasi livello di fattualità dato, FCG produce risposte con maggiore informatività (più fatti supportati) rispetto ai baseline.
  • Notevolmente, a $c=1,0$, il modello FCG ha fornito risposte non vuote e completamente fattuali, mentre il baseline di inferenza doveva effettivamente eliminare tutto il contenuto per evitare allucinazioni, risultando in un'informatività pari a zero.

5. Significato e Rivendicazioni

Il paper sostiene che la FCG fornisca un meccanismo affidabile per consentire agli utenti di personalizzare l'equilibrio tra fattualità e informatività degli output degli LLM in base alle specifiche esigenze applicative. Interiorizzando il compromesso attraverso l'addestramento supervisionato su dati sintetici, il modello impara a "scartare i dettagli meno certi ma mantenere tutto il resto" quando viene richiesta un'alta fattualità.

Gli autori pongono questo lavoro come un passo verso LLM più affidabili e flessibili, in particolare per compiti ad alta intensità di conoscenza. Essi sottolineano che il loro metodo migliora la controllabilità senza l'overhead computazionale del filtraggio post-hoc o del campionamento di rifiuto utilizzato in altri framework.

Limitazioni Riconosciute:

• Lo studio è attualmente limitato alla lingua inglese e ai compiti di generazione di biografie.
• Gli esperimenti sono stati condotti su un modello di medie dimensioni (Mistral-7B); la scalabilità ad architetture più grandi e all'avanguardia rimane non testata.
• L'applicabilità del framework ad altre lingue e compiti generativi complessi (ad es. comprensione multimodale) richiede ulteriori indagini.