Differentiable Conformal Training for LLM Reasoning Factuality

1. Il Problema: Allucinazioni e Limiti della Conformal Prediction

I Large Language Models (LLM) sono sempre più utilizzati in contesti ad alto rischio, ma sono soggetti a allucinazioni (generazione di informazioni false con alta confidenza). Per mitigare questo problema, la Conformal Prediction (CP) è stata adattata per fornire garanzie statistiche sulla fattualità delle uscite degli LLM.

Il metodo esistente più avanzato, Coherent Factuality (CF), estende la CP al ragionamento multi-step rappresentando le uscite come Grafici di Deduzione Approssimata (ADG). Invece di trattare le affermazioni (claim) in modo indipendente, CF valuta la validità di un nodo solo se tutti i suoi "antenati" logici (i passaggi precedenti) sono corretti.

Tuttavia, CF presenta un limite critico:

• Utilizza punteggi di rischio basati su frequenze (hand-crafted), calcolati tramite la coerenza auto-consistente (self-consistency) delle generazioni.
• Questi punteggi non sono ottimizzabili end-to-end.
• Per garantire livelli di affidabilità elevati (es. tasso di errore $\alpha < 0.1$), il metodo deve essere estremamente conservativo, rimuovendo fino al 60% delle affermazioni vere per mantenere le garanzie di copertura. Questo riduce drasticamente l'utilità pratica del sistema.

2. Metodologia: Differentiable Coherent Factuality (DCF)

Gli autori introducono Differentiable Coherent Factuality (DCF), un rilassamento completamente differenziabile di CF che permette l'ottimizzazione tramite gradiente dei punteggi di rischio, pur mantenendo le garanzie teoriche del metodo originale.

Rilassamenti Differenziabili

Il cuore di DCF è la sostituzione delle operazioni discrete e non differenziabili di CF con surrogate differenziabili, permettendo il flusso dei gradienti durante l'addestramento:

1. Filtraggio Soft (Threshold Filtering):

   • CF: Un indicatore binario $\mathbb{1}\{r_v \le \tau\}$ decide se mantenere un nodo.
   • DCF: Sostituito con una funzione sigmoidale $\sigma(\frac{\tau - r_v}{T_p})$, che restituisce una probabilità di ritenzione $p_{v,\tau} \in (0,1)$. La temperatura $T_p$ controlla la durezza del filtro.

2. Coerenza degli Antenati (Ancestor Coherence):

   • CF: Un nodo è mantenuto solo se tutti i suoi antenati sono mantenuti (operazione logica AND).
   • DCF: Rilassata come una media geometrica pesata delle probabilità di ritenzione dei nodi stessi e dei loro antenati. Se la probabilità di un antenato tende a zero, anche quella del nodo figlio tende a zero, preservando la struttura logica.

3. Calibrazione e Supremum (Nonconformity Score):

   • CF: Calcola il massimo $\tau$ tale che tutti i sottografi fino a quel punto siano coerenti.
   • DCF: Utilizza un Soft Supremum basato su una funzione di utilità che bilancia la grandezza della soglia $\tau$ contro una misura di violazione (quanto il filtro lascia passare affermazioni false). L'operazione di massimizzazione è rilassata tramite Softmax.

4. Predizione Vincolata:

   • CF: Seleziona il massimo $\tau < \hat{\tau}_\alpha$ (soglia calibrata).
   • DCF: Utilizza un Soft Argmax con un "gate" sigmoidale che smussa il vincolo $\tau < \hat{\tau}_\alpha$, permettendo ai gradienti di fluire attraverso la scelta della soglia.

Teoremi di Convergenza

Gli autori dimostrano teoricamente (Teoremi 3.1 e 3.2) che, man mano che i parametri di temperatura ($T_p, \tau_s, \tau_z$) tendono ai loro limiti (es. $T_p \to 0^+$, $\beta \to \infty$), le operazioni soft di DCF convergono esattamente all'algoritmo discreto originale di CF. Questo garantisce che l'ottimizzazione durante l'addestramento corrisponda all'obiettivo reale di massimizzare la ritenzione mantenendo le garanzie di copertura.

Funzione di Perdita (Training Objective)

Durante l'addestramento, il sistema simula l'intera pipeline conformale (calibrazione e predizione) su un set di dati diviso. La funzione di perdita massimizza il numero di affermazioni vere mantenute:
$$\mathcal{L}_{retention} = -\sum_{i \in D_{pred}} \sum_{v \in V_i} y_{i,v} \cdot q_{i,v}$$
dove $y_{i,v}$ è l'etichetta ground-truth e $q_{i,v}$ è la probabilità di ritenzione soft calcolata attraverso la pipeline differenziabile.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset di benchmark: MATH (problemi matematici complessi con catene di ragionamento lunghe) e FELM (domini misti con ragionamenti più semplici).

• Miglioramento della Ritenzione:
  • Su MATH, DCF ha ottenuto un miglioramento della ritenzione fino al 141% rispetto al baseline CF (basato su frequenze) mantenendo le garanzie di copertura. Ad esempio, a un livello di errore $\alpha=0.03$ (97% di affidabilità), DCF mantiene in media 1.76 affermazioni contro 0.73 del baseline.
  • Su FELM, il miglioramento è stato fino al 61%.
• Validità delle Garanzie:
  • DCF soddisfa i target di copertura ($1-\alpha$) nella maggior parte dei casi, dimostrando che il rilassamento differenziabile non compromette la validità statistica.
• Analisi delle Feature:
  • L'analisi SHAP rivela che DCF impara a combinare segnali complementari. Su MATH, le metriche di struttura del grafo (es. raggiungibilità, indice del claim) sono più importanti della frequenza di auto-coerenza.
  • Un caso studio mostra come DCF riesca a mantenere un'affermazione vera anche quando la sua frequenza è zero (perché è una tecnica rara), grazie al supporto fornito dalla struttura logica del grafo, mentre il baseline la scarterebbe.

4. Contributi Chiave

1. Teoria: Dimostrazione formale che le operazioni discrete di CF possono essere modellate fedelmente tramite rilassamenti differenziabili, recuperando l'algoritmo originale nel limite.
2. Metodologia: Sviluppo del primo framework di training conformale differenziabile per ragionamenti strutturati a grafo, permettendo l'ottimizzazione end-to-end delle funzioni di scoring.
3. Empirica: Dimostrazione che l'apprendimento di punteggi di rischio supera significativamente i metodi basati su regole manuali (fino al 141% di miglioramento), rendendo i sistemi conformali pratici per applicazioni reali senza sacrificare l'affidabilità.

5. Significato e Impatto

Questo lavoro colma il divario tra garanzie statistiche formali e utilità pratica negli LLM.

• I metodi conformali precedenti erano spesso inutilizzabili perché troppo conservativi (scartavano troppe informazioni utili).
• DCF dimostra che è possibile apprendere funzioni di scoring intelligenti che sfruttano la struttura logica del ragionamento, massimizzando l'informazione fornita all'utente mentre si mantiene un livello di errore controllato e garantito.
• Questo approccio è fondamentale per il dispiegamento sicuro di LLM in ambiti critici come la medicina, la finanza e la scienza, dove la fattualità è non negoziabile.