Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

1. Il Problema

I Large Language Models (LLM) sono soggetti a "allucinazioni", ovvero generano output fluenti ma fattualmente errati. Questo rappresenta un rischio critico in domini ad alta responsabilità come la medicina.
Per mitigare questi rischi, la Conformal Prediction (CP) è stata applicata per fornire stime di incertezza e garanzie statistiche sulla fattualità delle generazioni. Tuttavia, le approcci esistenti presentano un limite fondamentale: mancano di adattabilità al prompt.

• Limitazione attuale: I metodi CP standard utilizzano un singolo quantile calibrato globalmente, applicato uniformemente a tutti i prompt di test, indipendentemente dalla loro difficoltà, ambiguità o rarità.
• Conseguenza: Sebbene garantiscano una copertura marginale valida in media, falliscono nel garantire una copertura condizionale (per categoria o per tipo di prompt). Questo porta a:
  • Sovra-copertura (Over-coverage): Filtrare troppo pochi elementi per prompt difficili (troppi falsi positivi).
  • Sotto-copertura (Under-coverage): Filtrare troppi elementi per prompt facili (perdita di informazioni utili).

2. Metodologia

Gli autori propongono un approccio di Conformal Prediction Adattiva che estende i metodi di trasformazione dei punteggi di non conformità agli LLM, permettendo una calibrazione dipendente dal prompt.

A. Fondamenti Teorici

Il metodo si basa sulla trasformazione dei punteggi di non conformità $V(x, y)$ utilizzando una normalizzazione dipendente dall'input. Invece di usare un soglia globale, il sistema stima un quantile condizionale $\hat{\tau}(x)$ basato sulle caratteristiche del prompt.
La trasformazione è definita come:
$$\tilde{V}(x, y) = \frac{V(x, y)}{\hat{\tau}(x)}$$
Questa operazione riduce la variabilità del punteggio attraverso diversi input, allineando le distribuzioni condizionali e permettendo l'uso di una soglia globale sui punteggi trasformati.

B. Implementazione per LLM

Il framework è applicato a due scenari principali:

1. QA a risposta lunga (Long-form QA):

   • Le risposte dell'LLM vengono scomposte in affermazioni atomiche verificabili.
   • Viene definito un punteggio di incertezza $s(c)$ per ogni affermazione (es. probabilità condizionata, entropia).
   • Viene definita una funzione di fattualità $w(c, y)$ (basata su modelli NLI) che verifica se l'affermazione è corretta rispetto alla verità fondamentale.
   • Il punteggio di non conformità $V(x, y)$ è la massima soglia di incertezza tale che tutte le affermazioni trattenute siano fattualmente corrette.
   • Adattività: Viene addestrato un regressore di quantili condizionali (usando la pinball loss) su un set di calibrazione $D_{cal1}$, utilizzando embedding del prompt come input. Questo stimatore $\hat{\tau}(x)$ normalizza i punteggi su un secondo set di calibrazione $D_{cal2}$ per determinare la soglia finale.

2. QA a scelta multipla (Multiple-Choice QA):

   • Il metodo si estende naturalmente trattando le classi di risposta come elementi da filtrare.
   • Viene utilizzato il Least Ambiguous Classifier (LAC) per definire il punteggio di non conformità.

C. Garanzie

Il metodo preserva le garanzie di copertura marginale finite (tipiche della CP divisa), assicurando che la probabilità che la risposta corretta sia inclusa nel set predittivo sia almeno $1-\alpha$. Tuttavia, migliora significativamente la copertura condizionale.

3. Contributi Chiave

1. Nuovo Approccio Adattivo: Proposta di un metodo di CP per la rilevazione di allucinazioni negli LLM che impara una correzione adattiva ai prompt tramite regressione dei quantili condizionali basata sugli embedding.
2. Miglioramento della Copertura Condizionale: Dimostrazione teorica ed empirica che il metodo mantiene le garanzie marginali mentre migliora drasticamente la copertura condizionale su prompt eterogenei.
3. Supporto alla Predizione Selettiva: L'approccio permette di filtrare naturalmente affermazioni o risposte inaffidabili, rendendolo utile per applicazioni downstream dove la precisione è prioritaria.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli (Mistral-7B, Llama-3.1-8B, Gemma-3-12B) e domini (8 categorie per QA a risposta lunga, 16 categorie per QA a scelta multipla dal dataset MMLU).

• Copertura Condizionale:
  • I metodi basali (CP globale) mostrano forti deviazioni dalla copertura target a livello di categoria (es. sovra-copertura su "Invenzioni" e sotto-copertura su "Biografie").
  • Il metodo Adaptive (proposto) allinea la copertura empirica al target per quasi tutte le categorie, riducendo la varianza e migliorando la stabilità.
• Efficienza del Filtro:
  • Il metodo adattivo tende a ridurre la frazione di affermazioni rimosse (o risposte scartate) rispetto ai metodi globali, mantenendo al contempo una copertura corretta. Questo significa che il modello è meno conservativo su prompt facili e più rigoroso su quelli difficili.
• Metriche:
  • Per il QA a risposta lunga, la funzione di punteggio Claim Conditioned Probability (CCP) ha mostrato le migliori prestazioni nel filtrare le affermazioni errate.
  • I profili di performance di Dolan-Moré confermano che il metodo adattivo ha un errore di calibrazione inferiore rispetto ai baselines su quasi tutti i problemi testati.

5. Significato e Impatto

Questo lavoro è significativo perché risolve una delle principali limitazioni dell'applicazione della Conformal Prediction agli LLM: l'incapacità di gestire l'eterogeneità dei prompt.

• Affidabilità Pratica: Permette di utilizzare gli LLM in contesti reali con garanzie di affidabilità più robuste, non solo in media, ma anche per specifici tipi di domande o domini.
• Flessibilità: Il framework è agnostico rispetto al modello sottostante e può essere integrato con diverse tecniche di quantificazione dell'incertezza.
• Futuro: Apre la strada a sistemi di generazione che possono adattarsi dinamicamente alla difficoltà del compito, filtrando proattivamente le informazioni inaffidabili senza sacrificare la completezza delle risposte corrette.

In sintesi, l'approccio proposto trasforma la Conformal Prediction da uno strumento statistico statico a uno strumento dinamico e adattivo, essenziale per l'uso sicuro e affidabile dei Large Language Models.