IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

Titolo

IUQ: Quantificazione dell'Incertezza Interrogativa per la Generazione di Lunga Forma nei Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

Nonostante i rapidi progressi dei Large Language Models (LLM), la quantificazione dell'incertezza (Uncertainty Quantification - UQ) nella generazione di testi lunghi e liberi rimane una sfida significativa.

• Limiti degli approcci attuali: I metodi UQ recenti funzionano bene per risposte brevi o vincolate (es. scelta multipla), sfruttando la coerenza tra campioni o le probabilità dei token. Tuttavia, falliscono nella generazione libera di lunga forma.
• Il paradosso della coerenza: Gli LLM tendono a produrre risposte semanticamente coerenti ma fattualmente inaccurate (allucinazioni). Una volta che il modello inventa un fatto iniziale per mantenere la coerenza logica, genera un intero contesto plausibile basato su quella premessa falsa.
• Dipendenza contestuale intra-campione: I metodi basati sulla coerenza tra campioni (inter-sample) non rilevano queste allucinazioni perché, se si campionano più risposte, il modello tende a ripetere la stessa allucinazione coerente all'interno di ogni singola risposta. Il modello appare "sicuro" e coerente, ma è fondamentalmente errato.
• Mancanza di verifica della conoscenza reale: Gli attuali metodi non distinguono tra la coerenza logica interna del testo generato e la reale conoscenza del modello sul soggetto.

2. Metodologia: IUQ (Interrogative Uncertainty Quantification)

Il paper introduce IUQ, un framework che combina la coerenza tra campioni (inter-sample) con la fedeltà intra-campione (intra-sample) attraverso un paradigma "interrogare-poi-rispondere".

Il processo si articola in quattro fasi principali:

1. Generazione della Risposta:

   • Dato un prompt, il modello genera $N$ risposte diverse (lunga forma).
   • Ogni risposta viene decomposta in affermazioni atomiche (claim) tramite un LLM.

2. Estrazione delle Domande (Claim-Level Questioning):

   • Per ogni affermazione atomica estratta, un "Interrogatore" (lo stesso modello LLM) genera domande specifiche che isolano quel fatto dal contesto generativo.
   • Questo decoupling è cruciale: rimuove la dipendenza dal contesto precedente che potrebbe aver forzato l'allucinazione.

3. Valutazione della Fedeltà (Claim-Level Faithfulness):

   • Il modello risponde alle domande generate in una sessione separata (senza il contesto della risposta originale).
   • Si confrontano le risposte ottenute con le affermazioni originali. Se le risposte alle domande contraddicono l'affermazione originale, ciò indica che il modello ha "inventato" quel fatto per mantenere la coerenza narrativa, non perché lo conoscesse realmente.
   • Viene calcolato un punteggio di Fedeltà ($F$) per ogni affermazione: $F(c_i) = 1 - \text{percentuale di contraddizione}$.

4. Quantificazione dell'Incertezza:

   • Coerenza Inter-campione: Si calcola la coerenza classica ($S$) basata su quante risposte generate supportano un dato claim.
   • Ponderazione dell'Incoerenza: Si introduce un kernel di influenza (es. decadimento esponenziale) per propagare l'effetto delle affermazioni non fedeli (bassa fedeltà) sui claim successivi. Un errore iniziale influenza negativamente la fiducia nell'intera catena logica successiva.
   • Punteggio Finale: L'incertezza $U(c_i)$ è data dalla coerenza inter-campione scalata dal peso dell'incoerenza intra-campione: $U(c_i) = S(c_i) \cdot W(c_i)$.

3. Contributi Chiave

• Framework IUQ: Un nuovo metodo che valuta le risposte lunghe attraverso un probing fine-granularità della conoscenza a livello di affermazione, superando i limiti dei metodi basati solo sulla coerenza tra campioni.
• Analisi della "Coerenza Ingannevole": Il paper evidenzia e quantifica il fenomeno per cui gli LLM fabbricano informazioni per mantenere la coerenza logica, un comportamento che i metodi UQ tradizionali non riescono a catturare.
• Decoupling Contestuale: L'idea di isolare le affermazioni dal contesto generativo per testare la conoscenza reale del modello (tramite domande indipendenti) è un contributo metodologico fondamentale.
• Validazione Estensiva: Il metodo è stato testato su diverse famiglie di modelli (GPT-4o, LLaMA-3.1/3.3, Qwen2, Gemma-3, Mistral) e dimensioni (da 24B a 72B).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset specifici per la generazione di lunga forma:

• FActScore: Biografie di persone (spesso meno conosciute, più propense ad allucinazioni).
• LongFact: Prompt su vari argomenti (scienza, arte, ecc.).

Prestazioni:

• IUQ ha dimostrato prestazioni superiori rispetto a metodi baselines sia "black-box" (es. Entropia del Token, Perplexity, Claim Entailment, Closeness Centrality) che "white-box".
• Metriche: In termini di AUROC (Area Under the Receiver Operating Characteristic Curve), IUQ ha ottenuto i punteggi più alti o secondari migliori in quasi tutti i casi.
  • Su FActScore, IUQ ha superato il miglior baseline (Closeness Centrality) con un miglioramento medio del +2.3%.
  • Su LongFact, ha mostrato un miglioramento medio del +1.7%.
• Analisi di Fedeltà: L'analisi ha rivelato che i modelli sono meno fedeli su FActScore (argomenti meno noti) rispetto a LongFact. Inoltre, la varianza della fedeltà all'interno di una singola generazione è alta, indicando che le risposte spesso mescolano fatti veri e falsi in modo coerente.

5. Significato e Implicazioni

• Superamento del "Falso Senso di Sicurezza": IUQ risolve il problema critico in cui un modello appare sicuro e coerente pur essendo completamente allucinato. Riconoscendo che la coerenza interna non equivale alla verità fattuale.
• Affidabilità nelle Applicazioni Reali: Fornisce uno strumento essenziale per applicazioni che richiedono generazione di testo lungo e libero (es. report medici, biografie, analisi legali), dove l'accuratezza fattuale è prioritaria rispetto alla semplice fluidità linguistica.
• Scalabilità: Sebbene richieda più inferenze (e quindi costi computazionali superiori, circa il 47% in più rispetto ai metodi basati su grafi), il trade-off è giustificato dalla maggiore accuratezza nel rilevamento delle allucinazioni.

In sintesi, IUQ rappresenta un passo avanti significativo nella valutazione della fiducia negli LLM, spostando il focus dalla semplice coerenza statistica alla verifica attiva della conoscenza del modello attraverso un processo di interrogazione strutturato.