Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

1. Il Problema

La valutazione della fattualità delle risposte generate da modelli linguistici di grandi dimensioni (LLM) in formato esteso (long-form) rimane una sfida significativa. Le metodologie di valutazione esistenti si concentrano prevalentemente sulla precisione: scompongono la risposta in affermazioni atomiche e verificano ciascuna contro fonti esterne (es. Wikipedia, motori di ricerca). Se un'affermazione è supportata, è considerata fattuale.

Tuttavia, questo approccio presenta un limite fondamentale: ignora la dimensione della recall (richiamo). Le metriche basate sulla precisione non rilevano se il modello omette informazioni critiche o fatti rilevanti che avrebbero dovuto essere inclusi nella risposta. In scenari open-ended, un modello potrebbe generare affermazioni tutte corrette (alta precisione) ma essere comunque incompleto e fuorviante per la mancanza di dati essenziali (bassa recall). Inoltre, le approcci recenti che tentano di misurare la recall spesso si basano su euristiche fragili (es. un numero fisso di fatti attesi) o su livelli di copertura troppo macroscopici (sottotemi), trascurando le unità fattuali granulari e la loro importanza relativa.

2. Metodologia

Gli autori propongono un framework di valutazione unificato che misura congiuntamente precisione e recall, introducendo un meccanismo di pesatura basata sull'importanza dei fatti.

A. Costruzione del Set di Fatti di Riferimento (Reference Fact Set)

Il processo si basa su Retrieval Augmented Generation (RAG) e si articola in tre fasi:

1. Recupero (Retrieval): Per una data query $q$, vengono recuperati i documenti top-$k$ da una fonte di conoscenza esterna $S$ (es. Wikipedia, Google Search).
2. Estrazione dei Fatti (Fact Extraction): I documenti recuperati vengono elaborati da un LLM per estrarre un inventario di fatti atomici, unici e specifici (es. date, quantità, entità nominate), rimuovendo ridondanze e duplicati.
3. Valutazione dell'Importanza (Importance Scoring): A differenza dei lavori precedenti che trattano tutti i fatti allo stesso modo, questo framework assegna a ogni fatto $f_k$ un punteggio di importanza composto da due dimensioni:
   • Rilevanza ($r_k$): Quanto il fatto è pertinente per rispondere alla query specifica.
   • Salienza ($s_k$): Quanto il fatto è centrale per l'argomento o l'entità principale, indipendentemente dalla formulazione del documento.
   • Il punteggio composito è calcolato come: $imp(f_k; q) = \alpha \tilde{r}_k + \beta \tilde{s}_k$.
     I fatti vengono poi ordinati per importanza per formare un set di riferimento "da includere" ($F^\star$).

B. Estrazione delle Affermazioni e Valutazione

1. Estrazione delle Affermazioni (Claim Extraction): La risposta generata dal modello ($G_o$) viene scomposta in affermazioni atomiche ($C$) utilizzando procedure simili a VeriScore.
2. Precisione Fattuale ($Prec_F$): Si verifica se ogni affermazione estratta è supportata, contraddetta o non supportata dalle evidenze recuperate. La precisione è la frazione di affermazioni supportate.
3. Recall Fattuale ($Rec_F$): Si misura quanto il set di affermazioni generate copre il set di riferimento $F^\star$.
   • Recall Non Pesata: Frazione di fatti di riferimento coperti.
   • Recall Pesata ($Rec^w_F$): Frazione ponderata dell'importanza dei fatti coperti. Questo metrico premia la copertura dei fatti più critici e riduce l'impatto delle informazioni periferiche.

3. Contributi Chiave

1. Framework Unificato: Introduzione di un meccanismo automatico che valuta sia la precisione che la recall basandosi su fatti estratti da fonti esterne recuperate tramite RAG.
2. Metrica di Recall Sensibile all'Importanza: Proposta di un nuovo schema di scoring che pesa i fatti in base a rilevanza e salienza, superando la limitazione di trattare tutti i fatti come ugualmente importanti.
3. Analisi Empirica Estensiva: Valutazione dettagliata di diversi modelli LLM su tre domini di generazione estesa: FactScore (biografie), LongFact e LongForm.
4. Scoperta del Trade-off: Dimostrazione empirica che i modelli attuali tendono a performare molto meglio sulla precisione che sulla recall, evidenziando l'incompletezza fattuale come un limite principale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 modelli open-source (Llama-3.1, Qwen2.5, Mistral) e 2 modelli chiusi (GPT-4o-mini, Gemini-2.5-flash-lite) sui dataset menzionati.

• Precisione vs. Recall: I modelli mostrano una performance sostanzialmente superiore sulla precisione rispetto alla recall. Questo suggerisce che i modelli sono bravi a non inventare fatti (o a non contraddire le evidenze), ma falliscono nel generare l'insieme completo di informazioni rilevanti.
• Impatto della Lunghezza: Esiste un trade-off tra lunghezza della generazione e qualità. Modelli che generano testi molto lunghi (es. Gemini-2.5) tendono ad avere una recall più alta ma una precisione più bassa, poiché aumentano il numero di affermazioni non supportate. Tuttavia, modelli come GPT-4o-mini dimostrano un'efficienza maggiore, ottenendo alta recall con un numero di affermazioni più contenuto e una precisione superiore.
• Tipologia di Errori: La maggior parte degli errori non deriva da contraddizioni dirette con le evidenze, ma da affermazioni "non supportate" (mancanza di evidenze). Le contraddizioni esplicite sono più frequenti nel dominio delle biografie.
• Importanza dei Fatti: L'analisi della recall pesata rivela che i modelli sono relativamente efficaci nel coprire i fatti più importanti (alta salienza/rilevanza), ma la loro capacità di coprire l'intero spettro dei fatti rilevanti diminuisce drasticamente man mano che si scende nella gerarchia di importanza.
• Configurazione di Scoring: L'uso di un punteggio combinato (rilevanza + salienza) per costruire il set di riferimento si è dimostrato più robusto rispetto all'uso isolato di uno dei due parametri, garantendo una copertura fattuale più completa.

5. Significato e Conclusioni

Questo lavoro sposta il paradigma di valutazione della fattualità degli LLM da una visione puramente basata sulla correttezza (precisione) a una visione olistica che include la completezza (recall).

• Limitazione Attuale: L'incompletezza fattuale è identificata come una delle principali limitazioni della generazione estesa. I modelli tendono a "coprire" i fatti principali ma lasciano indietro dettagli cruciali necessari per una risposta completa.
• Valore della Metrica: L'introduzione della recall pesata per importanza offre una visione più sfumata della qualità del modello, permettendo di distinguere tra un modello che omette dettagli minori e uno che manca di informazioni fondamentali.
• Implicazioni Future: Il paper suggerisce che le future ricerche dovrebbero focalizzarsi non solo sulla riduzione delle allucinazioni (migliorare la precisione), ma anche sull'ottimizzazione della capacità di recupero e sintesi di tutte le informazioni pertinenti (migliorare la recall), utilizzando fonti di conoscenza più affidabili e filtrate per la costruzione dei set di riferimento.

In sintesi, il paper dimostra che per valutare realmente la fattualità in contesti complessi, non basta chiedersi "quanti fatti ha detto correttamente?", ma bisogna anche chiedersi "quanti fatti importanti ha dimenticato?".