Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

1. Enunciazione del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG) sono progettati per ancorare i Modelli Linguistici di grandi dimensioni (LLM) a evidenze esterne. Tuttavia, si verifica una modalità di fallimento critica nota come infedeltà quando i modelli ignorano il contesto recuperato e si affidano invece alla loro memoria parametrica interna (conoscenza acquisita durante il pre-addestramento).

• Causa Radice: Le perdite standard di previsione del token successivo trattano tutti i token in modo uguale, non distinguendo tra informazioni derivate dal contesto e fatti memorizzati. Senza segnali di addestramento espliciti che premiano l'ancoraggio al contesto, i modelli ricorrono alla conoscenza interna quando sorgono conflitti.
• Lacuna: Le soluzioni esistenti si concentrano o sulla risoluzione dei conflitti al momento dell'inferenza (ad es. Self-RAG, FaithfulRAG) o forniscono benchmark di valutazione su piccola scala (ad es. FaithEval con circa 4.900 campioni). Manca un dataset di addestramento su larga scala e di alta qualità specificamente progettato per costringere i modelli a dare priorità al contesto recuperato rispetto alla memoria interna attraverso conflitti di conoscenza controllati.

2. Metodologia: Costruzione di Faithfulness-QA

Gli autori propongono Faithfulness-QA, un dataset di 99.094 campioni costruito tramite una pipeline completamente automatizzata in quattro fasi. Il meccanismo centrale è la Sostituzione Controfattuale delle Entità, che crea conflitti artificiali tra il contesto e la probabile conoscenza parametrica del modello.

A. Dati di Origine

Il dataset è costruito a partire da due benchmark complementari di QA estrattivi:

1. SQuAD: 87.599 coppie (paragrafi di Wikipedia, lunghezza mediana 701 caratteri).
2. TriviaQA: 87.041 coppie (documenti di prova più lunghi, lunghezza mediana 1.581 caratteri).

B. La Pipeline a Quattro Fasi

1. Costruzione del Banco di Entità:

   • Estrazione delle entità nominate dai contesti di origine utilizzando il modello NER en_core_web_lg di SpaCy.
   • Creazione di un banco di 76.953 entità uniche attraverso 8 tipi: PERSONA, GPE, ORG, DATA, CARDINALE, NORP, LUOGO ed EVENTO.
   • Filtraggio delle entità per lunghezza (2–100 caratteri).

2. Corrispondenza Risposta–Entità:

   • Per ogni campione QA $(q, c, a)$, il sistema tenta di far corrispondere la risposta $a$ a un'entità NER riconosciuta nel contesto $c$.
   • Utilizza una cascata a tre strategie: corrispondenza esatta, corrispondenza di sottostringa e sovrapposizione posizionale.
   • I campioni che non riescono a corrispondere a un'entità nominata vengono filtrati (questo è il collo di bottiglia principale).

3. Sostituzione Controfattuale delle Entità (Fase Centrale):

   • Identifica l'entità della risposta originale ($e_{orig}$) e il suo tipo ($t$).
   • Campiona un'entità di sostituzione ($e_{new}$) dal banco che condivide lo stesso tipo $t$ ma è distinta da $e_{orig}$.
   • Impone la compatibilità della lunghezza ($0,3 \le |e_{new}|/|e_{orig}| \le 3,0$).
   • Sostituzione Globale: Sostituisce tutte le occorrenze di $e_{orig}$ (senza distinzione di maiuscole/minuscole) con $e_{new}$ nel contesto per creare $c'$.
   • La nuova risposta "fedele" diventa $e_{new}$.

4. Filtraggio della Qualità e Suddivisione:

   • Applica 6 controlli basati su regole (ad es. garantire che la nuova entità sia nel contesto modificato, che l'originale sia rimossa, che la lunghezza del contesto sia sufficiente, che non ci siano sostituzioni eccessive).
   • Divide i campioni superati in Train/Dev/Test (80/10/10) con un seed fisso (42).
   • L'intera pipeline è deterministica, eseguita su una singola CPU in circa 5,5 ore e non richiede GPU.

3. Contributi Chiave

1. Dataset Faithfulness-QA: Una risorsa su larga scala (99K campioni) specificamente progettata per addestrare modelli RAG a seguire il contesto piuttosto che la memoria parametrica. È circa 20 volte più grande dei benchmark di valutazione della fedeltà esistenti.
2. Pipeline di Costruzione Automatizzata: Una pipeline completamente automatizzata e open-source che raggiunge un tasso di successo di sostituzione del 56,7% con tassi di superamento della qualità del 100% sui campioni auditati.
3. Banco di Entità Tipizzate: Una risorsa riutilizzabile di 76.953 entità attraverso 8 categorie, che consente una costruzione del dataset riproducibile ed estensibile.
4. Analisi Completa: Analisi statistica dettagliata delle distribuzioni delle entità, delle lunghezze dei contesti e delle modalità di fallimento, dimostrando la complementarità delle fonti SQuAD e TriviaQA.

4. Risultati e Statistiche

• Scala: 99.094 campioni totali (49.094 da SQuAD, 50.000 da TriviaQA).
• Tasso di Successo: 56,7% complessivo (56,0% per SQuAD, 57,4% per TriviaQA).
• Analisi dei Fallimenti: La ragione principale del filtraggio (64,0%) è la mancanza di un'entità NER corrispondente (ad es. le risposte sono frasi descrittive o valori booleani). Questo è un compromesso deliberato per garantire sostituzioni ben definite e coerenti per tipo.
• Audit di Qualità: Un audit casuale su 200 campioni ha raggiunto tassi di superamento del 100% su quattro dimensioni: presenza della sostituzione, rimozione dell'originale, modifica del contesto e rapporto di lunghezza.
• Distribuzione delle Entità:
  • TriviaQA è dominata dalle entità PERSONA (45,7%).
  • SQuAD mostra una distribuzione più uniforme tra ORG, DATA e PERSONA.
  • La combinazione garantisce una copertura ampia, mitigando l'overfitting specifico per tipo.

5. Significato e Applicazioni

Faithfulness-QA affronta una lacuna critica nell'ecosistema RAG spostando il focus dalla valutazione della fedeltà al training per essa.

• Fine-Tuning Consapevole della Fedeltà: Consente di addestrare modelli a sovrascrivere la memoria parametrica quando entra in conflitto con le evidenze recuperate.
• Funzioni di Perdita Basate sull'Attenzione: Le regioni di modifica esplicite consentono la supervisione dei pesi dell'attenzione incrociata, incoraggiando i modelli a prestare attenzione al contesto.
• Ricerca sui Conflitti di Conoscenza: Fornisce un ambiente controllato per studiare come gli LLM risolvono i conflitti tra evidenze esterne e credenze interne.
• Complementarità: Mentre FaithEval funge da benchmark per la valutazione, Faithfulness-QA funge da risorsa di addestramento per costruire modelli capaci di superare tali benchmark.

6. Limitazioni e Lavori Futuri

• Limitazioni:
  • Nessuna risoluzione della coreferenza (i pronomi che si riferiscono alle entità sostituite non vengono aggiornati).
  • Si basa su filtraggi basati su regole piuttosto che su modelli NLI per la coerenza semantica.
  • Alcune sostituzioni possono essere sintatticamente valide ma semanticamente implausibili (ad es. "Amritsar, Illinois").
  • Attualmente limitato all'inglese.
• Direzioni Future: Integrazione della risoluzione della coreferenza, utilizzo di LLM per il matching delle entità per migliorare i tassi di successo, applicazione di filtraggi basati su NLI e conduzione di esperimenti di addestramento a valle con LLM open-source (Llama-3, Mistral, Qwen).

Conclusione: Faithfulness-QA fornisce l'infrastruttura necessaria per spostare i sistemi RAG da "aumentati dal recupero" a "fedeli al recupero", garantendo che i modelli si affidino genuinamente alle evidenze loro fornite piuttosto che ai loro pregiudizi pre-addestrati.