Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

1. Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen zijn ontworpen om Large Language Models (LLM's) te verankeren in externe bewijslast. Een kritieke faalmodus, bekend als ontrouwheid (unfaithfulness), treedt echter op wanneer modellen de opgehaalde context negeren en in plaats daarvan vertrouwen op hun interne parametrische geheugen (kennis verworven tijdens pre-training).

• Oorzaak: Standaard next-token prediction-losses behandelen alle tokens gelijk, waardoor ze geen onderscheid maken tussen informatie afgeleid uit de context en opgeslagen feiten. Zonder expliciete trainingsignalen die context-ankerpunten belonen, kiezen modellen bij conflicten standaard voor interne kennis.
• Kloof: Bestaande oplossingen richten zich óf op conflictresolutie tijdens de inferentie (bijv. Self-RAG, FaithfulRAG) óf bieden evaluatiebenchmarks op kleine schaal (bijv. FaithEval met ~4.9K samples). Er ontbreekt grootschalige, hoogwaardige trainingsdata die specifiek is ontworpen om modellen te dwingen prioriteit te geven aan opgehaalde context boven intern geheugen via gecontroleerde kennisconflicten.

2. Methodologie: Constructie van Faithfulness-QA

De auteurs stellen Faithfulness-QA voor, een dataset van 99.094 samples opgebouwd via een volledig geautomatiseerd, vierstapsproces. De kernmechanisme is Contradictorische Entiteitssubstitutie, wat kunstmatige conflicten creëert tussen de context en de waarschijnlijke parametrische kennis van het model.

A. Brondata

De dataset is opgebouwd uit twee complementaire extractieve QA-benchmarks:

1. SQuAD: 87.599 paren (Wikipedia-paragraphs, mediaanlengte 701 tekens).
2. TriviaQA: 87.041 paren (Langere bewijsdocumenten, mediaanlengte 1.581 tekens).

B. Het Vierstapsproces

1. Constructie van Entiteitenbank:

   • Genomineerde entiteiten geëxtraheerd uit broncontexten met behulp van SpaCy's en_core_web_lg NER-model.
   • Een bank samengesteld van 76.953 unieke entiteiten over 8 typen: PERSON, GPE, ORG, DATE, CARDINAL, NORP, LOC en EVENT.
   • Entiteiten gefilterd op lengte (2–100 tekens).

2. Antwoord–Entiteit Matching:

   • Voor elke QA-sample $(q, c, a)$ probeert het systeem het antwoord $a$ te matchen met een herkende NER-entiteit in de context $c$.
   • Gebruik van een drie-strategie cascade: Exacte match, Substring-match en Positieve overlap.
   • Samples die geen match vinden met een naamelijke entiteit worden gefilterd (dit is de primaire bottleneck).

3. Contradictorische Entiteitssubstitutie (Kernstap):

   • Identificatie van de originele antwoordentiteit ($e_{orig}$) en zijn type ($t$).
   • Selectie van een vervangende entiteit ($e_{new}$) uit de bank die hetzelfde type $t$ deelt maar verschillend is van $e_{orig}$.
   • Handhaving van lengtecompatibiliteit ($0.3 \le |e_{new}|/|e_{orig}| \le 3.0$).
   • Globale Vervanging: Vervangt alle hoofdletterongevoelige voorkomens van $e_{orig}$ door $e_{new}$ in de context om $c'$ te creëren.
   • Het nieuwe "trouwe" antwoord wordt $e_{new}$.

4. Kwaliteitsfiltering en Verdeling:

   • Toepassing van 6 regelgebaseerde checks (bijv. ervoor zorgen dat de nieuwe entiteit in de gewijzigde context staat, de originele is verwijderd, de contextlengte voldoende is, geen overmatige vervangingen).
   • Verdeling van succesvolle samples in Train/Dev/Test (80/10/10) met een vaste seed (42).
   • Het volledige proces is deterministisch, draait op één CPU in ongeveer 5,5 uur en vereist geen GPU.

3. Belangrijkste Bijdragen

1. Faithfulness-QA Dataset: Een grootschalige bron (99K samples) specifiek ontworpen om RAG-modellen te trainen om context boven parametrisch geheugen te laten prevaleren. Het is ongeveer 20x groter dan bestaande benchmarks voor ontrouwheidsevaluatie.
2. Geautomatiseerd Constructieproces: Een volledig geautomatiseerd, open-source proces dat een succescijfer van 56,7% bij substitutie bereikt met 100% kwaliteitsdoorloop op geauditeerde samples.
3. Getypeerde Entiteitenbank: Een herbruikbare bron van 76.953 entiteiten over 8 categorieën, die reproduceerbare en uitbreidbare datasetconstructie mogelijk maakt.
4. Uitgebreide Analyse: Gedetailleerde statistische analyse van entiteitsverdelingen, contextlengtes en faalmodi, die de complementariteit van SQuAD- en TriviaQA-bronnen aantoont.

4. Resultaten en Statistieken

• Schaal: 99.094 totale samples (49.094 van SQuAD, 50.000 van TriviaQA).
• Succescijfer: 56,7% overall (56,0% voor SQuAD, 57,4% voor TriviaQA).
• Foutanalyse: De primaire reden voor filtering (64,0%) is het ontbreken van een matchende NER-entiteit (bijv. antwoorden zijn beschrijvende zinsdelen of booleaanse waarden). Dit is een bewuste afweging om type-consistente, goed gedefinieerde substituties te garanderen.
• Kwaliteitsaudit: Een willekeurige audit van 200 samples behaalde 100% doorloopscores op vier dimensies: aanwezigheid van vervanging, verwijdering van origineel, contextwijziging en lengteverhouding.
• Entiteitsverdeling:
  • TriviaQA wordt gedomineerd door PERSON-entiteiten (45,7%).
  • SQuAD toont een uniformere verdeling over ORG, DATE en PERSON.
  • De combinatie zorgt voor brede dekking en vermindert type-specifiek overfitting.

5. Betekenis en Toepassingen

Faithfulness-QA adresseert een kritieke kloof in het RAG-ecosysteem door de focus te verschuiven van het evalueren van ontrouwheid naar het trainen hiervoor.

• Ontrouwheidsbewust Fine-tuning: Maakt het mogelijk om modellen te trainen om parametrisch geheugen te negeren wanneer dit conflicteert met opgehaalde bewijslast.
• Op Aandacht Gebaseerde Loss-functies: De expliciete wijzigingsgebieden maken supervisie van cross-attention-weights mogelijk, waardoor modellen worden aangemoedigd aandacht te schenken aan de context.
• Kennisconflictonderzoek: Biedt een gecontroleerde omgeving om te bestuderen hoe LLM's conflicten oplossen tussen externe bewijslast en interne overtuigingen.
• Complementariteit: Waar FaithEval dient als benchmark voor evaluatie, dient Faithfulness-QA als trainingsbron om modellen te bouwen die dergelijke benchmarks kunnen doorstaan.

6. Beperkingen en Toekomstig Werk

• Beperkingen:
  • Geen coreferentie-oplossing (voornaamwoorden die verwijzen naar vervangen entiteiten worden niet bijgewerkt).
  • Verlaat zich op regelgebaseerde filtering in plaats van NLI-modellen voor semantische consistentie.
  • Sommige substituties kunnen syntactisch geldig maar semantisch onwaarschijnlijk zijn (bijv. "Amritsar, Illinois").
  • Momenteel beperkt tot het Engels.
• Toekomstige Richtingen: Integratie van coreferentie-oplossing, gebruik van LLM's voor entiteitmatching om succespercentages te verbeteren, toepassing van NLI-gebaseerde filtering, en uitvoering van downstream trainingsexperimenten met open-source LLM's (Llama-3, Mistral, Qwen).

Conclusie: Faithfulness-QA biedt de noodzakelijke infrastructuur om RAG-systemen te verplaatsen van "retrieval-augmented" naar "retrieval-faithful", zodat modellen echt vertrouwen op de hun verstrekte bewijslast in plaats van op hun voorgeprogrammeerde biases.