Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

1. Énoncé du problème

Les systèmes de Génération Augmentée par Récupération (RAG) sont conçus pour ancrer les Grands Modèles de Langage (LLM) dans des preuves externes. Cependant, un mode de défaillance critique appelé infidélité se produit lorsque les modèles ignorent le contexte récupéré et s'appuient plutôt sur leur mémoire paramétrique interne (connaissances acquises lors du pré-entraînement).

• Cause racine : Les pertes de prédiction du token suivant standard traitent tous les tokens de manière égale, échouant à distinguer les informations dérivées du contexte des faits mémorisés. Sans signaux d'entraînement explicites récompensant l'ancrage dans le contexte, les modèles se rabattent sur leurs connaissances internes lorsque des conflits surviennent.
• Lacune : Les solutions existantes se concentrent soit sur la résolution de conflits au moment de l'inférence (par exemple, Self-RAG, FaithfulRAG), soit fournissent des benchmarks d'évaluation à petite échelle (par exemple, FaithEval avec environ 4 900 échantillons). Il manque des données d'entraînement à grande échelle et de haute qualité spécifiquement conçues pour forcer les modèles à prioriser le contexte récupéré par rapport à la mémoire interne grâce à des conflits de connaissances contrôlés.

2. Méthodologie : Construction de Faithfulness-QA

Les auteurs proposent Faithfulness-QA, un ensemble de données de 99 094 échantillons construit via un pipeline entièrement automatisé en quatre étapes. Le mécanisme central est la Substitution d'Entités Contrefactuelles, qui crée des conflits artificiels entre le contexte et les connaissances paramétriques probables du modèle.

A. Données sources

L'ensemble de données est construit à partir de deux benchmarks de questions-réponses extractives complémentaires :

1. SQuAD : 87 599 paires (paragraphes Wikipédia, longueur médiane de 701 caractères).
2. TriviaQA : 87 041 paires (documents de preuve plus longs, longueur médiane de 1 581 caractères).

B. Le pipeline en quatre étapes

1. Construction de la banque d'entités :

   • Extraction des entités nommées à partir des contextes sources en utilisant le modèle NER en_core_web_lg de SpaCy.
   • Création d'une banque de 76 953 entités uniques réparties en 8 types : PERSON, GPE, ORG, DATE, CARDINAL, NORP, LOC et EVENT.
   • Filtrage des entités par longueur (2 à 100 caractères).

2. Appariement Réponse–Entité :

   • Pour chaque échantillon QA $(q, c, a)$, le système tente d'apparier la réponse $a$ à une entité NER reconnue dans le contexte $c$.
   • Utilisation d'une cascade à trois stratégies : correspondance exacte, correspondance de sous-chaîne et chevauchement positionnel.
   • Les échantillons ne parvenant pas à correspondre à une entité nommée sont filtrés (c'est le principal goulot d'étranglement).

3. Substitution d'Entités Contrefactuelles (Étape centrale) :

   • Identification de l'entité de réponse originale ($e_{orig}$) et de son type ($t$).
   • Échantillonnage d'une entité de remplacement ($e_{new}$) dans la banque qui partage le même type $t$ mais qui est distincte de $e_{orig}$.
   • Application d'une contrainte de compatibilité de longueur ($0,3 \le |e_{new}|/|e_{orig}| \le 3,0$).
   • Remplacement global : Remplacement de toutes les occurrences insensibles à la casse de $e_{orig}$ par $e_{new}$ dans le contexte pour créer $c'$.
   • La nouvelle réponse "fidèle" devient $e_{new}$.

4. Filtrage qualité et partitionnement :

   • Application de 6 vérifications basées sur des règles (par exemple, s'assurer que la nouvelle entité est présente dans le contexte modifié, que l'originale est supprimée, que la longueur du contexte est suffisante, qu'il n'y a pas de remplacements excessifs).
   • Partition des échantillons valides en Train/Dev/Test (80/10/10) avec une graine fixe (42).
   • L'ensemble du pipeline est déterministe, s'exécute sur un seul CPU en environ 5,5 heures et ne nécessite pas de GPU.

3. Contributions clés

1. Ensemble de données Faithfulness-QA : Une ressource à grande échelle (99k échantillons) spécifiquement conçue pour entraîner les modèles RAG à suivre le contexte plutôt que la mémoire paramétrique. Elle est environ 20 fois plus grande que les benchmarks d'évaluation de fidélité existants.
2. Pipeline de construction automatisé : Un pipeline entièrement automatisé et open-source atteignant un taux de réussite de substitution de 56,7 % avec des taux de réussite qualité de 100 % sur les échantillons audités.
3. Banque d'entités typées : Une ressource réutilisable de 76 953 entités réparties en 8 catégories, permettant une construction d'ensemble de données reproductible et extensible.
4. Analyse complète : Analyse statistique détaillée des distributions d'entités, des longueurs de contexte et des modes de défaillance, démontrant la complémentarité des sources SQuAD et TriviaQA.

4. Résultats et statistiques

• Échelle : 99 094 échantillons au total (49 094 issus de SQuAD, 50 000 issus de TriviaQA).
• Taux de réussite : 56,7 % global (56,0 % pour SQuAD, 57,4 % pour TriviaQA).
• Analyse des échecs : La raison principale du filtrage (64,0 %) est l'absence d'une entité NER correspondante (par exemple, les réponses sont des phrases descriptives ou des valeurs booléennes). C'est un compromis délibéré pour assurer des substitutions cohérentes en type et bien définies.
• Audit qualité : Un audit aléatoire de 200 échantillons a obtenu des taux de réussite de 100 % sur quatre dimensions : présence du remplacement, suppression de l'original, modification du contexte et ratio de longueur.
• Distribution des entités :
  • TriviaQA est dominé par les entités PERSON (45,7 %).
  • SQuAD montre une distribution plus uniforme entre ORG, DATE et PERSON.
  • La combinaison assure une couverture large, atténuant le surapprentissage spécifique à un type.

5. Signification et applications

Faithfulness-QA comble une lacune critique dans l'écosystème RAG en déplaçant l'accent de l'évaluation de la fidélité vers l'entraînement à celle-ci.

• Affinage conscient de la fidélité : Permet d'entraîner des modèles à outrepasser la mémoire paramétrique lorsqu'elle entre en conflit avec les preuves récupérées.
• Fonctions de perte basées sur l'attention : Les régions de modification explicites permettent une supervision des poids de l'attention croisée, encourageant les modèles à prêter attention au contexte.
• Recherche sur les conflits de connaissances : Fournit un environnement contrôlé pour étudier comment les LLM résolvent les conflits entre les preuves externes et les croyances internes.
• Complémentarité : Alors que FaithEval sert de benchmark pour l'évaluation, Faithfulness-QA sert de ressource d'entraînement pour construire des modèles capables de réussir de tels benchmarks.

6. Limites et travaux futurs

• Limites :
  • Pas de résolution de la coréférence (les pronoms se référant aux entités remplacées ne sont pas mis à jour).
  • Dépendance au filtrage basé sur des règles plutôt qu'à des modèles NLI pour la cohérence sémantique.
  • Certaines substitutions peuvent être syntaxiquement valides mais sémantiquement peu plausibles (par exemple, "Amritsar, Illinois").
  • Actuellement limité à l'anglais.
• Directions futures : Intégration de la résolution de la coréférence, utilisation de LLM pour l'appariement d'entités afin d'améliorer les taux de réussite, application de filtrage basé sur NLI, et réalisation d'expériences d'entraînement en aval avec des LLM open-source (Llama-3, Mistral, Qwen).

Conclusion : Faithfulness-QA fournit l'infrastructure nécessaire pour faire passer les systèmes RAG de "augmentés par la récupération" à "fidèles à la récupération", garantissant que les modèles s'appuient véritablement sur les preuves qui leur sont fournies plutôt que sur leurs biais pré-entraînés.