Résumé Technique : Génération Augmentée par Récupération Causale (CR-RAG)

1. Énoncé du Problème

La Génération Augmentée par Récupération (RAG) s'est imposée comme le paradigme standard pour ancrer les Grands Modèles de Langage (LLM) dans des connaissances externes. Cependant, les systèmes RAG actuels souffrent d'une faille fondamentale : ils sont vulnérables aux corrélations spécieuses entre les caractéristiques de la question et les preuves récupérées.

L'article identifie trois sources structurelles de biais qui poussent les systèmes RAG à produire des réponses fluides mais factuellement incorrectes (hallucinations) :

1. Confusion par la Popularité (Popularity Confounding) : Les récupérateurs denses sont biaisés en faveur des passages contenant des entités populaires. Même lorsqu'une question cible une entité rare, le récupérateur renvoie souvent des passages traitant d'entités cooccurrentes populaires car elles dominent l'espace d'encastrement (embedding).
2. Biais de Recouvrement Lexical (Lexical-Overlap Bias) : Les objectifs de récupération (souvent contrastifs) favorisent les passages partageant des n-grammes de surface avec la question, même si ces mots sont non pertinents (ex: expressions idiomatiques), poussant le générateur à s'ancrer sur un texte superficiellement pertinent mais factuellement incorrect.
3. Biais de Sélection (Selection Bias) : Le mécanisme de troncature Top-K confond « être récupéré » avec « être informatif ». Des passages situés juste en dessous du seuil peuvent contenir le fait correct, tandis que ceux au-dessus peuvent simplement partager un facteur de confusion avec la question.

Les auteurs soutiennent que ces problèmes ne sont pas de simples échecs d'optimisation, mais des problèmes d'inférence causale. Le RAG standard estime la probabilité conditionnelle $p(A|Q, R)$, qui absorbe les biais de confusion. L'objectif est d'estimer l'effet causal $p(A|do(Q), do(R))$, isolant ainsi la véritable voie causale de la preuve vers la réponse.

2. Méthodologie : Cadre CR-RAG

L'article propose la Génération Augmentée par Récupération Causale (CR-RAG), un cadre qui modélise le pipeline RAG comme un Modèle Causal Structurel (SCM). Il introduit une couche causale légère et indépendante du récupérateur entre le récupérateur et le générateur.

A. Modèle Causal Structurel (SCM)

Le pipeline est formalisé avec :

• Variables Endogènes : Question ($Q$), Preuve Récupérée ($R$), et Réponse ($A$).
• Facteurs de Confusion (Confounders) : Un facteur de confusion observable $C$ (popularité, attributs lexicaux) et un facteur de confusion latent $U$ (contexte thématique).
• Chemin de la Porte Arrière (Backdoor Path) : Le chemin $Q \leftarrow C \rightarrow R \rightarrow A$ crée des corrélations spécieuses. CR-RAG vise à bloquer ce chemin pour estimer le véritable effet causal.

B. Composants Clés

CR-RAG intègre quatre techniques causales spécifiques :

1. Représentation de Facteur de Confusion à Faible Rang (Ajustement de la Porte Arrière) :

   • Un petit Perceptron Multicouche (MLP) apprend un encastrement de faible rang $g(Q, C)$ représentant l'état du facteur de confusion.
   • Cet encastrement est utilisé pour effectuer un ajustement de la porte arrière (backdoor adjustment), bloquant efficacement le chemin spécieux en conditionnant sur le facteur de confusion.
   • Une régularisation garantit que l'encastrement capture les facteurs de confusion sans laisser fuiter d'informations sur le résultat (empêchant le modèle de simplement mémoriser la réponse).

2. Repondération par l'Inverse de la Propension (IPW) :

   • Un classificateur binaire estime le score de propension $e(R|Q, C)$ : la probabilité qu'un passage soit récupéré étant donné uniquement le facteur de confusion, et non le contenu de la question.
   • Les passages sont repondérés par $w = 1/(e + \epsilon)$. Les passages récupérés principalement en raison de la popularité ou du biais lexical (propension élevée) sont dévalués, tandis que ceux récupérés grâce à une réelle pertinence sont revalorisés.

3. Scorer de Passage Causal :

   • Un scoreur transformer léger estime la pertinence d'un passage sous une **intervention $do$** ($do(R)$).
   • Il est entraîné via une supervision faible utilisant des signaux de recouvrement de la réponse : les passages contenant la chaîne de caractères de la réponse sont traités comme positifs, tandis que ceux partageant des n-grammes mais dépourvus de la réponse sont traités comme négatifs.
   • Ce scoreur élague l'ensemble des candidats pour ne conserver que les preuves causalement pertinentes.

4. Augmentation de Données Contrefactuelles :

   • Pendant l'entraînement, le système construit des ensembles de preuves intervenues ($\tilde{R}$) en remplaçant une fraction des passages récupérés par des « négatifs appariés sur les facteurs de confusion » (passages ayant des traits de popularité/lexicaux similaires mais des réponses différentes).
     • Une perte contrastive force le générateur à distinguer l'évidence factuelle ($R$) de l'évidence contrefactuelle ($\tilde{R}$), lui apprenant à ignorer les proxys pilotés par les facteurs de confusion.

C. Objectif d'Entraînement

La fonction de perte conjointe combine la perte de génération standard avec des termes pour l'ajustement de la porte arrière, l'entraînement IPW, le contraste contrefactuel et la régularisation du facteur de confusion. Le cadre est conçu pour être indépendant du récupérateur et ajoute une latence d'inférence négligeable (<5%).

3. Contributions Clés

L'article revendique les contributions suivantes :

• Première Formulation Causale de Bout en Bout : Il fournit le premier traitement causal unifié de l'ensemble du pipeline récupérateur-générateur, identifiant et prouvant l'identifiabilité de la réponse conditionnelle sous une hypothèse de facteur de confusion à faible rang.
• Cadre Modulaire (CR-RAG) : Une architecture novatrice combinant ajustement de la porte arrière, IPW, contraste contrefactuel et scoring causal sans modifier l'LLM ou le récupérateur sous-jacent.
• Scorer de Passage Causal : Un nouveau composant entraîné par supervision faible pour estimer la pertinence de l'intervention $do$, ne nécessitant aucun label manuel pour les passages.
• Évaluation Reproductible : La publication d'un découpage stratifié par facteur de confusion du dataset PopQA pour mesurer directement le biais de popularité, ainsi que des études d'ablation détaillées.

4. Résultats Expérimentaux

Le cadre a été évalué sur quatre benchmarks intensifs en connaissances : Natural Questions (NQ), TriviaQA, HotpotQA, et PopQA.

• Gains de Performance : CR-RAG a systématiquement surpassé les bases solides (incluant RAG, FiD, REPLUG, Self-RAG et Atlas).
  • Les améliorations varient de 1,2 à 3,7 points de correspondance exacte (EM).
  • Les gains les plus importants ont été observés sur PopQA (amélioration de 3,7 EM), où la confusion par la popularité est la plus sévère.
• Performance sur la Longue Traîne : Le système a montré une amélioration monotone à mesure que la popularité des entités diminuait. Sur le segment « très rare » de PopQA, CR-RAG a obtenu une réduction relative de 43 % des hallucinations par rapport au RAG standard.
• Atténuation des Hallucinations : Sur tous les jeux de données, le cadre a réduit les réponses infondées, avec l'impact le plus significatif sur les entités de faible popularité où la récupération est critique.
• Efficacité : La couche causale n'ajoute que 9,7 M de paramètres (0,14 % d'un générateur de 7B) et 11 ms de latence par requête, démontrant une haute efficacité computationnelle.
• Transférabilité : Le modèle entraîné sur NQ a été transféré avec succès vers le QA multi-étapes (2WikiMultihopQA) et la vérification de faits (FEVER) sans réglage spécifique au dataset.

5. Signification et Revendications

L'article positionne CR-RAG non pas comme une nouvelle architecture pour les LLM, mais comme un changement de principe dans l'estimand, passant de l'associatif ($p(A|Q, R)$) au causal ($p(A|do(Q), do(R))$).

• S'attaquer à la Cause Racine : Contrairement aux méthodes précédentes qui traitent les symptômes des hallucinations (ex: via la vérification post-hoc ou l'auto-réflexion), CR-RAG s'attaque au biais de récupération en amont qui cause les hallucinations.
• Équité de la Connaissance : Le cadre cible spécifiquement le mode de défaillance de la « longue traîne », garantissant que les entités rares et les faits moins populaires sont récupérés et répondus avec autant de précision que les faits populaires, améliorant ainsi l'équité de la connaissance intensive.
• Viabilité Industrielle : La nature modulaire et légère de la couche causale permet de la déployer comme un composant « prêt à l'emploi » pour les systèmes existants, y compris les LLM de type boîte noire, ce qui la rend réalisable dans des environnements de production où la facticité est non négociable (ex: domaines juridiques, cliniques ou scientifiques).

Les auteurs concluent que le raisonnement causal explicite est essentiel pour la prochaine génération de systèmes augmentés par récupération, offrant une voie vers des applications de LLM qui soient à la fois plus fidèles et plus équitables à travers la distribution de la connaissance humaine.