Résumé Technique : Évaluation de la Densité Factuelle dans le RAG Multi-Sources

Énoncé du Problème

La Génération Augmentée par Récupération (RAG) est devenue le standard de l'industrie pour ancrer les Grands Modèles de Langage (LLM) dans des connaissances externes. Cependant, les mécanismes de récupération standards — spécifiquement la similitude cosinus (proximité sémantique) et le BM25 (fréquence lexicale) — manquent d'un mécanisme intrinsèque pour mesurer la qualité factuelle du contenu récupéré.

L'article identifie un mode de défaillance structurelle nommé l'Effet de Cécité de l'Expert (Expert Blindness Effect). Ce phénomène se produit lorsque les pipelines RAG standards enterrent systématiquement des preuves à haute densité et validées par des experts (par exemple, des revues systématiques Cochrane contenant des résultats cliniques spécifiques et quantifiés) au profit de textes lexicalement dominants mais factuellement pauvres (par exemple, des articles de longue forme qui référencent un sujet de manière répétée sans fournir de données spécifiques). Les cadres d'évaluation actuels se concentrent sur la fidélité (si le modèle a halluciné par rapport au contexte récupéré) plutôt que sur la qualité de la récupération (si le contexte récupéré était factuellement dense ou validé par des experts en premier lieu).

Méthodologie

1. Construction et Prétraitement du Corpus

L'étude a utilisé un corpus de 600 segments dérivés de trois niveaux de preuves médicales :

• Revues Systématiques Cochrane (COCHRANE_SR) : 200 résumés structurés.
• Essais Contrôlés Randomisés (CLINICAL_RCT) : 200 résumés filtrés par les balises NLM.
• Résumés Scientifiques PubMed (SCIENTIFIC_PMC) : 200 résumés évalués par les pairs.

Avant l'ingestion, le corpus a subi le pipeline de prétraitement NexusAgentics Ghost Audit :

• Extraction de Revendications Atomiques : Utilisation de Gemini 2.5 Flash pour identifier des énoncés factuels uniques, autonomes et vérifiables, tout en écartant le langage de nuance et les anecdotes.
• Scoring de Factualité Probabiliste : Attribution d'un score prob_fact (de 0,2 à 1,0) basé sur la vérifiabilité et la spécificité, et non sur la vérité empirique.

2. Formulation de la Densité Factuelle (FD*)

La métrique centrale, la Densité Factuelle (FD)*, est définie comme la proportion de revendications atomiques vérifiées par rapport au nombre de tokens.

• Formulation Initiale ($FD_{raw}$) : Somme des scores prob_fact divisée par le nombre de tokens.
  • Problème : L'expérience 1 a révélé un sévère biais de longueur de document (Pearson $R = -0,8636$), où les documents plus courts obtenaient artificiellement des scores plus élevés en raison de l'effet dénominateur.
• Formulation Corrigée ($FD^*$) : Pour résoudre cela, les auteurs ont appliqué une normalisation par score Z au sein de classes de longueur de document (Court, Moyen, Long).
  • $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
  • Cette correction a réduit la corrélation de longueur à des niveaux non significatifs ($p = 0,0749$), validant la FD* comme un signal indépendant de la longueur.

3. Conditions de Récupération

Trois conditions ont été évaluées par rapport au benchmark HealthFC (750 revendications de santé validées par des experts) :

• Condition A : Similitude Cosinus (Recherche sémantique).
• Condition B : BM25 (Recherche lexicale).
• Condition C : Récupération Optimisée par FD.* Un pipeline hybride à deux étapes :
  1. Pré-filtrage par similitude cosinus (Top-20).
  2. Reclassement utilisant un score composite : $0,5 \times \text{CosineSim} + 0,5 \times FD^*_{rescaled}$.

4. Contraintes d'Évaluation

L'étude a été confrontée à des contraintes d'alignement corpus-benchmark. Malgré deux itérations du corpus, la couverture par rapport à l'ensemble d'évaluation HealthFC est restée inférieure à 20 % (14 % dans la dernière itération). Par conséquent, la validation statistique prévue (test de Wilcoxon signed-rank sur $n=50$ requêtes) n'a pas pu être exécutée. Les résultats sont rapportés comme des preuves directionnelles basées sur les correspondances de vérité terrain disponibles.

Résultats Clés

1. Validation du Scoring et de la Correction

• Ghost Audit : A validé que le cadre de scoring produit une variance significative entre les niveaux de sources (Écart-type $\ge 0,10$), garantissant que le signal de reclassement ne s'effondre pas.
• Biais de Longueur : A confirmé que les métriques de densité normalisées par token sont vulnérables au biais de longueur de document. La normalisation par score Z au sein des classes s'est avérée être une correction efficace et peu coûteuse en calcul.

2. L'Effet de Cécité de l'Expert (Audit de Requête Unique)

Sur une requête spécifique concernant l'exercice et le risque cardiovasculaire, les conditions de récupération ont produit des résultats distincts :

• Similitude Cosinus : A récupéré 40 % de revues Cochrane et 60 % d'essais cliniques (RCT).
• BM25 : A récupéré 80 % de revues Cochrane mais n'a pas réussi à les classer systématiquement haut sur tous les indicateurs.
• Optimisé par FD :* A atteint une saturation de 100 % des revues systématiques dans les 5 premiers résultats.
  • Mécanisme : La FD* a réussi à élever des preuves à haute densité qui étaient classées hors du top dix par la seule similitude sémantique (par exemple, un résumé Cochrane avec un score cosinus de 0,7308 a été élevé au rang 4 grâce à un score FD* élevé de 9,660).
• Vérification de la Vérité Terrain : Les 5 meilleurs résultats de la condition FD* correspondaient à neuf instances confirmées parmi cinq revendications distinctes supportées par HealthFC, toutes étiquetées comme "Supportées" par des experts médicaux.

3. Conclusions sur l'Alignement du Corpus

L'étude a identifié que les échantillons de pré-vérification ensemencés surestiment systématiquement la couverture du corpus. Un échantillon de 12 segments montrait un alignement de 38,62 %, tandis que le corpus complet de 600 segments n'en montrait que 14 %. Cela souligne une lacune critique dans les pratiques actuelles d'évaluation RAG, où la sélection des sources suppose souvent un alignement sans vérification de l'intégralité du corpus.

Signification et Contributions

L'article pose deux contributions co-égales :

1. La Densité Factuelle (FD) comme Signal de Récupération :*
   La FD* est proposée comme un signal d'optimisation indépendant de la source, de la longueur et peu coûteux en calcul. Elle peut être intégrée aux pipelines RAG existants sous la forme d'un composite 50/50 avec la similitité cosinus sans nécessiter de modifications des modèles d'embedding, des bases de données vectorielles ou de l'infrastructure de récupération. Elle répond au problème où la proximité sémantique ne corrèle pas avec la concentration d'informations.

2. Documentation de l'Effet de Cécité de l'Expert :
   L'article nomme et démontre empiriquement le biais systématique des méthodes de récupération standards qui enterrent les preuves à haute autorité. Cela a des implications directes pour la sécurité de l'IA en santé, où présenter un article de 2 000 mots au lieu d'une revue Cochrane peut conduire à une désinformation dangereuse.

3. Contribution Méthodologique à l'Évaluation RAG :
   L'étude introduit une méthodologie de pré-vérification à double filtre (exigeant une similitude cosinus $\ge 0,75$ et un chevauchement de mots-clés $\ge 2$) comme prérequis à la construction d'un corpus RAG de santé. Elle soutient que l'alignement corpus-benchmark est un prérequis critique, souvent négligé, pour une évaluation RAG valide, et que se fier à de petits échantillons thématiques conduit à un faux sentiment de couverture.

Limites et Travaux Futurs

Les auteurs précisent explicitement que les conclusions sont préliminaires en raison de l'impossibilité d'exécuter le test statistique complet $n=50$ causée par le faible alignement corpus-benchmark. L'« Effet de Cécité de l'Expert » est démontré sur une seule requête et n'est pas généralisé statistiquement.

Les travaux futurs visent à :

• Exécuter des tests statistiques formels avec un corpus présentant une couverture HealthFC $\ge 40\%$.
• Dériver empiriquement les poids d'autorité des sources ($a_{source}$) optimaux plutôt que d'utiliser des substituts.
• Explorer la FD* comme signal de nœud d'ancrage dans les architectures Graph RAG pour combiner la structure de l'évidence avec la densité factuelle.

L'article conclut que bien que la FD* ne soit pas une solution complète, elle représente une étape nécessaire pour garantir que les systèmes d'IA récupèrent des faits plutôt que de simples correspondances lexicales, particulièrement dans les domaines à enjeux élevés comme la santé.