Résumé technique : Quantification de la dominance du "prior" dans les systèmes RAG

1. Énoncé du problème

Les cadres d'évaluation actuels pour les systèmes de Génération Augmentée par Récupération (RAG) souffrent d'une « cécité épistémique ». Les benchmarks standards reposent sur des heuristiques discrètes, telles que l'Exact Match (EM) ou les scores F1, qui ne parviennent pas à distinguer l'extraction réelle d'informations contextuelles de la récitation de la mémoire paramétrique (connaissance pré-entraînée). Cette ambiguïté occulte si un modèle utilise véritablement les preuves récupérées ou s'il s'appuie simplement sur ses poids internes. De plus, ces métriques binaires ne peuvent pas capturer les fluctuations continues de la confiance prédictive lorsque les modèles sont confrontés à des contextes adverses, des conflits de connaissances ou du bruit sémantique. Par conséquent, l'hypothèse prédominante selon laquelle l'augmentation du nombre de paramètres améliore intrinsèquement les performances du RAG reste non vérifiée pour les tâches d'extraction factuelle stricte.

2. Méthodologie

Pour remédier à ces limitations, les auteurs introduisent un cadre basé sur des espaces de probabilité continus plutôt que sur la correspondance textuelle discrète.

La métrique NCU

La contribution centrale est la métrique Normalized Context Utilization (NCU) (Utilisation Normalisée du Contexte). Cette métrique quantifie le gain d'information fourni par le contexte récupéré en mesurant la réduction de l'incertitude prédictive.

• Mécanisme : Elle calcule la différence entre les log-probabilités normalisées par la longueur d'une séquence cible dans un cadre Zero-Shot (incertitude a priori, $S_{prior}$) et un cadre Oracle où le contexte de vérité terrain est fourni (incertitude a posteriori, $S_{post}$).
• Formule : Le score brut de Context Utilization (CUS) est défini par $S_{prior} - S_{post}$. Pour permettre la comparaison entre modèles, celui-ci est normalisé par le gain théorique maximal ($S_{prior}$), résultant en le score NCU :
  $$NCU = \max\left[0, \min\left(1, \frac{CUS}{S_{prior} + \epsilon}\right)\right]$$
  où $\epsilon$ est un facteur de lissage pour éviter la division par zéro.
• Conditions limites : La métrique gère le Transfert Négatif (où le contexte augmente l'incertitude) en suivant les ratios bruts non plafonnés, et la Dominance du Prior (où les modèles ignorent le contexte) en mesurant l'échec de la réduction de l'incertitude.

Configuration expérimentale

L'étude a évalué des architectures allant de 1,5B à 72B de paramètres, ainsi qu'une API commerciale propriétaire (gpt-4o-mini).

• Jeux de données : Natural Questions (NQ-Open), TriviaQA, et HotpotQA (split avec distracteurs), restreints à l'anglais pour minimiser le bruit de tokenisation.
• Conditions : Pour chaque requête, quatre conditions ont été synthétisées :
  1. Zero-Shot : Requête seule.
  2. Oracle : Requête + contexte de vérité terrain.
  3. Conflit Adversaire : Requête + contexte contenant une entité fabriquée (remplaçant la vraie réponse).
  4. Bruit Sémantique : Requête + contexte noyé dans un texte non pertinent.
• Contraintes : La génération était strictement limitée à 5 tokens via un décodage glouton (greedy decoding) pour isoler les capacités d'extraction pure, excluant le raisonnement par chaîne de pensée (Chain-of-Thought, CoT).

3. Contributions clés

1. Métrique d'évaluation continue : La définition et la validation de la NCU, qui isole le traitement du contexte de la mémoire paramétrique et normalise les disparités de vocabulaire et de tokenisation.
2. Preuve de rendements décroissants : Démonstration empirique que pour l'extraction factuelle stricte, l'augmentation de l'échelle des paramètres produit de sévères rendements décroissants. Les petits modèles de langage (SLM) atteignent une parité statistique avec les modèles massifs en termes d'utilisation du contexte.
3. Quantification de la dominance du prior et du transfert négatif : Identification d'une vulnérabilité structurelle dans les modèles à haute capacité, où ils supplantent l'évidence externe explicite (Dominance du Prior) et souffrent d'un effondrement systémique de la confiance (Transfert Négatif) lorsque les priors sont contredits.

4. Résultats clés

• Échelle d'extraction (RQ1) : L'API commerciale (gpt-4o-mini) a atteint la plus haute précision zero-shot (62,0 %), indiquant une mémorisation paramétrique supérieure, mais a présenté la plus faible précision d'extraction Oracle (90,1 %) et le score NCU borné le plus bas (0,777). En revanche, le modèle Qwen de 1,5B a atteint une précision Oracle de pointe de 95,9 % et un NCU de 0,864, égalant le modèle de 72B (NCU 0,868) tout en opérant avec une latence nettement inférieure (0,041s contre 0,389s).
• Dominance du Prior (RQ2) : Les modèles à haute capacité ont montré une forte tendance à outrepasser le contexte adverse. L'API commerciale a rejeté le contexte adverse dans 47,1 % des cas, revenant à son prior paramétrique malgré les instructions d'utiliser le texte récupéré. Le modèle 72B a montré un taux de dépassement de 42,5 %, tandis que les modèles 1,5B et 7B ont respecté le contexte dans environ 65–67 % des conflits.
• Transfert Négatif (RQ3) : Lorsqu'ils étaient exposés à un contexte conflictuel ou confus, les modèles à haute capacité ont subi un « Transfert Négatif », où le contexte a activement dégradé la confiance prédictive sous la ligne de base zero-shot. Le modèle de référence commercial a subi une perte d'information lors de 9,8 % des inférences, soit presque le triple du taux du modèle 1,5B (3,8 %). Le NCU brut de l'API commerciale a montré des valeurs négatives extrêmes (-7779,254), indiquant un effondrement de la confiance par rapport à sa certitude initiale élevée.

5. Signification et affirmations

L'article soutient que l'avantage épistémique structurel des petits modèles de langage (SLM) dans les flux de travail d'extraction stricte remet en question l'hypothèse selon laquelle les modèles plus grands sont universellement supérieurs pour le RAG.

• Hypothèse de la taxe d'alignement : Les auteurs proposent que les alignements propriétaires et la lourde mémorisation paramétrique peuvent agir comme une « taxe », causant la résistance des modèles aux mises à jour hors distribution et outrepassant l'évidence externe.
• Implications architecturales : Les conclusions suggèrent que pour les tâches exigeant un ancrage factuel strict, le déploiement de modèles massifs et hautement alignés peut être sous-optimal sur le plan computationnel. Au lieu de cela, les auteurs préconisent des architectures RAG modulaires où le routage des tâches est déterminé par les exigences épistémiques : des SLM pour l'adhérence au contexte et l'extraction à faible latence, et des modèles à haute capacité réservés à la synthèse générative complexe où l'intégration paramétrique est bénéfique.
• Limites : Les auteurs notent que leurs affirmations sont strictement limitées à l'extraction factuelle (un seul saut, génération courte) et ne s'étendent pas au raisonnement multi-sauts ou aux paradigmes CoT où les grands modèles excellent généralement. De plus, la comparaison entre les modèles à poids ouverts et les modèles propriétaires implique des variables confondantes (ex: architectures MoE, données d'entraînement non divulguées) qui empêchent une ablation causale stricte des effets d'alignement de sécurité.