Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

1. Problématique et Contexte

Les systèmes de Génération Augmentée par la Récupération (RAG) améliorent la fiabilité des grands modèles de langage (LLM) en s'appuyant sur des preuves récupérées. Cependant, ces systèmes souffrent de deux limitations majeures :

• La saturation du contexte et l'effet « perdu au milieu » (Lost-in-the-middle) : Les LLM ont une capacité d'attention limitée. Lorsque le contexte est trop long ou bruyant, la performance chute, car le modèle ignore souvent les informations situées au milieu de l'invite (prompt).
• Le manque de contrôle statistique dans le filtrage : Les méthodes actuelles de filtrage pré-génération reposent sur des heuristiques (ex: top-k) ou des scores de confiance des LLM non calibrés. Ces approches ne garantissent pas le maintien d'un taux de rappel spécifique pour les informations pertinentes, entraînant soit une perte d'informations cruciales, soit un contexte trop encombré par du bruit.

L'objectif de cet article est de proposer une méthode d'ingénierie de contexte qui permet de réduire la taille du contexte tout en garantissant statistiquement que la majorité des informations pertinentes sont conservées.

2. Méthodologie : La Prédiction Conforme (Conformal Prediction)

Les auteurs proposent d'appliquer la prédiction conforme (CP) à l'étape de filtrage, immédiatement après la récupération des documents et avant la génération.

A. Formulation du problème

• Entrée : Une requête $q$ et un ensemble de documents récupérés $D_q$, découpés en fragments (snippets) $S_q$.
• Objectif : Sélectionner un sous-ensemble filtré $K_q \subseteq S_q$ tel que la probabilité de conserver un fragment pertinent soit supérieure à un seuil défini par l'utilisateur.
• Contrainte : Garantir un taux de couverture marginale $P(s \in K_q | r(q, s) = 1) \ge 1 - \alpha$, où $\alpha$ est le taux de non-couverture (miscoverage) spécifié.

B. Mise en œuvre par Prédiction Conforme Séparée (Split Conformal Prediction)

La méthode ne nécessite aucun réentraînement du modèle. Elle fonctionne en trois étapes :

1. Fonction de scoring : Chaque fragment est noté selon sa pertinence. Deux approches sont testées :
   • Conformal-Embedding : Utilise la distance cosinus (via Qwen3-Embedding-8B).
   • Conformal-LLM : Utilise un LLM (GPT-4o) pour noter la pertinence sur une échelle [0, 1].
2. Calibration : Un ensemble de calibration disjoint ($D_{cal}$) est utilisé pour calculer le seuil de filtrage $\hat{\tau}_\alpha$. Ce seuil correspond au quantile $(1-\alpha)$ des scores de non-conformité des fragments pertinents dans l'ensemble de calibration.
3. Filtrage : À l'inférence, un fragment $s$ est conservé si et seulement si son score $A(q, s) \le \hat{\tau}_\alpha$.

Cette approche garantit, sous l'hypothèse d'échangeabilité, que la proportion de fragments pertinents conservés respectera le niveau de confiance théorique, indépendamment de la distribution des données.

3. Contributions Clés

1. Cadre d'ingénierie de contexte fondé sur des principes : Introduction de la prédiction conforme comme mécanisme de filtrage pré-génération pour garantir la couverture des preuves pertinentes.
2. Validation empirique robuste : Démonstration sur deux ensembles de données (NeuCLIR et RAGTIME) que le filtrage conforme atteint les objectifs de couverture tout en réduisant la taille du contexte de 2 à 3 fois.
3. Indépendance du modèle (Model-agnostic) : La méthode fonctionne avec n'importe quelle fonction de scoring (basée sur des embeddings ou des LLM) et ne nécessite aucun réentraînement du générateur.

4. Résultats Expérimentaux

Les expériences ont été menées sur les collections NeuCLIR et RAGTIME, en utilisant des sujets de requêtes disjoints pour la calibration et le test.

• Garanties de couverture : Les deux méthodes (Embedding et LLM) respectent ou dépassent légèrement les garanties de couverture théoriques pour divers taux de non-couverture ($\alpha$ entre 0,05 et 0,40).
  • Conformal-Embedding suit la ligne cible de manière plus fluide.
  • Conformal-LLM offre un contrôle plus granulaire mais avec des sauts discrets dus à la quantification des scores.
• Efficacité de réduction du contexte :
  • Le filtrage conforme permet de supprimer 25 à 70 % des fragments récupérés tout en maintenant une couverture élevée (90-95 %).
  • En comparaison, les heuristiques classiques (top-k ou seuils fixes) échouent à maintenir une couverture stable (ex: un top-k=30 ne maintient que 76 % de couverture sur NeuCLIR).
• Qualité de la réponse (Factualité) :
  • Sur NeuCLIR, la qualité factuelle mesurée par le score ARGUE F1 s'améliore sous un filtrage strict ($\alpha \le 0,10$) et reste stable à un niveau modéré ($\alpha = 0,20$).
  • Cela indique que la majorité du contenu supprimé était redondant ou non pertinent, et que le bruit de récupération nuisait à la performance du générateur.

5. Signification et Conclusion

Cet article démontre que la prédiction conforme transforme le filtrage de contexte d'un processus heuristique en un processus statistiquement fondé.

• Avantages principaux :
  • Contrôle fiable : Permet de fixer un compromis précis entre la taille du contexte et la probabilité de conserver l'information pertinente.
  • Réduction des coûts : Réduit significativement le nombre de tokens nécessaires à l'inférence (facteur 2-3x), diminuant ainsi les coûts et la latence.
  • Robustesse : Améliore la précision factuelle en éliminant le bruit qui dilue l'attention du modèle.

En conclusion, cette approche fournit une base légère et agnostique pour l'ingénierie de contexte dans les systèmes RAG, permettant une gestion dynamique et fiable de la capacité d'attention des LLM. Les travaux futurs visent à étendre ces garanties à des scénarios avec dérive de distribution (distribution shift) via une recalibration adaptative.