Résumé technique : Ce qui survit dans le contexte

Problématique

Les systèmes de génération augmentée par récupération (RAG) opérant sous un budget fixe de contexte pour le lecteur font face à un problème critique de sélection : le récupérateur (retriever) renvoie souvent plus d'évidences que ce qui peut tenir dans la fenêtre de contexte du lecteur. La métrique communautaire standard, le rappel@k (recall@k), mesure la fraction de documents d'or récupérés, mais ne tient pas compte de l'étape de compactage (packing) ultérieure où les évidences sont tronquées ou rejetées pour respecter le budget.

Dans le cadre du questionnement (QA) multi-sauts (multi-hop), où les réponses nécessitent la synthèse d'évidences provenant de plusieurs documents, un rappel élevé est nécessaire mais insuffisant. Un compacteur peut conserver des documents redondants tout en abandonnant l'évidence « pont » spécifique contenant la chaîne de réponse. Par conséquent, le lecteur peut ne jamais voir la réponse même si le récupérateur a réussi à trouver les documents d'or. L'article soutient que l'optimisation du rappel de récupération est le mauvais objectif dans ce régime ; le véritable goulot d'étranglement est de savoir si la réponse d'or survit au processus de compactage dans le contexte final.

Méthodologie

1. Le diagnostic : Réponse dans le contexte (Answer-in-context)

Les auteurs introduisent l'answer-in-context, un diagnostic défini comme un indicateur binaire : la réponse d'or normalisée apparaît-elle comme une sous-séquence de jetons contigus au sein du contexte compacté du lecteur ?

• Distinction : Contrairement au rappel, qui est scoré sur l'ensemble récupéré, cette métrique est scorée sur le contexte matérialisé réellement injecté au lecteur.
• Hypothèse : Cette métrique agit comme le médiateur expliquant pourquoi un rappel plus élevé n'entraîne pas toujours une meilleure qualité de réponse sous des contraintes de budget.

2. La méthode : Compactage d'évidences sous-modulaire budgétisé

L'article formule la construction du contexte du lecteur comme un problème de maximisation sous-modulaire monotone budgétisée. La fonction d'objectif $F(S)$ sélectionne un sous-ensemble de segments $S$ (soumis à un budget de jetons $B$) pour maximiser :
$$F(S) = w_{rel} Rel(S) + w_{qry} QueryCov(S) + w_{cov} Repr(S) + w_{div} Div(S)$$

• Rel (Pertinence) : Pertinence lexicale des segments (terme modulaire).
• QueryCov : Couverture des termes distincts de la requête (couverture d'ensemble).
• Repr (Représentativité) : Un terme de localisation de facilité récompensant la couverture de la masse candidate tout en saturant pour éviter les manipulations via des quasi-doublons.
• Div (Diversité) : Un terme concave sur les documents répartissant la sélection à travers les sources.

L'optimisation utilise un algorithme glouton à échelle de coût (ajoutant le segment ayant le gain marginal par jeton le plus élevé) suivi d'un repli (fallback) de type singleton Lin–Bilmes. Cette approche optimise conjointement la pertinence, la couverture de la requête, la représentativité et la diversité pour assembler des évidences multi-sauts complémentaires.

Contributions clés

1. Un diagnostic général : L'introduction de l'answer-in-context comme un prédicteur supérieur de la qualité du RAG budgétisé par rapport au rappel de récupération. Il démontre une validité incrémentale sur le rappel ($\Delta R^2 = +0,17$) et sépare nettement la qualité de la réponse (ex: F1 0,60 contre 0,12 sur HotpotQA). Il est validé de manière interventionnelle sur 2WikiMultiHopQA, montrant qu'augmenter la couverture sans augmenter l'answer-in-context n'entraîne aucun gain de précision.
2. Une méthode conditionnelle : Un compacteur sous-modulaire principled qui améliore significativement la qualité des réponses sur HotpotQA par rapport à des bases solides (heuristique focalisée, MMR, compactage naïf) à des coûts de jetons égaux ou inférieurs.
3. Une carte de portée (Le « Cœur Honnête ») : Une délimitation rigoureuse des quatre conditions requises pour qu'un compactage fondé sur des principes surpasse la meilleure heuristique. L'article cartographie explicitement là où la méthode échoue, évitant ainsi les affirmations excessives.

Résultats

Performance sur HotpotQA

Sur HotpotQA avec un budget de 160 jetons et un lecteur de 3B :

• Le compacteur sous-modulaire obtient +5,1 F1 par rapport au compactage naïf et +2,2 F1 par rapport à une heuristique focalisée robuste.
• Il obtient ces gains en utilisant moins de jetons (environ 145 contre 152) que les bases de référence.
• Cette victoire est attribuée à l'assemblage d'évidences multi-sauts complémentaires : 81 % du gain provient de questions où le compacteur a nouvellement placé une réponse d'or dans le contexte là où l'heuristique l'avait manquée.

Validation du diagnostic

• Corrélation : L'answer-in-context est fortement corrélé à l'F1 ($r=0,50$ sur HotpotQA, $r=0,55$ sur 2Wiki), surpassant le rappel ($r \approx 0,31$).
• Intervention : Sur 2WikiMultiHopQA, le compacteur a augmenté la couverture des documents d'or mais n'a pas réussi à augmenter l'answer-in-context ; par conséquent, la précision est restée stable. Cela confirme que le diagnostic mesure l'étape de compactage, et non seulement le succès de la récupération.

Limites de portée (Quand la méthode échoue)

L'article identifie quatre conditions qui doivent coïncider pour que le compacteur l'emporte. Si l'une d'elles échoue, l'avantage disparaît ou s'inverse :

1. Structure complémentaire : Sur les jeux de données à passage unique (RAGBench CovidQA/ExpertQA) où toute l'évidence est présente dans le contexte initial, le compacteur n'offre aucun gain.
2. La récupération fait surface : Sur MuSiQue, où la récupération ne parvient pas à faire surface toutes les évidences d'or (all-gold@5 = 0,18), le compacteur ne peut assembler une évidence qu'il ne voit jamais. Augmenter la profondeur de récupération n'a pas résolu cela ; un récupérateur qualitativement différent est nécessaire.
3. Budget lié mais non extrême : L'avantage suit une courbe en U inversé. À des budgets très serrés (96 jetons), il n'y a pas de place pour la complémentarité ; à des budgets larges (224 jetons), l'heuristique rattrape le niveau. Le pic d'avantage se situe autour de 160 jetons.
4. Le lecteur comme goulot d'étranglement : Une échelle de taille de lecteur (3B $\to$ 7B $\to$ 14B) révèle que l'avantage du compacteur est absorbé par le 7B et significativement inversé par le 14B. Les lecteurs plus puissants peuvent extraire des réponses de contextes plus « désordonnés », rendant la surcharge de curation préjudiciable. Le mécanisme du compacteur (compacter des évidences plus denses) persiste, mais l'utilité marginale disparaît à mesure que la capacité du lecteur augmente.

Signification et Revendications

L'article se positionne non pas comme une solution universelle pour le RAG, mais comme une revendication conditionnelle, expliquée mécaniquement et soutenue par un diagnostic général.

• Le Diagnostic : La contribution principale est de déplacer la cible d'optimisation de « récupérer les documents d'or » vers « compacter pour que la réponse survive ». Cela recadre l'objectif pour le QA multi-sauts sous contrainte de budget.
• La Méthode : Le compacteur sous-modulaire est montré comme efficace spécifiquement lorsque le système est limité par l'évidence (structure multi-sauts, la récupération fait surface, budget serré) et limité par le lecteur (modèles plus petits comme 3B).
• La Portée : Les auteurs soulignent que la « portée honnête » est la contribution centrale. En démontrant que la méthode échoue sur des lecteurs plus grands (14B) et des régimes de récupération différents, ils fournissent aux praticiens des limites précises pour savoir quand appliquer un compactage fondé sur des principes plutôt que des heuristiques simples. L'article rejette explicitement la revendication selon laquelle le compactage sous-modulaire améliore universellement le RAG, notant que le compactage d'évidences structurées en graphes (ACE) réduit déjà la redondance, rendant le compacteur redondant ou même nuisible dans ces contextes spécifiques.

En résumé, ce travail fournit un outil de diagnostic qui prédit mieux la qualité de la réponse que le rappel, ainsi qu'une méthode qui améliore les performances uniquement sous un ensemble bien défini de contraintes où la densité de l'évidence, plutôt que la capacité de lecture, est le facteur limitant.