Résumé Technique : Caractérisation de la stabilisation de l'intention d'outil dans la génération augmentée par récupération en streaming

1. Énoncé du problème

La génération augmentée par récupération en streaming (Streaming RAG) vise à réduire la latence perçue par l'utilisateur en émettant des requêtes d'outils en parallèle de la saisie de l'utilisateur, avant que l'énoncé ne soit terminé. Bien que des gains de latence agrégés soient rapportés, le bénéfice du mécanisme fondamental est intrinsèque à la requête : la spéculation n'apporte un gain de latence que si la requête d'outil correcte devient déterminable avant que l'utilisateur ne finisse de parler ou de taper.

Si le terme décisif d'une requête arrive tardivement (ex: « qui fabrique la console appelée la PlayStation »), la spéculation précoce ne peut pas récupérer l'évidence correcte, et le bénéfice de latence s'effondre à zéro. Inversement, si le terme décisif arrive tôt, l'intégralité de la latence de l'outil peut être masquée derrière le reste de la saisie de l'utilisateur. Le document traite de l'absence d'une compréhension fondée sur des principes de quand et pour quelles requêtes cette « stabilisation de l'intention d'outil » se produit, et de quelle quantité de latence peut théoriquement être masquée.

2. Méthodologie

Données et configuration

• Benchmark : L'étude utilise l'ensemble de validation des tâches 1 et 2 du CRAG (Comprehensive RAG Benchmark), comprenant 1 371 questions.
• Récupération : Un récupérateur lexical BM25 pur en Python est utilisé sur des pages web découpées en fenêtres de 120 mots. La récupération est effectuée de manière incrémentielle sur chaque préfixe de mot ($q_{1:t}$) de la requête.
• Matériel/Entraînement : L'analyse est agnostique au modèle, ne nécessite aucun entraînement de modèle et s'exécute sur du matériel CPU standard.

Définitions fondamentales

Le document formalise la stabilisation de l'intention d'outil comme une quantité mesurable :

• Stabilisation de l'auto-cohérence ($t_{sc}$) : La plus petite longueur de préfixe $t$ telle que le document de premier rang (top-1) reste constant pour tous les préfixes suivants jusqu'à la requête complète.
• Stabilisation de suffisance ($t_{suf}$) : La plus petite longueur de préfixe $t$ telle que le document porteur de la réponse d'or ($d^*$) apparaît dans les $k$ premiers résultats. C'est la métrique opérationnellement significative pour le RAG.
• Fraction de stabilisation ($\phi$) : Définie comme $t^*/n$, où $n$ est la longueur totale de la requête. Une $\phi$ plus faible indique une stabilisation plus précoce.
• Borne de latence cachée ($H$) : Une borne agnostique au modèle sur la portion de la latence de l'outil ($L$) qui peut être masquée derrière le temps de saisie restant de l'utilisateur.
  $$H(Q; L, \delta) = \min\left(L, \max\left(0, \frac{n - t^*}{\delta}\right)\right)$$
  Où $\delta$ est la cadence de saisie (mots par seconde). $H$ représente l'économie de latence maximale réalisable pour une requête spécifique.

Conception expérimentale

L'étude répond à quatre questions de recherche pré-enregistrées (RQ) :

1. RQ1 : Comment se distribuent les fractions de stabilisation ($\phi$) à travers les requêtes ?
2. RQ2 : Quelle fraction de requêtes permet de masquer la latence sous diverses latences d'outil ($L$), cadences ($\delta$) et seuils de couverture ($\theta$) ?
3. RQ3 : Est-ce que la borne théorique $H$ correspond aux performances d'un pipeline de streaming fonctionnel ?
4. RQ4 : Quelles propriétés de requête (ex: type de question) prédisent une stabilisation précoce ou tardive ?

Pour valider $H$, les auteurs ont rejoué un sous-ensemble de questions via une structure de Streaming RAG asynchrone (Trigger, Threads parallèles, Reflector) calibrée avec les latences rapportées dans des travaux antérieurs (Arora et al., 2025).

3. Résultats clés

Distribution de la stabilisation (RQ1)

• Comportements divergents : L'auto-cohérence ($t_{sc}$) se stabilise tardivement (moyenne $\phi_{sc} \approx 0,67$), ce qui signifie que le premier résultat lexical change souvent jusqu'à ce que la requête soit presque terminée. En revanche, la suffisance ($t_{suf}$) se stabilise très tôt.
• Suffisance précoce : Sur le sous-ensemble de questions où le passage d'or est récupérable (21,3 % du benchmark total), l'évidence d'or apparaît dans les 3 premiers résultats à une moyenne de $\phi_{suf} = 0,26$ (médiane 0,14).
• Forme de la distribution : La distribution est asymétrique à droite avec une masse importante proche de zéro, plutôt que la distribution bimodale hypothétisée. Cela indique que pour une partie importante des requêtes, l'évidence correcte est disponible bien avant que l'utilisateur ne finisse de taper.

Potentiel de masquage de la latence (RQ2)

• Fraction streamable : À un point de fonctionnement réaliste ($L=600$ ms, $\delta=3$ m/s, $\theta=0,8$), 73,9 % de toutes les requêtes permettent de masquer au moins 80 % de la latence de l'outil.
• Décomposition :
  • Sur la « tranche favorable » (21,3 % des requêtes où l'or est récupéré), 95,2 % sont streamables.
  • Sur le reste (en utilisant $t_{sc}$ comme repli), 68,1 % sont streamables.
• Effet de la cadence : Pour de grandes latences d'outil ($L=1000$ ms), une cadence de saisie plus lente (ex: 2 m/s contre 4 m/s) augmente paradoxalement la fraction streamable car le temps de saisie résiduel devient la contrainte limitante, permettant plus de temps pour masquer l'appel d'outil.

Validation du pipeline (RQ3)

• Borne conservatrice : La borne théorique $H$ est conservatrice. Dans un pipeline fonctionnel, les économies réalisées ont moyennement été de 1 122 ms (contre une borne de 590 ms pour $L=600$ ms). Ce dépassement est attribué au fait que le pipeline chevauche également l'étape de génération de la requête par le LLM (~590 ms), ce que $H$ ne modélise pas.
• Prédiction par requête : La borne $H$ est un prédicteur agrégé fiable, mais échoue en tant que prédicteur par requête (Spearman $\rho \approx 0,12$). Cela est dû au fait que le chevauchement constant de la génération de requête domine les économies, et que le plancher de la borne ($\max(0, \cdot)$) ne peut pas représenter les économies négatives dues aux erreurs de déclenchement (mis-fires).
• Erreurs de déclenchement (Mis-fires) : Les économies négatives étaient rares (~1,7 %) dans le sous-ensemble testé, survenant même lorsque $H$ était maximal, indiquant que la stabilisation tardive sous un déclencneur précoce est le risque principal, et non nécessairement une haute volatilité ($V$).

Prédicteurs de la stabilisation (RQ4)

• Type de question : Le type de question produit une séparation significative mais grossière des temps de stabilisation (Kruskal–Wallis $p=0,017$).
• Position de l'entité vs Raisonnement : Contrairement à l'hypothèse selon laquelle les recherches simples se stabiliseraient plus tôt que le raisonnement complexe, les données montrent que les questions d'agrégation et de comparaison se stabilisent souvent le plus tôt. Cela est dû au fait que ces questions nomment fréquemment des entités clés dès le début, rendant la page portant la réponse récupérable tôt, même si la réponse finale nécessite un raisonnement post-récupération.
• Conclusion : La stabilisation est régie par la position de l'entité dans l'énoncé, et non par la complexité du raisonnement.

Robustesse

• Ancrage (Grounding) : L'utilisation d'une méthode d'ancrage plus souple de type « sac de jetons de contenu » a augmenté la population ancrable d'environ 1,5x. La moyenne $\phi_{suf}$ n'a que légèrement varié (0,26 à 0,281), confirmant que la stabilisation précoce est un signal robuste et non un artefact de la correspondance stricte de chaînes de caractères.
• Sensibilité du Top-k : Augmenter $k$ (de 1 à 5) a amélioré le taux de récupération et a légèrement abaissé $\phi_{suf}$, mais l'écart entre la suffisance précoce et l'auto-cohérence tardive est resté constant.

4. Signification et affirmations

La contribution principale du papier est la mesure et l'analyse plutôt qu'un nouveau système. Il établit que la stabilisation de l'intention d'outil est une quantité intrinsèque à la requête et agnostique au modèle, qui définit la limite supérieure de ce que tout système de RAG en streaming peut accomplir.

• Conception de déclencheurs (Triggers) fondée sur des principes : L'étude fournit une base sans entraînement pour décider si un déclencheur spéculatif appris vaut son coût. Elle suggère que pour une grande majorité de requêtes (notamment celles avec des mentions d'entités précoces), la « marge » pour masquer la latence existe.
• Validité de la borne : La borne dérivée $H$ est validée comme un prédicteur agrégé conservateur des économies de latence, bien qu'elle ne prédise pas les résultats par requête en raison des surcoûts constants du système et des pénalités de déclenchement erroné.
• Limites : Les auteurs reconnaissent que les résultats de suffisance sont conditionnés par un sous-ensemble favorable du benchmark (21,3 %) et que l'ancrage actuel est basé sur des chaînes de caractères. Ils notent que la récupération dense et l'ancrage plus complexe sont laissés pour des travaux futurs.

En résumé, le papier soutient que bien que le RAG en streaming ne soit pas universellement bénéfique pour chaque requête, le « régime favorable » où la stabilisation précoce de l'intention se produit est assez commun pour justifier la complexité architecturale, à condition que les déclencheurs soient conçus avec une compréhension de la stabilisation intrinsèque à la requête.