🤖 AI

Dr-DCI: Scaling Direct Corpus Interaction via Dynamic Workspace Expansion

L'article introduit DR-DCI, un cadre qui met à l'échelle l'Interaction Directe avec le Corpus en étendant dynamiquement un espace de travail local via une recherche de documents pilotée par un récupérateur, combinant ainsi la scalabilité de la recherche traditionnelle avec la précision des opérations directes sur le corpus pour atteindre une exactitude et une efficacité supérieures sur de grands corpus.

Auteurs originaux : Yi Lu, Zhuofeng Li, Ping Nie, Haoxiang Zhang, Yuyu Zhang, Kai Zou, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

Publié 2026-06-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yi Lu, Zhuofeng Li, Ping Nie, Haoxiang Zhang, Yuyu Zhang, Kai Zou, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère complexe, mais qu'au lieu de quelques dossiers sur votre bureau, vous ayez une bibliothèque contenant 10 millions de livres.

L'ancienne méthode : Le détective submergé

Traditionnellement, lorsqu'un détective (un agent IA) doit trouver un indice dans une bibliothèque aussi vaste, il demande à un bibliothécaire (un Récupérateur) de lui remettre une courte liste des livres les "plus probables". Le détective lit ensuite des extraits de ces livres.

Le Problème : Si l'indice est caché dans une phrase étrange ou nécessite la comparaison de trois livres différents, la liste courte ne suffit pas. Le détective est bloqué.
L'Alternative (DCI Brute) : Certains détectives essaient d'ignorer le bibliothécaire et se mettent simplement à hurler des commandes comme : « Cherchez le mot "dragon" dans toute la bibliothèque ! »
Le Résultat : Dans une petite bibliothèque, cela fonctionne très bien. Mais dans une bibliothèque de 10 millions de livres, hurler « Cherchez partout ! » prend un temps infini, fait planter le système ou renvoie tellement de déchets que le détective s'y perd.

La Nouvelle Solution : DR-DCI (Le « Classeur Intelligent »)

Le document présente DR-DCI, une nouvelle façon de travailler pour le détective. Au lieu de chercher dans toute la bibliothèque ou de simplement lire une courte liste, le détective utilise un espace de travail dynamique.

Imaginez le bureau du détective comme un petit classeur extensible.

L'Action de « Tirage » (Pull) : Quand le détective a besoin d'un indice, il ne cherche pas dans toute la bibliothèque. Il demande au bibliothécaire : « Apportez-moi les 50 livres qui pourraient contenir la réponse. »
L'Espace de Travail : Le bibliothécaire apporte ces 5 ou 50 livres et les pose sur le bureau du détective (l'espace de travail). Le reste des 10 millions de livres reste sur les étagères, hors de portée.
L'Enquête : Le détective dispose maintenant d'une pile de documents gérable. Il peut utiliser des outils puissants (comme une loupe ou un surligneur) pour :
- Rechercher à l'intérieur de ces 50 livres spécifiques.
- Comparer le Livre A avec le Livre B.
- Lire les petits caractères.
- Vérifier si un indice est réel.
La Boucle : Si le détective réalise qu'il a besoin de plus d'informations, il demande au bibliothécaire un autre lot de livres, qui sont ajoutés sur le bureau. S'il trouve la réponse, il s'arrête.

Pourquoi cela fonctionne (Les ingrédients magiques)

Le document a révélé que cette approche de « Classeur Intelligent » est gagnante pour trois raisons principales :

C'est Rapide et Peu Coûteux : Comme le détective ne cherche que dans la petite pile sur le bureau (et non dans toute la bibliothèque), il termine sa tâche beaucoup plus vite et consomme moins d'énergie (argent).
C'est Plus Intelligent : Le détective ne se contente pas de lire une liste ; il compare et recoupe activement les livres sur son bureau. Cela l'aide à trouver des réponses qu'une simple liste aurait manquées.
Cela Passe à l'Échelle (Scalability) : Que la bibliothèque contienne 100 000 ou 10 millions de livres, le bureau du détective reste de la même taille. Il ne fait entrer que ce dont il a besoin. L'ancienne méthode consistant à « hurler sur toute la bibliothèque » s'effondre complètement lorsque la bibliothèque devient trop grande, mais cette méthode continue de fonctionner sans encombre.

Le Bouton « Réinitialisation »

Le document mentionne également un filet de sécurité ingénieux. Parfois, le détective s'embrouille ou suit une fausse piste, mais les livres utiles sont toujours posés sur le bureau. Au lieu d'abandonner, le système peut effacer la mémoire de la confusion du détective tout en gardant les livres sur le bureau. Un détective frais et l'esprit clair peut alors reprendre exactement là où se trouvent les livres et résoudre le mystère.

L'Essentiel

DR-DCI est comme si l'on donnait à un détective un bureau intelligent et extensible au lieu de le forcer soit à lire une courte liste, soit à chercher dans toute la bibliothèque à la fois. Cela combine le meilleur des deux mondes : la capacité de trouver rapidement les bons livres (Récupération) et la capacité d'approfondir l'étude de ces livres spécifiques sans être submergé (Interaction Directe avec le Corpus).

Les expériences ont montré que cette méthode résout mieux les questions difficiles que les anciennes méthodes, qu'elle est plus rapide, moins coûteuse et qu'elle ne casse pas, même lorsque la « bibliothèque » atteint des tailles massives.

Résumé Technique : DR-DCI

Énoncé du Problème

La recherche agentique sur de vastes corpus fait face à une tension fondamentale entre échelle et contrôle. Les systèmes traditionnels de Génération Augmentée par Récupération (RAG) reposent sur des interfaces médiées par la récupération (ex: BM25, ColBERT) pour fournir des listes classées de documents. Bien que scalables, ces interfaces limitent les capacités des agents en n'exposant les preuves que sous forme d'extraits ou de vues limitées, entravant la capacité à réorganiser le matériel, à vérifier les contraintes à travers les documents ou à effectuer des opérations transversales flexibles.

Inversement, les approches récentes d'Interaction Directe avec le Corpus (DCI - Direct Corpus Interaction) permettent aux agents d'interagir avec les corpus via des commandes exécutables en terminal (ex: grep, rg, find). Cela offre un contrôle fin et une grande précision. Cependant, appliquer la DCI directement à des corpus massifs est inefficace et instable. À mesure que la taille du corpus augmente, les commandes de terminal deviennent lentes, sujettes aux dépassements de délai (timeouts) et génèrent des sorties non pertinentes excessives, rendant l'exploration globale irréalisable. Le goulot d'étranglement central n'est pas la précision locale, mais l'absence d'un mécanisme scalable pour une exploration focalisée au niveau du corpus.

Méthodologie : DR-DCI

Les auteurs introduisent le DR-DCI (Retriever-Steered Direct Corpus Interaction), un cadre qui traite la récupération non pas comme une interface d'évidence finale, mais comme une action appelable par l'agent pour étendre un espace de travail local.

Mécanisme Central

Expansion Dynamique de l'Espace de Travail : Au lieu d'opérer directement sur le corpus complet $C$ , l'agent maintient un espace de travail local évolutif $W_t \subseteq C$ .
L'Action pull : L'agent invoque une action pull(query, topK) pour matérialiser des documents candidats classés du corpus caché vers l'espace de travail. L'environnement gère la récupération, la déduplication et la matérialisation (via des liens matériels/hard links), renvoyant de nouveaux documents $\Delta W_t$ , un aperçu classé $P_t$ , et des statistiques.
Opérations DCI Locales : Une fois les documents matérialisés, l'agent utilise des outils de type DCI (terminal) pour rechercher, filtrer, comparer et vérifier les preuves au sein de cet espace de travail limité $W_t$ .
Séparation des Préoccupations :
- La Récupération (Retrieval) gère la découverte de candidats au niveau du corpus (mise à l'échelle/scaling).
- La DCI gère l'interaction documentaire au niveau de l'espace de travail (précision).

Composants Clés de l'Interface

DCI Inter-documents : Des commandes comme rg et grep permettent à l'agent de rechercher à travers plusieurs documents matérialisés pour combiner des contraintes et suivre des entités de liaison (bridge entities).
DCI Intra-document : Des commandes comme read avec des décalages (offsets) permettent une vérification précise au niveau des segments (spans) au sein d'un seul document.
Aperçus Classés (Ranked Previews) : L'action pull renvoie un aperçu classé des nouveaux documents ajoutés pour guider l'investigation de l'agent sans remplacer la nécessité d'une vérification locale.
Réinitialisation de Contexte Préservant l'Espace de Travail : Un mécanisme de récupération où, si une trajectoire de raisonnement échoue (ex: faible confiance), le système rejette l'historique de raisonnement non fiable mais préserve l'espace de travail matérialisé $W_t$ . Une nouvelle instance d'agent tente alors de résoudre la requête en utilisant l'évidence existante.

Détails d'Implémentation

Interface Sensible au Terminal : Les documents sont matérialisés dans un espace de travail racine-plat, dédupliqué, avec des noms de fichiers sûrs pour le shell afin de garantir des opérations locales fiables.
Backend de Récupération : Le cadre est agnostique au backend de récupération, supportant à la fois la récupération parcimonieuse (BM25) et dense (ex: Qwen3 8B), bien que la récupération dense ait montré une découverte sémantique supérieure lors des expériences.

Contributions Clés

La Récupération comme Gestion d'Espace de Travail : L'article reformule la récupération, passant d'un module de sélection de contexte en un coup (one-shot) à une opération appelable par l'agent qui modifie son environnement. Les documents récupérés persistent comme état de l'espace de travail, permettant des appels d'outils ultérieurs pour rechercher et vérifier à travers les candidats matérialisés.
Une Interface Scalable pour la DCI : DR-DCI instancie l'idée que la récupération doit soutenir l'exploration au niveau du corpus tandis que la DCI soutient l'interaction documentaire locale. Cette séparation permet à la DCI de préserver la précision sans exiger que chaque commande de recherche scanne l'intégralité du corpus.
Validation Empirique : Les auteurs valident cette approche à travers trois contextes à grande échelle, démontant que l'expansion de l'espace de travail améliore la recherche sur corpus fixe et reste efficace à mesure que la taille du corpus augmente.

Résultats Expérimentaux

1. BrowseComp-Plus (Corpus Fixe)

Performance : DR-DCI a atteint une précision de 71,2 % sur le benchmark BrowseComp-Plus (830 requêtes), soit une amélioration de 8,3 points par rapport à Raw-DCI (62,9 %).
Efficacité : Il a réduit l'utilisation moyenne d'outils (30,94 contre 37,53), le temps d'exécution (146s contre 3139s) et le coût estimé (34,91 $ contre 88,13 $).
Réinitialisation de Contexte : Avec le mécanisme de réinitialisation de contexte préservant l'espace de travail, la précision s'est encore améliorée pour atteindre 73,25 %.
Compromis Coût-Précision : DR-DCI a démontré un meilleur compromis coût-précision par rapport à des systèmes externes comme o3 et Claude Sonnet 4.6.

2. Mise à l'Échelle Contrôlée du Corpus (BCP-100)

Configuration : Le corpus a été étendu de 100K à 10M de documents en ajoutant des distracteurs FineWeb tout en conservant les mêmes 100 questions et les preuves de référence (gold evidence).
Résultats :
- DR-DCI : La précision a décliné de manière progressive (de ~80 % à ~70 %) à mesure que la taille du corpus augmentait de 100x. Les dépassements de délai (timeouts) et les coûts sont restés maîtrisés.
- Raw-DCI : Est devenu instable et irréalisable au-delà de petites échelles en raison de recherches répétées dans le corpus complet via le terminal, provoquant des timeouts.
- Baseline BM25 : Est resté stable mais a nettement sous-performé le DR-DCI car il n'avait pas accès aux documents matérialisés pour la vérification locale.

3. Wiki-18 QA à l'Échelle de 20M

Configuration : Évalué sur un corpus de 20M de fichiers (un fichier par document) à travers six jeux de données QA (NQ, TriviaQA, etc.).
Résultats : DR-DCI a obtenu un score moyen de 63,0, surpassant les baselines de recherche par récupération et d'agents de recherche entraînés (ex: R1-Searcher-7B, Search-R1-32B).

Études d'Ablation

Dynamique vs Statique : Le "Dynamic Pull" (récupération entrelacée) a surpassé le "Single Pull" (espace de travail statique) en précision et en efficacité.
Aperçus Classés : Fournir des aperçus classés a considérablement amélioré la performance (82/100) par rapport aux aperçus cachés ou mélangés, indiquant l'importance du pilotage (steering).
DCI Inter-documents : Bloquer la recherche inter-documents a fait chuter la précision de 82/100 à 40/100, prouvant que les aperçus classés seuls sont insuffisants ; la capacité de comparer les documents est critique.
Backend de Récupération : Les deux (BM25 et Récupération Dense) ont fonctionné, mais la Récupération Dense a donné les meilleurs résultats (82/100).

Signification et Revendications

L'article affirme que DR-DCI offre une interface pratique pour passer la DCI à l'échelle de corpus massifs tout en conservant une interaction précise avec les preuves locales. Sa signification réside dans la résolution de la tension entre échelle et contrôle en :

Découplant la Découverte de la Vérification : Utiliser la récupération pour la découverte scalable de candidats et la DCI pour la vérification précise.
Permettant la Robustesse : Démontrant que les agents peuvent opérer efficacement sur des corpus ordres de grandeur plus grands que ceux utilisés dans les réglages RAG standards sans engendrer de coûts ou de timeouts prohibitifs.
Définissant les Exigences d'Interface : Établissant qu'une recherche agentique efficace nécessite non seulement de la récupération, mais aussi des fonctionnalités d'interface spécifiques comme les aperçus classés et les capacités de recherche inter-documents pour guider l'investigation de l'agent.

Les auteurs positionnent DR-DCI comme une approche complémentaire aux systèmes de recherche agentique existants, déplaçant l'attention de "comment entraîner les agents à chercher" vers "comment concevoir l'interface d'accès au corpus elle-même" pour supporter des états d'espace de travail durables et des boucles d'interaction scalables.