💻 computer science

From Naive RAG to Deep Agentic Retrieval: An Evolving Context Engineering Pipeline for Regulatory Compliance

Ce document détaille l'évolution d'un système de recherche de conformité réglementaire chez Ontario Power Generation, passant d'un RAG naïf à une architecture multi-agents sophistiquée appelée Progressive Evidence Acquisition with Cost-Aware Escalation (PEA-CAE), démontrant que l'ingénierie de contexte avancée et l'acquisition adaptative de preuves sont plus économiquement viables et efficaces que le réglage fin spécifique au domaine pour les corpus d'entreprise vastes et évolutifs.

Auteurs originaux : Mishca de Costa, Muhammad Saleh Anwar, Dave Mercier, Issam Hammad

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mishca de Costa, Muhammad Saleh Anwar, Dave Mercier, Issam Hammad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent capable de lire n'importe quel livre au monde et de répondre instantanément à vos questions. C'est la promesse des grands modèles de langage (LLM), les cerveaux d'IA derrière de nombreux chatbots modernes. Mais voici le hic : si vous posez une question sur un sujet spécifique et complexe — comme les règles de prix de l'électricité dans une province précise — il pourrait s'embrouiller. Pourquoi ? Parce que la « mémoire » du robot est limitée, et si vous déversez une bibliothèque entière de documents dans son cerveau d'un coup, il est submergé. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin en enfonçant toute la botte de foin dans une petite boîte ; l'aiguille est techniquement là, mais elle est enterrée sous trop de déchets. C'est le problème de l'« ingénierie du contexte » : déterminer comment nourrir le robot avec juste la bonne quantité d'informations pour qu'il puisse réfléchir clairement sans se perdre.

La grande question que se posent les chercheurs est la suivante : comment construire un système qui ne se contente pas de deviner, mais qui cherche réellement les bonnes réponses dans une pile massive et constamment changeante de documents juridiques et techniques ? Le document que vous allez lire explore ce voyage. Il passe d'une méthode simple de « recherche et lecture » à un processus de détective beaucoup plus intelligent à plusieurs étapes. Les auteurs suggèrent qu'au lieu de réentraîner le cerveau du robot pour qu'il mémorise chaque nouvelle loi (ce qui est coûteux et lent), il est préférable de lui apprendre à être un meilleur chercheur. Ils ont découvert que la clé n'est pas de donner plus d'espace de réflexion au robot, mais de lui donner de meilleurs outils pour trouver les faits exacts dont il a besoin, étape par étape, tout en maîtrisant les coûts et le temps.

De « Juste Demander » à « Super Détective » : L'Évolution d'un Chercheur en IA

Ce document raconte comment une équipe d'Ontario Power Generation (OPG) a mis à niveau son système d'IA pour gérer la tâche massive et complexe de la conformité réglementaire. Voyez cela comme l'histoire d'un bibliothécaire junior qui apprend lentement à devenir un maître détective.

La Ligne de Départ : Le Bibliothécaire « Naïf »

Au début, l'équipe utilisait un système de « RAG Naïf ». Imaginez un bibliothécaire qui, lorsque vous posez une question, attrape les 20 premiers livres qui semblent vaguement liés et les pousse tous sur votre bureau d'un coup. Si vous demandez : « Combien a coûté la centrale hydroélectrique en 2022 ? », le bibliothécaire pourrait vous jeter 25 000 mots de texte, incluant des pages sur 2019, 2023 et du matériel non lié.

Le problème ? L'IA (le « lecteur ») est submergée. C'est comme essayer de trouver une phrase spécifique dans un roman pendant que quelqu'un vous crie 50 autres phrases à l'oreille. Plus vous nourrissez l'IA de texte, moins elle est efficace pour trouver la bonne réponse. C'est ce que les auteurs appellent la « décomposition du contexte » (context rot). Les faits sont là, mais ils se perdent dans le bruit. Le bibliothécaire continue simplement d'ajouter des livres, espérant que la réponse s'y trouve, mais cela ne fait que ralentir le processus et augmenter les coûts.

Monter en Niveau : Le Détective « Actif »

L'équipe a réalisé que l'IA devait cesser d'être un récepteur passif pour devenir un enquêteur actif. C'était l'Étape II : La Récupération Agentique.

Désormais, au lieu de déverser un tas de livres sur le bureau, l'IA agit comme un détective avec une loupe. Elle demande au bibliothécaire seulement cinq pages à la fois. Elle les lit, réfléchit, puis dit : « D'accord, ces pages mentionnent "2022", mais je dois vérifier spécifiquement le fichier "Annexe C" ». Elle demande ensuite un nouvel ensemble de pages plus spécifiques.

C'est ce qu'on appelle la découverte progressive. L'IA ne se contente pas de deviner ; elle affine sa recherche. Si elle trouve une piste très prometteuse dans une seule page, elle peut décider de lire l'intégralité du document pour en être sûre. Mais elle est prudente ! Elle ne décide de faire cette lecture complète que si l'indice est assez fort pour justifier le temps et l'argent supplémentaires. C'est comme un détective décidant de cambrioler une maison : ne le faire que si les preuves suggèrent que le criminel est définitivement à l'intérieur.

La Classe de Maîtrise : Le « Deep Agent » avec une Équipe

Dans l'Étape III, le système devient encore plus intelligent. L'IA ne se contente pas de chercher ; elle planifie. Avant même de commencer à chercher, elle décompose une question vaste et intimidante en une liste de tâches plus petites et gérables.

Imaginez que vous deviez comparer les coûts de deux centrales électriques différentes sur dix ans. Une IA simple serait confuse. Mais ce « Deep Agent » crée un plan de recherche :

« Trouver les coûts de 2020 pour la Centrale A. »
« Trouver les coûts de 2020 pour la Centrale B. »
« Les comparer. »

Pour gérer cela, l'IA principale engage une équipe de sous-agents (des petits robots assistants). Un assistant lit un document énorme et le résume en une note minuscule. L'IA principale ne voit jamais le document désordonné de 50 pages ; elle ne voit que le résumé propre de deux phrases. Cela empêche la « décomposition du contexte » de se reproduire. L'IA principale reste fraîche et concentrée, tandis que les assistants font le gros du travail.

De plus, en raison des lois strictes sur la confidentialité au Canada, le système possède un tour spécial. Certains documents contiennent des graphiques et des diagrammes qui nécessitent une IA de « vision » pour être lus. Comme l'IA principale ne peut pas envoyer ces images vers un serveur étranger, le système utilise une IA « locale » spéciale au Canada qui lit les images et renvoie uniquement le texte. C'est comme avoir un traducteur spécialisé qui reste dans la pièce pour que les secrets ne quittent pas le bâtiment.

La Recette Secrète : PEA-CAE

Les auteurs ont formalisé cette approche intelligente et par étapes dans un cadre qu'ils appellent PEA-CAE (Progressive Evidence Acquisition with Cost-Aware Escalation - Acquisition Progressive de Preuves avec Escalade Sensible aux Coûts).

Voyez cela comme un carnet de règles pour un acheteur intelligent :

Commencer petit : Regardez d'abord les étiquettes de prix (morceaux de texte).
Ne pas acheter tout le magasin : N'achetez l'article complet (lecture du document entier) que si l'étiquette de prix semble suspectement intéressante.
Compresser votre liste : Résumez vos découvertes pour ne pas porter trop de poids.

Le document montre que cette méthode fonctionne. Dans leurs tests, le système a effectué 67 recherches de « morceaux » (chunks) mais n'a escaladé vers la lecture de documents complets que 7 fois. C'est un ratio d'environ 10 pour 1. Cela signifie que le système est généralement correct avec un simple coup d'œil rapide, économisant ainsi énormément de temps et d'argent. Lorsqu'il a dû lire un document complet, cela a pris entre 0,7 et 12 secondes, prouvant que la « lecture complète » est un outil lourd utilisé uniquement quand c'est nécessaire.

Ce que cela signifie pour l'avenir

La grande conclusion de ce document est que pour les bibliothèques de règles et de réglementations vastes et changeantes, vous n'avez pas besoin de réentraîner le cerveau de l'IA. Vous n'avez pas besoin de lui apprendre chaque nouvelle loi. Au lieu de cela, vous devez construire un meilleur moteur de recherche autour d'elle.

Les auteurs soutiennent que l'« ingénierie du contexte » — l'art de nourrir l'IA avec la bonne quantité d'informations au bon moment — est la véritable magie. C'est préférable à l'idée de forcer l'IA à tout mémoriser. En utilisant un système qui planifie, délègue et escalade avec soin, les entreprises peuvent obtenir des réponses précises et traçables de leur IA sans qu'elle ne se perde dans un océan de texte.

En bref, le document suggère que l'avenir de l'IA dans les domaines complexes ne consiste pas à rendre le robot plus intelligent de manière isolée ; il s'agit de lui donner une meilleure carte, une loupe plus précise et une équipe d'assistants pour faire le gros du travail. Il s'agit d'apprendre au robot à être un détective, et non un simple lecteur.

Résumé technique : Du RAG naïf à la recherche agentique profonde pour la conformité réglementaire

1. Domaine de problème et motivation

Le document traite du déploiement des modèles de langage de grande taille (LLM) au sein d'industries hautement réglementées, en se concentrant spécifiquement sur le besoin d'Ontario Power Generation (OPG) d'analyser des milliers de pages de documents réglementaires pour l'Ontario Energy Board (OEB). Le défi central n'est pas simplement de répondre à des questions, mais d'élaborer un système capable de récupérer de manière fiable, efficace et vérifiable un contexte faisant autorité à partir d'un corpus propriétaire vaste et en constante évolution.

Les auteurs identent un mode de défaillance critique dans les implémentations standards : la décomposition du contexte (Context Rot). Ils soutiennent que la longueur du contexte n'est pas une ressource gratuite. À mesure que les fenêtres de contexte s'élargissent avec des jetons (tokens) non pertinents, la compétition de l'attention dégrade la qualité des réponses et les signaux de recherche s'affaiblissent. Par conséquent, l'objectif passe de la maximisation du volume brut de contexte à la maximisation de la densité de preuves pertinentes.

Le document rejette explicitement le réglage fin (fine-tuning) spécifique au domaine comme solution primaire pour ce cas d'usage. Le réglage fin est jugé économiquement inadapté pour des corpus évolutifs où la connaissance est figée lors de l'entraînement, alors que les documents réglementaires sont fréquemment mis à jour. Au lieu de cela, les auteurs préconisent l'ingénierie du contexte (Context Engineering) — la construction délibérée, lors de l'inférence, d'un contexte à haut signal par le biais de la recherche, du filtrage et de la compression.

2. Évolution méthodologique

Le document retrace l'évolution du pipeline de recherche à travers trois étapes distinctes, chacune motivée par les modes de défaillance de l'itération précédente.

Étape I : Référence RAG naïve

Architecture : Un pipeline standard comprenant l'OCR/extraction structurée, le découpage en segments (chunking) (500–800 jetons), l'incorporation (embedding) et la recherche hybride (vecteur dense + mots-clés) avec un réordonnancement par encodeur croisé (cross-encoder re-ranking).
Limites : Le système est déterministe et sans état (stateless). Si la recherche initiale échoue à faire émerger les segments pertinents en raison d'une divergence de vocabulaire ou de dépendances multi-étapes (multi-hop), le LLM ne peut pas s'autocorriger. La seule atténuation possible est d'augmenter le nombre de segments récupérés ( $k$ ), ce qui augmente linéairement le coût et la latence tout en exacerbant la décomposition du contexte.
Résultat : Bien que fonctionnel pour des recherches simples, il manque de flexibilité pour gérer des requêtes réglementaires complexes et multi-étapes.

Étape II : Recherche agentique via l'appel de fonctions (Function Calling)

Architecture : Le LLM passe de consommateur passif à chercheur actif. Il est équipé d'un outil de recherche et reformule de manière itérative les requêtes sur la base de résultats intermédiaires (rétroaction de pertinence pseudo-artificielle).
Mécanismes clés :
- Découverte progressive : L'agent émet plusieurs appels d'outils avec des requêtes affinées, rétrécissant l'espace de recherche à l'aide de filtres de métadonnées (ex: ID d'exhibits spécifiques ou années de cas de taux).
- Escalade segment-document : Une règle de décision est introduite pour passer de la recherche au niveau du segment à la lecture du document complet uniquement lorsque le gain d'évidence attendu ( $\Delta U$ ) justifie la latence ajoutée ( $\Delta T$ ) et le coût ( $\Delta C$ ).
- Partitionnement des capacités : Pour satisfaire les contraintes de résidence des données canadiennes, le contenu visuel (graphiques/schémas) nécessitant une inférence visuelle est déchargé vers un modèle hébergé au Canada, tandis que l'agent de raisonnement principal reste séparé.
Limites : L'appel de fonctions introduit une surcharge de schéma JSON. Dans les scénarios extrêmes avec de nombreuses requêtes de faible qualité, la consommation de jetons peut excéder la référence de l'Étape I.

Étape III : Recherche agentique profonde (PEA-CAE)

Architecture : Un système mature doté d'une planification explicite, d'une délégation à des sous-agents hiérarchiques et d'une synthèse d'outils basée sur le code.
Mécanismes clés :
- Planification explicite : L'agent décompose les requêtes complexes en une séquence de sous-questions avant de commencer la recherche, stockant les découvertes intermédiaires dans une mémoire de travail.
- Sous-agents hiérarchiques : Pour éviter la décomposition du contexte dans les longues chaînes de raisonnement, l'agent principal génère des sous-agents pour des tâches subordonnées limitées. Les sous-agents effectuent une recherche approfondie et ne renvoient que des résumés compressés, empêchant les artefacts de recherche intermédiaires de consommer la fenêtre de contexte de l'agent principal.
- Synthèse d'outils basée sur le code : Au lieu de fonctions JSON prédéfinies, l'agent écrit du code Python/Bash au moment de l'exécution pour interagir avec les API et traiter les données. Cela amortit la surcharge des outils et permet une expressivité combinatoire sans limite fixe d'outils.
- Cadre PEA-CAE : Le système est formalisé comme une Acquisition Progressive d'Évidences avec Escalade Sensible au Coût (Progressive Evidence Acquisition with Cost-Aware Escalation). Il impose des règles pour filtrer d'abord, compresser tôt, escalader tardivement et compresser la largeur.

3. Contributions principales

Le document présente cinq contributions principales :

Caractérisation algorithmique : Une analyse étape par étape de trois architectures de recherche déployées en production, liant des modes de défaillance spécifiques aux transitions architecturales.
Cadre formel (PEA-CAE) : Une formalisation de la politique de recherche mature qui équilibre l'acquisition d'évidences avec les contraintes de coût et de latence.
Analyse empirique : Des données de traces opérationnelles démontrant les compromis entre l'utilisation de la fenêtre de contexte, la précision de la recherche et la fréquence d'escalade.
Modèle de souveraineté des données : Une stratégie de partitionnement des capacités pour les déploiements multi-juridictionnels, séparant le traitement visuel (hébergé localement) du raisonnement général.
Connexion théorique : Une analyse comparative reliant la conception de systèmes pratiques (reformulation adaptative de requête, découverte progressive de documents) aux théories classiques de la recherche d'information et de la recherche de l'information (information foraging).

4. Résultats et observations

Basé sur les traces opérationnelles du système de l'Étape III (Agent Profond) :

Taux de succès : Dans un échantillon de 14 exécutions, les 6 exécutions agentiques de l'OEB ont été réussies.
Latence : Les durées des tâches variaient de 24,8 secondes à 223 secondes (médiane de 92,1 s), reflétant une boucle de recherche soutenue plutôt qu'une simple consultation instantanée.
Efficacité de l'escalade : Le système a démontré un ratio recherche-escalade d'environ 9,6:1. L'extraction de documents complets n'est survenue que dans environ 10 % des événements de recherche, confirmant l'intention de conception de l'« escalade sélective ».
Variance de la latence : L'extraction de documents complets présentait une latence de queue élevée (jusqu'à 12,14 s), renforçant la nécessité de garder l'escalade sélective pour éviter la dégradation des performances.

5. Signification et affirmations

Le document affirme que pour les grands corpus réglementaires évolutifs, l'ingénierie du contexte est une voie plus traitable et économiquement viable que le réglage fin spécifique au domaine. L'"intelligence" du système ne réside pas dans les poids du modèle, mais dans les algorithmes qui construisent des fenêtres de contexte à haut signal.

Les auteurs soutiennent que la progression de la RAG naïve à la recherche agentique profonde reflète les idées classiques de la recherche d'information, introduisant des primitives de système pratiques telles que :

La reformulation adaptative de requêtes.
La découverte progressive de documents.
La synthèse hiérarchique par sous-agents.

La thèse centrale est que le contexte reste une ressource rare, même lorsque les tailles de fenêtres nominales augmentent. Par conséquent, la stratégie optimale est de rechercher progressivement, d'escalader sélectivement et de compresser agressivement. Le document conclut que le succès opérationnel dans l'IA réglementée dépend moins de l'adaptation du modèle que de la gestion conjointe de la qualité de la recherche, de la surcharge des outils, de la latence et de la croissance du contexte.