Résumé technique : VeriTrace : Évolution des modèles mentaux pour les agents de recherche approfondie

Énoncé du problème

Les agents de recherche approfondie sont confrontés au défi de naviguer dans des paysages d'information vastes, structurellement interdépendants et pervasivement incertains. Les systèmes existants tentent de gérer cela en externalisant les artefacts de recherche intermédiaires (par exemple, plans, banques de preuves, listes de tâches) pour dépasser la fenêtre de contexte des LLM. Cependant, ces systèmes reposent largement sur le raisonnement implicite du LLM pour faire évoluer ces représentations intermédiaires. Les auteurs soutiennent que sans régulation explicite, ces couches intermédiaires sont facilement contaminées par des informations de qualité variable, provoquant la propagation d'erreurs le long des dépendances. Par conséquent, les systèmes actuels substituent souvent l'échelle du modèle à l'absence de mécanismes de régulation, entraînant une dégradation des performances lorsque les modèles de base sont fixes ou lorsque les tâches deviennent hautement incertaines.

Le problème central consiste à identifier quelles boucles de régulation sont nécessaires pour permettre au « modèle mental » d'un agent (sa représentation intermédiaire de la tâche) de s'adapter au désordre, d'aligner continuellement la compréhension de la tâche avec la réalité et d'évoluer dans une direction saine.

Méthodologie : Le cadre VeriTrace

Les auteurs proposent VeriTrace, un cadre de graphe cognitif qui implémente explicitement trois boucles de régulation pour gouverner l'évolution du modèle mental de l'agent. Le système traite la couche intermédiaire non pas comme une mémoire statique, mais comme une représentation dynamique du statut d'apprentissage de l'agent, des insights tirés des preuves et des incertitudes.

1. Structure du graphe cognitif

Le modèle mental de l'agent est instancié sous la forme d'un Graphe Cognitif $G_t = (S_t, C_t)$ :

• Nœuds ($N_t$) : Représentent les concepts à l'étude. Chaque nœud stocke les critères d'acceptation, les résultats accumulés, un état cognitif (INCONNU, PARTIEL, CONNU) et un profil de qualité.
• Arêtes ($E_t$) : Représentent les relations d'enquête (questions stratégiques) entre les concepts, portant l'historique de recherche et le statut (à résoudre, en cours d'investigation, résolu, épuisé).
• Contenu : Les nœuds et les arêtes stockent des résultats structurés, des contradictions et des scores de qualité dérivés d'un mécanisme de notation CR-AAP (Actualité, Pertinence, Autorité, Précision, Objectif).

2. Les trois boucles de régulation

VeriTrace opérationnalise trois boucles de rétroaction spécifiques, s'inspirant de concepts des sciences cognitives (métacognition, traitement prédictif et assimilation/accommodation) comme vocabulaire de conception :

• Mise à jour interprétative (Assimilation) :

  • Mécanisme : À mesure que de nouvelles découvertes sont extraites, elles ne sont pas passivement accumulées. Au lieu de cela, le Gestionnaire du Graphe Cognitif les interprète par rapport à l'état actuel du graphe. Les découvertes sont classées comme confirmant, contredisant, comblant des lacunes ou surprenantes.
  • Fonction : Cela façonne activement ce qui compte comme une observation utilisable. Il met à jour les critères résiduels du nœud et l'état cognitif, garantissant que le système suit exactement dans quelle mesure chaque concept est résolu plutôt que de simplement remplir un magasin de mémoire.
  • Implémentation : Utilise un opérateur de mise à jour structuré ($\oplus_G$) qui intègre les découvertes dans une structure à deux niveaux (spécifique à l'élément et inter-éléments) et met à jour l'état cognitif $\sigma$.

• Rétroaction sur les écarts (Traitement prédictif) :

  • Mécanisme : Avant une recherche, le planificateur déclare des attentes pour un concept. Après une recherche, le résultat est noté par rapport à ces attentes en utilisant un Signal d'Écart $\delta_t^j$ comprenant la pertinence du contenu, la crédibilité de la source, les barrières d'accessibilité et la force des découvertes inattendues.
  • Fonction : Ce signal oriente le planificateur vers l'une des cinq stratégies de recherche spécifiques (Exploiter, Vérifier, Remplacer, Pivoter, Explorer) plutôt que de déclencher une nouvelle tentative indifférenciée. Il permet au système de distinguer un échec stratégique (mauvaise source) d'un échec de cadrage (mauvais concept).
  • Implémentation : Une application $\pi: D \to A_{search}$ partitionne l'espace des écarts pour sélectionner la prochaine action optimale.

• Révision du schéma (Accommodation) :

  • Mécanisme : Lorsque les retours accumulés indiquent que le cadrage actuel lui-même diverge de la réalité (par exemple, les contradictions s'accumulent ou les signaux d'écart persistent dans la même région), l'agent propose une opération de restructuration structurelle.
  • Fonction : Cela réécrit les étiquettes de concepts, les relations et les objectifs d'enquête tout en préservant les preuves existantes (Invariant I1). Il permet à l'agent de s'échapper d'un cadrage initial erroné plutôt que d'y être confiné.
  • Implémentation : Cinq opérateurs structurels ($R_{conc}, R_{aug}, R_{pivot}, R_{prune}, R_{correct}$) modifient la topologie du graphe. Par exemple, $R_{conc}$ concrétise un nœud indicateur en entités spécifiques, et $R_{pivot}$ fait pivoter l'axe de dépendance lorsque les preuves se co-localisent par entité plutôt que par dimension.

3. Dynamique du système

Le système alterne entre Assimilation (déploiement de tâches de recherche et mise à jour du graphe) et Accommodation (proposition de restructurations structurelles). Un pipeline de rédaction consomme le graphe final et le magasin de preuves pour produire un rapport, assurant la traçabilité des citations grâce à un processus à trois couches (Planificateur de plan, Planificateur de section, Rédacteur de section) qui limite strictement l'accès à l'information.

Contributions clés

1. Identification des boucles de régulation : L'article identifie trois boucles de rétroaction explicites (mise à jour interprétative, rétroaction sur les écarts, révision du schéma) comme mécanismes centraux pour réguler le modèle mental d'un agent dans l'incertitude.
2. Implémentation de VeriTrace : Un cadre de graphe cognitif qui organise la recherche autour de concepts plutôt que de sous-tâches, implémentant explicitement les trois boucles pour permettre la préservation des preuves sous révision structurelle.
3. Validation empirique : Des expériences complètes démontrant que les boucles de régulation explicites améliorent les performances de recherche approfondie au-delà de ce qui est réalisable par la seule échelle du modèle de base.

Résultats

Les auteurs ont évalué VeriTrace sur DeepResearch Bench (DRB) et DeepConsult.

• Gains de performance : En utilisant des modèles de base Qwen3.5-27B appariés, VeriTrace a surpassé la ligne de base appariée la plus forte (WebWeaver) de 4,22 points de pourcentage (pp) sur la dimension Insight et de 1,49 pp sur le score Global de DRB. Sur DeepConsult, il a atteint un taux de victoire global supérieur de 5,9 pp.
• Open Source de l'état de l'art : Avec un modèle de base Config-DeepSeek (DeepSeek-V4-Pro), VeriTrace a obtenu le résultat open source reproductible le plus fort sur DRB (Global 55,77, Insight 59,56).
• Études d'ablation :
  • La suppression de la Rétroaction sur les écarts (A1) a provoqué la plus forte baisse unique (−1,65 pp), gonflant le volume de recherche de 31 % tout en réduisant les taux de réussite.
  • La suppression de la Révision du schéma (A2) et de la Mise à jour interprétative (A3) a considérablement dégradé les performances sur les requêtes nécessitant une adaptation structurelle (−4,75 pp et −5,18 pp respectivement sur le sous-ensemble sensible à l'accommodation).
  • L'ablation complète (Afull) a fait chuter les performances en dessous de la ligne de base, confirmant que les boucles de régulation ne sont pas simplement additives mais fondamentales.

Signification et affirmations

L'article soutient que la nature apparemment « assoiffée d'échelle » de la recherche approfondie est en partie due à l'absence de boucles de régulation, où l'échelle du modèle se substitue à une régulation absente. VeriTrace démontre que la régulation explicite peut créer de la « marge de manœuvre » selon des axes différents de l'augmentation de l'échelle seule.

• Au-delà de l'échelle : Même avec des modèles de base plus petits, le modèle mental régulé de VeriTrace lui permet de surpasser les lignes de base utilisant des modèles de pointe beaucoup plus grands (par exemple, Claude-Sonnet-4.5) sur la dimension Insight. Cela suggère que la qualité du processus de raisonnement (sur quoi le modèle raisonne) est aussi critique que la puissance brute de raisonnement du modèle.
• Opérationnalisation de l'autorégulation : Ce travail opérationnalise l'autorégulation (métacognition, traitement prédictif) comme un mécanisme exécutable plutôt que comme une métaphore. Il fournit un vocabulaire de conception pour construire des agents capables de s'adapter à des tâches à long horizon et incertaines en alignant continuellement leurs modèles de tâches internes avec la réalité externe.
• Limites : Les auteurs notent que l'évaluation est actuellement centrée sur DeepResearch Bench et DeepConsult, et que la généralisabilité à d'autres tâches en environnement ouvert (par exemple, navigation web, découverte scientifique) reste à valider. De plus, les déclencheurs de restructuration sont heuristiques, et le système construit actuellement le graphe à partir de zéro par tâche sans transfert inter-tâches.