Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

1. Énoncé du problème

Les Agents de Recherche Approfondie (Deep Research Agents - DRAs) alimentés par des modèles de langage de grande taille (LLM) transforment la découverte automatisée de connaissances, mais souffrent de problèmes de fiabilité. Les modes de défaillance courants incluent les hallucinations, une utilisation incorrecte des API, une dépendance à des sources secondaires incomplètes et des erreurs de raisonnement.

• Limites des approches actuelles : Les méthodes existantes se concentrent principalement sur l'amélioration des capacités de politique via un post-entraînement (Supervised Fine-Tuning ou Reinforcement Learning). Bien que l'"Inference-Time Scaling" (par exemple, l'échantillonnage Best-of-N) existe, il échoue souvent car différentes simulations tendent à répéter les mêmes erreurs systématiques.
• Le vide : Il manque des cadres automatisés et évolutifs permettant aux agents de s'auto-évoluer pendant l'inférence en vérifiant leurs propres sorties, en générant des retours ciblés et en affinant les réponses sans entraînement supplémentaire. De plus, générer des retours de haute qualité est difficile car cela nécessite des capacités de raisonnement sophistiquées.

2. Méthodologie

Les auteurs proposent DeepVerifier, un cadre qui exploite l'asymétrie de la vérification (vérifier une réponse est souvent plus facile que de la générer) pour permettre une auto-amélioration itérative. La méthodologie se compose de trois composants principaux :

A. Taxonomie des défaillances des DRA

Pour guider la vérification, les auteurs ont construit une taxonomie systématique des défaillances des agents basée sur l'analyse de 555 points d'erreur issus du jeu de données WebAggregatorQA.

• Structure : La taxonomie classe les défaillances en 5 catégories majeures et 13 sous-catégories.
• Résultats clés : Le mode de défaillance le plus fréquent est "Trouver des sources" (par exemple, consulter de mauvaises preuves, recherches génériques), suivi du "Raisonnement" (conclusions prématurées, hallucinations).
• Utilisation : Cette taxonomie sert de fondation pour créer des grilles d'évaluation structurées qui guident le processus de vérification.

B. Le cadre DeepVerifier

DeepVerifier est un pipeline multi-modules en trois étapes conçu pour décomposer des tâches de vérification complexes :

1. Agent de décomposition :
   • Au lieu de demander à un LLM de re-résoudre entièrement la tâche complexe (ce qui est sujet aux erreurs), cet agent résume la trajectoire originale et identifie les points d'erreur potentiels basés sur la Taxonomie des défaillances.
   • Il formule des questions de suivi à fort levier ciblant des vulnérabilités spécifiques (par exemple, "La source X énonce-t-elle explicitement l'affirmation Y ?").
2. Agent de vérification :
   • Exécute les questions de suivi en utilisant des outils externes (recherche web, exécution de code) pour rassembler des preuves concrètes.
3. Agent juge :
   • Évalue la réponse originale par rapport au résumé de la trajectoire, à la liste des erreurs potentielles et aux preuves rassemblées à partir des questions de suivi.
   • Produit un score basé sur une grille (1–4) et des retours détaillés et actionnables.

C. Inference-Time Scaling et Auto-évolution

• Boucle itérative : L'agent génère une réponse $\rightarrow$ DeepVerifier la vérifie $\rightarrow$ Des retours sont fournis $\rightarrow$ L'agent réessaie/affine la réponse.
• Retours guidés par la grille : Les retours ne sont pas génériques ; ils sont dérivés de la taxonomie de défaillance spécifique, garantissant que l'agent sait exactement pourquoi il a échoué (par exemple, "Vous vous êtes appuyé sur une recherche générique au lieu d'une source primaire").
• Aucun entraînement requis : Ce processus se déroule entièrement au moment de l'inférence, ne nécessitant aucune mise à jour de gradient du modèle de base.

D. Jeu de données DeepVerifier-4K

Pour permettre aux modèles open-source de développer des capacités de vérification robustes, les auteurs ont créé DeepVerifier-4K, un jeu de données d'entraînement supervisé (SFT) curaté contenant 4 646 paires prompt-réponse de haute qualité. Ces paires se concentrent sur le processus de réflexion et d'auto-critique, permettant aux modèles ouverts (comme Qwen) d'apprendre à vérifier et à affiner leurs propres sorties.

3. Contributions principales

1. Formalisation de la réflexion des agents : L'article formalise un pipeline de réflexion pour les DRA qui exploite l'asymétrie de la vérification, allant au-delà du jugement holistique pour passer à la vérification ciblée de preuves.
2. Taxonomie des défaillances des DRA : La création d'une taxonomie complète et automatiquement construite (5 classes, 13 sous-classes) qui catégorise systématiquement les défaillances des agents, servant de modèle pour des récompenses basées sur des grilles.
3. Cadre DeepVerifier : Un module plug-and-play qui intègre la vérification et la génération de retours, surpassant les bases de référence standard "Agent-as-Judge" et les juges LLM.
4. Jeu de données DeepVerifier-4K : Un jeu de données SFT de haute qualité publié à la communauté open-source pour entraîner les modèles à la réflexion et à l'auto-critique, répondant à la pénurie de données pour cette capacité spécifique.

4. Résultats expérimentaux

Performance de vérification (Méta-évaluation)

• DeepVerifier surpasse significativement le "Agent-as-Judge" vanilla et les juges LLM standards.
• Métrique : Il réalise une amélioration de 12 % à 48 % des scores F1 de méta-évaluation.
• Ablation : Le retrait du module de décomposition conduit à une haute précision mais à un faible rappel (manque d'erreurs subtiles). Le retrait du module de vérification conduit à une mauvaise précision. Le pipeline complet équilibre les deux.

Inference-Time Scaling (Gains de performance)

• Modèles propriétaires (Claude-3.7-Sonnet) :
  • Sur le benchmark GAIA, la précision s'est améliorée de 8 % à 11 % (par exemple, GAIA-Web est passé d'environ 52 % à environ 63,5 %).
  • Sur XBench-DeepSearch, les gains ont atteint 6 %.
  • Sur BrowseComp (extrêmement difficile), les gains ont atteint 5 %.
• Modèles open-source (Qwen3-8B / DeepVerifier-8B) :
  • Les modèles affinés sur DeepVerifier-4K ont montré des capacités de réflexion supérieures.
  • DeepVerifier-8B a réalisé un gain de précision de 5,5 % après 10 rounds de réflexion, surpassant significativement le Qwen3-8B de base et le CK-Pro-8B (entraîné uniquement sur des données standard).

Tendances d'échelle

• Les performances atteignent généralement un pic autour de 3 à 4 rounds de retours.
• Les premiers rounds corrigent de nombreuses erreurs (Incorrect $\to$ Correct), mais les rounds ultérieurs risquent une sur-correction (Correct $\to$ Incorrect). Le cadre inclut un mécanisme d'arrêt anticipé lorsque le vérificateur accepte une réponse.

5. Signification et impact

• Changement de paradigme : L'article déplace l'accent du seul entraînement d'agents meilleurs vers le scaling de la vérification au moment de l'inférence. Il démontre que les agents peuvent s'autocorriger efficacement sans coûts d'entraînement supplémentaires.
• Évolutivité : L'approche est agnostique au modèle, fonctionnant efficacement à la fois avec des API propriétaires puissantes et des modèles open-source affinés.
• Efficacité des ressources : En décomposant la vérification en petites sous-tâches plutôt qu'en re-résolvant tout le problème, elle offre un meilleur compromis précision-coût par rapport aux méthodes de force brute comme Best-of-N.
• Contribution à la communauté : La publication de la Taxonomie des défaillances et du jeu de données DeepVerifier-4K fournit une base critique pour les recherches futures sur l'apprentissage par renforcement (RL) amélioré par la réflexion et le développement d'agents fiables.

En résumé, ce travail établit que la vérification structurée et guidée par des grilles est un mécanisme puissant pour augmenter l'échelle de la fiabilité des Agents de Recherche Approfondie, transformant le calcul au moment de l'inférence en une boucle d'auto-amélioration qui booste considérablement la précision sur des tâches de raisonnement complexes et multi-étapes.