Résumé Technique : AgentCPM-Report

Énoncé du Problème

La recherche approfondie en mode ouvert nécessite que les agents naviguent dans de vastes paysages d'informations et synthétisent leurs découvertes en des rapports cohérents et perspicaces. Les modèles de langage actuels sont confrontés à des défis importants dans ce domaine, principalement en raison des limitations des paradigmes existants :

1. Récupération puis Écriture (Retrieval-then-Write) : Les approches précoces génèrent du contenu séquentiellement sur la base de preuves récupérées. Bien que flexibles, elles mènent souvent à une incohérence sur de longs horizons.
2. Planification puis Écriture (Plan-then-Write) : Des cadres plus récents (par exemple, WebWeaver) figent un plan détaillé avant l'écriture pour assurer la cohérence structurelle. Cependant, ce paradigme suppose une complétude initiale de l'information, ce qui est souvent contredit dans la recherche en mode ouvert. Il sépare rigidement la planification de l'écriture, empêchant les agents de capturer les intuitions émergentes qui ne font surface que durant le processus de rédaction. Cela crée un « plafond d'intuition » où les rapports sont structurellement solides mais intellectuellement superficiels.
3. Dépendance aux Grands Modèles : La construction de plans initiaux de haute qualité exige un raisonnement fort et des connaissances spécialisées, forçant la plupart des systèmes à dépendre de modèles fermés ou en ligne. Cette dépendance introduit des barrières pratiques au déploiement, particulièrement concernant la sécurité et la confidentialité lors du traitement de données locales créées par l'utilisateur.

Il existe un besoin critique pour une solution entièrement locale, sur appareil, qui ne dépende pas de modèles externes à grande échelle tout en surmontant le plafond d'intuition de la planification statique.

Méthodologie : AgentCPM-Report

Les auteurs proposent AgentCPM-Report, un agent de recherche approfondie léger (8 milliards de paramètres) construit sur un nouveau cadre appelé WARP (Writing As Reasoning Policy).

1. Le Cadre WARP

WARP reformule la recherche approfondie comme un processus de raffinement itératif au niveau de la politique, où les décisions de planification émergent dynamiquement de l'écriture elle-même. Au lieu d'un blueprint statique, l'agent alterne entre deux macro-états :

• Rédaction Basée sur les Preuves (Evidence-Based Drafting) : L'agent convertit les plans structurels en un contenu étayé. Il utilise une stratégie de « récupération puis écriture » où les requêtes de récupération sont conditionnées par le récit accumulé pour garantir la cohérence contextuelle. Le contenu est ancré dans les preuves récupérées pour garantir la fidélité.
• Approfondissement Piloté par le Raisonnement (Reasoning-Driven Deepening) : L'agent traite le brouillon nouvellement généré comme une nouvelle observation pour le raisonnement. Il évalue la densité sémantique et la cohérence logique du brouillon actuel pour détecter les lacunes ou les arguments superficiels. Si la profondeur fait défaut, l'agent décompose de manière autonome les sections de haut niveau en interrogations granulaires, met à jour le plan dynamique et déclenche un cycle de rédaction ciblé.

Cette boucle permet à l'agent de découvrir et de combler les lacunes logiques qui n'apparaissent que lors de l'articulation d'arguments concrets, imitant le processus humain de « transformation des connaissances ».

2. Entraînement Agentique Multi-étapes

L'entraînement de petits modèles (8B) pour une prise de décision sur de longs horizons est complexe en raison de l'ambiguïté des points de terminaison et de la rareté des récompenses. Les auteurs introduisent un curriculum en trois étapes :

• Démarrage à Froid (SFT - Supervised Fine-Tuning) : Établit le suivi d'instructions de base et l'adhérence au format en utilisant des données de trajectoire.
• RL de Compétences Atomiques : Décompose l'objectif global en capacités atomiques (Planification, Récupération, Écriture, Prise de Décision). L'agent est entraîné avec des fonctions de récompense spécifiques pour chaque compétence (ex: rappel de pertinence pour la récupération, fidélité pour l'écriture) afin de maîtriser l'exécution locale avant d'optimiser la stratégie globale.
• RL de Pipeline Holistique : Passe à l'optimisation de bout en bout de la qualité du rapport final (exhaustivité, intuition). Cette étape utilise une stratégie d'élagage de trajectoire où les modèles enseignants sont forcés de « sur-étendre » de manière récursive. Le système identifie ensuite rétroactivement le point d'arrêt optimal basé sur les scores du rapport, élaguant la trajectoire pour fournir un signal de supervision pour la saturation de l'information. Cela apprend à l'agent à terminer en fonction de la qualité plutôt que par imitation arbitraire.

Contributions Clés

1. Cadre WARP : Une reformulation au niveau de la politique qui entrelace rédaction et approfondissement, permettant une évolution dynamique du plan et brisant le plafond d'intuition de la planification statique.
2. Entraînement Agentique Multi-étapes : Une stratégie de curriculum combinant le démarrage à froid, le RL de compétences atomiques et le RL de pipeline holistique, spécifiquement conçu pour gérer l'attribution de crédit sur de longs horizons et les récompenses rares dans les petits modèles.
3. Élagage de Trajectoire : Une technique de préparation de données qui résout le « problème de l'arrêt optimal » en filtrant les trajectoires de l'enseignant pour identifier les brouillons intermédiaires de plus haute qualité, fournissant ainsi des signaux de supervision plus clairs pour les décisions de terminaison.
4. Solution Locale et Préservant la Confidentialité : Un système entièrement local utilisant un modèle de 8 milliards de paramètres (MiniCPM4.1-8B) qui élimine le besoin d'API propriétaires, répondant ainsi aux préoccupations de sécurité et de confidentialité.

Résultats Expérimentaux

Le système a été évalué sur trois benchmarks : DeepResearch Bench (tâches scientifiques), DeepConsult (requêtes commerciales/financières) et DeepResearch Gym (recherche d'informations générale).

• Performance vs Systèmes Fermés : AgentCPM-Report (Pipeline RL) a surpassé les principaux systèmes fermés, y compris Gemini-2.5-Pro-deepresearch, sur DeepResearch Bench. Plus précisément, il a obtenu un score d'Intuition de 52,64 (contre 49,45 pour Gemini) et un score d'Exhaustivité de 50,54 (contre 49,51 pour Gemini). Sur DeepResearch Gym, il a atteint des résultats de pointe avec un score moyen de 98,48.
• Impact des Étapes d'Entraînement : La performance s'est améliorée de manière constante du SFT vers le RL Atomique, puis vers le RL de Pipeline. Par exemple, sur DeepResearch Bench, la métrique d'Exhaustivité est passée de 46,24 (SFT) à 50,54 (Pipeline RL), et l'Intuition de 48,10 à 52,64.
• Études d'Ablation :
  • Efficacité de WARP : Même sans entraînement, l'application du paradigme WARP à un modèle plus grand (Qwen3-235B) a surpassé le paradigme Plan-then-Write, confirmant que l'approfondissement conscient du brouillon est un moteur clé de l'intuition.
  • Profondeur de l'Approfondissement : Les expériences ont montré que la qualité du rapport (Intuition et Exhaustivité) augmente avec les étapes d'approfondissement, plafonnant autour de 9 étapes. L'agent entraîné par Pipeline RL a appris à s'arrêter près de cette profondeur optimale, tandis que les agents SFT s'arrêtaient prématurément.
  • Élagage de Trajectoire : Les modèles entraînés sur des trajectoires élaguées ont nettement surpassé ceux entraînés sur des trajectoires brutes de l'enseignant, validant l'efficacité de la stratégie d'élagage pour enseigner la terminaison optimale.

Signification et Revendications

L'article affirme qu'AgentCPM-Report établit une base solide pour une génération de rapports de recherche approfondie sûre, respectueuse de la vie privée et entièrement locale.

Les auteurs soutiennent que pour les tâches de recherche approfondie, le principal goulot d'étranglement n'est pas la taille du modèle, mais la conception de processus cognitifs et de planification efficaces. En intégrant le paradignement d'inférence WARP avec un entraînement agentique multi-étapes, des modèles de petite taille et en open-source peuvent atteindre des capacités de recherche approfondie auparavant associées à des systèmes propriétaires à grande échelle. Ce travail démontre qu'une conception de politique spécialisée peut servir d'alternative viable au passage à l'échelle des modèles pour faire progresser les capacités de recherche approfondie.

L'article reconnaît des limites, notant que les systèmes actuels reposent sur des bases de connaissances textuelles (manquant de données multimodales ou personnalisées) et que la génération de tableaux/figures reste un défi pour les petits modèles en raison du raisonnement structurel requis. Des travaux futurs sont suggérés pour découpler la présentation de la génération de contenu et étendre les sources de connaissances aux données multimodales et aux données personnelles locales.