Résumé Technique : Harness-1

Énoncé du Problème

Les agents de recherche, généralement implémentés sous forme de modèles de langage interagissant avec des outils de récupération, sont souvent entraînés pour opérer sur des transcriptions croissantes. Dans cette formulation, la politique doit gérer simultanément les décisions de recherche sémantique (par exemple, quoi interroger, quels documents lire) et la gestion de routine de l'état (par exemple, se souvenir des documents vus, suivre les contraintes, maintenir un ensemble de preuves organisé). Les auteurs soutiennent que forcer la politique à reconstruire un état utile à partir d'observations brutes et par ajout successif est inefficace et conduit à un apprentissage par renforcement (RL) mal conditionné. À mesure que les transcriptions croissent, les requêtes difficiles peuvent produire des récompenses quasi identiques de type « ensemble vide », le vocabulaire des outils peut s'effondrer en appels de recherche répétitifs, et la distinction entre l'échec de la recherche et l'échec de la curation devient obscure.

Méthodologie : Harness-1

Le papier présente Harness-1, un agent de recherche de 20 milliards de paramètres entraîné par apprentissage par renforcement à l'intérieur d'un harnais de recherche à état (stateful search harness). Le principe central est le déchargement cognitif par état (stateful cognitive offloading) : l'environnement (le harnais) maintient l'état récupérable, tandis que la politique ne conserve que les décisions sémantiques.

Le Harnais à État (Stateful Harness)

Le harnais maintient une WORKINGMEMORY (mémoire de travail) à deux niveaux :

1. Niveau Interne (orienté Prompt) : Un résumé compact et rendu de l'état de la recherche comprenant :
   • Pool de Candidats ($P_t$) : Résultats de recherche compressés et dédoublonnés.
   • Ensemble Organisé ($C_t$) & Étiquettes d'Importance ($I_t$) : Un ensemble plafonné (max 30 documents) de documents sélectionnés avec des étiquettes (très haute, haute, moyenne, basse).
   • Graphe d'Évidence ($G_t$) : Un résumé des liens inter-documents basés sur les entités, les dates et les documents de liaison.
   • Registres de Vérification ($V_t$) : Journaux des affirmations vérifiées par rapport au texte source.
   • Historique de Recherche ($H_t$) & Marqueurs de Budget ($B_t$) : Résumés de la progression et des limites de contexte.
2. Niveau Externe (Texte Complet) : Un magasin de texte intégral ($D_t$) de fragments récupérés, accessible via review_docs sans nouveaux appels au corpus.

Actions de la Politique

La politique opère en émettant des actions structurées qui éditent cet état plutôt que d'étendre une transcription :

• Récupération : fan_out_search, search_corpus, grep_corpus, read_document.
• Curation : curate (ajouter/supprimer des documents et assigner des étiquettes d'importance).
• Vérification : verify (vérifier les affirmations rédigées par la politique par rapport aux documents stockés).
• Terminaison : end_search.

Pipeline d'Entraînement

1. Apprentissage Supervisé (SFT) : Un agent enseignant (GPT-5.4) fonctionne à l'intérieur du harnais complet pour générer des trajectoires. La politique apprend la mécanique de l'interface : formats d'appel d'outils, rythme recherche-curation, étiquetage d'importance et normes de vérification.
2. Apprentissage par Renforcement (RL) : La politique est entraînée on-policy en utilisant CISPO sur des épisodes de recherche complets. La fonction de récompense combine :
   • Qualité de l'Ensemble : Rappel pondéré de l'ensemble organisé final.
   • Couverture de Trajectoire : Crédit pour la découverte de preuves n'importe où dans le pool.
   • Évidence de Réponse : Récompenses pour l'inclusion de documents porteurs de réponses et pénalités pour l'omission de ceux-ci.
   • Diversité des Outils : Un bonus pour l'utilisation d'un ensemble diversifié d'outils afin d'éviter l'effondrement dans des recherches répétitives.
   • Pénalité de Tour : Pour encourager l'efficacité.

Exigences Clés de Conception

Les auteurs identifient trois exigences pour qu'un harnais de recherche à état soit entraînable :

1. Curation par Amorçage (Warm-started Curation) : Auto-amorçage de l'ensemble organisé avec les meilleurs résultats de la première recherche réussie pour fournir un signal d'apprentissage initial.
2. Rendu d'État Dérivé Compact : Résumer l'état via des étiquettes d'importance, des graphes d'évidence et des registres de vérification pour éviter l'inflation du contexte.
3. Incitations de Préservation de la Diversité : Structures de récompense qui encouragent un rythme de recherche, de curation, de revue et de vérification.

Contributions Clés

1. Formulation : Le papier cadre la conception de harnais comme un problème central dans le RL d'agents de récupération, proposant le « déchargement cognitif par état » pour séparer les décisions sémantiques de la comptabilité.
2. Système Harness-1 : Un agent de recherche de 20B présentant un ensemble organisé avec étiquettes d'importance, un graphe d'évidence compact, des registes de vérification et un rendu de contexte conscient du budget.
3. Exigences d'Entraînabilité : Identification de l'amorçage, du rendu compact et des incitations à la diversité comme conditions nécessaires pour un RL efficace dans la recherche à état.
4. Validation Empirique : Démonstration que le harnais à état améliore la qualité de la récupération et la précision des réponses en aval sur huit benchmarks diversifiés.

Résultats

Harness-1 a été évalué sur huit benchmarks couvrant le web, la finance, les brevets et le QA multi-étapes (ex: BrowseComp+, SEC, HotpotQA).

• Performance : Harness-1 a atteint un rappel de curation moyen de 0,730, surpassant le sous-agent de recherche ouvert le plus fort suivant (Tongyi DeepResearch 30B) de +11,4 points. Il reste compétitif avec des modèles frontières beaucoup plus grands (ex: GPT-5.4, Opus-4.6), surpassant plusieurs d'entre eux en rappel de curation moyen.
• Généralisation de Transfert : Le modèle a montré des gains particulièrement forts sur les benchmarks de transfert non vus (LongSealQA, Seal0QA, FRAMES, HotpotQA) qui n'ont pas été utilisés lors du SFT ou du RL. Le gain moyen sur ces tâches de transfert (+17,0 points par rapport à Context-1) était 2,2 fois plus grand que le gain sur les benchmarks de la famille source (+7,9 points), suggérant que les opérations apprises sur un état explicite se généralisent mieux que les motifs spécifiques à un domaine.
• Études d'Ablation : La désactivation de mécanismes individuels du harnais (ex: étiquettes d'importance, graphe d'évidence, amorçage automatique) a entraîné des baisses significatives du Rappel de la Réponse Finale (jusqu'à -7,9 %). La désactivation de tous les mécanismes simultanément a causé une chute de -12,2 % du Rappel, confirmant que les gains de performance proviennent de la conception du harnais plutôt que de la seule capacité intrinsèque du modèle.
• Dynamique d'Entraînement : Les expériences ont montré que sans une récompense de diversité des outils, la politique s'effondrait dans une stratégie lourde en recherche avec une faible qualité de curation. Le bonus de diversité était essentiel pour stabiliser l'utilisation des outils et améliorer le rappel final.

Signification et Revendications

Le papier affirme que la conception d'un harnais à état est un axe critique, auparavant sous-exploré, pour le RL d'agents de récupération. En déchargeant la comptabilité mécanique vers l'environnement, la politique peut se concentrer sur des décisions sémantiques de haut niveau, menant à un entraînement plus stable et une meilleure généralisation.

Les auteurs affirment que Harness-1 démontre qu'un modèle plus petit (20B) doté d'une interface à état bien conçue peut surpasser de plus grands modèles ouverts et rivaliser avec les modèles frontières dans des tâches de recherche complexes. Les résultats suggèrent que « l'interface elle-même » est une partie centrale de ce que la politique apprend à utiliser, plutôt qu'un simple enveloppement d'outils. Le travail pointe vers un avenir où les agents de recherche sont définis par la synergie entre une politique entraînable et un harnais de déchargement cognitif à état.

Le papier conclut en publiant les poids du modèle, le code du harnais, le pipeline de génération de données et la recette de RL pour faciliter la recherche ultérieure dans cette direction.