💬 NLP

Harness-G: A Graph-Structured Harness for Search Agents

Harness-G remédie à l'effondrement de l'équivalence de recherche dans les agents de recherche par apprentissage par renforcement en introduisant une interface structurée sous forme de graphe qui reformule la génération de requêtes en forme libre en une sélection d'actions finies, couplée à un mécanisme de Crédit Non-myope Structuré qui surpasse de manière significative les bases de référence existantes à travers de multiples bancs d'essai de questions-réponses.

Auteurs originaux : Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

Publié 2026-07-31

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résoudre un mystère épineux, comme découvrir qui a volé le dernier biscuit du bocal. Vous avez un détective super intelligent (une Intelligence Artificielle) capable de lire des millions de livres pour trouver la réponse. Mais voici le hic : le détective ne sait pas comment demander de l'aide au bibliothécaire. Au lieu de dire : « Montrez-moi le livre sur le bocal à biscuits », il commence à crier des phrases étranges et sophistiquées comme : « J'ai besoin de l'histoire de la miette croustillante ! » ou « Révélez le conte du voleur sucré ! »

C'est ainsi que fonctionnent la plupart des agents de recherche IA actuels. Ils utilisent une technique appelée Apprentissage par Renforcement, qui est essentiellement un entraînement de style jeu vidéo où l'IA reçoit un « tape dans le dos » (une récompense) lorsqu'elle trouve la bonne réponse et un « pouce vers le bas » lorsqu'elle échoue. Le problème est que l'IA est si douée pour inventer des phrases aux sonorités différentes qu'elle finit souvent par demander exactement la même information de dix manières différentes. C'est comme crier « Biscuit ! », « Friandise sucrée ! » et « En-cas délicieux ! » en même temps. Le bibliothécaire (le moteur de recherche) ramène la même pile de livres pour chacune de ces demandes, mais l'IA pense qu'elle explore de nouveaux territoires. Cela crée un désordre confus où l'IA pense apprendre, alors qu'en réalité, elle fait du surplace, posant les mêmes questions encore et encore sous des déguisements différents.

Des chercheurs de l'Université Nationale de Technologie de Défense ont remarqué cette confusion et ont décidé de corriger la façon dont le détective parle au bibliothécaire. Ils ont réalisé que laisser l'IA crier des phrases aléatoires était le problème. Au lieu de laisser l'IA inventer ses propres questions, ils ont construit un menu spécial, comme une interface de jeu vidéo, où l'IA doit choisir parmi une liste d'actions spécifiques et pré-approuvées. Elle ne peut pas simplement « demander » ; elle doit « Sélectionner » une phrase spécifique, « Rechercher » une personne spécifique ou « Répondre » à la question. En forçant l'IA à choisir dans une liste claire, ils ont empêché l'IA de s'égarer dans sa propre confusion verbale. Ils ont également inventé une nouvelle façon d'attribuer le mérite : si l'IA choisit la bonne personne à rechercher, mais que la réponse n'apparaît que trois étapes plus tard, ils s'assurent que l'IA reçoive le mérite pour ce premier mouvement intelligent, et pas seulement pour le résultat final.

Le Nouveau Jeu : Harness-G

Le papier présente un nouveau système appelé Harness-G. Considérez cela comme si vous donniez à votre détective IA une carte entièrement nouvelle, super organisée, et un règlement strict.

Le Problème : L'« Illusion » de l'Exploration
Les auteurs ont découvert que lorsque les agents d'IA utilisent l'ancienne méthode de « forme libre » (crier des phrases aléatoires), ils souffrent de ce qu'ils appellent une « effondrement de l'équivalence de récupération » (retrieval-equivalence collapse). Imaginez que vous jouez à un jeu où vous devez trouver un trésor caché. L'ancienne IA essaierait de creuser à dix endroits différents, mais parce qu'elle criait des instructions vagues, le moteur de jeu continuait d'apporter exactement la même pile de terre aux dix endroits. L'IA pensait : « Wow, j'ai essayé dix choses différentes ! », mais en réalité, elle n'a fait que creuser le même trou dix fois. Cela rendait impossible pour l'IA d'apprendre quels mouvements étaient réellement bons, car chaque mouvement semblait identique au système.

La Solution : Le Menu d'Actions
Harness-G change les règles du jeu. Au lieu de laisser l'IA écrire ses propres questions, le système construit un graphe — un immense réseau reliant les paragraphes, les phrases et les noms (entités) de tous les livres. Lorsque l'IA veut trouver une information, elle n'écrit pas une phrase. Au lieu de cela, elle consulte un menu d'options fourni par le système.

Le menu propose uniquement trois types de mouvements :

Sélectionner : « Je choisis cette phrase spécifique comme preuve. »
Rechercher : « Je veux trouver plus d'infos sur ce nom spécifique (comme 'Caroline Leaf'). »
Répondre : « J'ai terminé, voici ma réponse. »

Le système transforme ensuite automatiquement ce choix en la requête de recherche parfaite. Cela empêche l'IA d'inventer des synonymes déroutants. Si l'IA veut rechercher « Caroline Leaf », elle choisit « Rechercher Caroline Leaf » dans la liste. Elle ne peut pas accidentellement choisir « Rechercher le réalisateur du film » et obtenir un résultat différent, car le système sait que ces deux choses sont les mêmes et gère cela automatiquement. Cela rend chaque mouvement distinct et clair.

Le Système de Crédit Intelligent : SNC
Le papier introduit également une nouvelle façon de donner des « tapes dans le dos » appelée Crédit Non-Myope Structuré (SNC - Structured Non-myopic Credit). Dans les anciens jeux, si l'IA faisait un mouvement intelligent tôt dans le processus (comme trouver un pont entre deux idées) mais n'obtenait la réponse finale que bien plus tard, elle ne recevait souvent aucun crédit pour ce mouvement précoce. C'était comme un joueur de football qui fait une passe parfaite à un coéquipier, mais seul celui qui frappe le ballon dans le but reçoit le crédit du but.

Harness-G corrige cela en examinant toute la chaîne d'événements. Il demande : « Ce mouvement précoce a-t-il permis le succès ultérieur ? » Si l'IA choisit la phrase de transition appropriée, le système lui donne du crédit même si la réponse finale arrive trois étapes plus tard. Il compare également le choix de l'IA aux autres options disponibles à ce moment précis. Si l'IA choisit la meilleure option du menu, elle reçoit une grande récompense. Si elle choisit une option médiocre, elle en reçoit une plus petite. Cela apprend à l'IA à être stratégique, et non simplement chanceuse.

Les Résultats
Les chercheurs ont testé ce nouveau système sur six défis différents de questions-réponses, allant de la simple culture générale à des énigmes complexes à plusieurs étapes. Ils ont comparé Harness-G aux meilleures méthodes existantes, y compris un système appelé Graph-R1.

Les résultats sont clairs :

Harness-G a gagné. Il a obtenu le score moyen le plus élevé sur tous les tests.
Il a le plus aidé les « petits cerveaux ». Lorsqu'ils ont utilisé un modèle d'IA plus petit (1,5 milliard de paramètres), Harness-G a amélioré son score de 10,74 points par rapport à la méthode suivante. Même avec un modèle plus grand (3 milliards de paramètres), il a quand même battu la concurrence de 3,98 points.
Il était plus efficace. L'IA n'avait pas besoin de poser autant de questions pour trouver la réponse, et elle ne perdait pas de temps à lire des informations non pertinentes.

Ce qu'ils ont écarté
Le papier argumente explicitement contre l'idée que le simple fait de donner des récompenses plus « denses » (des tapes dans le dos plus fréquentes) pour ses cris aléatoires réglerait le problème. Ils ont montré que même avec un meilleur scoring, si l'IA est autorisée à crier des phrases aléatoires, elle reste coincée dans cette « illusion d'exploration » où elle pense faire de nouvelles choses alors qu'elle ne fait que répéter les mêmes. La solution n'est pas seulement un meilleur scoring ; c'est de changer l'interface elle-même.

À quel point sont-ils sûrs ?
Les auteurs sont très confiants dans leurs conclusions car ils ont testé cela sur des données réelles à travers six ensembles de données différents et deux tailles de modèles d'IA différents. Ils ne se sont pas contentés de simuler ; ils ont réellement entraîné l'IA et observé son apprentissage. Ils ont également réalisé des « études d'ablation », ce qui signifie qu'ils ont démonté leur propre système pour prouver que le menu et le système de crédit intelligent étaient tous deux nécessaires. Lorsqu'ils ont retiré le menu, les performances ont chuté. Lorsqu'ils ont retiré le crédit intelligent, les performances ont chuté. Les deux parties sont essentielles.

En bref, Harness-G montre que parfois, la meilleure façon de rendre une IA plus intelligente n'est pas de la laisser être plus créative dans ses questions, mais de lui donner une façon plus claire et plus structurée de choisir son prochain mouvement. Cela transforme un concours de cris chaotiques en une partie d'échecs précise et stratégique.

Résumé Technique : Harness-G

Problème : Effondrement de l'équivalence de recherche dans les agents de recherche par RL

Les agents de recherche par apprentissage par renforcement (RL), tels que Search-R1, modélisent généralement la recherche comme la génération de requêtes en langage naturel sous forme libre. Ces agents optimisent les trajectoires d'interaction multi-tours en utilisant des récompenses basées sur la réponse finale (par exemple, le score F1 ou l'Exact Match). Bien que des études récentes tentent d'améliorer l'entraînement via des signaux de crédit plus denses (ex: gain d'information, récompenses de processus), elles conservent l'interface fondamentale où la politique génère une chaîne de caractères et l'environnement la mappe vers des preuves récupérées.

Les auteurs identifient un mode de défaillance critique dans cette configuration, nommé effondrement de l'équivalence de recherche (retrieval-equivalence collapse). Pendant l'entraînement, la politique génère des chaînes de requêtes de surface diversifiées (haute diversité de forme de requête), pourtant ces requêtes sont souvent mappées vers des ensembles quasi identiques de preuves récupérées (faible diversité de résultat de recherche). À mesure que l'entraînement progresse, les trajectoires pour une même question convergent vers une classe unique d'équivalence de recherche. Cela crée deux problèmes d'optimisation pour les méthodes relatives au groupe comme GRPO :

Disparition des avantages : Si plusieurs trajectoires récupèrent la même preuve et produisent la même réponse, leurs retours sont identiques, provoquant la disparition des avantages intra-groupe.
Crédit de recherche confondu : Si les trajectoires récupèrent la même preuve mais produisent des réponses différentes, les différences de retour reflètent le raisonnement en aval plutôt que la qualité de la recherche, rendant impossible l'attribution du succès ou de l'échec à des actions de recherche spécifiques.

Par conséquent, l'« exploration » fournie par des chaînes de requêtes diverses est souvent illusoire, échouant à fournir un contraste efficace pour apprendre de meilleures stratégies de recherche.

Méthodologie : Harness-G

Pour remédier à cela, les auteurs proposent Harness-G, un cadre de recherche structuré par graphe qui redessine l'interface politique-environnement. Au lieu de générer des requêtes en langage libre, la politique effectue une sélection d'actions finies sur un espace de preuves structuré.

1. Environnement structuré par graphe

Harness-G construit hors ligne un graphe tripartite léger et programmatique à partir du corpus, composé de :

Nœuds de paragraphes : Contextes documentaires.
Nœuds de phrases : Les unités de preuve minimales.
Nœuds d'entités : Ponts entre les sauts inter-phrases et inter-documents.
Les arêtes connectent les paragraphes aux phrases, les phrases aux entités (via des mentions), les phrases adjacentes, et les entités identiques/similaires (via la normalisation de surface et les voisins par plongement/embedding). Ce graphe est construit sans LLM génératifs, en s'appuyant sur la segmentation de phrases, la reconnaissance d'entités nommées (NER) et l'encodage dense.

2. L'interface du menu d'actions

À chaque étape, l'environnement expose un menu d'actions borné et fini ( $M_t$ ) à la politique. La politique sélectionne un ID d'action dans ce menu plutôt que de générer une chaîne de texte. Les actions sont :

Select(s) : Valider une phrase visible $s$ comme preuve.
Lookup(e) : Récupérer les informations autour d'une entité spécifique $e$ . L'environnement construit de manière déterministe la requête (en concaténant la question et les preuves validées) et retourne les $K$ meilleures phrases.
Answer / Answer_With : Terminer la recherche et générer une réponse (en validant optionnellement les phrases visibles en une seule étape).

Cette conception garantit que :

Finitude : L'espace d'action est borné.
Vérifiabilité : Les actions invalides sont bloquées avant exécution.
Prévisibilité : L'environnement peut simuler de manière déterministe (prévisualiser) le résultat de toute action candidate sans muter l'état.

3. Crédit structuré non myope (SNC)

Exploant la frontière d'actions prévisualisables, Harness-G introduit le Crédit Structuré Non Myope (SNC) pour attribuer des récompenses par étape sans nécessiter d'extra rollouts de l'agent ou de modèles de récompense externes. Le SNC se compose de deux termes :

Avantage relatif à la frontière ( $r^{fr}_t$ ) : Un évaluateur de réponse "gold" figé évalue la probabilité de la réponse correcte étant donné le contexte actuel. Pour une action d'acquisition d'information, il calcule le gain marginal de l'action sélectionnée par rapport au gain moyen d'une "frontière" d'actions alternatives réalisables au même état. Cela fournit une comparaison locale au sein du même état, indisponible dans les espaces de requêtes ouverts.
Crédit d'habilitation ( $r^{en}_t$ ) : Pour traiter la nature non myope du raisonnement multi-sauts (où une action de "pont" précoce permet une récupération ultérieure à haute valeur), le SNC propage les gains en aval le long d'un graphe de provenance. Si l'étape $u$ consomme une entité produite par l'étape $t$ , le crédit coule de $u$ vers $t$ selon l'ordre topologique inverse.

L'avantage total par étape est combiné avec la récompense de résultat standard dans l'objectif GRPO : $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$ .

Contributions clés

Identification de l'effondrement de l'équivalence de recherche : Le papier démontre empiriquement que les interfaces de requêtes en langage libre dans les agents de recherche par RL mènent à un effondrement de la diversité de recherche, rendant l'optimisation relative au groupe inefficace.
Redesign de l'interface (Harness-G) : Il reformule la recherche multi-sauts comme une sélection d'actions finies sur un environnement structuré par graphe, remplaçant la génération de chaînes libres par un menu vérifiable et prévisualisable.
Crédit structuré non myope (SNC) : Il introduit un mécanisme d'attribution de crédit qui utilise la prévisibilité du menu d'actions pour calculer des avantages relatifs au même état et propager le crédit différé pour les actions d'habilitation, le tout sans rollouts supplémentaires.
Validation empirique : Des expériences étendues sur six benchmarks de QA (incluant des jeux de données multi-sauts comme 2Wiki, HotpotQA et MuSiQue) montrent que Harness-G surpasse significativement les bases solides, particulièrement dans les scénarios multi-sauts et avec des échelles de modèles plus petites.

Résultats

Évalué sur six benchmarks avec les modèles Qwen2.5-1.5B et Qwen2.5-3B :

Performance : Harness-G atteint le F1 moyen le plus élevé pour les deux échelles de modèles.
- À 1.5B, il surpasse la base la plus forte (Graph-R1) de 10,74 points en F1 moyen.
- À 3B, il surpasse Graph-R1 de 3,98 points.
Études d'ablation :
- Remplacer l'interface de requête libre par le menu d'actions seul améliore le F1 de plus de 17 points en moyenne, avec des gains dépassant 35 points sur MuSiQue.
- L'ajout du SNC améliore davantage les performances, particulièrement sur les tâches multi-sauts où le crédit différé est crucial.
Stabilité et efficacité : Harness-G présente une dynamique d'entraînement stable avec des normes de gradient bornées. Il ne nécessite aucun extra rollout de l'agent pour l'attribution de crédit (uniquement des prévisualisations en lecture seule) et n'induit qu'un overhead minimal (~9–11 % de temps de calcul par étape). Il démontre également de meilleures capacités de transfert hors distribution (O.O.D.) par rapport à Graph-R1.

Signification et affirmations

Le papier affirme que la conception de l'espace d'action est un axe complémentaire et critique à la conception de la récompense pour l'entraînement des agents de recherche. Les auteurs soutiennent que le simple fait de densifier les récompenses (via des récompenses de processus ou le gain d'information) dans une interface de requête en langage libre ne peut pas fondamentalement résoudre le problème de l'effondrement de l'équivalence de recherche, car l'interface elle-même permet de nombreuses correspondances de type "plusieurs-vers-un" entre les requêtes et les preuves.

En redéfinissant l'interface de recherche pour qu'elle soit discrète, vérifiable et prévisualisable, Harness-G permet :

Une véritable exploration : Garantir que différentes actions mènent à des résultats de recherche réellement distincts.
Une attribution de crédit précise : Permettre à l'agent d'apprendre quelles preuves ou choix d'entités spécifiques sont supérieurs aux alternatives au même état de décision.
Un apprentissage non myope : Enseigner efficacement à l'agent à effectuer les étapes de "pont" nécessaires qui ne produisent pas immédiatement des récompenses élevées mais sont essentielles pour un succès ultérieur.

L'étude conclut que bien que Harness-G soit actuellement uniquement textuel, son approche structurée des espaces d'action et de l'attribution de crédit offre un cadre robuste pour l'entraînement des agents de recherche, suggérant que les travaux futurs pourraient étendre ces principes à la preuve multimodale.