🤖 machine learning

HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning

HindSearch introduit une procédure d'auto-distillation par rétrospective pour l'apprentissage par renforcement augmenté par la recherche qui exploite les critiques d'un juge gelé sur les trajectoires échouées afin de fournir des signaux auxiliaires on-policy, améliorant significativement les performances par rapport aux bases de référence antérieures en utilisant la réponse correcte pour diagnostiquer les échecs de recherche.

Auteurs originaux : Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment résoudre un mystère. Vous lui posez une question, et il commence à interroger Internet pour trouver des indices. Parfois, il trouve la réponse, et parfois, il se perd dans un labyrinthe de mauvais virages. Dans le monde de l'intelligence artificielle, cela s'appelle l'apprentissage par recherche augmentée (Search-Augmented Learning). Le robot est un Grand Modèle de Langage (LLM), un cerveau informatique super intelligent qui lit et écrit du texte. Pour résoudre des problèmes difficiles, il ne se contente pas de deviner ; il utilise un moteur de recherche pour chercher des faits, morceau par morceau, comme un détective rassemblant des preuves.

Pendant longtemps, la façon d'entraîner ces robots-détectives ressemblait un peu à une partie de « chaud ou froid » avec un arbitre très strict. Le robot effectuait toute son enquête, et à la toute fin, l'arbitre disait simplement : « Tu as bon ! » ou « Tu as faux ! ». Si le robot se trompait, le seul retour qu'il recevait était un gros « 0 » plat. Il savait qu'il avait échoué, mais il n'avait aucune idée de la raison. Avait-il posé la mauvaise question ? Avait-il lu le mauvais article ? S'était-il confondu dans un nom complexe ? Sans savoir le « pourquoi », le robot devait deviner comment se corriger, ce qui revient à essayer d'apprendre à conduire une voiture en étant seulement informé de « crash » ou « pas de crash » après chaque trajet. C'est frustrant, lent, et cela conduit souvent le robot à prendre de mauvaises habitudes.

C'est là qu'intervient une nouvelle idée appelée HindSearch, proposée par les chercheurs Liu, Wang, Wu, Tao et Fang. Ils ont réalisé que lorsqu'un robot échoue, nous avons en réalité une référence : la bonne réponse. Au lieu de dire simplement « échec », ils ont décidé d'utiliser cette bonne réponse pour écrire une courte note utile expliquant exactement ce que le robot aurait dû faire différemment. Ils appellent cela une « critique de rétrospective » (hindsight critique).

Voici comment cela fonctionne en pratique : Imaginez que le robot essaie de découvrir qui a réalisé le film Brazil (le film de science-fiction de 1985, pas le pays). Il s'embrouille et recherche « Brésil directeur », trouvant des pages sur le gouvernement du pays au lieu du film. Il échoue. Avec l'ancienne méthode, l'entraînement s'arrête là avec un « 0 ». Mais avec HindSearch, un « Juge » figé (une IA super intelligente pré-entraînée qui n'apprend rien par elle-même) examine l'historique de recherche désordonné du robot et la bonne réponse (Terry Gilliam). Le Juge écrit alors une petite note d'une phrase : « Vous avez confondu le pays avec le film ! Vous auriez dû demander "réalisateur de Brazil film 1985" à la place ».

Cette note est ensuite utilisée comme un « indice » spécial pour enseigner au robot. On montre la note au robot et on lui demande d'imaginer : « Si j'avais connu cet indice, que chercherais-je ? ». Il apprend ainsi à ajuster ses habitudes de recherche pour correspondre aux conseils du Juge. Cela se produit après chaque tentative ratée, transformant chaque erreur en une leçon détaillée plutôt qu'en une impasse.

Les chercheurs ont testé cette méthode sur un ensemble standard de sept défis de questions-réponses difficiles, en utilisant un modèle appelé Qwen2.5-3B-Instruct. Ils ont constaté que cette astuce simple consistant à ajouter une « critique de rétrospective » a fait une énorme différence. La nouvelle méthode, HindSearch, a atteint un taux de réussite moyen de 39,4 % sur ces tests. C'est nettement supérieur aux meilleures méthodes précédentes, qui stagnaient autour de 33,6 %. L'amélioration était constante à travers tous les types de questions, des faits simples aux puzzles complexes nécessitant de relier plusieurs éléments.

Crucialement, l'équipe voulait s'assurer que l'amélioration provenait réellement de la partie « rétrospective » — le fait que le Juge connaisse la réponse. Pour le prouver, ils ont effectué un test où ils ont supprimé l'accès du Juge à la réponse correcte. Lorsque le Juge devait deviner ce qui n'allait pas sans connaître la solution, l'amélioration a presque disparu, retombant à 34,7 %. Cela suggère que la magie ne réside pas seulement dans le fait d'avoir une seconde IA qui examine le travail, mais spécifiquement dans le fait d'avoir cette seconde IA qui utilise la bonne réponse pour donner une leçon corrective précise.

L'article explore également comment cet entraînement se comporte au fil du temps. Les performances du robot ont grimpé régulièrement sur 300 étapes d'entraînement, atteignant un score d'entraînement maximal de près de 50 % et un score de validation de 39,4 % à la fin. L'entraînement était stable, ce qui signifie que le robot ne s'est pas emmêlé les pinceaux ou n'a pas commencé à agir de manière erratique, un problème courant lors de l'enseignement d'IA avec des récompenses complexes.

Un détail intéressant est que cette méthode fonctionne en apprenant au robot spécifiquement comment rechercher, et non comment donner la réponse finale. La « critique » n'influence que les mots que le robot utilise lorsqu'il pose une question au moteur de recherche. Cela permet au robot de rester concentré sur sa tâche : rassembler les bons indices. Les chercheurs ont également découvert que l'utilisation d'un modèle « Enseignant » beaucoup plus grand (7 milliards de paramètres) pour donner les indices nuisait en réalité au processus, provoquant l'effondrement de l'entraînement. Il s'avère qu'un enseignant trop différent de l'élève peut être déroutant ; un enseignant similaire mais figé fonctionne mieux.

En résumé, HindSearch suggère que la meilleure façon d'enseigner à un robot de recherche n'est pas seulement de lui dire quand il a tort, mais de lui montrer la réponse et de lui demander : « Étant donné que vous connaissez la réponse, quelle est la chose unique que vous auriez dû faire différemment ? ». En transformant chaque échec en une leçon spécifique et exploitable, le robot apprend à devenir un bien meilleur détective, trouvant les bons indices beaucoup plus souvent qu'auparavant. Le code de cette méthode est disponible pour que d'autres puissent l'essayer, et les résultats suggèrent que cette approche de « rétrospective » pourrait être un nouvel outil puissant pour entraîner des agents d'IA qui doivent explorer le monde pour trouver des réponses.

Résumé Technique : HindSearch

Énoncé du Problème

Les agents de modèles de langage (LM) augmentés par la recherche sont généralement entraînés par apprentissage par renforcement (RL) avec une récompense binaire d'exactitude parfaite (Exact-Match, EM). Bien que simple, cet objectif basé uniquement sur le résultat délaisse les informations critiques contenues dans les trajectoires échouées. Une trajectoire échouée comprend les requêtes spécifiques émises, les extraits récupérés et, au moment de l'entraînement, la réponse de référence (gold answer). Les méthodes actuelles traitent souvent ces échecs comme un « signal de bandit », forçant l'agent à récupérer la politique de recherche sous-jacente sans guidage explicite sur le pourquoi de l'échec de la trajectoire. Cela entraîne des délais de crédit de responsabilité prolongés et une instabilité de l'entraînement.

Les tentatives existantes pour fournir des signaux plus denses se divisent généralement en deux catégories :

Modèles de Récompense de Processus (PRM) : Ils attribuent des scores de qualité scalaires à des étapes individuelles mais restent évaluatifs (noter une étape) plutôt que directifs (instruire une correction).
Distillation Conditionnée par des Indices (ex: OpenClaw-RL) : Ils utilisent des indices en langage naturel pour conditionner un modèle enseignant. Cependant, les travaux antérieurs génèrent ces indices en ligne à partir de l'état suivant sans accès à la réponse de référence, ou les appliquent à des domaines comme le contrôle d'interface graphique (GUI) où le succès local est clair.

Aucune de ces approches n'exploite pleinement le signal le plus pur disponible pendant l'entraînement : la réponse de référence elle-même.

Méthodologie : HindSearch

Les auteurs proposent HindSearch, une procédure de critique par rétrospective (hindsight) au niveau de la trajectoire conçue pour augmenter l'Optimisation de Politique Relative au Groupe (GRPO). L'innovation centrale est un mécanisme d'auto-distillation post-hoc qui convertit les échecs d'exactitude parfaite au niveau de la trajectoire en une supervision par jeton (per-token).

1. Critique par Rétrospective au Niveau de la Trajectoire (TLHC)

Après chaque déploiement (rollout) GRPO, le système partitionne les trajectoires en ensembles de succès ( $T^+$ ) et d'échecs ( $T^-$ ). Pour chaque trajectoire échouée $\tau$ :

Un juge gelé ( $\pi_J$ ) est interrogé avec la trajectoire complète rendue et la réponse de référence ( $a^\star$ ).
Le juge génère une critique courte et directive ( $h(\tau)$ ) expliquant ce que l'agent aurait dû faire différemment (ex : « Interrogez directement le directeur au lieu de l'acteur principal »).

2. Perte de Distillation On-Policy (OPD)

La critique $h(\tau)$ est utilisée pour conditionner un modèle enseignant gelé ( $\pi_{ref}$ ), qui est initialisé à partir des poids de l'étudiant.

Conditionnement : Pour chaque étape de recherche $t$ dans une trajectoire échouée, la critique est diffusée comme un préfixe au contexte : $c^T_t = \langle \text{HINT} \rangle h(\tau) \langle / \text{HINT} \rangle \oplus c_t$ .
Calcul de la perte : L'étudiant ( $\pi_\theta$ ) est entraîné pour aligner les probabilités de ses jetons d'action de recherche avec la distribution conditionnée par l'indice de l'enseignant. La perte est appliquée uniquement aux jetons situés à l'intérieur de l'intervalle <SEARCH>...</SEARCH> des trajectoires échouées.
Écrêtage (Clamping) : La perte utilise un coefficient de blocage pour garantir que les mises à jour ne se produisent que lorsque l'enseignant est plus confiant que l'étudiant, empêissant ainsi les valeurs aberrantes de dominer le lot (batch).

L'objectif total combine le gradient de politique découpé standard de GRPO ( $L_{PPO}$ ) avec cette perte de distillation auxiliaire ( $L_{OPD}$ ) :
$L_{total} = L_{PPO} + \lambda_{OPD} \cdot L_{OPD}$
où $\lambda_{OPD} = 0.01$ .

Contributions Clés

Critique par Rétrospective au Niveau de la Trajectoire (TLHC) : Une procédure novatrice qui transforme les échecs binaires d'exactitude parfaite en signaux de supervision riches par jeton, en exploitant la réponse de référence pour générer des critiques directives.
Performance Empirique : La méthode atteint une exactitude parfaite (EM) moyenne de 39,4 % sur une suite de sept benchmarks de recherche-QA en utilisant un backbone Qwen2.5-3B-Instruct, surpassant les précédentes lignes de base de recherche-RL (ex: Search-R1 GRPO à 33,6 %).
Stabilité : L'approche démontre des dynamiques d'entraînement stables sur un budget de 300 étapes, avec une montée monotone de l'EM de validation sans plafonnement.

Résultats Expérimentaux

Les auteurs ont évalué HindSearch sur sept benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle) en utilisant un backbone Qwen2.5-3B-Instruct et un récupérateur E5-base-v2 sur Wikipedia-18.

Résultats Principaux : HindSearch a atteint 39,4 % d'EM moyen, dépassant la ligne de base la plus forte (Search-R1 GRPO) de +5,8 points.
Généralisation : Les améliorations sont constantes tant sur les benchmarks in-domain (NQ, HotpotQA) que sur les benchmarks zero-shot, suggérant que la méthode induit des comportements de recherche généraux plutôt que de mémoriser des schémas d'entraînement.
Études d'Ablation :
- Nécessité de la Rétrospective (Hindsight) : Retirer l'accès du juge à la réponse de référence (faisant de lui un juge « sans réponse ») a fait chuter la performance à 34,7 %, confirmant que la rétrospective (l'accès à la réponse) est le principal moteur d'amélioration, et non simplement l'acte de juger.
- Forme de la Perte : Remplacer la perte OPD avec clamp simple par la perte de substitution top-K découpée PPO d'OpenClaw-RL a fait chuter la performance à 32,7 %, en dessous de la ligne de base, indiquant que la formulation spécifique de la perte est critique.
- Taille de l'Enseignant : L'utilisation d'un enseignant plus grand de la même famille (7B) a provoqué un effondrement de l'entraînement, suggérant que les écarts de capacité entre l'enseignant et l'étudiant doivent être médiés avec soin par le contexte de l'indice.

Signification et Revendications

L'article affirme que HindSearch répond à la pénurie fondamentale de signaux dans l'apprentissage par renforcement augmenté par la recherche. En utilisant la réponse de référence pour générer des critiques directives (plutôt qu'évaluatives) post-hoc, la méthode fournit un signal de distillation on-policy dense qui guide les actions de recherche de l'agent sans nécessiter de modèles de récompense de processus en ligne ou de façonnage complexe de multi-récompenses.

Les auteurs soulignent que cette approche récupère un « signal correctif riche à partir de déploiements qui, autrement, ne produiraient aucun gradient de récompense ». La méthode est présentée comme une alternative stable et efficace à l'apprentissage par renforcement standard basé uniquement sur le résultat, démontant que la l'auto-distillation par rétrospective peut considérablement améliorer les politiques de recherche dans les grands modèles de langage. Le travail est de portée modeste, se concentrant sur la variante instruite du modèle et notant que l'application aux modèles de base purs nécessiterait une étape initiale d'acquisition de format.