🤖 machine learning

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE introduit une méthode d'attribution de crédit dense et sans critique pour les agents à horizon long qui dérive des récompenses par tour à partir des changements de différence temporelle dans les rapports logarithmiques des valeurs d'état, permettant à l'apprentissage par renforcement pur d'améliorer significativement la performance d'utilisation d'outils sur des benchmarks de recherche complexes sans nécessiter de réglage fin supervisé ou de données web en direct.

Auteurs originaux : Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Publié 2026-07-16

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à résoudre un mystère géant et complexe à plusieurs étapes. Dans le monde de l'intelligence artificielle, on appelle cela l'« apprentissage par renforcement agentique ». Voyez le robot comme un détective qui ne se contente pas de deviner la réponse une seule fois, mais qui passe des heures à fouiller des bibliothèques, à ouvrir des fichiers, à poser des questions et à rassembler des indices avant de s'écrier enfin : « J'ai trouvé le coupable ! » La partie délicate consiste à savoir comment enseigner au détective. Si le détective se trompe à la toute fin, un instructeur simple pourrait simplement dire : « Mauvais travail », et lui donner un zéro. Mais ce serait injuste ! Peut-être que le détective a passé la première heure à trouver les bons indices, pour ne trébucher que sur une latte de parquet dans la dernière minute. Si vous punissez toute une heure de travail acharné juste à cause de la dernière erreur, le détective sera confus et arrêtera de chercher des indices. C'est le problème de l'« attribution de crédit » : comment donner du crédit pour les bonnes étapes et du blâme pour les mauvaises quand la récompense ne vient qu'à la toute fin ?

Ce document, intitulé TRACE, s'attaque précisément à ce casse-tête pour les agents d'IA qui doivent effectuer de nombreux tours pour résoudre un problème. Les chercheurs proposent une méthode ingénieuse pour donner un « pouce levé » ou un « pouce baissé » au détective après chaque étape (comme chaque recherche ou chaque ouverture de fichier), plutôt que d'attendre la fin. Ils y parviennent sans avoir besoin qu'un humain évalue chaque étape ou qu'un juge super-intelligent regarde tout le film. À la place, ils utilisent un « modèle de référence gelé » — imaginez un bibliothathe calme et immuable qui détient le corrigé. Après chaque mouvement du détective, le bibliothécaire vérifie : « Est-ce que ce nouvel indice rend la réponse finale plus facile à deviner ? » Si oui, le détective reçoit une petite récompense. Si non, il reçoit une légère pénalité. Cette méthode, appelée TRACE, aide l'IA à apprendre beaucoup plus vite et mieux qu'en attendant simplement la note finale.

Le dilemme du détective

Imaginez que vous entraînez un robot pour trouver le lieu de naissance d'un auteur de fiction nommé « Elena Cruz ». Le robot doit utiliser un navigateur pour effectuer des recherches, ouvrir des pages et lire du texte. Cela peut nécessiter 20 clics pour y parvenir. Avec l'ancienne méthode d'entraînement de ces robots (appelée entraînement par « résultat uniquement »), le robot effectuerait les 20 clics, par exemple, obtiendrait la mauvaise réponse, puis l'ordinateur dirait : « Échec ». Le robot essaierait alors de nouveau, mais il ne saurait pas quels de ces 20 clics étaient utiles. Peut-être que les 15 premiers clics ont trouvé le bon livre, mais que le 16e clic a ouvert une page sur une autre Elena, menant à la mauvaise réponse. L'ancienne méthode traite les 15 clics utiles de la même manière que le 16e clic inutile : les deux sont punis. C'est comme recevoir une mauvaise note à un examen de mathématiques parce que vous avez fait une petite erreur d'arithmétique à la fin, même si vous avez résolu l'algèbre difficile correctement.

Les chercheurs ont découvert que cette approche du « tout ou rien » rend l'apprentissage de tâches complexes très difficile pour les robots. Le robot est confus, l'entraînement prend un temps infini, et il abandonne souvent l'exploration de nouvelles idées car il craint de commettre une erreur à la toute fin.

La solution TRACE : Un bulletin de notes pour chaque étape

Les auteurs de ce document ont conçu TRACE (Turn-level Reward Assignment via Credit Estimation). Au lieu d'attendre la réponse finale pour noter le robot, TRACE donne au robot un score après chaque appel d'outil (chaque recherche, chaque ouverture, chaque clic).

Voici comment cela fonctionne, en utilisant notre analogie du détective :

Le bibliothécaire gelé : Le système utilise un « modèle de référence gelé ». Imaginez un bibliothécaire qui a déjà lu le corrigé et qui ne changera jamais d'avis. Ce bibliothécaire est « gelé », ce qui signifie qu'il n'apprend pas et ne se laisse pas confondre ; il sert simplement de point de mesure constant.
La vérification de progression : Après que le robot a effectué un mouvement (comme chercher « Elena Cruz »), le bibliothécaire examine les notes actuelles du robot. Le bibliothécaire demande : « Sur la base de ce que le robot a trouvé jusqu'à présent, est-il facile de deviner la bonne réponse ? »
Le changement de score : Si la nouvelle recherche du robot rend la réponse plus facile à deviner, le robot reçoit un score positif. Si la recherche mène à une impasse ou à une page déroutante, le score baisse.
La magie du « télescopage » : Le document utilise une astuce mathématique appelée « différence temporelle » (TD). Imaginez une échelle. Si vous montez d'un échelon, vous recevez du crédit pour cet échelon. Si vous montez et que vous glissez accidentellement vers le bas, vous perdez du crédit pour la descente. Le système additionne ces petits changements. Si le robot passe 10 tours à rassembler de bons indices et fait ensuite un mauvais mouvement, le système considère les 10 bonnes étapes comme positives et le mauvais mouvement comme négatif. Il ne punit pas les 10 bonnes étapes simplement parce que la réponse finale est fausse.

Cette méthode est spéciale car elle n'a pas besoin qu'un humain écrive « Bon travail » après chaque étape, ni d'une seconde IA super-intelligente pour surveiller le robot et le noter. Elle utilise simplement le « bibliothécaire gelé » pour voir si le robot se rapproche de la vérité.

Ce qu'ils ont trouvé

Les chercheurs ont testé TRACE sur une tâche très difficile : trouver des faits spécifiques cachés profondément dans une vaste collection de documents (une recherche en « web fermé »). Ils ont utilisé deux tailles différentes de modèles d'IA : un plus petit (Qwen3-4B) et un plus grand (Qwen3-30B-A3B).

Les résultats sont impressionnants. Avant d'utiliser TRACE, le petit modèle ne pouvait résoudre qu'environ 7,2 % des questions de recherche difficiles. Après un entraînement avec TRACE, il est passé à 35,6 %. Le modèle plus grand est passé de 8,4 % à 42,6 %. Ces améliorations sont énormes, surtout si l'on considère qu'ils n'ont utilisé aucun entraînement de « démarrage à froid » (où l'on enseigne au robot avec des exemples parfaits au préalable) ni de données internet en direct. Ils ont simplement utilisé la méthode TRACE sur le modèle brut.

Le document montre également que TRACE fonctionne même lorsque le robot est testé sur l'internet ouvert, et non plus seulement sur la bibliothèque d'entraînement. Le robot a appris une compétence générale de recherche et de lecture qui s'est transférée à de nouveaux endroits. Par exemple, le modèle plus grand a obtenu un score de 12,9 sur un benchmark appelé BrowseComp, 52,0 sur GAIA, et 45,0 sur un test de recherche profonde chinois.

Pourquoi c'est important et quelles sont ses limites

Le document suggère que cette méthode rend l'apprentissage beaucoup plus rapide. Dans leurs expériences, les robots entraînés avec TRACE ont commencé à s'améliorer bien plus tôt et ont atteint leur pic de performance plus rapidement que les robots entraînés avec l'ancienne méthode du « attendre la fin ». Les courbes d'apprentissage ont montré que les robots apprenaient à explorer et à rassembler des preuves plus efficacement.

Cependant, les auteurs précisent avec prudence les limites de leur travail. Cette méthode fonctionne mieux lorsque la réponse finale est courte et claire, comme un nom, une date ou un nombre. Si la tâche du robot est d'écrire une histoire longue et complexe ou de réparer un programme informatique défectueux où la « bonne » réponse est ouverte et difficile à définir, cette méthode pourrait moins bien fonctionner. Le « bibliothécaire gelé » a besoin d'un corrigé clair pour vérifier. Si la réponse est vague, le bibliothécaire ne peut pas dire si le robot se rapproche de la vérité.

En résumé, TRACE est une nouvelle façon d'enseigner aux agents d'IA comment être de bons détectives. Au lieu d'attendre la fin de l'enquête pour dire « Bon travail » ou « Mauvais travail », elle fournit un bulletin de notes après chaque indice trouvé. Cela aide l'IA à comprendre que la collecte de preuves est précieuse, même si la prédiction finale n'est pas parfaite, menant à des agents de recherche plus intelligents, plus rapides et plus fiables.

Résumé Technique : TRACE (Assignation de récompense par tour via l'estimation du crédit pour les agents à horizon long)

1. Énoncé du Problème

Les agents basés sur des modèles de langage étendu (LLM) résolvent des tâches complexes à travers des séquences prolongées d'interactions avec des outils (par exemple, recherche web, exécution de code) avant de produire une réponse finale. Bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) ait réussi pour les tâches de raisonnement à tour unique (comme les mathématiques ou le codage) utilisant des récompenses de résultat déterministes, l'application de cette méthode aux agents à horizon long présente un défi fondamental d'assignation de crédit.

Dans les déploiements d'agents multi-tours, une récompense terminale unique (succès/échec) est parcimonieuse et à haute variance. Elle ne parvient pas à distinguer entre :

Actions utiles : Des appels d'outils précoces qui recueillent les preuves nécessaires mais font partie d'une trajectoire qui finit par échouer.
Actions redondantes ou nuisibles : Des étapes intermédiaires qui ne contribuent pas à l'objectif ou qui font dérailler l'agent.

L'entraînement basé uniquement sur le résultat assigne le même avantage à tous les tours d'une trajectoire, ce qui conduit à sous-créditer l'exploration productive, à sur-créditer les actions non pertinentes et à augmenter la variance du gradient à mesure que l'horizon des trajectoires croît. Les méthodes existentes de supervision de processus nécessitent souvent des étiquettes au niveau de l'étape, des juges LLM puissants ou des modèles de récompense de processus entraînés, ce qui introduit de la complexité, de la dérive ou une dépendance à une supervision coûteuse.

2. Méthodologie : TRACE

Les auteurs proposent TRACE (Turn-level Reward Assignment via Credit Estimation), un cadre sans critique qui génère des récompenses denses au niveau du tour sans entraînement de modèle de processus supplémentaire ou de critique appris.

Mécanisme Central

TRACE traite le déploiement de l'agent comme une séquence de transitions d'état se produisant aux limites d'appels d'outils. Au lieu d'apprendre une fonction de valeur, il utilise un modèle de référence gelé ( $\pi_{ref}$ ) comme une sonde stable pour estimer la « préparation » du préfixe de la trajectoire actuelle à produire la réponse d'or.

Représentation de l'état : Un déploiement est segmenté en préfixes $S_k$ à chaque limite d'appel d'outil.
Estimation de la valeur de l'état :
- Le modèle de référence gelé calcule la log-probabilité de la réponse d'or $y^*$ étant donné le préfixe $S_k$ : $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$ .
- Pour gérer les problèmes d'échelle où les changements de log-probabilité brute sont trompeurs (par exemple, un petit gain est significatif lorsqu'on est loin de la réponse mais négligeable lorsqu'on est proche), TRACE transforme cela en une valeur d'état de ratio de log :
  $V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$
  où $\epsilon$ est un décalage (offset). Cette valeur mesure la fermeture relative de l'écart de vraisemblance de la réponse initiale.
Récompense par tour via la Différence Temporelle (TD) :
- La récompense pour une transition $S_k \to S_{k+1}$ est dérivée de l'erreur TD (différence de valeur) :
  $\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$
- Interprétation : Une récompense positive est assignée si l'appel d'outil et son observation rendent la réponse d'or plus prévisible (augmentant la valeur de l'état). Une récompense négative est assignée si la trajectoire s'éloigne de la réponse.
- Propriété de télescopage : La somme des crédits TD d'un seul pas se télescope pour atteindre le changement de valeur total entre le début et la fin de la trajectoire. Cela garantit que les tours intermédiaires redondants ne peuvent pas gonfler artificiellement le crédit total.
Anticipation (Look-Ahead) et Ancrage :
- Pour tenir compte des effets différés (par exemple, une requête de recherche qui ne porte ses fruits qu'après l'ouverture d'un document), TRACE utilise un retour TD K-étapes tronqué avec un facteur de remise $\gamma_{td}$ .
- Le tour final combine le signal de progression TD avec l'avantage au niveau du résultat ( $A^{out}$ ) standard de l'Optimisation de Politique Relative de Groupe (GRPO), garantissant que la justesse finale reste la cible ultime de l'entraînement.
Optimisation : La politique est mise à jour en utilisant un objectif tronqué qui mélange l'avantage du résultat et le crédit TD par tour, sans normaliser les valeurs de tour à travers le groupe de prompts.

3. Contributions Clés

Crédit Dense sans Critique : TRACE fournit des récompenses denses au niveau du tour pour les agents à horizon long sans entraîner de critique séparé, de modèle de récompense de processus, ou sans dépendre d'étiquettes humaines ou synthétiques au niveau de l'étape.
Référence Gelée comme Sonde : Il détourne un modèle de référence gelé (généralement utilisé pour la régularisation KL) comme un estimateur de valeur stable, mesurant à quel point chaque interaction d'outil augmente la prévisibilité de la réponse d'or.
Formulation de Ratio de Log TD : La méthode introduit une transformation par ratio de log des probabilités de réponse pour créer une valeur d'état robuste qui normalise le crédit à travers différents niveaux de confiance et empêche l'inflation de récompense due aux étapes redondantes.
Entraînement par RL Pur : L'approche permet d'entraîner efficacement les modèles de base en utilisant un RL pur (résultat + récompenses par tour) sans étape de fine-tuning supervisé (SFT) à froid, d'entraînement intermédiaire agentique, ou de données web en direct.

4. Résultats Expérimentaux

Les auteurs ont évalué TRACE sur des tâches de recherche complexe à horizon long en utilisant les architectures Qwen3-4B et Qwen3-30B-A3B.

Benchmark Web Fermé (BrowseComp-Plus) :
- Qwen3-4B : Amélioration d'un score de base de 7,2 à 35,6.
- Qwen3-30B-A3B : Amélioration d'un score de base de 8,4 à 42,6.
- TRACE a nettement surpassé les baselines basées uniquement sur le résultat (GRPO, GSPO, GiGRPO) et a approché ou dépassé des agents de recherche profonde externes plus larges (par exemple, TongyiDS-30B-A3B) malgré l'utilisation d'une architecture plus petite et d'une supervision minimale.
Transfert sur le Web Ouvert :
- Le comportement de recherche appris s'est transféré aux benchmarks du web ouvert (BrowseComp, GAIA, xbench-DeepSearch).
- L'agent 30B-A3B a obtenu 12,9 sur BrowseComp, 52,0 sur GAIA, et 45,0 sur xbench-DeepSearch, démontrant une généralisation au-delà du corpus d'entraînement fermé.
Dynamique d'Apprentissage :
- TRACE a montré une amélioration plus précoce et une convergence plus rapide par rapport aux baselines basées uniquement sur le résultat.
- Il a facilité une expansion plus rapide de la longueur d'interaction (échelle de trajectoire) lors des premières étapes de l'entraînement, car le signal par tour récompensait le progrès intermédiaire même avant que la réponse finale ne soit correcte.

5. Signification et Revendications

Le papier affirme que le crédit par tour ancré par le vérificateur est un composant critique manquant pour l'entraînement des agents à horizon long via le RL pur.

Efficacité : TRACE démontre que les modèles de base possèdent des primitives de raisonnement et d'utilisation d'outils latentes qui peuvent être débloquées avec des signaux de crédit plus denses, éliminant le besoin de SFT coûteux ou de pipelines de supervision de processus complexes.
Généralisation : La méthode enseigne une stratégie d'interaction générale (recherche, lecture, raffinement) qui se transfère à travers différents environnements de récupération et langues, et ne se contente pas de sur-apprendre le corpus d'entraînement.
Limites : Les auteurs notent modestement que la méthode actuelle repose sur des réponses compactes et vérifiables (chaînes de caractères courtes). Pour les tâches avec des sorties longues, structurées ou ouvertes (par exemple, des correctifs de code multi-fichiers), le proxy de log-probabilité peut être moins fiable, suggérant un besoin d'estimateurs de valeur d'état alternatifs dans les travaux futurs.

En résumé, TRACE établit que l'assignation de crédit au niveau des appels d'outils via un modèle de référence gelé est une stratégie efficace, scalable et économe en données pour améliorer les performances des agents à horizon long.