🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

Cet article introduit l'Apprentissage par Renforcement Agentique avec Modelage de Récompense par Auto-Distillation (ADRS), un cadre qui améliore la performance des agents linguistiques sur de longs horizons en générant un crédit au niveau du jeton associé au rendement grâce à des signaux de compétences privilégiés et auto-distillés, qui sont conjointement calibrés et régulés par la confiance de l'enseignant et les rendements réalisés.

Auteurs originaux : Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans une maison géante et désordonnée pour trouver un objet spécifique, comme une tasse de thé chaude. Vous ne pouvez pas simplement dire au robot : « Bon travail ! » seulement après qu'il a enfin trouvé le thé. Si vous attendez ce moment-là, le robot ne saura pas quelles étapes spécifiques ont été utiles : a-t-il ouvert la bonne porte ? A-t-il ramassé le bon mug ? Ou a-t-il simplement erré pendant dix minutes avant d'avoir de la chance ? C'est le cœur du casse-tête de l'Apprentissage par Renforcement : comment attribuer le mérite aux petites décisions intermédiaires qui mènent à un grand succès, surtout quand la récompense finale est rare et lointaine ?

Pour résoudre cela, les scientifiques utilisent souvent une astuce appelée Auto-distillation. Voyez cela comme un étudiant passant un examen, puis, immédiatement après, le même étudiant agissant comme un professeur sévère pour corriger ses propres réponses. La version « professeur » possède une fiche de référence spéciale (appelée « information privilégiée ») que l'« étudiant » n'avait pas pendant l'examen. En comparant ce que l'étudiant a fait avec ce que le professeur aurait fait avec la fiche de référence, nous pouvons déterminer quels mouvements étaient intelligents et lesquels étaient dus à la chance. Cependant, il y a un piège : ce n'est pas parce que le professeur pense qu'une réponse est « bonne » qu'elle a réellement mené au bon résultat. Le professeur peut être confiant mais se tromper, ou confiant sur la mauvaise chose.

Cela nous amène à une nouvelle étude de chercheurs de l'Université de Science et Technologie de Chine et du Groupe Alibaba. Ils ont abordé le problème de la manière de prendre cette « confiance du professeur » et de la transformer en un guide fiable pour le prochain mouvement du robot, sans jamais laisser le robot utiliser la fiche de référence pendant le jeu proprement dit. Ils appellent leur nouvelle méthode ADRS (Agentic Reinforcement Learning with Self-Distilled Reward Shaping).

Les chercheurs ont découvert que le simple fait de copier le score du professeur ne fonctionne pas car la confiance du professeur peut être trompeuse. Parfois, le professeur est très sûr d'un mouvement qui mène à l'échec, ou peu sûr d'un mouvement qui mène au succès. Pour corriger cela, l'ADRS agit comme un filtre intelligent. D'abord, il normalise les scores du professeur afin qu'ils soient équitables à comparer à travers les différentes parties de la tâche. Ensuite, il vérifie si la confiance du professeur correspond réellement au résultat final (est-ce que le mouvement confiant a mené à une victoire ?). Si la confiance et le résultat concordent, le filtre augmente le score de ce mouvement ; s'ils ne concordent pas, il atténue le signal. Enfin, il injecte ce signal raffiné directement dans le processus d'apprentissage du robot avant que le robot ne décide de ce qu'il va faire.

Les résultats suggèrent que cette méthode est très efficace. Testée sur trois tâches difficiles — naviguer dans une maison virtuelle, faire des courses sur un site web simulé et chercher des réponses en ligne — l'ADRS a systématiquement aidé les agents d'IA à mieux performer, particulièrement sur des tâches longues et compliquées. Par exemple, pour la tâche de navigation dans la maison, la méthode a aidé un modèle d'IA spécifique à atteindre un taux de réussite de 94,5 %, battant les meilleures tentatives précédentes par une marge significative. L'étude a également montré que l'IA a appris ces compétences en utilisant moins de données d'entraînement que d'habitude et qu'elle pouvait encore bien performer même lorsque les tâches devenaient légèrement différentes ou plus difficiles. Crucialement, les chercheurs ont démontré que l'IA n'avait pas besoin de la « fiche de référence » pendant le jeu réel ; elle n'en avait besoin que durant la phase d'entraînement pour apprendre à prendre de meilleures décisions par elle-même. Cela suggère qu'en calibrant soigneusement la confiance que nous accordons à l'opinion d'un « professeur » en fonction des résultats réels, nous pouvons enseigner aux agents d'IA à être beaucoup plus fiables et efficaces pour résoudre des problèmes complexes à plusieurs étapes.

Résumé Technique : Apprentissage par Renforcement Agentique avec Mise en Forme de Récompense par Auto-Distillation (ADRS)

Énoncé du Problème

L'apprentissage par renforcement (RL) agentique permet aux agents basés sur des modèles de langage étendu (LLM) d'apprendre par interaction avec des environnements. Cependant, le RL agentique standard repose généralement sur des récompenses terminales éparses au niveau de la trajectoire. Bien que ces récompenses indiquent si une trajectoire a réussi, elles ne parviennent pas à identifier quelles décisions intermédiaires (requêtes ou actions) méritent un crédit. Cette parcité rend l'attribution de crédit temporel au niveau du jeton (token) difficile, même pour les méthodes sans critique comme GRPO et GiGPO.

Bien que les compétences en langage naturel (ex: sous-objectifs, règles d'action) puissent fournir un guidage plus dense, les méthodes existantes peinent à intégrer efficacement cette information. Plus précisément, les approches actuelles sont confrontées à trois défis techniques lorsqu'elles utilisent des informations « privilégiées » (compétences disponibles uniquement pendant l'entraînement) :

Calibration des Scores : Les log-probabilités brutes de l'enseignant varient en décalage et en échelle selon les étapes d'interaction en raison de la longueur du contexte et de la composition de la réponse, ce qui les rend incomparables.
Estimation de la Fiabilité : Une haute confiance de l'enseignant ne corrèle pas nécessairement avec des rendements réalisés plus élevés ; un enseignant peut préférer des décisions linguistiquement canoniques qui échouent à atteindre le résultat de la tâche.
Intégration du Crédit : Les méthodes existantes traitent souvent la supervision privilégiée comme un objectif auxiliaire distinct, ce qui peut désaligner les mises à jour au niveau du jeton avec la construction native de récompense-vers-avantage du squelette de RL.

Méthodologie : Cadre ADRS

Les auteurs proposent l'Apprentissage par Renforcement Agentique avec Mise en Forme de Récompense par Auto-Distillation (ADRS), un cadre qui convertit les compétences procédurales adaptées à la tâche en récompenses de jeton associées au rendement, sans nécessiter de compétences lors du déploiement ou de l'inférence. ADRS opère comme une couche de construction de crédit entre la collecte de trajectoires et l'optimisation de l'acteur, répondant aux trois défis via trois modules couplés :

1. Score Privilégié Relatif Intra-Étape (Calibration des Scores)

Pour remédier à l'incomparabilité des scores bruts entre les étapes, ADRS re-score les jetons générés par l'étudiant en utilisant un instantané de politique gelée sous un contexte privilégié (compétences adaptées à la tâche). Il applique ensuite un centrage et une normalisation d'échelle intra-étape :

Il calcule la log-probabilité moyenne ( $b_s$ ) des scores privilégiés au sein d'une étape d'interaction spécifique.
Il calcule la déviation signée ( $q_{s,j}$ ) de chaque jeton par rapport à cette moyenne.
Il normalise par l'écart-type ( $\sigma_q$ ) des déviations au sein de l'étape.
Cela produit un score centré et contrôlé en échelle ( $\hat{q}_{s,j}$ ) qui représente la préférence relative du jeton au sein d'une étape de décision, supprimant la dérive dépendante de l'étape tout en conservant les scores bruts pour l'estimation ultérieure de la fiabilité.

2. Portillon de Fiabilité TVA par Retour Associé (Estimation de la Fiabilité)

Pour garantir que le signal privilégié s'aligne sur le succès réel de la tâche, ADRS introduit un portillon de Teacher Value Advantage (TVA). Ce portillon module le signal normalisé en fonction de l'association entre la confiance privilégiée et les rendements réalisés au sein d'un groupe de comparaison (par exemple, les trajectoires pour la même invite dans GRPO, ou les états ancres dans GiGPO).

La méthode calcule un poids de haute confiance logic ( $\alpha_u$ ) pour chaque unité (trajectoire ou étape) basé sur sa log-probabilité privilégiée moyenne.
Elle contraste les rendements des unités à haute confiance ( $\mu^+_g$ ) contre les unités à faible confiance ( $\mu^-_g$ ).
La différence ( $d_g$ ) sert de portillon scalaire ( $m_u$ ). Si une haute confiance corrèle avec des rendements plus élevés, le portillon amplifie le signal ; sinon, il le supprime.
La Proposition 1 établit que le signe du portillon TVA correspond à la covariance empirique entre la confiance privilégiée et le rendement au sein du groupe.

3. Modulation de l'Avantage par Jeton Guidée par l'Enseignant (Intégration du Crédit)

Au lieu d'utiliser un objectif auxiliaire séparé, ADRS intègre le signal portillon dans le chemin natif de récompense-vers-avantage avant la construction de l'avantage.

Récompense de l'Enseignant : Le score normalisé et portillon est converti en une récompense au niveau du jeton ( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ ).
Récompense Formée : Celle-ci est ajoutée à la récompense de base de l'environnement ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ ).
Construction de l'Avantage : La récompense formée est transmise à l'opérateur d'avantage standard (ex: GRPO ou GiGPO).
Double Chemin : Parce que la récompense de l'enseignant centrée par étape somme à zéro (Proposition 2), la somme au niveau de la trajectoire reste inchangée, préservant la direction du résultat définie par l'environnement. Cependant, l'avantage au niveau du jeton est redistribué ( $A^{ADRS} = A^{traj} + \eta Z^T$ ), permettant à la politique d'apprendre quels jetons spécifiques au sein d'une trajectoire réussie étaient les plus critiques.

Contributions Clés

Cadre ADRS : Une méthode de mise en forme de récompense par auto-distillation qui transforme les compétences procédurales d'entraînement uniquement en récompenses de jeton associées au rendement. Elle combine de manière unique la calibration des scores intra-étape et le portillon TVA tout en restant exempte de compétences lors du déploiement et de l'inférence.
Intégration Native : Les auteurs formulent le signal portillon comme une mise en forme de récompense pré-avantage, intégrant le guidage privilégié directement dans la construction de crédit native du RL plutôt que comme un objectif auxiliaire séparé. Ils caractérisent sa compatibilité avec GRPO/GiGPO et son équivalence de premier ordre locale avec les mises à jour auxiliaires de jetons échantillonnés.
Validation Empirique : Des expériences approfondies sur trois benchmarks interactifs (ALFWorld, Search-based QA, WebShop) démontrent des améliorations de performance constantes.

Résultats Expérimentaux

L'article évalue ADRS sur les modèles Qwen2.5 (3B, 7B) et Qwen3 (1.7B) à travers trois benchmarks :

Performance de l'État de l'Art : ADRS atteint de nouveaux résultats de l'état de l'art sur les trois benchmarks. Par exemple, avec Qwen2.5-3B, il atteint 94,5 % de succès sur ALFWorld (une amélioration de 10,1 points de pourcentage par rapport à la base la plus forte) et 45,0 % de moyenne macro sur Search-based QA.
Tâches à Long Horizon : ADRS montre une force particulière dans les tâches procédurales à long horizon (ALFWorld), maintenant des gains de performance sur une période d'entraînement étendue (300 étapes) et à travers différents squelettes de RL (GRPO et GiGPO).
Efficacité des Données : ADRS surpasse les bases GRPO à données complètes en utilisant seulement 60 % des données d'entraînement disponibles.
Généralisation : La méthode se transfère efficacement aux divisions de tâches non vues dans ALFWorld, améliorant les taux de succès dans la plupart des catégories.
Analyse de Mécanisme : L'analyse diagnostique révèle qu'ADRS concentre le contraste de mise à jour sur les jetons d'action et d'objet porteurs de la tâche, les séparant des jetons de style génériques, ce qui explique son efficacité dans les interactions à long horizon.

Signification et Revendications

L'article affirme qu'ADRS répond avec succès au défi fondamental de l'attribution de crédit aux décisions intermédiaires dans le RL agentique. En convertissant les connaissances privilégiées d'entraînement uniquement en un signal qui est calibré (comparable entre les étapes), fiable (associé aux rendements) et intégré (natif de l'objectif de RL), ADRS permet aux agents d'apprendre plus efficacement à partir de retours éparses.

Les auteurs soulignent qu'ADRS ne nécessite pas d'informations privilégiées lors de l'inférence, ce qui en fait un cadre pratique pour déployer des agents sans compétences qui ont appris grâce à un entraînement guidé par des compétences. Les résultats suggèrent que les connaissances procédurales d'entraînement uniquement peuvent être converties efficacement en crédit au niveau du jeton et incorporées directement dans la construction native de récompense-vers-avantage, offrant une voie robuste pour améliorer les agents de langage multi-tours.