Résumé Technique : Apprentissage par Renforcement Agentique Auto-Distillé (SDAR)

Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu un paradigme central pour l'entraînement postérieur des agents de modèles de langage de grande taille (LLM), en particulier pour les interactions à long horizon et multi-tours. Cependant, le RL standard repose sur des signaux de récompense au niveau des trajectoires, qui ne fournissent qu'un guidage grossier pour des tâches complexes et multi-étapes. Pour remédier à cela, l'Auto-distillation en Ligne (OPSD) a été proposée pour introduire un guidage dense au niveau des tokens depuis une branche « enseignant » augmentée d'un contexte privilégié (par exemple, des compétences récupérées).

Malgré son attrait théorique, le transfert de l'OPSD vers des agents multi-tours présente deux défis critiques identifiés dans ce travail :

1. Instabilité Multi-tours : À mesure que l'agent étudiant s'écarte de la trajectoire soutenue par l'enseignant, le guidage au niveau des tokens devient de plus en plus peu fiable. Cela entraîne des erreurs cumulatives, une divergence KL par tour en forte hausse et une dégradation catastrophique des performances de la tâche.
2. Confiance Asymétrique dans le Guidage Privilégié : Dans l'OPSD conditionnée par les compétences, l'enseignant est la même politique augmentée d'un contexte privilégié (comme des compétences récupérées), et non un modèle intrinsèquement plus puissant. Par conséquent, un « écart négatif » (où l'enseignant attribue une probabilité plus faible à un token que l'étudiant) n'implique pas toujours que le token doit être supprimé. Il peut plutôt résulter d'une récupération de compétences imparfaite, de compétences non pertinentes, ou de l'incapacité de l'enseignant à ancrer les compétences dans des préférences fiables. Traiter tous les signaux de l'enseignant de manière égale conduit à une instabilité, en particulier lorsque les tokens à écart négatif constituent une part significative des données d'entraînement (observée à >50 % dans des études préliminaires).

Les approches hybrides existantes (par exemple, ajouter simplement une perte OPSD au RL) ou les méthodes de curriculum rigides échouent à résoudre ces problèmes, souffrant souvent de gradients de distillation non bornés qui submergent le signal RL ou en s'appuyant sur des calendriers conçus à la main qui ne s'adaptent pas aux dynamiques au niveau des tokens.

Méthodologie : SDAR

Les auteurs proposent l'Apprentissage par Renforcement Agentique Auto-Distillé (SDAR), un cadre qui traite l'OPSD comme un objectif auxiliaire soigneusement contrôlé tout en maintenant le RL comme colonne vertébrale d'optimisation principale. L'innovation centrale est un mécanisme de porte adaptatif au niveau des tokens qui module le signal de distillation en fonction de la fiabilité du guidage de l'enseignant.

1. Cadre d'Optimisation

L'objectif d'entraînement total combine la perte standard d'Optimisation de Politique Relative par Groupes (GRPO) avec une perte de distillation auto-contrôlée :
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$ : La perte RL principale, pilotée par les récompenses de l'environnement et les retours des vérificateurs, reste inchangée pour préserver une optimisation de politique sans biais.
• $\mathcal{L}_{SDAR}$ : La perte de distillation auxiliaire, qui est appliquée de manière sélective.

2. Mécanisme de Porte au Niveau des Tokens

Au lieu d'appliquer la distillation de manière uniforme, le SDAR calcule une porte $g_t \in [0, 1]$ pour chaque token $t$ afin de contrôler l'intensité de l'influence de l'enseignant.

• Écart Enseignant-Étudiant ($\Delta_t$) : Défini comme la différence de log-probabilité entre l'enseignant privilégié et l'étudiant : $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$.
• Porte Sigmoïde : L'écart est passé à travers une fonction sigmoïde avec un paramètre de netteté $\beta$ :
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  Cela crée un poids lisse et différentiable qui :
  • Amplifie la distillation pour les tokens à écart positif (où l'enseignant approuve le choix de l'étudiant), les traitant comme un guidage de haute confiance.
  • Atténue la distillation pour les tokens à écart négatif (où l'enseignant désapprouve), empêchant le modèle de suivre aveuglément des rejets potentiellement bruyants ou non pertinents basés sur les compétences.
• Arrêt du Gradient : La porte $g_t$ est détachée du calcul du gradient. Cela garantit que la porte agit purement comme un poids de confiance, empêchant les boucles d'optimisation auto-référentielles et assurant des mises à jour stables du premier ordre.

3. Récupération de Compétences et Contexte

Le SDAR utilise une branche « Auto-Enseignant » qui se conditionne sur un contexte privilégié $c^+$ (par exemple, des compétences récupérées depuis une SkillBank). Le cadre évalue la robustesse à travers quatre stratégies de récupération : UCB (Upper Confidence Bound), Correspondance de Mots-clés, Récupération Complète et Récupération Aléatoire. Le mécanisme de porte est conçu pour filtrer le bruit provenant de compétences récupérées de faible qualité ou non pertinentes.

Contributions Clés

1. Identification de la Confiance Asymétrique : L'article établit que dans l'entraînement d'agents multi-tours, le guidage privilégié est intrinsèquement asymétrique. Les approbations positives d'un enseignant disposant d'un contexte privilégié sont fiables, mais les rejets négatifs peuvent provenir d'une instabilité du contexte plutôt que de la qualité du token.
2. Porte Adaptative au Niveau des Tokens : Le SDAR introduit une stratégie de porte novatrice qui permet à chaque token de réguler autonomement son intensité de distillation. Cela remplace les calendriers rigides et conçus à la main par un curriculum dynamique et auto-rythmé opérant à la plus fine granularité.
3. Stabilité et Robustesse : En découplant le signal de distillation de l'objectif RL principal et en appliquant une atténuation douce aux signaux négatifs, le SDAR évite l'instabilité catastrophique observée dans les combinaisons naïves GRPO+OPSD.
4. Internalisation des Connaissances : Contrairement aux méthodes qui reposent sur des compétences externes au moment de l'inférence, le SDAR internalise avec succès les connaissances privilégiées dans les paramètres de la politique, permettant des performances élevées même sans récupération de compétences lors des tests.

Résultats Expérimentaux

Les auteurs ont évalué le SDAR sur trois benchmarks diversifiés : ALFWorld (IA incarnée), Search-QA (raisonnement augmenté par la recherche) et WebShop (interaction e-commerce). Les expériences ont été menées sur les familles de modèles Qwen2.5 (3B, 7B) et Qwen3 (1.7B).

• Gains de Performance : Le SDAR surpasse nettement le GRPO de base.
  • ALFWorld : +9,4 % d'amélioration sur Qwen2.5-3B.
  • Search-QA : +7,0 % d'amélioration.
  • WebShop : +10,2 % d'amélioration de la Précision (Qwen2.5-7B).
• Comparaison avec les Hybrides : Le SDAR surpasse systématiquement les bases hybrides comme Skill-SD et RLSD sur toutes les échelles de modèles. Notamment, il évite l'effondrement des performances observé dans le GRPO+OPSD naïf (qui se dégrade considérablement sur les petits modèles comme Qwen3-1.7B).
• Robustesse à la Qualité de Récupération : Une découverte cruciale est que le SDAR se dégrade de manière gracieuse avec la qualité de récupération. Même avec une Récupération Aléatoire (conscience nulle de la tâche), le SDAR surpasse la base GRPO pure. Cela confirme que le mécanisme de porte filtre efficacement le bruit des compétences de faible qualité, n'extrayant que les signaux bénéfiques.
• Indépendance à l'Inférence : Le SDAR atteint des résultats de l'état de l'art sans nécessiter de récupération de compétences au moment de l'inférence, démontrant une véritable internalisation des connaissances. Par exemple, sur ALFWorld avec Qwen2.5-3B, le SDAR (84,4 %) surpasse Skill-GRPO* (80,5 %), qui repose sur des compétences au moment des tests.

Importance et Revendications

L'article revendique que le SDAR offre une solution de principe à l'instabilité de l'application de l'auto-distillation dans le RL agentique multi-tours. En traitant la distillation comme un objectif auxiliaire contrôlé par une porte plutôt que comme un moteur principal ou une contrainte rigide, le SDAR réconcilie l'optimisation grossière, pilotée par l'environnement, du RL avec le guidage dense, au niveau des tokens, du contexte privilégié.

Les auteurs soulignent que leur approche ne nécessite pas de modèle enseignant séparé et plus puissant ; elle exploite plutôt la même politique augmentée d'un contexte privilégié, la rendant évolutive et pratique. La capacité du mécanisme de porte à gérer un guidage asymétrique — faisant confiance aux signaux positifs tout en atténuant de manière conservatrice les signaux négatifs — est présentée comme la clé pour stabiliser l'entraînement multi-tours et permettre une généralisation robuste à travers différentes tailles de modèles et domaines de tâches. Le travail suggère que pour les agents multi-tours, le RL doit rester la colonne vertébrale principale, la distillation servant de régulateur dynamique au niveau des tokens plutôt que d'un superviseur statique.