Résumé Technique : Co-Évolution de la Génération de Compétences et de l'Optimisation de la Politique (SAPO)

1. Énoncé du Problème

L'article traite d'une limitation critique des méthodes existantes d'apprentissage par renforcement (RL) augmenté par des compétences pour les agents de langage. Bien que les approches antérieures (par exemple, SkillRL, Skill0, D2Skill) utilisent des connaissances procédurales réutilisables (compétences) pour améliorer les performances de l'agent, elles souffrent de trois problèmes principaux :

1. Injection de Compétences Non Validée : Les méthodes existantes insèrent souvent de nouvelles compétences générées dans une banque de compétences récupérables immédiatement, s'appuyant sur l'hypothèse implicite que les compétences produites par de puissants modèles de langage (LLM) propriétaires sont fiables. Les expériences préliminaires de l'article révèlent que cette hypothèse est erronée : même les compétences générées par des modèles frontières (ex. : GPT-5.4) présentent une utilité très mitigée, beaucoup n'apportant que peu de bénéfices ou dégradant activement les performances.
2. Retour d'Information Différé et Non Contextuel : Les méthodes actuelles ne suivent l'utilité des compétences qu'après leur stockage, en utilisant un retour d'information différé issu des déploiements (rollouts). De plus, ces signaux de retour d'information reflètent généralement l'effet agrégé de plusieurs compétences récupérées plutôt que la contribution marginale d'une seule compétence. Cela rend difficile la distinction entre une compétence utile de manière isolée ou simplement redondante compte tenu du contexte de récupération actuel.
3. Coût Élevé et Dépendance : S'appuyer sur des LLM propriétaires de pointe pour la génération continue de compétences lors de l'entraînement en ligne entraîne des coûts d'API importants. De plus, les méthodes existantes manquent de mécanisme pour élaguer les compétences obsolètes ou reclasser efficacement les candidats sans recourir à des déploiements contrefactuels coûteux.

2. Méthodologie : Optimisation de la Politique Augmentée par les Compétences (SAPO)

Les auteurs proposent SAPO, un cadre de RL en ligne qui intègre l'induction, la validation et la maintenance des compétences dans une boucle unifiée. L'innovation centrale est la validation de la compétence avant stockage en utilisant le budget de déploiement standard, éliminant ainsi le besoin de déploiements contrefactuels supplémentaires.

2.1 Déploiements en Ligne et Validation par Groupes Appariés

SAPO opère sur des unités d'induction (requêtes ou groupes de requêtes sémantiquement similaires). Pour chaque unité, il divise le budget de déploiement ($G$) en deux groupes appariés sous la même tâche et le même contexte de compétences récupérées :

• Déploiements de Base ($Y_{base}$) : Générés en utilisant la politique actuelle $\pi_\theta$ conditionnée uniquement sur la tâche et l'ensemble des compétences existantes actuellement récupérées ($S_{i,j}$).
• Déploiements Augmentés par une Compétence ($Y_{skill}$) : Générés avec la même politique et le même contexte, mais avec une compétence candidate ($\hat{s}_i$) induite à partir des trajectoires de base ajoutée au contexte.

La compétence candidate est induite par la politique elle-même en se basant sur les schémas d'échec observés dans les déploiements de base.

2.2 Estimation de l'Utilité Marginale

Le cadre estime l'utilité marginale dépendante du contexte de la compétence candidate en calculant l'écart de récompense entre les deux groupes appariés :
$$u(x_{i,j}, \hat{s}_i) = \text{AvgReward}(Y_{skill}) - \text{AvgReward}(Y_{base})$$
Cette métrique isole la valeur spécifique ajoutée par la compétence candidate au-delà des compétences déjà récupérées. Si l'utilité est positive et que la compétence est distincte des compétences à long terme existantes, elle est promue dans la banque à long terme ($B_{long}$) ; sinon, elle est écartée.

2.3 La Politique comme Générateur et Évaluateur de Compétences

SAPO exploite le signal d'utilité pour entraîner la politique $\pi_\theta$ selon deux capacités, réduisant ainsi la dépendance aux modèles propriétaires :

1. Générateur de Compétences : La politique est entraînée avec un objectif asymétrique pondéré par l'utilité (inspiré de W-REINFORCE). Elle est renforcée pour générer des compétences ayant une utilité marginale positive et supprimée pour une utilité négative. Cela permet à la politique en poids ouverts (open-weight) d'apprendre à générer des compétences de haute qualité au fil du temps.
2. Évaluateur de Compétences : La probabilité que la politique génère une séquence de compétences spécifique sert de score de qualité appris.
   • Entraînement : La politique est distillée pour prédire l'utilité d'une compétence basée uniquement sur la tâche et le contexte (omettant les preuves de déploiement) afin de permettre une inférence efficace.
   • Maintenance et Récupération : Ce score de vraisemblance est utilisé pour élaguer les compétences obsolètes de la banque à long terme et pour reclasser les compétences candidates lors de la sélection au moment de la récupération, garantissant que seules les compétences les plus pertinentes et non redondantes sont utilisées.

3. Contributions Clés

1. Identification de l'Utilité Mitigée : L'article démontre empiriquement que les compétences générées par les LLM frontières ne sont pas intrinsèquement fiables, l'utilité marginale moyenne étant souvent proche de zéro, et que l'injection non validée nuit à l'apprentissage.
2. Cadre SAPO : Un nouveau cadre de RL en ligne qui valide les compétences avant leur stockage en utilisant une stratégie de déploiement par groupes appariés, estimant l'utilité marginale sans surcoût de déploiement.
3. Génération de Compétences Auto-Supervisée : La méthode entraîne la politique de l'agent elle-même pour agir comme générateur et évaluateur de compétences, remplaçant efficacement les appels d'API propriétaires coûteux pour l'induction de compétences et permettant une maintenance de compétences sensible au contexte.

4. Résultats Expérimentaux

Les auteurs ont évalué SAPO sur ALFWorld (tâches domestiques incarnées), WebShop (navigation web) et une suite de benchmarks de Réponse aux Questions Augmentée par la Recherche (un seul saut et multi-sauts).

• Performance : SAPO a systématiquement surpassé les méthodes de RL augmentées par compétences antérieures (SkillRL, Skill0, D2Skill) et les bases solides (ReAct, Reflexion, RLOO, GRPO). Sur ALFWorld, SAPO a atteint un taux de réussite de 92,2 % (Tous) et 78,1 % (Succès), dépassant le meilleur résultat précédent (SkillRL à 85,2 % et 72,7 % respectivement).
• Dynamique d'Entraînement : SAPO a démontré une convergence plus rapide et une performance de validation finale plus élevée par rapport à SkillRL, particulièrement dans les premières étapes où le filtrage basé sur l'utilité fournit une orientation fiable.
• Qualité des Compétences : L'analyse a montré que bien que la politique SAPO (utilisant un modèle plus petit en poids ouverts) ait commencé avec des compétences d'utilité inférieure à GPT-5.4, elle a rapidement appris à générer des compétences avec une utilité comparable ou supérieure, prouvant l'efficacité de l'entraînement pondéré par l'utilité.
• Études d'Ablation : Le retrait de l'un des trois composants clés (Validation, Entraînement du Générateur ou Évaluation) a entraîné une dégradation des performances, confirmant que la validation des compétences, la génération par la politique et la maintenance par vraisemblance sont tous essentiels.

5. Signification et Revendications

L'article affirme que SAPO répond à la nature "boîte noire" de la génération de compétences dans les agents de RL actuels. En validant explicitement l'utilité marginale d'une compétence dans son contexte de récupération spécifique, le cadre empêche les compétences de faible qualité ou redondantes de polluer la mémoire de l'agent.

Crucialement, les auteurs soulignent que SAPO réalise ces gains sans coûts de déploiement supplémentaires (en réutilisant le budget standard pour la validation) et sans appels répétés aux LLM propriétaires (en entraînant la politique pour générer et évaluer les compétences). Cela rend l'approche évolutive et rentable pour l'évolution à long terme des agents, faisant passer le paradigme de "générer et espérer" à "valider et faire évoluer".