🤖 AI

SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment

L'article propose SkillC, un cadre qui améliore l'intériorisation autonome des compétences dans les agents LLM en introduisant l'attribution de crédit de compétence contrastive pour optimiser directement les politiques vers le succès sans compétence grâce à des déroulements appariés et un apprentissage de curriculum adaptatif, surpassant les bases existantes sur des tâches à long horizon sans accès aux compétences pendant l'exécution.

Auteurs originaux : Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot très intelligent à résoudre des énigmes complexes, comme ranger une maison en désordre ou acheter des articles spécifiques en ligne. Pour aider le robot à apprendre plus vite, vous lui donnez une « feuille de triche » (une compétence) qui lui indique exactement quelles étapes suivre.

Il existe deux façons principales d'enseigner au robot :

La méthode « Feuille de triche pour toujours » : Vous laissez le robot garder la feuille de triche indéfiniment. Il apprend à résoudre l'énigme, mais il n'apprend jamais à le faire sans le papier. Si vous lui retirez le papier, il échoue.
La méthode « Sevrage » : Vous donnez la feuille de triche au robot au début, mais vous commencez lentement à la lui retirer. L'objectif est que le robot finisse par résoudre l'énigme entièrement seul.

Le Problème : « L'Aveuglement à l'Internalisation »
L'article soutient que les méthodes actuelles de « Sevrage » présentent un défaut majeur, que les auteurs appellent l'Aveuglement à l'Internalisation.

Imaginez un enseignant notant la copie d'un élève.

Dans l'ancienne méthode, l'enseignant regarde une copie où l'élève a utilisé une feuille de triche et obtient un A. Ensuite, l'enseignant regarde une copie où l'élève n'a pas utilisé la feuille de triche et obtient un B.
L'enseignant dit : « Excellent travail pour le A ! » et donne une note élevée à l'élève.
Le Défaut : L'enseignant ne réalise pas que le « A » n'était possible que grâce à la feuille de triche. L'enseignant continue de récompenser l'élève pour avoir utilisé la feuille de triche, même si l'objectif est que l'élève apprenne la matière sans elle. Le robot est confus : « Ai-je réussi parce que je suis intelligent, ou parce que j'avais de l'aide ? » Il ne fait pas la différence, il n'apprend donc jamais vraiment à être autonome.

La Solution : SKILLC (Le Coach « Côté à Côté »)
Les auteurs proposent un nouveau cadre appelé SKILLC pour corriger cela. Ils utilisent une technique appelée Attribution de Crédit de Compétence Contrastive.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La Course « Côté à Côté » (Déroulements Appariés)

Au lieu de simplement observer le robot essayer une fois avec de l'aide et une fois sans, SKILLC fait courir au robot deux courses exactement au même moment pour chaque tâche unique :

Course A : Le robot essaie de résoudre l'énigme avec la feuille de triche.
Course B : Le robot essaie de résoudre exactement la même énigme sans la feuille de triche.

2. Le « Juge Équitable » (Avantage à Double Flux)

Maintenant, l'enseignant (l'algorithme d'apprentissage) regarde les deux courses côte à côte.

Si le robot gagne la Course A (avec de l'aide) mais perd la Course B (sans aide), l'enseignant réalise : « Ah, le robot n'a réussi que grâce à la feuille de triche. Je ne devrais pas encore lui attribuer tout le crédit pour son intelligence. »
Si le robot gagne les deux courses, l'enseignant dit : « Super ! Vous l'avez résolu sans aide. C'est une vraie compétence ! »

Le système récompense spécifiquement le robot davantage pour avoir gagné la Course B (la victoire indépendante) et le récompense moins pour avoir gagné la Course A s'il a échoué dans la Course B. Cela force le robot à apprendre que la seule chose qui compte vraiment est de résoudre le problème par lui-même.

3. Le « Coach Intelligent » (Curriculum Adaptatif)

Le système agit également comme un coach intelligent qui observe les progrès du robot en temps réel.

Au début : Le robot est terrible sans la feuille de triche. Le coach dit : « Continuez d'utiliser la feuille de triche, mais essayons de le faire sans elle un peu. »
Au milieu : Le robot commence à s'améliorer. Le coach remarque que l'écart entre « avec aide » et « sans aide » se réduit. Le coach commence à retirer la feuille de triche plus rapidement.
À la fin : Le robot s'en sort très bien seul. Le coach dit : « Vous n'avez plus besoin de la feuille de triche. Retirons-la complètement et arrêtons l'entraînement sur cette tâche spécifique. »

Pourquoi Cela Compte

L'article a testé cette méthode sur deux environnements :

ALFWorld : Un jeu basé sur du texte où un agent doit faire des tâches ménagères (comme « mettre la chemise propre dans le tiroir »).
WebShop : Une tâche de simulation d'achat en ligne où l'agent doit trouver et acheter des articles spécifiques.

Les Résultats :

SKILLC a appris à résoudre ces tâches sans aucune feuille de triche à la fin.
Il a nettement mieux performé que les méthodes précédentes de « Sevrage » (améliorant les taux de réussite d'environ 4 à 5 %).
Il a même performé aussi bien que les méthodes qui gardaient les feuilles de triche pour toujours, prouvant que le robot peut vraiment internaliser les compétences.

La Contrainte (Limites)
L'article admet que cette méthode n'est pas parfaite :

C'est coûteux : Lancer deux courses simultanément (avec et sans aide) nécessite environ 26 % de puissance de calcul supplémentaire au début.
Cela nécessite de bonnes données : Si le robot est déjà très bon dans une tâche, ou si les tâches sont très rares, le système pourrait être confus sur le moment d'arrêter d'utiliser la feuille de triche.

En Résumé :
SKILLC est une nouvelle façon d'entraîner des agents d'IA. Au lieu de simplement retirer progressivement l'aide, il compare constamment les tentatives « aidées » avec les tentatives « non aidées ». En récompensant spécifiquement l'agent pour avoir réussi sans aide, il force l'IA à véritablement internaliser les compétences, transformant un « utilisateur de feuille de triche » en un « expert autonome ».

Résumé Technique : SKILLC – Internalisation Autonome des Compétences dans les Agents LLM via l'Attribution de Crédit Contrastive

1. Énoncé du Problème : L'Aveuglement à l'Internalisation

Les invites de compétences structurées sont devenues un mécanisme pratique pour améliorer l'exploration et l'efficacité des échantillons dans l'apprentissage par renforcement (RL) d'agents à long horizon. Cependant, une dichotomie existe dans les approches actuelles :

RL Augmenté par les Compétences : Les méthodes conservent les compétences externes au moment de l'inférence, optimisant les performances avec un soutien de compétence en temps d'exécution.
RL d'Internalisation des Compétences : Les méthodes (par exemple, SKILL0) retirent les compétences pendant l'entraînement pour permettre une performance autonome, mais souffrent d'un décalage d'optimisation critique appelé « aveuglement à l'internalisation ».

Dans les cadres d'internalisation existants, les mises à jour de la politique (par exemple, via GRPO) génèrent tous les déroulements pour une tâche sous une seule condition d'invite. Par conséquent, le gradient ne peut pas distinguer une trajectoire réussie qui est véritablement autonome d'une trajectoire qui est simplement dépendante de la compétence. Même si un curriculum sait qu'une compétence est globalement utile, la mise à jour de la politique renforce le succès sous le régime actuel plutôt que de conduire l'agent vers le succès sans la compétence. Cela empêche la politique d'apprendre à réussir de manière autonome pendant la phase d'entraînement, entraînant un écart persistant entre les performances « avec compétence » et « sans compétence » qui ne se comble (si ce n'est le cas) qu'après un changement de curriculum rigide.

2. Méthodologie : Le Cadre SKILLC

Les auteurs proposent SKILLC, un cadre basé sur l'Attribution de Crédit de Compétence Contrastive (CSCA). SKILLC convertit le contraste entre les performances avec injection de compétence et sans compétence en un signal d'apprentissage direct pour résoudre l'aveuglement à l'internalisation. Le cadre fonctionne grâce à trois mécanismes coordonnés :

A. Déroulements Contrastifs Appariés

Pour les tâches au sein de l'ensemble de compétences actif, SKILLC échantillonne des déroulements appariés au sein de la même mise à jour de politique :

Avec injection de compétence ( $\tau^+$ ) : Généré avec une invite de compétence ( $z=1$ ).
Sans compétence ( $\tau^-$ ) : Généré sans l'invite de compétence ( $z=0$ ).
Les deux utilisent les mêmes paramètres de politique $\pi_\theta$ , créant une conception auto-contrastive. Cela permet au système de mesurer l'écart contrastif au niveau de la tâche $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$ . Un écart positif indique une dépendance à la compétence ; un écart proche de zéro indique une internalisation.

B. Estimateur d'Avantage à Double Flux

Pour injecter ce contraste dans l'optimisation sans fausser les classements globaux, SKILLC emploie un estimateur d'avantage à double flux :

Flux 1 (Classement Global) : Préserve l'avantage relatif au groupe standard en utilisant la moyenne et la variance de toutes les trajectoires dans le lot.
Flux 2 (Pression d'Internalisation) : Applique une correction unilatérale basée sur l'écart contrastif.
- Pour les trajectoires avec injection de compétence ( $z=1$ ), l'avantage est pondéré à la baisse par un terme de correction $C(x)$ .
- Pour les trajectoires sans compétence ( $z=0$ ), l'avantage est pondéré à la hausse par $C(x)$ .
- L'amplitude de la correction $C(x)$ est proportionnelle à l'écart estimé $\hat{\Delta}(x)$ et à une force d'attribution $\lambda$ .
  Ce mécanisme redirige explicitement le crédit vers le succès autonome (« réussir sans soutien de compétence ») pendant que l'agent apprend encore, plutôt que d'attendre un changement de curriculum.

C. Curriculum Conscient de l'Internalisation

Un signal lissé au niveau de la validation pilote un curriculum adaptatif qui contrôle dynamiquement trois hyperparamètres :

Force d'Attribution ( $\lambda$ ) : Met à l'échelle la correction contrastive.
Allocation des Déroulements ( $\rho$ ) : Ajuste la fraction de déroulements avec injection de compétence par rapport aux déroulements sans compétence.
Élagage de l'Ensemble de Compétences Actif : Retire de manière monotone les types de compétences pour lesquels l'écart de validation $\bar{\Delta}_{val}$ tombe en dessous d'un seuil.
Contrairement aux méthodes à calendrier fixe, ce curriculum est piloté par les données, répondant aux progrès réels mesurés de l'internalisation.

3. Contributions Clés

Identification de l'Aveuglement à l'Internalisation : L'article identifie que l'internalisation à calendrier fixe échoue car les gradients de politique standards ne peuvent pas distinguer le succès autonome du succès dépendant de la compétence lorsque tous les déroulements partagent une seule condition d'invite.
Cadre SKILLC : Les auteurs proposent une solution utilisant des déroulements contrastifs appariés et un estimateur d'avantage à double flux pour rendre l'écart d'internalisation observable et exploitable à chaque étape de gradient.
Curriculum Adaptatif : Un mécanisme piloté par la validation qui module conjointement la force d'attribution, le budget de déroulement et le retrait des compétences, garantissant que le retrait des compétences correspond aux capacités réelles de l'agent.
Caractérisation Critique de l'Applicabilité : L'article fournit une analyse nuancée montrant que l'efficacité de la CSCA dépend de la qualité du signal. Des signaux contrastifs forts produisent des gains substantiels (par exemple, +33,4 % sur la tâche « Pick2 » d'ALFWorld), tandis que des signaux faibles sur des tâches à effet de plafond peuvent entraîner une régression des performances.

4. Résultats Expérimentaux

Les expériences ont été menées sur ALFWorld (tâches ménagères basées sur le texte) et WebShop (achat en ligne) en utilisant le modèle de base Qwen2.5-7B-Instruct.

Gains de Performance : Sans accès aux compétences au moment de l'inférence, SKILLC surpasse la meilleure base antérieure d'internalisation de compétences (SKILL0) de 5,5 % sur ALFWorld (85,9 % $\to$ 90,6 %) et de 4,4 % sur WebShop (70,9 % $\to$ 74,0 %).
Compétitivité : SKILLC reste compétitif avec les méthodes augmentées par les compétences (qui conservent les compétences à l'inférence). Sur ALFWorld, il égale les performances de D2Skill (une méthode augmentée par les compétences) malgré l'absence d'accès aux compétences pendant l'inférence.
Études d'Ablation :
- Supprimer les déroulements appariés (mises à jour à condition unique) fait chuter les performances de 3,3 %.
- Remplacer la normalisation à double flux par une normalisation mixte fait chuter les performances de 2,2 %.
- Fixer la porte du curriculum ou supprimer l'élagage entraîne des baisses de performance plus petites mais constantes.
Dynamiques d'Entraînement : Contrairement à SKILL0, qui maintient un grand écart entre les taux de succès avec et sans compétence jusqu'à un changement rigide, SKILLC démontre un déclin monotone de cet écart, le faisant traverser zéro au milieu de l'entraînement. Cela confirme que la politique apprend l'autonomie de manière continue plutôt que de compter sur un transfert passif.

5. Signification et Revendications

L'article revendique que SKILLC adresse une limitation fondamentale du RL d'agents actuel : l'incapacité à optimiser l'autonomie pendant le processus d'entraînement lorsque les compétences sont présentes. En convertissant l'« utilité » d'une compétence en un signal direct d'attribution de crédit pour le succès autonome, SKILLC élimine l'« aveuglement à l'internalisation » inhérent aux méthodes précédentes.

Les auteurs soulignent que leur approche ne nécessite pas de modifier le cadre d'optimisation de la politique sous-jacent (GRPO) mais modifie plutôt le mécanisme d'attribution de crédit. La signification réside dans la réalisation d'une performance autonome qui rivalise avec les méthodes augmentées par les compétences, sans la surcharge de temps d'exécution de la récupération de compétences, tout en fournissant un mécanisme adaptatif piloté par les données pour le retrait des compétences.

Limites Reconnues :
L'article note que SKILLC repose sur des inventaires de compétences fixes et prédéfinis et peut éprouver des difficultés dans des contextes ouverts avec une pertinence dynamique des compétences. De plus, la méthode engendre une surcharge de calcul d'environ 26 % au début de l'entraînement en raison de l'échantillonnage apparié, bien que cela diminue à mesure que les compétences sont retirées. L'efficacité de la méthode dépend également de la qualité du signal contrastif ; dans les tâches où les performances sont déjà proches du plafond, le signal peut être trop faible pour entraîner une internalisation supplémentaire.