💬 NLP

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

Le papier propose SKILLGRAPH, un cadre qui représente les compétences comme des nœuds dans un graphe orienté évolutif pour permettre aux agents de modèles de langage de grande taille de récupérer des sous-graphes de compétences ordonnés pour des tâches compositionnelles, améliorant ainsi à la fois la maintenance des bibliothèques et les performances de pointe en apprentissage par renforcement.

Auteurs originaux : Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyuan Li, Moxin Li, Keqin Bao, Yubo Ma, Wenjie Wang, Dayiheng Liu, Fuli Feng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Liste Plate » contre le « Livre de Recettes »

Imaginez que vous enseigniez à un majordome robot comment préparer un repas complexe.

L'Ancienne Méthode (Bibliothèques Plates) : Vous donnez au robot une liste géante et plate de 1 000 astuces. Il parcourt la liste à la recherche de mots-clés. Si vous lui demandez de « faire un sandwich », il pourrait trouver des astuces comme « prendre le pain », « prendre le fromage » et « utiliser un couteau ». Mais la liste ne dit pas au robot quelle astuce vient en premier, ni qu'on ne peut pas mettre le fromage sur le pain avant d'avoir pris le pain. Le robot se confond, essaie les choses dans le mauvais ordre et échoue.
La Solution du Papier (SKILLGRAPH) : Au lieu d'une liste plate, le robot conserve une carte structurée (un graphe). Dans cette carte, « Prendre le pain » est connecté à « Mettre le fromage » par une flèche indiquant « Faites ceci après ». Il sait que « Utiliser le couteau » aide à « Couper le fromage », et que « Ouvrir le frigo » est une condition préalable à « Prendre le fromage ».

Comment SKILLGRAPH Fonctionne : La Boucle en Trois Étapes

Le papier propose un système où le « cerveau » du robot (la politique) et sa « carte de compétences » (le graphe) grandissent et s'améliorent ensemble dans une boucle fermée. Imaginez un étudiant apprenant à jouer à un jeu vidéo tout en écrivant simultanément le guide de stratégie du jeu.

1. Construire la Carte (Construction du Graphe)

Le robot tente de résoudre des tâches. Parfois il gagne, parfois il perd.

Le Professeur : Un « IA Professeur » intelligente observe ces tentatives.
Distillation des Compétences : Le Professeur transforme les tentatives réussies en « compétences » courtes et réutilisables (comme « Vérifier le micro-ondes »). Il transforme les échecs en leçons sur ce qu'il ne faut pas faire.
Dessiner les Flèches : Le Professeur ne se contente pas d'écrire les compétences ; il dessine des flèches entre elles. Il note : « Vous devez Saisir l'objet avant de pouvoir le Chauffer ». Il crée un réseau de connexions montrant quelles compétences dépendent des autres.

2. Lire la Carte (Récupération Consciente du Graphe)

Lorsque le robot fait face à une nouvelle tâche, il ne se contente pas de chercher des mots-clés. Il voyage à travers la carte.

Sélection de la Graine : Il trouve le point de départ (par exemple, « Je dois chauffer quelque chose »).
Voyage en Arrière et en Avant : Il regarde en arrière pour voir quelles étapes sont nécessaires avant cela (par exemple, « Je dois d'abord trouver l'objet ») et en avant pour voir ce qui vient après (par exemple, « Ensuite, je dois le placer »).
La Liste Ordonnée : Il extrait une liste parfaitement ordonnée d'étapes, du simple au complexe, garantissant que le robot n'essaie jamais d'accomplir l'étape 5 avant l'étape 1.

3. Mettre à Jour la Carte (Évolution du Graphe)

C'est la partie magique. La carte n'est pas statique ; elle change au fur et à mesure que le robot apprend.

Corriger les Erreurs : Si une compétence échoue constamment (comme « Ouvrir le frigo » mais que le robot heurte toujours le mur), le système la marque comme « Obsolète » (à jeter).
Ajouter de Nouvelles Compétences : Si le robot échoue parce qu'il ne sait pas comment « Vérifier la température », le Professeur invente une nouvelle compétence pour cela et l'ajoute à la carte.
Fusionner et Diviser : Si deux compétences sont essentiellement identiques, le système les fusionne. Si une compétence est trop vague, il la divise en deux plus claires.
Renforcer les Chemins : Si un chemin spécifique sur la carte mène à une victoire, le système rend ce chemin « plus épais » (plus fort) afin que le robot soit plus susceptible de l'utiliser la prochaine fois.

Le Système de « Monter de Niveau » (Déblocage Progressif)

Imaginez un jeu vidéo où vous ne pouvez pas combattre le boss final tant que vous n'avez pas maîtrisé les mouvements de base de l'épée.

SKILLGRAPH organise les compétences en Niveaux.
Niveau 0 : Compétences de base (par exemple, « Avancer »).
Niveau 1 : Compétences intermédiaires (par exemple, « Saisir un objet »).
Niveau 2 : Compétences complexes (par exemple, « Préparer un repas »).
Le robot est bloqué hors des compétences du Niveau 2 tant qu'il ne prouve pas qu'il est bon au Niveau 1. Cela empêche le robot d'être submergé par des instructions complexes avant de comprendre les bases.

Ce que les Résultats Montrent

Les chercheurs ont testé cela sur trois types de défis :

ALFWorld : Une maison basée sur du texte où le robot doit nettoyer, cuisiner et ranger.
WebShop : Une boutique en ligne simulée où le robot doit rechercher et acheter des articles spécifiques.
Search QA : Répondre à des questions pièges qui nécessitent de rechercher des informations en plusieurs étapes.

Le Résultat :

SKILLGRAPH a battu presque toutes les autres méthodes, y compris des modèles « sources fermées » très intelligents (comme GPT-4o) et d'autres systèmes basés sur la mémoire.
Il était particulièrement bon pour les tâches complexes nécessitant d'enchaîner de nombreuses étapes.
Il a appris plus vite et fait moins d'erreurs car il n'avait pas besoin de « réinventer la roue » à chaque fois ; il suivait simplement la carte mise à jour.

En Bref

SKILLGRAPH est un système qui cesse de traiter l'expérience d'une IA comme un tas désordonné de notes. Au lieu de cela, il organise l'expérience en une carte vivante et respirante de compétences. À mesure que l'IA s'améliore, la carte devient plus intelligente, ajoutant de nouveaux chemins, supprimant les impasses et enseignant à l'IA exactement quelles étapes prendre et dans quel ordre. C'est la différence entre donner à un étudiant une pile de cartes flash aléatoires et lui donner un manuel bien organisé qui se met à jour au fur et à mesure qu'il apprend.

Résumé Technique : SKILLGRAPH

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) ont démontré des capacités dans des tâches interactives complexes telles que la navigation web et la manipulation incarnée. Cependant, les agents actuels traitent souvent les tâches comme des épisodes isolés, échouant à apprendre des succès ou des échecs passés, même lorsqu'ils rencontrent des problèmes structurellement similaires. Bien que les approches existantes utilisent des bibliothèques de compétences pour stocker des unités de connaissances réutilisables, ces bibliothèques fonctionnent généralement comme des collections plates où les compétences sont stockées sous forme d'entrées indépendantes et récupérées uniquement sur la base de la similarité sémantique.

Cette organisation plate présente deux limitations critiques pour les tâches compositionnelles :

Récupération non compositionnelle : Les tâches complexes nécessitent souvent une séquence ordonnée de compétences avec des dépendances spécifiques (par exemple, chauffer un objet avant de le placer). Les récupérateurs plats peuvent identifier les compétences pertinentes mais échouent à indiquer leur ordre d'exécution ou leurs relations de prérequis.
Maintenance non structurée : Sans indices structurels explicites, les bibliothèques plates manquent de mécanismes pour déterminer quand les compétences doivent être fusionnées, divisées ou supprimées, rendant difficile la gestion de la redondance ou l'évolution de la bibliothèque parallèlement à l'amélioration de la politique de l'agent.

Méthodologie : SKILLGRAPH

Les auteurs proposent SKILLGRAPH, un cadre qui organise les compétences réutilisables en un graphe de dépendances dirigé structuré et fait évoluer ce graphe conjointement avec la politique de l'agent par l'apprentissage par renforcement (RL). Le cadre fonctionne en boucle fermée comprenant trois étapes principales :

1. Construction du Graphe

Le système extrait des compétences des trajectoires de l'agent (succès et échecs) en utilisant un modèle de langage enseignant.

Nœuds : Représentent des compétences classées soit comme générales (stratégies indépendantes du domaine) soit comme spécifiques à la tâche. Chaque nœud suit les comptes d'utilisation et les taux de succès empiriques.
Arêtes : Des arêtes typées modélisent explicitement les relations entre les compétences :
- Prérequis ( $A \to B$ ) : La compétence $A$ doit être appliquée avant $B$ .
- Améliore ( $A \to B$ ) : Une compétence générale améliore l'efficacité d'une compétence spécifique à la tâche.
- Co-occurrence ( $A \leftrightarrow B$ ) : Compétences apparaissant fréquemment ensemble dans des épisodes réussis.
Niveaux : Les nœuds sont assignés à des niveaux topologiques basés sur les hiérarchies de dépendances (Niveau 0 pour les compétences fondamentales sans prérequis).

2. Récupération Consciente du Graphe

Au lieu de récupérer un ensemble de compétences isolées, le système récupère un sous-graphe ordonné par dépendance pour guider la prise de décision multi-étapes.

Sélection des Graines : Identifie les points d'entrée pertinents pour la tâche (compétences générales et compétences correspondant à la tâche) dans l'ensemble actif actuellement « déverrouillé ».
Expansion du Graphe :
- Expansion vers l'arrière : Traverse les arêtes de prérequis entrantes pour récupérer les compétences fondamentales.
- Expansion vers l'avant : Utilise la recherche par faisceau pour explorer les arêtes sortantes, en priorisant les chemins avec des poids d'arêtes élevés.
Ordonnancement Topologique : Les nœuds récupérés sont triés topologiquement pour produire une séquence de compétences cohérente qui reflète le flux logique des sous-tâches (du simple au complexe).

3. Évolution du Graphe

Le graphe de compétences est mis à jour dynamiquement pendant l'entraînement sur la base des retours au niveau des trajectoires, garantissant que la bibliothèque s'adapte à la compétence croissante de l'agent.

Adaptation au Niveau des Nœuds :
- Insertion : Génère de nouvelles compétences pour adresser des modes d'échec spécifiques identifiés dans les trajectoires.
- Fusion : Combine des compétences redondantes avec un fort chevauchement de voisinage.
- Division : Décompose des compétences trop larges qui montrent des taux de succès modérés malgré une utilisation élevée.
- Dépréciation : Supprime les compétences qui sont fréquemment récupérées mais échouent systématiquement.
Adaptation au Niveau des Arêtes :
- Renforcement : Augmente les poids des arêtes traversées dans les trajectoires réussies.
- Découverte : Ajoute de nouvelles arêtes de co-occurrence lorsque des compétences apparaissent ensemble dans le succès.
- Décroissance et Élagage : Applique une décroissance multiplicative aux poids des arêtes et supprime les arêtes faibles pour prévenir les relations obsolètes.
Déverrouillage Progressif : Implémente un curriculum où les compétences de niveau supérieur ne sont activées que lorsque le taux de succès moyen du niveau fondamental actuel dépasse un seuil.

Optimisation de la Politique

La politique de l'agent est optimisée en utilisant GRPO (Group Relative Policy Optimization). La politique est conditionnée par la description de la tâche et la séquence de compétences récupérée et ordonnée. Le système minimise un objectif substitut tronqué avec une pénalité KL ancrée à une politique de référence initialisée par un affinage supervisé (SFT).

Contributions Clés

Formulation de Compétences Structurées en Graphe : L'article introduit une formulation novatrice où les compétences sont connectées par des relations explicites de prérequis, d'amélioration et de co-occurrence, allant au-delà de la récupération sémantique plate.
Cadre SKILLGRAPH : Un système en boucle fermée permettant une récupération de compétences consciente des dépendances et des mises à jour structurées de compétences (insertion, fusion, division) pendant l'entraînement RL.
Validation Empirique : Des expériences extensives démontrant que les graphes de compétences structurés améliorent l'efficacité des échantillons et les performances sur des tâches complexes multi-étapes par rapport aux méthodes RL augmentées par mémoire plate.

Résultats Expérimentaux

Le cadre a été évalué sur ALFWorld (manipulation incarnée), WebShop (navigation web) et sept benchmarks de QA augmentée par recherche.

ALFWorld & WebShop : SKILLGRAPH a atteint des performances de l'état de l'art, surpassant significativement les LLMs propriétaires (par exemple, GPT-4o, Gemini-2.5-Pro) et les baselines basées sur des invites ou augmentées par mémoire. Notamment, il a dépassé la méthode précédente la plus performante, SkillRL, de 11,7 points sur WebShop. Les gains ont été les plus prononcés dans les sous-tâches nécessitant un ordre strict (par exemple, « Nettoyer » et « Chauffer » dans ALFWorld).
QA Augmentée par Recherche : Entraîné sur NQ et HotpotQA, SKILLGRAPH s'est généralisé en zéro-shot à cinq ensembles de données invisibles (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle), atteignant la performance moyenne la plus élevée (48,9) parmi toutes les baselines.
Études d'Ablation : La suppression de la récupération consciente du graphe a causé la plus grande baisse de performance sur ALFWorld (-31,2 %), confirmant la nécessité de séquences de compétences ordonnées. La suppression de l'évolution du graphe a eu l'impact le plus important sur WebShop (-14,1 %), soulignant la valeur d'un ensemble de compétences en raffinement dynamique.
Efficacité : La récupération guidée par le graphe a maintenu des longueurs d'invite plus courtes par rapport à la récupération plate, améliorant le coût d'inférence et le rapport signal/bruit.

Importance et Revendications

L'article revendique que SKILLGRAPH adresse les limitations fondamentales des bibliothèques de compétences plates en permettant une planification compositionnelle par une récupération consciente des dépendances et une évolution rationnelle par des mises à jour structurées. Les auteurs affirment que la modélisation explicite des relations inter-compétences permet aux agents de :

Transférer des connaissances compositionnelles de tâches plus simples vers des tâches plus complexes.
Réduire l'exploration redondante en fournissant une guidance structurée.
Affiner continuellement à la fois la bibliothèque de compétences et la politique de l'agent dans une boucle mutuellement renforçante.

Ce travail se positionne comme une étape vers des agents capables d'accumuler des connaissances structurées à partir de l'expérience, améliorant l'efficacité des échantillons et la fiabilité dans des domaines tels que l'assistance domestique et la récupération d'informations. Les auteurs reconnaissent des limitations concernant la dépendance à un modèle enseignant puissant pour les opérations de graphe et la confinement actuel à l'entraînement dans un seul environnement, suggérant le transfert inter-environnement et la distillation légère autonome comme orientations futures.