💬 NLP

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

Cet article présente MMG2Skill, un cadre en boucle fermée et le benchmark correspondant (MMG2Skill-Bench) qui permet aux agents d'IA de distiller des guides web multimodaux bruités en compétences exécutables auto-évolutives grâce à une compilation structurée et une révision pilotée par les trajectoires, surpassant de manière significative les agents de référence à travers divers domaines.

Auteurs originaux : Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique brillant mais légèrement naïf. Vous voulez qu'il accomplisse des tâches complexes comme éditer une photo, construire une maison dans un jeu vidéo ou jouer à un jeu de cartes stratégique. Vous disposez d'une immense bibliothèque de guides, de tutoriels et de wikis écrits par des humains sur Internet qui expliquent comment faire ces choses.

Le problème est que ces guides sont écrits pour des humains, pas pour des robots. Ils sont désordonnés, supposent que vous savez des choses que le robot ignore, et peuvent devenir confus si le robot commet une petite erreur. Si vous donnez simplement au robot un lien brut vers un article intitulé « Comment construire une maison », il pourrait être submergé par le texte, manquer les étapes cruciales ou essayer de faire les choses dans le mauvais ordre.

Ce document présente MMG2Skill, une nouvelle façon d'enseigner aux robots en utilisant ces guides humains désordonnés. Considérez cela comme un système de « Traducteur et de Coach » qui transforme les instructions humaines en un carnet de jeu personnel pour le robot.

Voici comment cela fonctionne, divisé en trois étapes simples :

1. Le Traducteur : Transformer le « Langage Humain » en « Carnet de Jeu Robotique »

Au lieu de donner tout l'article désordonné au robot, le système lit d'abord le guide et en extrait les étapes fondamentales. Il transforme l'article en une liste de contrôle propre et structurée appelée Compétence (Skill).

L'Analogie : Imaginez un chef cuisinier lisant un article de blog complexe sur une recette. Au lieu de remettre tout le blog au sous-chef, le chef exécute une fiche de « Procédure Opérationnelle Standard » (SOP) concise et à puces : « Étape 1 : Hacher les oignons. Étape 2 : Chauffer la poêle. Étape 3 : Ajouter l'huile. »
Le Résultat : Le robot dispose désormais d'une fiche d'instructions claire et modifiable (un fichier SKILL.md) plutôt que d'un mur de texte déroutant.

2. Le Coach : Apprendre des Erreurs en Temps Réel

Le robot tente d'accomplir la tâche en utilisant cette nouvelle liste de contrôle. S'il échoue, le système ne se contente pas de dire « Réessaie ». Il agit comme un détective.

Le Détective : Il examine exactement ce que le robot a fait, le compare à l'objectif et cherche la raison de l'échec. Le robot a-t-il oublié d'attendre que le fichier soit enregistré ? A-t-il cliqué sur le mauvais bouton ?
La Correction : Le système édite ensuite la liste de contrôle. Il ajoute une note telle que : « Attendre 5 secondes que le fichier soit enregistré avant de cliquer sur 'Terminé'. »
L'Analogie : C'est comme un moniteur de conduite observant un élève échouer à un créneau. Au lieu de simplement dire « Tu as échoué », l'instructeur écrit une note sur la fiche d'exercice de l'élève : « N'oubliez pas de vérifier le rétroviseur avant de reculer. » La fois suivante, l'élève utilise cette fiche mise à jour.

3. L Le Stopper Intelligent : Savoir Quand S'arrêter

Parfois, un robot continue d'essayer même après avoir réussi, ou continue de tourner en boucle après un échec. Le système inclut un « Stopper Intelligent ».

L'Analogie : Imaginez un GPS qui réalise que vous êtes déjà arrivé à destination. Au lieu de vous faire faire le tour du pâté de maisons cinq fois de plus pour en être sûr, il dit : « Vous êtes arrivé. Coupez le moteur. »
Le Bénéfice : Cela permet de gagner du temps et de l'argent (puissance de calcul) en arrêtant le robot dès qu'il perçoit des signes clairs de succès, plutôt que de le forcer à effectuer un nombre fixe de tentatives.

Qu'ont-ils découvert ?

Les chercheurs ont testé cela sur trois mondes très différents :

Ordinateurs de bureau : Contrôle de logiciels comme Word ou Photoshop.
Jeux Vidéo : Jouer à Minecraft pour récolter des ressources et fabriquer des objets.
Jeux de Cartes : Jouer à des jeux de stratégie comme le Doudizhu ou le Mahjong.

Les Résultats :

Les Guides Bruts Nuisent : Lorsqu'ils donnaient simplement les guides humains bruts et désordonnés au robot, celui-ci devenait en réalité moins bon dans les tâches. Le bruit supplémentaire le confondait.
Le Carnet de Jeu Gagne : Lorsqu'ils utilisaient le système « Traducteur et Coach » (MMG2Skill) pour transformer ces guides en compétences propres et éditables, les robots devenaient nettement meilleurs. Ils se sont améliorés de 12 % à 25 % de manière générale.
La Magie de l'Édition : Les gains les plus importants provenaient de la capacité du système à corriger la liste de contrôle après une erreur. Une traduction unique ne suffisait pas ; le robot avait besoin d'apprendre de ses propres échecs et de mettre à jour son propre carnet de jeu.

L'Essentiel

Ce document montre que nous n'avons pas besoin d'écrire un code parfait pour chaque tâche de robot. Nous pouvons utiliser les millions de guides humains déjà présents sur Internet, mais nous devons les traduire dans un format que le robot comprend et laisser le robot les éditer au fur et à mesure qu'il apprend. Cela transforme un manuel humain désordonné en un carnet de jeu auto-améliorant pour le robot.

Résumé Technique : MMG2Skill

Énoncé du Problème

Les agents de modèles de vision-langage (VLM) sont de plus en plus chargés de tâches procédurales à long terme dans des environnements interactifs, tels que le contrôle d'interfaces graphiques (GUI) de bureau, les jeux en monde ouvert et les jeux de cartes stratégiques. Un obstacle majeur à la réussite dans ces domaines est la faiblesse de l'ancrage procédural : l'incapacité des agents à ancrer des procédures réutilisables dans leur état d'exécution. Bien que le web regorge de connaissances procédurales multimodales (guides, tutoriels, documentation), ce matériel est conçu pour des exécutants humains. Il est souvent multimodal, hétérogène, bruité et suppose implicitement un contexte humain (par exemple, des procédures sœurs, des hypothèses de prérequis, de la navigation textuelle).

Le fait de solliciter directement les agents avec des guides bruts échoue souvent car l'agent ne peut pas facilement distinguer les étapes applicables du contenu non pertinent ou adapter le guide lorsque l'agent s'écarte du chemin nominal. Inversement, rédiger manuellement des compétences pour chaque tâche est laborieux, et les compétences découvertes uniquement par l'exploration de l'agent sont limitées par ses propres échecs. La question centrale abordée par ce travail est la suivante : Les agents VLM peuvent-ils distiller des guides multimodaux « in-the-wild » en compétences ancrées dans l'exécution qui s'améliorent grâce à leurs propres déploiements ?

Méthodologie : Cadre MMG2Skill

Les auteurs proposent MMG2Skill, un cadre en boucle fermée conçu pour convertir des guides multimodaux en compétences éditables et exécutables, et pour les améliorer continuellement sans dépendre des scores de référence lors du processus de révision. Le cadre fonctionne en trois étapes :

Construction de Compétences Multimodales (Tutorial-to-Skill) :
Le système normalise les guides multimodaux bruts (HTML, images, captures d'écran) en une représentation SKILL.md éditable. Un extracteur de compétences VLM convertit le guide en un ensemble de compétences structurées $S = \{z_i\}$ , où chaque compétence $z_i$ contient :
- $u_i$ : une procédure réutilisable.
- $c_i$ : des conditions d'applicabilité.
- $v_i$ : des indices d'état attendus.
- $q_i$ : des connaissances de récupération.
  Cette étape transforme des artefacts humains non structurés en un a priori procédural plus sûr.
Exécution Conditionnée par la Compétence :
Lors d'un déploiement de l'agent (tentative $k$ ), l'ensemble de compétences actuel $S_k$ est injecté dans le contexte de l'agent aux côtés de l'instruction de la tâche et de l'historique récent. La politique $\pi_\theta$ de l'agent reste fixe ; elle conditionne ses actions sur la tâche, l'historique et les compétences actuelles : $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$ . L'ensemble de compétences agit comme un contexte procédural sans modifier l'interface d'action spécifique au domaine.
Révision des Compétences Pilotée par la Trajectoire :
Après une tentative, un Analyseur lit uniquement l'instruction de la tâche et la trajectoire visible par l'agent (aucun score de référence ou état caché). Il produit un diagnostic $\rho_k = (e_k, r_k)$ , où $e_k$ est la preuve de ce qui a fonctionné ou échoué, et $r_k$ est une évaluation du résultat (ex: likely_success).
Un Raffineur utilise ensuite le guide original, les compétences actuelles et les diagnostics accumulés pour mettre à jour l'ensemble de compétences : $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$ . Le raffineur édite les fichiers SKILL.md en ajoutant des vérifications manquantes, en affinant les indices d'état ou en supprimant des conseils trompeurs, préservant ainsi les comportements validés des tentatives précédentes.

Le cadre inclut un mécanisme d'arrêt précoce basé sur le signal likely_success de l'analyseur, qui interrompt la boucle lorsque la trajectoire semble satisfaire la tâche, empêchant ainsi les régressions de performance tardives.

Benchmark : MMG2Skill-Bench

Pour évaluer cette capacité, les auteurs introduisent MMG2Skill-Bench, le premier benchmark spécifiquement conçu pour l'apprentissage de guide à compétence.

Portée : Il couvre trois régimes d'interaction : GUI (OSWorld), Jeu (OpenHA Minecraft) et Stratégie (Doudizhu et Mahjong via RLCard).
Composition : Il contient 130 tâches dont le succès est inférable, associées à des guides multimodaux publics pertinents pour la tâche.
Contraintes : Les tâches sont sélectionnées de telle sorte que les résultats puissent être inférés de la trajectoire visible par l'agent ou de l'état final public. Le benchmark exclut les tâches où les réponses peuvent être directement copiées des guides, garantissant que l'évaluation mesure l'ancrage procédural plutôt que la récupération d'informations.

Résultats Clés

Le cadre a été évalué sur six backbones VLM (incluant Claude-Opus, GPT-5.5, Kimi, Gemini et Qwen) sur MMG2Skill-Bench.

Performance Globale : MMG2Skill a systématiquement surpassé les agents de base vanilla (sans compétences) et les bases "Raw Guide" (injection directe du guide) dans chaque configuration modèle-domaine. Les gains moyens macro ont varié de +12,8 à +25,3 points de pourcentage à travers les backbones.
Ablation des Mécanismes :
- Injection de Guide Brut : Le fait de solliciter directement les agents avec des guides bruts était peu fiable et a souvent dégradé les performances (ex: -1,67 pp sur Game) en raison de désalignements entre le guide et l'environnement.
- Extraction Structurée : La conversion des guides en compétences structurées (sans révision) a fourni un a priori procédural plus sûr, améliorant les performances par rapport aux agents vanilla.
- Révision Pilotée par la Trajectoire : La composante de révision a contribué à la majorité des gains dans les domaines Game et Strategy (plus de 90 % du gain total), réparant les lacunes entre le guide et l'exécution au runtime.
Efficacité : MMG2Skill a amélioré les scores tout en réduant le nombre moyen d'étapes de tentatives affichées, indiquant moins de détours exploratoires.
Arrêt Précoce : L'arrêt précoce basé sur l'analyseur a empêché les régressions de performance tardives (non-monotonicité) et a économisé 25 % à 53 % des tentatives sur les tâches de succès inférable tout en maintenant une précision élevée (>74 %) et un rappel élevé (>95 % sur GUI/Game).

Signification et Revendications

L'article revendique deux contributions principales :

MMG2Skill-Bench : Un nouveau benchmark associant des tâches interactives au succès inférable avec des guides multimodaux « in-the-wild », établissant un standard pour évaluer l'apprentissage de guide à compétence.
Cadre MMG2Skill : Un système en boucle fermée qui démontre que les guides publics peuvent être convertis en compétences éditables et ancrées dans l'exécution qui s'améliorent grâce aux déploiements de l'agent sans nécessiter de scores de référence pour la révision.

Les auteurs soulignent que l'accès aux guides seul est insuffisant. Le prompting de guides bruts peut nuire aux performances, tandis que la construction de compétences structurées fournit un a priori plus sûr, et que la révision pilotée par la trajectoire est nécessaire pour réparer les écarts d'ancrage. De plus, ils soulignent que les gains de révision sont non-monotones, rendant l'arrêt précoce calibré essentiel pour le déploiement. Le travail isole le problème de la conversion de matériel procédural en compétences exécutables, distinct du problème en amont de la découverte de guides.