Résumé technique : MMSkills : Vers des compétences multimodales pour les agents visuels généraux

1. Énoncé du problème

Les cadres de compétences existants pour les agents encodent principalement les comportements réutilisables sous forme d'invites textuelles, de code exécutable ou de routines apprises. Bien que cette approche soit efficace pour les agents opérant dans des environnements d'abstraction linguistique, elle est insuffisante pour les agents visuels (par exemple, les agents d'interface graphique ou de jeux) dont les décisions reposent fortement sur des preuves visuelles. Pour ces agents, la connaissance procédurale est intrinsèquement multimodale : une réutilisation réussie dépend non seulement de quoi opération effectuer, mais aussi de la reconnaissance de l'état visuel pertinent, de l'interprétation des preuves de progression ou d'échec, et de la décision de l'étape suivante basée sur des indices visuels.

Les compétences purement textuelles actuelles deviennent souvent verbeuses tout en restant insuffisamment spécifiées pour les tâches visuelles, tandis que les démonstrations brutes sont longues, spécifiques à une instance et difficiles à adapter. Cet écart crée trois défis spécifiques :

1. Représentation : Comment structurer un paquet de compétences multimodales qui lie les procédures, les états visuels et les indices de vérification en une unité cohérente et réutilisable.
2. Génération : Comment dériver de tels paquets à partir de trajectoires d'interaction publiques et non évaluatives, sans s'appuyer sur des exemples écrits à la main ou des rejouages bruts.
3. Utilisation : Comment consulter les preuves de compétences multimodales au moment de l'inférence sans submerger l'agent avec un contexte d'images excessif ou provoquer une sur-ancrage de l'agent sur des captures d'écran de référence plutôt que sur l'environnement en direct.

2. Méthodologie

Les auteurs proposent MMSkills, un cadre comprenant trois composants principaux : un Paquet de compétences multimodales, un Générateur de compétences et un Agent de compétences chargé par branche.

2.1 Paquet de compétences multimodales

Un MMSkill est défini comme un paquet de procédures conditionnées par l'état $M = (D, P, S, K)$ :

• $D$ (Descripteur) : Une description compacte de la compétence.
• $P$ (Procédure) : Une description textuelle réutilisable du motif d'action.
• $S$ (Cartes d'état) : Un ensemble de cartes d'état d'exécution $S_j$ agissant comme nœuds de décision. Chaque carte spécifie :
  • Les conditions Quand-utiliser et Quand-ne-pas-utiliser.
  • Les indices visibles à inspecter.
  • Les indices de vérification pour confirmer la progression ou l'achèvement.
  • Les vues disponibles (par exemple, image complète, recadrage focalisé, avant/après).
• $K$ (Images clés) : Des bundles d'images multi-vues alignés avec les cartes d'état, incluant des images complètes pour le contexte, des recadrages focalisés pour des indices spécifiques, et des vues avant/après optionnelles pour les transitions.

Cette structure transforme une compétence d'une instruction statique en un guide dynamique et conscient de l'état, où la preuve visuelle aide l'agent à décider s'il doit suivre, sauter ou vérifier une procédure.

2.2 Pipeline de génération de compétences

Le cadre introduit un Générateur de trajectoire vers compétence automatisé qui convertit les trajectoires d'interaction publiques et non évaluatives en MMSkills. Le processus comporte cinq étapes :

1. Encodage vectoriel et clustering : Regroupement de domaines larges en clusters à focalisation sémantique.
2. Planification au niveau du cluster : Un agent basé sur un LLM propose des compétences atomiques avec des limites de flux de travail et des conditions d'achèvement.
3. Fusion : Déduplication et généralisation des plans en spécifications de compétences fusionnées.
4. Rédaction d'abord textuelle : Génération de descripteurs, de procédures et de cartes d'état sans lire les images.
5. Ancrage d'image et audit : Lecture d'images clés sélectionnées pour ancrer les régions focalisées, construire des bundles multi-vues et auditer les paquets finaux à l'aide de méta-compétences (scripts réutilisables et portes de qualité).

2.3 Agent chargé par branche

Pour résoudre le problème de surcharge de contexte et d'ancrage visuel, les auteurs proposent le chargement par branche. Au lieu d'injecter l'intégralité du paquet de compétences (texte + plusieurs images) dans le contexte de l'agent principal, le système fonctionne en deux étapes au sein d'une branche temporaire :

1. Étape 1 (Sélection de vue conditionnée) : La branche analyse l'observation en direct et les cartes d'état/texte de la compétence pour déterminer si une preuve visuelle est nécessaire. Si tel est le cas, elle sélectionne uniquement les cartes d'état pertinentes et des types de vues spécifiques (par exemple, recadrage focalisé vs image complète).
2. Étape 2 (Guidage du planificateur) : La branche aligne les preuves sélectionnées avec l'état en direct et renvoie un tuple de guidage structuré et compact $G_t$ (contenant l'applicabilité, les sous-objectifs, les plans, les contraintes et les vérifications) à l'agent principal.
   L'agent principal utilise ce guidage distillé pour prendre des décisions ancrées basées sur la capture d'écran en direct, l'empêchant d'être distrait par des images de référence.

3. Contributions clés

1. Paquet de compétences multimodales : La première formulation de compétences réutilisables pour les agents visuels généraux sous forme de connaissance procédurale multimodale, intégrant des procédures textuelles, des cartes d'état d'exécution et des images clés multi-vues.
2. Générateur agentique : Un pipeline automatisé qui transforme les trajectoires d'interaction publiques en paquets de compétences multimodales par le biais du regroupement de flux de travail, de l'induction de procédures, de l'ancrage visuel et d'un audit guidé par des méta-compétences.
3. Chargement par branche : Un mécanisme d'exécution qui isole l'ancrage compétence-environnement dans une branche temporaire, sélectionnant et alignant les preuves avant de renvoyer un support de décision structuré à l'agent principal.
4. Validation empirique : Démonstration de gains de performance significatifs sur divers benchmarks basés sur des interfaces graphiques et des jeux (OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros) et sur plusieurs familles de modèles.

4. Résultats expérimentaux

Les auteurs ont évalué MMSkills sur OSWorld, macOSWorld, VAB-Minecraft et Super Mario Bros en utilisant des modèles de pointe (par exemple, Gemini 3.1 Pro, Qwen3-VL-235B) et des modèles plus petits (par exemple, Qwen3-VL-8B).

• Gains de performance : MMSkills a systématiquement amélioré les taux de réussite par rapport aux lignes de base « sans compétence » et « compétence uniquement textuelle ». Par exemple, sur OSWorld, MMSkills a amélioré Qwen3-VL-235B de 21,34 % à 39,17 % et Qwen3-VL-8B de 10,78 % à 25,40 %.
• Études d'ablation :
  • Composants : Les cartes d'état et les preuves visuelles multi-vues se sont tous deux révélés critiques ; la suppression de l'un ou de l'autre dégradait les performances.
  • Mécanisme de chargement : Le chargement par branche surpassait le chargement direct (insertion de compétences complètes dans le contexte). Le chargement direct nuisait souvent aux performances en raison de la pollution du contexte et de l'ancrage visuel, tandis que le chargement par branche apportait des gains clairs même pour les compétences purement textuelles.
• Dynamiques d'interaction :
  • Invocation : Les MMSkills ont été invoqués plus fréquemment que les compétences purement textuelles, suggérant que les cartes d'état facilitent la détection de la pertinence.
  • Efficacité : MMSkills a réduit le nombre moyen d'étapes d'interaction (par exemple, -5,35 étapes pour Qwen3-VL-235B sur OSWorld), indiquant des chemins de résolution de tâches plus courts.
  • Changement de comportement : Les agents utilisant MMSkills ont présenté moins d'actions répétitives et un passage de l'exploration par essais et erreurs à une exécution ancrée et consciente de l'état. Par exemple, la part des actions de « clic » a diminué tandis que les actions de « clavier » et « TERMINÉ » ont augmenté, suggérant une meilleure conscience de l'achèvement.

5. Importance et affirmations

L'article affirme que la connaissance procédurale multimodale externe complète les priors internes du modèle. En liant explicitement les procédures d'action aux preuves visuelles et aux décisions dépendantes de l'état nécessaires à leur application, MMSkills permettent aux agents visuels de :

• Reconnaître quand une procédure est applicable en fonction de l'état visuel.
• Distinguer la progression, l'échec et l'achèvement en utilisant des indices visuels.
• Éviter les écueils des compétences purement textuelles (spécification insuffisante) et des démonstrations brutes (manque d'adaptabilité).

Les auteurs soulignent que cette approche est particulièrement précieuse pour les agents visuels plus faibles, où une connaissance procédurale visuelle explicite peut compenser des priors internes limités. Ce travail suggère que pour les agents visuels généraux, l'unité « compétence » doit évoluer du texte/code vers un paquet multimodal conditionné par l'état qui guide la prise de décision par un ancrage visuel.

Limites : Les auteurs reconnaissent la dépendance à la couverture des trajectoires sources, les erreurs potentielles dans la génération de compétences ou l'ancrage visuel, et le coût d'inférence supplémentaire introduit par le mécanisme de chargement par branche. Ils notent que l'extension de cette approche à des environnements critiques pour la sécurité nécessiterait des mécanismes de vérification et de réparation en ligne plus robustes.