Resumen Técnico: MMG2Skill

Declaración del Problema

Los agentes de modelos de lenguaje visual (VLM) tienen cada vez más la tarea de realizar trabajos procedimentales de largo alcance en entornos interactivos, como el control de interfaces gráficas de escritorio (GUI), juegos de mundo abierto y juegos de estrategia de cartas. Un obstáculo principal para el éxito en estos dominios es la débil fundamentación procedimental: la incapacidad de los agentes para anclar procedimientos reutilizables en su estado de ejecución. Si bien la web contiene abundante conocimiento procedimental multimodal (guías, tutoriales, documentación), este material está diseñado para ejecutores humanos. A menudo es multimodal, heterogéneo, ruidoso e implica implícitamente un contexto humano (por ejemplo, procedimientos hermanos, supuestos de prerrequisitos, texto de navegación).

El hecho de proporcionar guías puras directamente a los agentes mediante prompting suele fallar porque el agente no puede distinguir fácilmente los pasos aplicables del contenido irrelevante o adaptar la guía cuando el agente se desvía del camino nominal. Por el contrario, escribir habilidades a mano para cada tarea es laborioso, y las habilidades descubiertas únicamente mediante la exploración del agente están limitadas por los propios fallos del agente. La pregunta central que aborda este trabajo es: ¿Pueden los agentes VLM destilar guías multimodales del mundo real en habilidades fundamentadas en la ejecución que mejoren a través de sus propias ejecuciones (rollouts)?

Metodología: Marco de Trabajo MMG2Skill

Los autores proponen MMG2Skill, un marco de bucle cerrado diseñado para convertir guías multimodales en habilidades editables y ejecutables, y para mejorarlas continuamente sin depender de las puntuaciones de los benchmarks durante el proceso de revisión. El marco opera en tres etapas:

1. Construcción de Habilidades Multimodales (Tutorial-a-Habilidad):
   El sistema normaliza las guías multimodales puras (HTML, imágenes, capturas de pantalla) en una representación de SKILL.md editable. Un extractor de habilidades VLM convierte la guía en un conjunto de habilidades estructuradas $S = \{z_i\}$, donde cada habilidad $z_i$ contiene:

   • $u_i$: Un procedimiento reutilizable.
   • $c_i$: Condiciones de aplicabilidad.
   • $v_i$: Claves de estado esperado.
   • $q_i$: Conocimiento de recuperación.
     Este paso transforma artefactos humanos no estructurados en un prior procedimental más seguro.

2. Ejecución Condicionada por Habilidad:
   Durante una ejecución del agente (intento $k$), el conjunto de habilidades actual $S_k$ se inyecta en el contexto del agente junto con la instrucción de la tarea y el historial reciente. La política del agente $\pi_\theta$ permanece fija; condiciona sus acciones a la tarea, al historial y a las habilidades actuales: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$. El conjunto de habilidades actúa como contexto procedimental sin alterar la interfaz de acción específica del dominio.

3. Revisión Impulsada por Trayectorias:
   Después de un intento, un Analizador lee únicamente la instrucción de la tarea y la trayectoria visible para el agente (sin puntuaciones de benchmark ni estados ocultos). Produce un diagnóstico $\rho_k = (e_k, r_k)$, donde $e_k$ es la evidencia de lo que funcionó o falló, y $r_k$ es una evaluación del resultado (por ejemplo, likely_success o éxito_probable).
   Un Refinador utiliza entonces la guía original, las habilidades actuales y los diagnósticos acumulados para actualizar el conjunto de habilidades: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$. El refinador edita los archivos SKILL.md añadiendo comprobaciones faltantes, agudizando las claves de estado o eliminando consejos engañosos, preservando los comportamientos validados de intentos anteriores.

El marco incluye un mecanismo de parada temprana basado en la señal likely_success del analizador, que detiene el bucle cuando la trayectoria parece satisfacer la tarea, evitando regresiones de rendimiento en etapas tardías.

Benchmark: MMG2Skill-Bench

Para evaluar esta capacidad, los autores introducen MMG2Skill-Bench, el primer benchmark diseñado específicamente para el aprendizaje de guía a habilidad.

• Alcance: Abarca tres regímenes de interacción: GUI (OSWorld), Juego (OpenHA Minecraft) y Estrategia (Doudizhu y Mahjong vía RLCard).
• Composición: Contiene 130 tareas de éxito inferible emparejadas con guías multimodales públicas relevantes para la tarea.
• Restricciones: Las tareas se seleccionan de tal manera que los resultados pueden inferirse de la trayectoria visible para el agente o del estado final público. El benchmark excluye tareas donde las respuestas pueden copiarse directamente de las guías, asegurando que la evaluación mida la fundamentación procedimental en lugar de la recuperación de información.

Resultados Clave

El marco fue evaluado a través de seis núcleos (backbones) VLM (incluyendo Claude-Opus, GPT-5.5, Kimi, Gemini y Qwen) en MMG2Skill-Bench.

• Rendimiento General: MMG2Skill superó consistentemente a los agentes base de tipo vanilla (sin habilidades) y a las bases de "Guía Pura" (inyección directa de la guía) en cada configuración de modelo-dominio. Las ganancias promedio macro variaron de +12.8 a +25.3 puntos porcentuales entre los distintos núcleos.
• Ablación de Mecanismos:
  • Inyección de Guía Pura: El prompting directo con guías puras fue poco fiable y a menudo degradó el rendimiento (por ejemplo, -1.67 pp en Juego) debido a desajustes de fundamentación entre la guía y el entorno.
  • Extracción Estructurada: Convertir las guías en habilidades estructuradas (sin revisión) proporcionó un prior procedimental más seguro, mejorando el rendimiento sobre los agentes vanilla.
  • Revisión Impulsada por Trayectorias: El componente de revisión contribuyó con la mayor parte de las ganancias en los dominios de Juego y Estrategia (más del 90% de la ganancia total), reparando las brechas entre la guía y la ejecución en tiempo de ejecución.
• Eficiencia: MMG2Skill mejoró las puntuaciones reduciendo simultáneamente el número promedio de pasos de intentos mostrados, lo que indica menos desviaciones exploratorias.
• Parada Temprana: La parada temprana basada en el analizador evitó regresiones de rendimiento en etapas tardías (no monotonicidad) y ahorró entre el 25% y el 53% de los intentos en tareas de éxito inferible, manteniendo una alta precisión (>74%) y exhaustividad (>95% en GUI/Juego).

Significado y Reivindicaciones

El artículo reivindica dos contribuciones principales:

1. MMG2Skill-Bench: Un nuevo benchmark que empareja tareas interactivas de éxito inferible con guías multimodales del mundo real, estableciendo un estándar para evaluar el aprendizaje de guía a habilidad.
2. Marco MMG2Skill: Un sistema de bucle cerrado que demuestra que las guías públicas pueden convertirse en habilidades editables y fundamentadas en la ejecución que mejoran a través de las ejecuciones del agente sin requerir puntuaciones de benchmark para la revisión.

Los autores enfatizan que el acceso solo a las guías es insuficiente. El prompting de guías puras puede perjudicar el rendimiento, mientras que la construcción de habilidades estructuradas proporciona un prior más seguro, y la revisión impulsada por trayectorias es necesaria para reparar las brechas de fundamentación. Además, destacan que las ganancias de la revisión son no monotónicas, lo que hace que la parada temprana calibrada sea esencial para el despliegue. Este trabajo aísla el problema de convertir material procedimental en habilidades ejecutables, distinto del problema ascendente del descubrimiento de guías.