Resumo Técnico: MMG2Skill

Declaração do Problema

Agentes de modelos de linguagem de visão (VLM) são cada vez mais incumbidos de trabalhos procedimentais de longo horizonte em ambientes interativos, como controle de interface gráfica de desktop (GUI), jogos de mundo aberto e jogos de estratégia de cartas. Um obstáculo primário ao sucesso nesses domínios é o fraco ancoramento procedimental: a incapacidade dos agentes de ancorar procedimentos reutilizáveis em seu estado de execução. Embora a web contenha abundantes conhecimentos procedimentais multimodais (guias, tutoriais, documentação), este material é projetado para executores humanos. Ele é frequentemente multimodal, heterogêneo, ruidoso e assume implicitamente um contexto humano (ex: procedimentos irmãos, suposições de pré-requisitos, texto de navegação).

O uso direto de prompts de agentes com guias brutos frequentemente falha porque o agente não consegue distinguir facilmente passos aplicáveis de conteúdo irrelevante ou adaptar o guia quando o agente se desvia do caminho nominal. Por outro lado, escrever habilidades manualmente para cada tarefa é trabalhoso, e habilidades descobertas apenas através da exploração do agente são limitadas pelas próprias falhas do agente. A questão central abordada por este trabalho é: Podem os agentes VLM destilar guias multimodais do mundo real em habilidades ancoradas na execução que melhoram através de seus próprios rollouts?

Metodologia: Estrutura MMG2Skill

Os autores propõem o MMG2Skill, uma estrutura de ciclo fechado projetada para converter guias multimodais em habilidades editáveis e executáveis e melhorá-las continuamente sem depender de pontuações de benchmarks durante o processo de revisão. A estrutura opera em três estágios:

1. Construção de Habilidade Multimodal (Tutorial-para-Habilidade):
   O sistema normaliza guias multimodais brutos (HTML, imagens, capturas de tela) em uma representação SKILL.md editável. Um extrator de habilidades VLM converte o guia em um conjunto de habilidades estruturadas $S = \{z_i\}$, onde cada habilidade $z_i$ contém:

   • $u_i$: Um procedimento reutilizável.
   • $c_i$: Condições de aplicabilidade.
   • $v_i$: Pistas de estado esperado.
   • $q_i$: Conhecimento de recuperação.
     Este passo transforma artefatos humanos não estruturados em um prior procedimental mais seguro.

2. Execução Condicionada à Habilidade:
   Durante um rollout do agente (tentativa $k$), o conjunto de habilidades atual $S_k$ é injetado no contexto do agente junto com a instrução da tarefa e o histórico recente. A política do agente $\pi_\theta$ permanece fixa; ela condiciona suas ações à tarefa, ao histórico e às habilidades atuais: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$. O conjunto de habilidades atua como contexto procedimental sem alterar a interface de ação específica do domínio.

3. Revisão Impulsionada por Trajetória:
   Após uma tentativa, um Analisador lê apenas a instrução da tarefa e a trajetória visível pelo agente (sem pontuações de benchmark ou estados ocultos). Ele produz um diagnóstico $\rho_k = (e_k, r_k)$, onde $e_k$ é a evidência do que funcionou ou falhou, e $r_k$ é uma avaliação de resultado (ex: provável_sucesso).
   Um Refinador então utiliza o guia original, as habilidades atuais e os diagnósticos acumulados para atualizar o conjunto de habilidades: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$. O refinador edita os arquivos SKILL.md adicionando verificações ausentes, tornando as pistas de estado mais nítidas ou removendo conselhos enganosos, preservando comportamentos validados de tentativas anteriores.

A estrutura inclui um mecanismo de parada antecipada baseado no sinal de provável_sucesso do analisador, que interrompe o loop quando a trajetória parece satisfazer a tarefa, evitando regressões de desempenho em estágios tardios.

Benchmark: MMG2Skill-Bench

Para avaliar essa capacidade, os autores introduzem o MMG2Skill-Bench, o primeiro benchmark especificamente projetado para aprendizado de guia-para-habilidade.

• Escopo: Abrange três regimes de interação: GUI (OSWorld), Jogo (OpenHA Minecraft) e Estratégia (Doudizhu e Mahjong via RLCard).
• Composição: Contém 130 tarefas de sucesso inferível pareadas com guias multimodais públicos relevantes para a tarefa.
• Restrições: As tarefas são selecionadas de modo que os resultados possam ser inferidos da trajetória visível pelo agente ou do estado final público. O benchmark exclui tarefas onde as respostas podem ser copiadas diretamente dos guias, garantindo que a avaliação meça o ancoramento procedimental em vez de recuperação de informação.

Resultados Principais

A estrutura foi avaliada em seis backbones VLM (incluindo Claude-Opus, GPT-5.5, Kimi, Gemini e Qwen) no MMG2Skill-Bench.

• Desempenho Geral: O MMG2Skill superou consistentemente os agentes baseline vanilla (sem habilidades) e as baselines de "Guia Bruto" (injeção direta de guia) em todas as configurações de modelo-domínio. Os ganhos médios macro variaram de +12,8 a +25,3 pontos percentuais entre os backbones.
• Ablação de Mecanismo:
  • Injeção de Guia Bruto: Prompts diretos com guias brutos foram pouco confiáveis e frequentemente degradaram o desempenho (ex: -1,67 pp em Jogo) devido a incompatibilidades de ancoramento entre o guia e o ambiente.
  • Extração Estruturada: Converter guias em habilidades estruturadas (sem revisão) forneceu um prior procedimental mais seguro, melhorando o desempenho sobre os agentes vanilla.
  • Revisão Impulsionada por Trajetória: O componente de revisão contribuiu com a maior parte dos ganhos nos domínios de Jogo e Estratégia (mais de 90% do ganho total), reparando lacunas entre o guia e a execução em tempo de execução.
• Eficiência: O MMG2Skill melhorou as pontuações enquanto reduzia o número médio de passos de tentativas exibidas, indicando menos desvios exploratórios.
• Parada Antecipada: A parada antecipada baseada no analisador evitou regressões de desempenho em estágios tardios (não-monotonicidade) e economizou de 25% a 53% das tentativas em tarefas de sucesso inferível, mantando alta precisão (>74%) e recall (>95% em GUI/Jogo).

Significância e Alegações

O artigo reivindica duas contribuições primárias:

1. MMG2Skill-Bench: Um novo benchmark que pareia tarefas interativas de sucesso inferível com guias multimodais do mundo real, estabelecendo um padrão para avaliar o aprendizado de guia-para-habilidade.
2. Estrutura MMG2Skill: Um sistema de ciclo fechado que demonstra que guias públicos podem ser convertidos em habilidades editáveis e ancoradas na execução que melhoram através de rollouts de agentes sem exigir pontuações de benchmark para a revisão.

Os autores enfatem que o acesso apenas aos guias é insuficiente. Prompts de guias brutos podem prejudicar o desempenho, enquanto a construção de habilidades estruturadas fornece um prior mais seguro, e a revisão impulsionada por trajetória é necessária para reparar lacunas de ancoramento. Além disso, eles destacam que os ganhos de revisão são não-monotônicos, tornando a parada antecipada calibrada essencial para a implantação. O trabalho isola o problema de converter material procedimental em habilidades executáveis, distinto do problema upstream de descoberta de guias.