Resumo Técnico: MMSkills: Rumo a Habilidades Multimodais para Agentes Visuais Gerais

1. Declaração do Problema

As estruturas de habilidades de agentes existentes codificam principalmente comportamentos reutilizáveis como prompts textuais, código executável ou rotinas aprendidas. Embora eficazes para agentes que operam em ambientes de abstração linguística, essa abordagem é insuficiente para agentes visuais (por exemplo, agentes de GUI ou de jogos), cujas decisões dependem fortemente de evidências visuais. Para esses agentes, o conhecimento procedural é inerentemente multimodal: a reutilização bem-sucedida depende não apenas de o que operação realizar, mas também de reconhecer o estado visual relevante, interpretar evidências de progresso ou falha e decidir o próximo passo com base em pistas visuais.

Habilidades atuais baseadas apenas em texto frequentemente tornam-se verbosas, porém subespecificadas para tarefas visuais, enquanto demonstrações brutas são extensas, específicas de instância e difíceis de adaptar. Essa lacuna cria três desafios específicos:

1. Representação: Como estruturar um pacote de habilidade multimodal que vincule procedimentos, estados visuais e pistas de verificação em uma unidade coerente e reutilizável.
2. Geração: Como derivar tais pacotes a partir de trajetórias de interação públicas e não avaliativas, sem depender de exemplos escritos à mão ou replay bruto.
3. Utilização: Como consultar evidências de habilidades multimodais no momento da inferência sem sobrecarregar o agente com contexto excessivo de imagens ou fazer com que o agente se ancore excessivamente em capturas de tela de referência em vez do ambiente ao vivo.

2. Metodologia

Os autores propõem MMSkills, uma estrutura composta por três componentes principais: um Pacote de Habilidade Multimodal, um Gerador de Habilidades e um Agente de Habilidade Carregado por Ramo.

2.1 Pacote de Habilidade Multimodal

Um MMSkill é definido como um pacote de procedimentos condicionado a estados $M = (D, P, S, K)$:

• $D$ (Descritor): Uma descrição compacta da habilidade.
• $P$ (Procedimento): Uma descrição textual reutilizável do padrão de ação.
• $S$ (Cartões de Estado): Um conjunto de cartões de estado de tempo de execução $S_j$ que atuam como nós de decisão. Cada cartão especifica:
  • Condições de quando-usar e quando-não-usar.
  • Pistas visíveis para inspecionar.
  • Pistas de verificação para confirmar progresso ou conclusão.
  • Visualizações disponíveis (por exemplo, quadro completo, recorte de foco, antes/depois).
• $K$ (Quadros-Chave): Conjuntos de imagens multivisual alinhados com os cartões de estado, incluindo quadros completos para contexto, recortes de foco para pistas específicas e visualizações opcionais antes/depois para transições.

Essa estrutura transforma uma habilidade de uma instrução estática em um guia dinâmico e consciente de estado, onde a evidência visual ajuda o agente a decidir se deve seguir, pular ou verificar um procedimento.

2.2 Pipeline de Geração de Habilidades

A estrutura introduz um Gerador de Trajetória-para-Habilidade automatizado que converte trajetórias públicas e não avaliativas em MMSkills. O processo envolve cinco etapas:

1. Incorporação e Agrupamento: Agrupamento de domínios amplos em clusters semanticamente focados.
2. Planejamento em Nível de Cluster: Um agente baseado em LLM propõe habilidades atômicas com limites de fluxo de trabalho e condições de conclusão.
3. Mesclagem: Deduplicação e generalização de planos em especificações de habilidades mescladas.
4. Rascunho Baseado em Texto: Geração de descritores, procedimentos e cartões de estado sem ler imagens.
5. Ancoragem de Imagem e Auditoria: Leitura de quadros-chave selecionados para ancorar regiões de foco, construir conjuntos multivisual e auditar os pacotes finais usando meta-habilidades (scripts reutilizáveis e portas de qualidade).

2.3 Agente Carregado por Ramo

Para abordar o problema de sobrecarga de contexto e ancoragem visual, os autores propõem o carregamento por ramo. Em vez de injetar todo o pacote de habilidades (texto + múltiplas imagens) no contexto do agente principal, o sistema opera em duas etapas dentro de um ramo temporário:

1. Etapa 1 (Seleção de Visualização Gateada): O ramo analisa a observação ao vivo e os cartões de estado/texto da habilidade para determinar se evidência visual é necessária. Se for, seleciona apenas os cartões de estado relevantes e tipos de visualização específicos (por exemplo, recorte de foco vs. quadro completo).
2. Etapa 2 (Orientação do Planejador): O ramo alinha a evidência selecionada com o estado ao vivo e retorna uma tupla de orientação estruturada e compacta $G_t$ (contendo aplicabilidade, subobjetivos, planos, restrições e verificações de verificação) ao agente principal.
   O agente principal utiliza essa orientação destilada para tomar decisões fundamentadas com base na captura de tela ao vivo, impedindo que seja distraído por imagens de referência.

3. Contribuições Principais

1. Pacote de Habilidade Multimodal: A primeira formulação de habilidades reutilizáveis para agentes visuais gerais como conhecimento procedural multimodal, integrando procedimentos textuais, cartões de estado de tempo de execução e quadros-chave multivisual.
2. Gerador Agente: Um pipeline automatizado que transforma trajetórias de interação públicas em pacotes de habilidades multimodais através de agrupamento de fluxo de trabalho, indução de procedimentos, ancoragem visual e auditoria guiada por meta-habilidades.
3. Carregamento por Ramo: Um mecanismo de tempo de execução que isola a ancoragem de habilidade-ambiente em um ramo temporário, selecionando e alinhando evidências antes de retornar suporte de decisão estruturado ao agente principal.
4. Validação Empírica: Demonstração de ganhos significativos de desempenho em diversos benchmarks baseados em GUI e jogos (OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros) e múltiplas famílias de modelos.

4. Resultados Experimentais

Os autores avaliaram o MMSkills no OSWorld, macOSWorld, VAB-Minecraft e Super Mario Bros usando modelos de ponta (por exemplo, Gemini 3.1 Pro, Qwen3-VL-235B) e modelos menores (por exemplo, Qwen3-VL-8B).

• Ganhos de Desempenho: O MMSkills melhorou consistentemente as taxas de sucesso em relação às linhas de base "sem habilidade" e "habilidade apenas em texto". Por exemplo, no OSWorld, o MMSkills melhorou o Qwen3-VL-235B de 21,34% para 39,17% e o Qwen3-VL-8B de 10,78% para 25,40%.
• Estudos de Ablação:
  • Componentes: Tanto os cartões de estado quanto a evidência visual multivisual foram mostrados como críticos; a remoção de qualquer um degradou o desempenho.
  • Mecanismo de Carregamento: O carregamento por ramo superou o carregamento direto (inserção de habilidades completas no contexto). O carregamento direto frequentemente prejudicou o desempenho devido à poluição de contexto e ancoragem visual, enquanto o carregamento por ramo proporcionou ganhos claros mesmo para habilidades apenas em texto.
• Dinâmicas de Interação:
  • Invocação: O MMSkills foi invocado com mais frequência do que habilidades apenas em texto, sugerindo que os cartões de estado tornam mais fácil detectar a relevância.
  • Eficiência: O MMSkills reduziu o número médio de etapas de interação (por exemplo, -5,35 etapas para o Qwen3-VL-235B no OSWorld), indicando caminhos de resolução de tarefas mais curtos.
  • Mudança Comportamental: Agentes usando MMSkills exibiram menos ações repetitivas e uma mudança de tentativa e erro exploratório para execução fundamentada e consciente de estado. Por exemplo, a parcela de ações de "clique" diminuiu, enquanto as ações de "teclado" e "CONCLUÍDO" aumentaram, sugerindo melhor consciência de conclusão.

5. Significado e Alegações

O artigo afirma que conhecimento procedural multimodal externo complementa os priores internos do modelo. Ao vincular explicitamente procedimentos de ação às evidências visuais e decisões dependentes de estado necessárias para sua aplicação, o MMSkills permite que agentes visuais:

• Reconheçam quando um procedimento é aplicável com base no estado visual.
• Distingam entre progresso, falha e conclusão usando pistas visuais.
• Evitem as armadilhas de habilidades apenas em texto (subespecificação) e demonstrações brutas (falta de adaptabilidade).

Os autores enfatizam que essa abordagem é particularmente valiosa para agentes visuais mais fracos, onde o conhecimento procedural visual explícito pode compensar priores internos limitados. O trabalho sugere que, para agentes visuais gerais, a unidade de "habilidade" deve evoluir de texto/código para um pacote multimodal condicionado a estados que orienta a tomada de decisão através da ancoragem visual.

Limitações: Os autores reconhecem a dependência da cobertura de trajetórias de origem, erros potenciais na geração de habilidades ou ancoragem visual e o custo de inferência adicional introduzido pelo mecanismo de carregamento por ramo. Eles observam que estender isso para configurações críticas de segurança exigiria verificações mais robustas e mecanismos de reparo online.