Resumo Técnico: VISUALSKILL

Declaração do Problema

Agentes de uso de computador (CUAs) alcançaram um desempenho próximo ao humano em benchmarks de desktop padronizados, mas continuam a ter dificuldades com tarefas de longo horizonte e softwares não vistos. Essa limitação decorre, em grande parte, da falta de conhecimento procedural persistente e específico de cada aplicação (ex: localizações específicas de menus, sequências de diálogos e estados de fluxo de trabalho de múltipls etapas) que o pré-treinamento não fornece. Embora as bibliotecas de habilidades existentes tentem abordar isso fornecendo conhecimento reutilizável, elas predominantemente representam as habilidades como artefatos puramente textuais. Esta modalidade é inadequada para a interação com GUIs por duas razões principais:

1. Perda de Informação: Muitos elementos de UI (ícones, layouts, relações espaciais) são verbosos ou ambíguos para serem descritos textualmente. A verbalização desses elementos causa uma perda de informação presente nas capturas de tela originais.
2. Dificuldade de Verificação: Em fluxos de trabalho de múltiplas etapas, os agentes devem verificar os estados intermediários da UI após cada ação. Descrições textuais fornecem apenas um aterramento indireto, tornando difícil distinguir entre o estado pretendido e estados visualmente semelhantes, porém incorretos.

Metodologia: VISUALSKILL

Os autores propõem o VISUALSKILL, um artefato de habilidade multimodal hierárquico projetado para reter figuras visuais junto com procedimentos textuais.

Estrutura da Habilidade

Um VISUALSKILL é organizado como uma hierarquia de duas camadas por aplicação alvo:

• Índice Central (skill.md): Lista todos os tópicos com uma breve descrição de "quando usar".
• Guias por Tópico: Cada guia $g_t$ pareia um corpo de texto $p_t$ com um conjunto de figuras de UI $F_t$.
• Mecanismo de Carregamento: O agente não carrega toda a habilidade de uma vez. Em vez disso, ele consulta o índice e invoca uma ferramenta de Protocolo de Ferramenta de Contexto de Modelo (MCP) load_topic(t) para buscar o texto e as figuras específicos de um tópico sob demanda. Isso garante que as figuras sejam entregues inline com seu texto de referência, evitando que sejam ignoradas ou separadas do contexto.

Pipeline de Construção

O VISUALSKILL é construído via um pipeline de dois estágios que gera tanto a habilidade multimodal ($S_{mm}$) quanto um controle de texto apenas ($S_{txt}$) a partir do mesmo conteúdo de origem para isolar o efeito da modalidade:

1. Estágio 1: Mineração de Documentação:

   • Analisa o guia do usuário oficial da aplicação (PDF/HTML).
   • Reutiliza o índice do documento como a hierarquia de tópicos.
   • Extrai figuras desenhadas pelo fabricante literalmente e gera corpos de texto para ambas as modalidades via uma chamada conjunta de LLM.

2. Estágio 2: Exploração de UI em Tempo Real:

   • Augmenta a habilidade do Estágio 1 conduzindo a aplicação ao vivo com um explorador controlado por LLM para capturar o conhecimento ausente na documentação (ex: diálogos de baixa frequência, affordances visuais).
   • Explorador Livre: Um planejador particiona a janela ociosa da aplicação em regiões; agentes trabalhadores interagem com cada região para capturar capturas de tela e resumir affordances.
   • Explorador Direcionado por Trajetória: Um revisor analisa trajetórias de treinamento falhas para identificar regiões de UI onde a habilidade do Estágio 1 teve desempenho insuficiente. Trabalhadores são enviados a essas regiões específicas para capturar estados dinâmicos ausentes.
   • Capturas de tela e notas capturadas são mescladas nos guias por tópico.

Principais Contribuições

1. Artefatos Multimodais Hierárquicos: O design do VISUALSKILL como uma estrutura indexada por tópicos onde figuras visuais são retidas junto ao texto, acessadas via uma ferramenta MCP sob demanda.
2. Pipeline de Construção de Dois Estágios: Um método que combina mineração de documentação autoria com exploração de interface de aplicação ao vivo (tanto livre quanto direcionada por trajetória) para criar conjuntos de habilidades abrangentes.
3. Avaliação Controlada: A construção de um controle de texto apenas correspondente, gerado a partir do exato mesmo material de origem e passos procedimentais, diferindo apenas na modalidade. Isso isola o ganho de desempenho atribuível especificamente à presença de figuras visuais.

Resultados Experimentais

Os autores avaliaram o VISUALSKILL usando um agente Claude Code CLI apoiado pelo Claude Opus 4.6 através de 177 tarefas do CUA-World e OSExpert-Eval.

• Melhoria da Linha de Base: O agente alcançou uma pontuação média de 0,303 sem habilidades.

• Impacto do Estágio 1: Usando o VISUALSKILL derivado de documentação, a pontuação subiu para 0,363 (+6,0% absoluto).

• Impacto do Estágio 2: Adicionar a exploração de UI (Estágio 2) aumentou ainda mais a pontuação para 0,456 (+15,3% absoluto sobre a linha de base).

• Multimodal vs. Texto Apenas:

  • No Estágio 1, a habilidade multimodal superou o controle de texto apenas em +1,9% absoluto (0,344 vs. 0,363).
  • No Estágio 2, a habilidade multimodal superou o controle de texto apenas em +8,3% absoluto (0,373 vs. 0,456).
  • A vantagem multimodal foi mais pronunciada em domínios visualmente intensivos (ex: GIMP, OpenToonz, Tableau), onde o sucesso depende do reconhecimento de ícones, diálogos e layouts.

• Ablação no Mecanismo de Carregamento: Substituir a ferramenta MCP load_topic por um mecanismo padrão de acesso a arquivos Read resultou em uma queda significativa de desempenho. A ferramenta MCP garantiu que o agente consultasse a habilidade ao longo da trajetória (mediana da última consulta no passo 10,4) e carregou cerca de 7,9 figuras por tarefa, enquanto a abordagem Read levou ao abandono precoce (mediana no passo 1,5) e carregou apenas cerca de 0,8 figuras por tarefa.

Significância e Alegações

O artigo alega que reter figuras visuais em artefatos de habilidade, em vez de verbalizá-las, fornece evidência direta que ajuda os agentes a:

1. Identificar elementos de UI: Localizar precisamente ícones, layouts e relações espaciais que são ambíguos em texto.
2. Verificar estados de fluxo de trabalho: Corresponder diretamente a observação atual contra uma captura de tela de referência para confirmar estados intermediários, particularmente em falhas silenciosas (ex: campos de formulário que parecem aceitos, mas rejeitam ao confirmar).

Os autores concluem que, para agentes de uso de computador, o artefato de habilidade deve ser uma referência multimodal sob demanda, e não um documento apenas de texto. Eles enfatizam que a combinação de aterramento visual, o mecanismo de entrega baseado em MCP e a exploração direcionada por trajetória são individualmente necessários para alcançar os ganhos de desempenho relatados.

Limitações: Os autores observam que os modelos atuais às vezes têm dificuldade em decidir quais figuras específicas dentro de um tópico carregado são relevantes, levando à inflação de contexto. Em modelos mais fracos, essa granularidade grosseira pode degradar o desempenho devido à pressão do comprimento do contexto, sugerindo que o orçamento de contexto mais eficaz para habilidades multimodais continua sendo uma questão em aberto.