Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

Resumo Técnico: Automatização da Geração de SKILL.md para Agentes de Uso de Computador via Mineração de Trajetórias de Interação

Declaração do Problema
Agentes de Uso de Computador (CUAs) operam em Interfaces Gráficas de Usuário (GUIs) através de ações primitivas (clicar, digitar, rolar). À medida que esses agentes transitam de tarefas de etapa única para fluxos de trabalho complexos, padrões repetidos emergem e podem ser empacotados como "habilidades" (skills) — procedimentos nomeados que residem acima das ações primitivas, mas abaixo dos planos de tarefas completos. Embora bibliotecas de habilidades explícitas (referidas aqui como arquivos SKILL.md) facilitem a inspeção e depuração, elas são tipicamente escritas à mão, criando um gargalo para nomeação, escopo e atualização conforme as interfaces evoluem.

A questão central deste trabalho é se bibliotecas de habilidades explícitas podem ser mineradas automaticamente de trajetórias de interação para melhorar as políticas de agentes downstream. Os autores distinguem entre a capacidade de descobrir clusters coerentes de ações e a capacidade de transferir esses clusters para uma política útil para novas tarefas. Eles observam que um cluster pode ser coerente sem ser útil, e que as melhorias na política podem advir do aumento do volume de dados, em vez da aquisição de um vocabulário de habilidades transferível.

Metodologia
O artigo propõe um pipeline de três estáções para minerar habilidades do conjunto de dados InteraSkill (IW) e avaliar sua utilidade:

1. Fase 1: Segmentação de Trajetória (Detecção de Fronteira)

   • O pipeline segmenta trajetórias baseando-se em "saltos de ação" (action jumps). Ele calcula a distância euclidiana entre vetores de ação adjacentes ($\Delta a_t = \|a_t - a_{t-1}\|_2$).
   • Um limiar $\theta$ é selecionado em dados IW não utilizados para maximizar o F1 de fronteira. Se $\Delta a_t > \theta$, uma fronteira é marcada.
   • Os vetores de ação consistem em 15 recursos normalizados (ação primitiva one-hot, coordenadas de tela, carimbo de data/hora, comprimento do texto, quantidade de rolagem), mas excluem dados de DOM ou captura de tela.

2. Fase 2: Embedding de Habilidade (Construção de Biblioteca)

   • Representação de Segmento: Cada segmento é resumido como uma "sacola de ações" (bag-of-actions) usando a média ($\mu$) e a variância diagonal ($\Sigma$) de seus vetores de ação. Esta representação é invariante ao comprimento, mas descarta a ordem sequencial (ex: clicar antes de digitar vs. digitar antes de clicar).
   • Clustering: Os segmentos são agrupados usando a distância Bures ao quadrado (um caso especial da distância 2-Wasserstein para Gaussianas diagonais) entre seus perfis de média/variância. O agrupamento aglomerativo é realizado com $k=8$ a $16$.
   • Refinamento: Um codificador contrastivo supervisionado (MLP) é treinado usando as atribuições de cluster como pseudo-rótulos. Isso refina os embeddings para serem mais internamente consistentes, mapeando entradas de 30 dimensões (média + variância) para um espaço latente de 16 dimensões.

3. Fase 3: Treinamento de Política Consciente de Habilidade

   • Os rótulos de habilidade minerados são usados para treinar uma política para composição de sequência de habilidades (prever o próximo rótulo de habilidade dado um contexto de tarefa).
   • Baselines: Modelos simples de MLP e Transformer consomem os embeddings de segmento aprendidos.
   • Política Principal: O Qwen3-8B é treinado usando Otimização de Política Relativa de Grupo (GRPO) a partir de um modelo base. O modelo de recompensa pontua respostas completas conscientes de habilidade, e a política é atualizada sem warm starts supervisionados.
   • Avaliação: A métrica primária é a precisão de passo-habilidade (skill-step accuracy) e a correspondência exata de sequência em benchmarks mantidos fora (held-out) (WebArena, BrowseComp+), com o IW servindo como o domínio de origem.

Principais Contribuições

1. Pipeline para Mineração Automática de Habilidades: Os autores apresentam um pipeline reproduzível que segmenta trajetórias de GUI, agrupa-as em candidatos a habilidades e gera artefatos do tipo SKILL.md.
2. Avaliação Diagnóstica de Transferência: O estudo avalia rigorosamente se as habilidades mineradas melhoram o desempenho da política downstream, comparando modelos aprendidos contra baselines zero-shot e priors estatísticos triviais.
3. Resultados Negativos e Limitações: O artigo relata que, embora a estrutura minerada seja legível no domínio de origem, o pipeline atual falha em produzir melhorias de política cross-domain confiáveis.

Resultados

• Legibilidade no Domínio de Origem: No benchmark IW de origem, os clusters minerados são altamente legíveis. Cinco de oito clusters alcançam $\ge 0,95$ de pureza contra os rótulos de habilidade reais do IW (ex: document_edit, data_transfer). O codificador contrastivo melhora a Informação Mútua Normalizada (NMI) de 0,65 (baseline Wasserstein) para 0,86.
• Baixo Desempenho de Transferência:
  • Desempenho GRPO: O treinamento do Qwen3-8B com GRPO em habilidades mineradas produz apenas ganhos marginais no domínio de origem (a precisão de passo-habilidade do IW aumenta de 18,5% para 20,5%) e degrada ou permanece inalterado em domínios mantidos fora (WebArena cai de 55,8% para 44,2%; BrowseComp+ permanece em ~43,3%).
  • Baseline de Erro: Um baseline de frequência trivial (prevendo a próxima habilidade mais comum) supera tanto o MLP aprendido quanto a política treinada com GRPO na precisão de passo-habilidade do IW (34,9% vs. 23,3% e 20,5%, respectivamente).
  • Distância de Edição: Os arquivos SKILL.md gerados automaticamente possuem distâncias de edição normalizadas mais altas do que o baseline de Frequência em todos os tamanhos de dados, falhando em superar o mais simples prior estatístico.
• Problemas de Detecção de Fronteira: A heurística de salto de ação divide excessivamente as habilidades (baixa precisão) e não é estável entre domínios. Aplicar o limiar derivado do IW ao WebArena resulta em uma queda acentuada no F1 (0,119), indicando que o sinal de fronteira não é transferível.
• Limitações de Representação: A representação "sacola de ações" (média/variância) descarta a ordem sequencial, que é crítica para habilidades de GUI (ex: copiar antes de colar). Isso provavelmente contribui para a incapacidade da política de aprender regras de composição complexas.

Significância e Alegações
Os autores enquadram este trabalho explicitamente como um estudo diagnóstico, não como uma afirmação de sucesso. A significância reside em esclarecer os limites das abordagens atuais de mineração de trajetória:

• Inspecionabilidade vs. Utilidade: A mineração de trajetória pode expor estruturas de habilidades inspecionáveis no domínio de origem, mas a legibilidade não implica transferibilidade.
• Insuficiência do Pipeline: A combinação atual de um detector de fronteira $\ell_2$, uma representação de segmento sem ordem e um modelo de recompensa offline é insuficiente para uma melhoria de política cross-domain confiável.
• Necessidade de Controles Mais Fortes: O artigo argumenta que o trabalho futuro de descoberta de habilidades deve comparar-se contra frequências e priors de transição para garantir que as melhorias não sejam meros artefatos de desequilíbrio de dados ou adaptação de formato de saída.
• Sem Ganhos Cross-Domain: O estudo não encontra evidências de que os componentes aprendidos atualmente superam baselines estatísticos triviais ou design manual em um cenário cross-domain.

O artigo conclui que, embora as habilidades mineradas sirvam como estruturas inspecionáveis úteis e sinais de treinamento para modelos de recompensa, elas ainda não são um substituto confiável para baselines estatísticos ou design manual para construir agentes de uso de computador robustos.