Resumo Técnico: RESOURCE2SKILL

Declaração do Problema

Agentes de modelos de linguagem de grande escala (LLMs) são cada vez mais incumbidos de operar softwares complexos para produzir artefatos de alta qualidade (ex: apresentações de slides, cenas 3D, projetos de áudio). O sucesso nesses domínios depende menos de conhecimento factual isolado e mais de conhecimento procedural reutilizável — habilidades que definem como decompor objetivos, selecionar padrões de ferramentas, inspecionar estados intermediários e recuperar-se de falhas.

As bibliotecas de habilidades existentes sofrem de três limitações primárias:

1. Viés de Criação: Elas são predominantemente escritas à mão por especialistas ou mineradas de traços de interação de agentes, deixando vastas quantidades de expertise humana subutilizadas.
2. Lacuna de Modalidade: O aprendizado humano para tarefas de software criativo ocorre frequentemente através de recursos multimodais (vídeos tutoriais, gravações de tela, repositórios), que contêm sequências temporais, efeitos visuais e escolhas de design tácitas que o texto estático não consegue capturar totalmente.
3. Ineficiência de Inferência: Injetar diretamente dados multimodais brutos (ex: vídeos completos) no contexto de um agente é caro e redundante, enquanto comprimi-los em resumos de texto simples descarta os sinais dinâmicos e visuais essenciais para a execução.

O desafio central é destilar automaticamente esses recursos multimodais criados por humanos em um formato estruturado, executável e recuperável que os agentes possam utilizar efetivamente no momento da inferência.

Metodologia

RESOURCE2SKILL é um framework projetado para destilar recursos multimodais em uma Wiki de Habilidades hierárquica e utilizá-la para a execução de agentes. O sistema opera através de um pipeline unificado envolvendo construção, organização, seleção e execução.

1. Wiki de Habilidades Multimodal Hierárquica

O sistema organiza as habilidades como uma tupla estruturada $s = (p, x_{text}, x_{visual}, x_{code}, m)$:

• $p$ (Caminho/Path): Uma posição em uma taxonomia específica do domínio (ex: habilidades de Blender organizadas por geometria, iluminação, materiais).
• $x_{text}$: Texto estruturado explicando o mecanismo, aplicabilidade, entradas e efeitos esperados.
• $x_{visual}$: Exemplos visuais incluindo miniaturas, capturas de tela, prévias renderizadas ou diagramas.
• $x_{code}$: Fragmentos de código executáveis ou adaptáveis (ou padrões apenas de referência).
• $m$ (Metadados): Tags de filtragem, procedência e status de validação.

Este design garante que o texto forneça fundamentação conceitual, o código ofereça padrões executáveis e os visuais preservem informações de layout, estilo e movimento que o texto sozinho subespecifica.

2. Construção de Recurso para Habilidade (Resource-to-Skill)

Um operador de construção $(f_\theta, A_D)$ transforma recursos brutos em entradas de wiki:

• Entrada: Recursos multimodais incluindo vídeos tutoriais, repositórios de código fonte, artigos e artefatos de referência.
• Destilação: Um modelo de linguagem capaz de visão ($f_\theta$) extrai evidências específicas de modalidade (quadros-chave, regiões de código, passagens de prosa) e gera um payload de habilidade estruturado.
• Validação: Um predicado específico do domínio ($A_D$) impõe cinco verificações determinísticas: completude, procedência rastreável, deduplicação, consistência de modalidade e executabilidade estrutural (para campos de código).
• Unidade Online/Offline: O mesmo operador é usado para construir grandes bibliotecas offline e para adquirir novas habilidades online quando o pool offline carece de cobertura, garantindo que a biblioteca seja incrementalmente extensível.

3. Seleção e Composição (METABROWSE)

Para recuperar habilidades de forma eficiente, o sistema emprega um processo de seleção em dois estágios:

1. Pontuação Lexical: Um pontuador BM25 estreita o conjunto de candidatos pesquisando o nome da entrada, tags, aplicabilidade e, crucialmente, seu caminho taxonômico ($p$). Isso aproveita a estrutura hierárquica para favorecer habilidades em subárvores topicamente relevantes, em vez de tratar a biblioteca como uma lista plana.
2. Seleção por LLM: Um modelo de linguagem lê a evidência estruturada (texto, visual, código) dos principais candidatos e seleciona um subconjunto para composição. O modelo pode escolher zero habilidades se nenhum candidato se ajustar, evitando a composição forçada.

4. Execução

As habilidades selecionadas são aplicadas via uma interface de Protocolo de Contexto de Modelo (MCP). Se houver código presente, ele é executado diretamente contra o backend do domínio. Habilidades apenas de referência guiam o agente para escrever seu próprio código com base nas evidências visuais e textuais.

Principais Contribuições

1. Aprendizado de Recurso para Habilidade: O artigo formula o problema de destilar habilidades executáveis reutilizáveis de recursos multimodais humanos, identificando vídeos tutoriais como uma fonte crítica e subutilizada de conhecimento procedural e perceptivo.
2. Biblioteca de Habilidades Multimodal Hierárquica: Propõe uma organização baseada em Wiki onde cada habilidade integra texto, código e visuais, permitindo que agentes recuperem e componham habilidades através de diversos domínios de forma mais eficaz do que a recuperação de texto plano.
3. Pipeline Unificado Offline-Online: O framework utiliza um único operador de construção tanto para construir grandes bibliotecas offline quanto para realizar o preenchimento de lacunas online controlado, tornando a biblioteca de habilidades sustentável e extensível.
4. Avaliação Empírica Abrangente: O sistema é avaliado em sete domínios de autoria prática: PPT, Web, Excel, Blender, Reaper, CAD e UE5.

Resultados Experimentais

A avaliação cobre sete domínios e quatro backends de agentes (GPT-5.5, GPT-5.4, GPT-5.4 Mini, GPT-5.4 Nano), comparando W SKILLS (RESOURCE2SKILL) contra W/O SKILLS (baseline sem habilidades) e dois harnesses agentes prontos para uso (CLAUDECODE-H, CODEX-H).

• Ganhos de Desempenho: O RESOURCE2SKILL melhora a pontuação média geral em +11,9 pontos percentuais sobre agentes sem habilidades. Ele supera fortes baselines de harness de agentes em 26 de 28 células agregadas principais de modelo–domínio.
• Variância de Domínio: Os ganhos são mais pronunciados em domínios com convenções densas e requisitos visuais/temporais complexos (ex: UE5 viu ganhos de +30 a +40 pp; Blender e Excel também mostraram melhorias significativas). Os ganhos foram menores no Reaper, onde o prior sem habilidades já era relativamente competente.
• Estudos de Ablação:
  • Formato Multimodal: Remover campos visuais ou de código degrada significativamente o desempenho, confirmando que o texto sozinho subespecifica a execução.
  • Diversidade de Fonte: O Vídeo é identificado como uma fonte não substituível; remover o vídeo reduz a pontuação média de 68,9% para 59,4%.
  • Organização: A interface de Wiki hierárquica supera a recuperação de texto plano por 2,5–8,2 pontos percentuais, particularmente em domínios que exigem contexto estrutural.
  • Estratégia de Seleção: A estratégia de seleção hierarquia-então-LM (METABROWSE) supera os baselines de recuperação puramente lexicais (BM25) ou densos (Embedding).
  • Aquisição Online: A aquisição online atua como um preenchedor de lacunas eficaz, melhorando as pontuações em +21,6 pp em tarefas novas ausentes do pool offline, enquanto adiciona ruído insignificante às tarefas padrão.

Significância e Alegações

O artigo afirma que o RESOURCE2SKILL demonstra que a destilação de habilidades a partir de recursos multimodais criados por humanos fornece aos agentes de software conhecimento procedural reutilizável que supera significativamente tanto agentes sem habilidades quanto fortes harnesses de agentes.

Os principais pontos enfatizados pelos autores incluem:

• Vídeo é Crítico: Vídeos tutoriais fornecem sinais temporais e visuais que o texto não pode substituir, tornando-os essenciais para a alta qualidade da destilação de habilidades em domínios criativos.
• Estrutura Importa: Uma organização hierárquica de habilidades é superior à recuperação plana, pois codifica a estrutura do domínio e estreita o espaço de busca.
• Escalabilidade: O sistema não é uma coleção de prompts fixa, mas uma memória procedural crescente e sustentável que pode ser estendida online quando lacunas de capacidade são identificadas.
• Generalização: A abordagem é validada através de diversas tarefas de autoria de software, sugerindo um caminho generalizável para aumentar as capacidades dos agentes em ambientes complexos e ricos em ferramentas.

Os autores mantêm a modéstia quanto à generalização, observando que o sistema depende da existência de interfaces de ferramentas programáticas e fluxos públicos de conteúdo procedural, e que o acordo entre juiz e humano, embora aceitável, não é perfeito. O trabalho foca na eficácia do framework de destilação e recuperação, em vez de reivindicar aplicabilidade universal a todas as tarefas de agentes.