Resumo Técnico: SKILL-USE

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLM) dependem cada vez mais de habilidades (skills) — documentos estruturados que especificam quando agir, quais procedimentos seguir e quais ferramentas são permitidas. As avaliações existentes, que analisam a qualidade intrínseca das habilidades ou sua contribuição para o sucesso final da tarefa, falham em examinar se um agente consegue reconhecer autonomamente uma habilidade relevante a partir de uma descrição parcial e aplicá-la corretamente. Os benchmarks atuais ou pré-carregam documentos de habilidade completos (ignorando a recuperação/retrieval) ou focam no seguimento de instruções de nível superficial (formato/extensão) em vez da adesão procedimental específica de um domínio sob divulgação progressiva (onde o agente vê inicialmente apenas o nome da habilidade e uma breve descrição).

Essa lacuna deixa sem exame o ciclo de vida completo do uso de habilidades: o agente deve julgar a aplicabilidade, recuperar o procedimento completo e, então, executá-lo fielmente, evitando operações proibidas.

Metodologia

O Benchmark SKILL-USE

Os autores introduzem o SKILL-USE, um benchmark projetado para avaliar o uso de habilidades sob divulgação progressiva. Ele combina 79 habilidades do mundo real (curadas de repositórios da comunidade como GitHub, SkillsBench e SkillLearnMech) com 177 tarefas executáveis em nove domínios (ex: Desenvolvimento Frontend & Mobile, DevOps, Ciência de Dados, Segurança).

Protocolo de Avaliação:

1. Divulgação Progressiva: O agente recebe uma tarefa do usuário e um objeto de metadados da habilidade (nome, descrição curta, caminho do arquivo), mas não o procedimento completo. O agente deve inferir a relevância, recuperar o arquivo e, então, executar.
2. Ambiente: As tarefas são executadas em sandboxes Docker isolados com arquivos reais e acesso total a ferramentas.
3. Dimensões de Pontuação: O benchmark decompõe o uso da habilidade em três facetas distintas:
   • Trigger (Gatilho): Se o agente recupera a habilidade relevante baseando-se apenas no nome/descrição.
   • Compliance (Conformidade): Adesão ao procedimento prescrito (soma ponderada de etapas obrigatórias).
   • Boundary (Limite): Evitação de operações proibidas (soma ponderada de ações proibidas).
4. Pontuação de Uso de Habilidade (SU Score): Uma pontuação agregada condicionada definida como $SU = g(y; s) \cdot [\alpha C(y) + (1-\alpha) B(y)]$, onde $g$ é o indicador de Trigger, $C$ é Compliance, $B$ é Boundary e $\alpha=0.7$. O crédito de execução é concedido apenas se a habilidade for acionada (triggered).

Pipeline de Construção:
O conjunto de dados foi construído via um pipeline de três estágios:

1. Curadoria: As habilidades foram filtradas por "exclusividade de habilidade" (requisitos não inferíveis de práticas genéricas) e "observabilidade de processo" (traços verificáveis na trajetória de execução).
2. Design de Rubrica: Rubricas baseadas em trajetórias foram criadas para cada tarefa, garantindo que cada item de pontuação derive de um requisito específico da habilidade.
3. Validação: A validação de ponta a ponta incluiu revisões adversariais multi-agente para garantir o escopo da tarefa, a verificabilidade da rubrica e a ausência de requisitos genéricos que modelos fortes poderiam resolver sem a habilidade.

Configuração Experimental

Os autores avaliaram oito LLMs de última geração (incluindo Claude Opus 4.7/4.8, GPT-5.5, DeepSeek-V4-Pro, etc.) sob dois harnesses de agentes: Claude Code e Codex. Todos os modelos foram testados nas mesmas 177 tarefas dentro de sandboxes isolados.

Principais Resultados

1. O Uso Confiável de Habilidades Permanece Inalcançável

Mesmo a configuração mais forte (GPT-5.5 sob o harness Claude Code) alcançou uma pontuação SU máxima de apenas 0,613.

• Gargalos Duplos: A falha ocorre em dois estágios independentes. Modelos que acionam com sucesso uma habilidade frequentemente falham em cumprir seu procedimento (Compliance† chega ao máximo de ~0,638). Por outro lado, modelos capazes de conformidade às vezes falham em acionar a habilidade de fato.
• Compliance vs. Boundary: Os modelos geralmente evitam operações proibidas (Boundary) de forma mais confiável do que completam fluxos de trabalho prescritos integrais (Compliance).

2. O Uso de Habilidades Depende do Harness

O uso de habilidades se comporta como uma capacidade condicionada ao harness circundante, não como uma propriedade fixa do modelo.

• Instabilidade de Ranking: O ranking dos modelos muda significamente entre os harnesses. Por exemplo, o GPT-5.5 lidera sob o Claude Code, enquanto o Claude Opus 4.8 lidera sob o Codex.
• Estresse Diferencial: O harness Claude Code estressa o gatilho (triggering/retrieval), enquanto o Codex estressa a execução procedimental. A transição entre harnesses comprime a dispersão das taxas de gatilho, mas amplia a dispersão da conformidade condicional.

3. Impacto da Injeção de Habilidade e Tamanho da Biblioteca

• A Recuperação é o Principal Gargalo: Pré-carregar o documento de habilidade completo (ignorando a divulgação progressiva) melhora significamente as pontuações SU, principalmente ao aumentar as taxas de Trigger. Uma vez que a habilidade é acionada, a pré-carga tem efeito negligenciável na qualidade da execução, indicando que a decisão de recuperar é o ponto crítico de falha.
• Tamanho da Biblioteca: Aumentar o tamanho da biblioteca de habilidades de 1 para 30 causa uma queda no desempenho, mas isso é impulsionado quase inteiramente por gatilhos perdidos (falha em selecionar qualquer habilidade) em vez de selecionar a habilidade errada.

4. Generalização e Conclusão de Tarefas

• Falha de Restrição: Um alto desempenho de uso de habilidade dentro do escopo não correlaciona com a capacidade de abster-se de usar uma habilidade quando ela está fora do escopo. Na verdade, a correlação é negativa; modelos que melhor seguem habilidades são frequentemente os piores em suprimir invocações desnecessárias.
• Conclusão de Tarefa: Seguir o procedimento de uma habilidade melhora a conclusão da tarefa apenas quando a pontuação SU excede ~0,5. Abaixo desse limiar, a execução parcial ou incorreta de uma habilidade prejudica o desempenho mais do que não ter habilidade alguma, pois o modelo se compromete com um toolchain específico sem completá-lo.

Significância e Contribuições

O artigo apresenta três contribuições primárias:

1. Formalização do Uso de Habilidades: Define o uso de habilidades como um alvo de avaliação distinto, decompondo-o em Trigger, Compliance e Boundary para capturar as nuances de reconhecimento, adesão e restrição sob divulgação progressiva.
2. Benchmark SKILL-USE: Lança um benchmark de ampla cobertura (9 domínios, 79 habilidades, 177 tarefas) com rubricas baseadas em trajetórias e um pipeline de construção reutilizável de três estágios, indo além da qualidade do artefato para a avaliação de nível de processo.
3. Insights Empíricos: Fornece evidências de que o uso confiável de habilidades é atualmente um problema em aberto. Os achados sugerem que os agentes atuais têm dificuldade com a fase de recuperação da divulgação progressiva e que a capacidade de uso de habilidade é altamente dependente da arquitetura do harness do agente, e não apenas do modelo base.

Os autores concluem que, para que as bibliotecas de habilidades sejam eficazes, os modelos não devem apenas ser capazes de executar procedimentos, mas também identificar confiavelmente quando esses procedimentos são necessários, uma capacidade que os modelos de fronteira atuais ainda não dominaram.