🤖 AI

Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents

Este artigo apresenta um estudo empírico abrangente e uma estrutura de análise diferencial demonstrando que habilidades de agentes aparentemente relevantes frequentemente induzem falhas funcionais e regressões de eficiência ao forçar etapas desnecessárias de validação e implementação, destacando, assim, a necessidade de mecanismos de reutilização de habilidades mais seguros e conscientes de custos.

Autores originais: Gen Dong, Yanjie Gao, Liqun Li, Tianyin Xu, Yu Hua, Fan Yang

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gen Dong, Yanjie Gao, Liqun Li, Tianyin Xu, Yu Hua, Fan Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um robô assistente super inteligente que pode escrever código, resolver problemas matemáticos ou planejar seu fim de semana. Para tornar esse robô ainda melhor, você lhe dá um "livro de habilidades" — uma coleção de folhas de referência, receitas e guias passo a passo para trabalhos específicos. Se o robô precisar construir um site, ele abre o livro de habilidades de "Desenvolvimento Web"; se precisar assar um bolo, ele abre o de "Confeitaria". É assim que os agentes de IA modernos funcionam: eles usam essas "habilidades" pré-escritas para guiar seu pensamento e ações. É como dar a um estudante um livro didático para cada exame. Mas aqui está a reviravolta: e se o livro didático estiver errado? E se a receita disser para você adicionar sal a uma sobremesa, ou o guia de programação fizer você construir uma ponte quando precisava de um barco? Às vezes, seguir o guia perfeitamente leva ao desastre ou, pelo menos, faz o robô desperdiçar uma enorme quantidade de tempo e energia. Este é o enigma que os pesquisadores estão tentando resolver: quando um guia útil se torna uma armadilha prejudicial?

Um novo estudo intitulado "Agent Skills Can Be Harmful" (Habilidades de Agentes Podem Ser Prejudiciais) mergulha profundamente nesse problema. Os pesquisadores, uma equipe de universidades e da Microsoft, buscaram descobrir exatamente como e por que esses livros de habilidades fazem a IA falhar ou se tornar ineficiente. Eles não apenas observaram se o robô teve sucesso ou falhou; eles compararam um robô usando uma habilidade específica contra o mesmo robô realizando exatamente a mesma tarefa sem essa habilidade (ou com uma habilidade diferente, mas similar). Pense nisso como uma corrida onde um corredor usa um novo par de sapatos "mágicos" e o outro corre descalço. Se o corredor com os sapatos tropeçar, foram os sapatos ou ele apenas foi desastrado? Ao realizar esses testes "diferenciais" lado a lado, a equipe pôde identificar exatamente qual habilidade causou o problema.

O estudo analisou centenas desses confrontos diretos usando dois grandes campos de teste para habilidades de IA. Eles descobriram 307 instâncias específicas onde uma habilidade causou um problema. Esses problemas caíram em dois baldes principais: Falhas Funcionais (onde a tarefa simplesmente não foi concluída) e Regressões de Eficiência (onde a tarefa foi concluída, mas o robô usou muito mais energia e tempo do que o necessário).

Aqui está o que eles descobriram, detalhado pela história do "Guia Ruim":

1. O Erro "Inteligente" (Falhas Funcionais)
Você pode pensar que o robô falha porque escolhe uma habilidade que não tem nada a ver com o trabalho — como usar um guia de "Reparo de Carros" para consertar uma torradeira. Surpreendentemente, o estudo descobriu que isso é raro. Apenas 2 de 125 falhas ocorreram porque a habilidade era totalmente irrelevante.

Em vez disso, as falhas geralmente aconteciam porque a habilia era muito relevante. O guia parecia perfeito, mas enganou o robô para fazer o trabalho da maneira errada.

A "Receita Errada" (68,8% das falhas): O problema mais comum foi que a habilidade levou o robô a implementar uma etapa necessária incorretamente ou a pulá-la inteiramente. Por exemplo, uma habilidade pode dizer "Calcule a porcentagem", mas o guia do robô acidentalmente disse para calcular o número bruto em vez disso. Ou, um guia pode mostrar como configurar 3 configurações, mas esquecer de mencionar a 4ª que era realmente necessária. O robô seguiu o guia fielmente, mas o guia estava incompleto ou enganoso.
O "Endereço Errado" (19,2% das falhas): Às vezes, o robô construía a coisa certa, mas a colocava no lugar errado. Se a tarefa dizia "Salve o arquivo na pasta 'Cozinha'", mas o guia da habilidade dizia "Salve arquivos na pasta 'Sala de Estar'", o robô seguiria o guia e falharia no teste.
O "Mundo Errado" (10,4% das falhas): Ocasionalmente, a habilidade dizia ao robô para mudar seu ambiente de uma forma que quebrava o teste. Por exemplo, a habilidade poderia dizer "Instale esta nova versão de uma ferramenta", mas o teste foi projetado para funcionar com a versão antiga. O robô seguiu a instrução, quebrou a configuração e falhou.

2. O Erro "Superdimensionado" (Regressões de Eficiência)
Em 182 casos, o robô de fato terminou a tarefa, mas foi incrivelmente desperdiçador. Ele usou mais do que o dobro de "tokens" (a moeda digital que a IA usa para pensar) e levou muito mais tempo do que um robô sem a habilidade.

A "Verificação Excessiva" (62,6% das falhas): O maior culpado aqui foi o "Procedimento Excessivo". Os guias de habilidades frequentemente transformavam listas de verificação simples em rituais pesados e obrigatórios. Em vez de apenas verificar se o código funciona, o guia pode forçar o robô a executar uma suíte completa de 50 testes extras, ou verificar a mesma coisa três vezes. É como um aluno que, em vez de apenas responder à questão de matemática, escreve um ensaio de 10 páginas sobre a história dos números antes de escrever a resposta final.
A "Mochila Pesada" (25,3% das falhas): Outra causa importante foi o "Inchaço de Contexto". O próprio guia da habilidade era longo demais. Cada vez que o robô pensava, ele tinha que ler todo o guia massivo novamente, o que o tornava mais lento e custava mais "tokens". É como tentar ler um cardápio enquanto alguém grita uma biografia de 50 páginas do chef no seu ouvido.

A Conclusão
Os pesquisadores construíram uma ferramenta chamada SKILLTRIAGE para ajudar a organizar essa bagunça. A principal conclusão deles é um pouco de um aviso: só porque uma habilidade parece relevante, não significa que ela seja segura. Na verdade, as habilidades mais perigosas são aquelas que parecem úteis, mas contêm erros sutis, etapas ausentes ou regras excessivamente rígidas que forçam a IA a perder tempo ou construir a coisa errada.

O estudo sugere que, para que os agentes de IA sejam verdadeiramente confiáveis, precisamos parar de tratar esses guias de habilidades como instruções perfeitas. Em vez disso, precisamos tratá-los como sugestões que devem ser verificadas contra a tarefa específica, garantindo que o robô não siga cegamente uma receita que diz para colocar sal no bolo. O artigo não afirma ter resolvido o problema para sempre, mas fornece um mapa claro de onde as armadilhas estão escondidas, ajudando desenvolvedores a construir assistentes de IA mais seguros e inteligentes no futuro.

Resumo Técnico: Habilidades de Agentes Podem Ser Prejudiciais

Definição do Problema

Embora as "habilidades" (pacotes de instrução que codificam procedimentos, exemplos e restrições específicos de tarefas) sejam o mecanismo de fato para estender agentes de Grandes Modelos de Linguagem (LLMs), seu impacto é inconsistente. Trabalhos anteriores indicam que, enquanto algumas habilidades melhoram as taxas de sucesso, outras não têm efeito, aumentam o consumo de tokens e o tempo de execução ou até mesmo reduzem as taxas de sucesso.

O desafio central abordado por este artigo é a dificuldade em isolar e atribuir esses resultados negativos especificamente à habilidade carregada. As avaliações existentes frequentemente falham em distinguir o dano induzido pela habilidade das limitações do agente base, da dificuldade da tarefa ou de artefatos do ambiente. Além disso, os benchmarks atuais focam em medir a utilidade (taxas de passagem) em vez de descobrir os mecanismos específicos de falha, deixando uma lacuna na compreensão de como um documento de habilidade específico causa falhas funcionais ou regressões de eficiência ocultas.

Metodologia

Os autores propõem uma estrutura de análise diferencial inspirada em testes diferenciais para atribuir falhas a habilidades específicas. A metodologia envolve a construção de execuções pareadas onde a tarefa, o verificador, o framework do agente, o modelo e o ambiente são mantidos constantes, enquanto a configuração da habilidade varia.

Configuração Contrastiva:
- Execução Alvo (Target Run): Uma execução utilizando a habilidade auditada.
- Execução de Referência (Reference Run): Uma execução da mesma tarefa usando "nenhuma habilidade" ou uma habilidade "semanticamente correspondente" (recuperada de repositórios públicos como smithery.ai e skillsmp.com com base em similaridade semântica).
- A execução de referência atua como um pseudo-oráculo para demonstrar que a tarefa é solucionável ou pode ser resolvida de forma mais barata sob as mesmas condições sem a habilidade auditada específica.
Definições de Falha:
- Falha Funcional: A execução alvo falha no verificador enquanto a execução de referência passa.
- Regressão de Eficiência: Ambas as execuções passam, mas a execução alvo exibe uso de tokens ou tempo de execução substancialmente maiores (definido como ambos os métricas aumentando em relação à referência, com pelo menos uma excedendo um limiar $T=2.0$ ).
Coleta e Rotulagem de Dados:
- O estudo aumenta dois benchmarks existentes, SkillsBench (84 tarefas) e SWE-Skills-Bench (490 tarefas), com habilidades públicas semanticamente correspondentes, expandindo o espaço de comparação de 826 para 20.664 pares potenciais.
- As execuções foram realizadas utilizando OpenCode 1.15.1 e Claude Opus 4.6.
- Um total de 307 falhas confirmadas induzidas por habilidades foram identificadas: 125 falhas funcionais e 182 regressões de eficiência de alta confiança.
Ferramental:
- Os autores desenvolveram o SKILLTRIAGE, uma ferramenta de atribuição guiada por taxonomia que normaliza casos pareados, extrai evidências diferenciais e produz relatórios de triagem para automatizar a análise de causa raiz.

Principais Contribuições

Dataset Contrastivo: Construção de um dataset de 3 de 307 falhas confirmadas induzidas por habilidades, validadas por execuções de referência sem habilidade ou com habilidades semanticamente correspondentes.
Estudo Empírico: A primeira análise abrangente categorizando e analisando as causas raízes de falhas funcionais e regressões de eficiência em agentes de LLM.
Ferramenta de Atribuição: Desenvolvimento e avaliação do SKILLTRIAGE, que obteve sucesso ao combinar causas raízes atribuídas manualmente para 88,8% das falhas funcionais e 72,5% das regressões de eficiência.

Principais Resultados e Descobertas

1. Causas Raízes de Falhas Funcionais

O estudo descobriu que as falhas funcionais raramente são causadas por habilidades obviamente irrelevantes. Em vez disso, Falhas de Implementação de Tarefa (TIF - Task-Implementation Faults) são a causa dominante, respondendo por 68,8% (86/125) das falhas.

Preenchimento Incorreto de Elemento Requerido (36,8%): O agente implementa um elemento requerido (ex: uma chamada de API, cálculo ou formato de saída) incorretamente devido a orientações enganosas em uma habilidade aparentemente relevante.
Omissão de Elemento Requerido (28,8%): O agente omite um elemento requerido porque os exemplos ou templates da habilidade não o incluíram, levando o agente a assumir que era opcional.
Deslocamento de Artefato (19,2%): O agente cria um artefato plausível, mas o coloca no diretório ou ponto de integração errado, muitas vezes seguindo convenções de repositório em vez de especificações da tarefa.
Incompatibilidade de Ambiente (10,4%): Habilidades induzem estados de tempo de execução (ex: versões de pacotes, diretórios de trabalho) que conflitam com o ambiente do verificador.
Incompatibilidade de Aplicabilidade (1,6%): Casos raros onde os metadados da habilidade sinalizam incorretamente a aplicabilidade.

Descoberta: Habilidades aparentemente relevantes frequentemente fazem com que os agentes interpretem orientações reutilizáveis como requisitos obrigatórios da tarefa, levando a implementações incorretas ou omissões.

2. Causas Raízes de Regressões de Eficiência

As regressões de eficiência não são explicadas apenas pelo comprimento do prompt. A causa dominante é o Procedimento Excessivo (EP - Excessive Procedure), respondendo por 62,6% (114/182) dos casos.

Verificação Excessiva (67 casos): Habilidades transformam checklists de validação em trabalhos obrigatórios e redundantes, fazendo com que o agente execute testes ou loops desnecessários.
Pipelines de Implementação Pesados (30 casos): Habilidades prescrevem fluxos de trabalho ou receitas de construção excessivamente complexos que aumentam o uso de tokens e o tempo.
Inflação de Contexto (25,3%): Embora menos dominante que o EP, isso ocorre quando o corpo de texto da habilidade adiciona um overhead significativo a cada chamada do modelo (43 de 46 casos nesta categoria).

Descoberta: Habilidades frequentemente transformam etapas de validação opcionais ou receitas complexas em procedimentos obrigatórios, elevando os custos mesmo quando a tarefa é concluída com sucesso.

Significância e Alegações

O artigo afirma fornecer a primeira evidência empírica sistemática de que a reutilização de habilidades em agentes de LLM carrega riscos significativos de falha funcional e regressão de custo, mesmo quando as habilidades são topicamente relevantes.

Identificação de Mecanismos: O estudo vai além de métricas agregadas para identificar mecanismos de falha específicos, como "Falhas de Implementação de Tarefa" e "Procedimento Excessivo", que anteriormente eram obscurecidos em avaliações de benchmarks padrão.
Utilidade Prática: O desenvolvimento do SKILLTRIAGE demonstra que a atribuição automatizada de falhas induzidas por habilidades é viável, oferecendo um caminho para a triagem de habilidades em marketplaces e plataformas.
Implicações para o Design: As descobertas sugerem que os autores de habilidades devem distinguir claramente entre requisitos obrigatórios da tarefa e exemplos/templates opcionais. Da mesma forma, as plataformas de agentes devem tratar caminhos especificados pela tarefa e estados de ambiente como restrições protegidas para evitar que as habilidades induzam incompatibilidades.

Os autores concluem que, para uma reutilização de habilidades mais segura e consciente de custos, pesquisas e ferramentas futuras devem abordar essas causas raízes específicas, particularmente a tendência das habilidades de induzir implementações incorretas e overhead procedural desnecessário.