Resumo Técnico: Quando Habilidades Não Ajudam

Declaração do Problema

Habilidades de Agente — pacotes estruturados de conhecimento procedural (por exemplo, arquivos SKILL.md) carregados em agentes de Modelo de Linguagem de Grande Escala (LLM) no momento da inferência — são amplamente relatados como melhorando as taxas de aprovação de tarefas em uma média de 16,2 pontos percentuais (pp) através de domínios diversos. No entanto, benchmarks existentes (como o SkillsBench) exibem variância significativa, com 16 de 84 tarefas mostrando deltas de desempenho negativos quando Habilidades são introduzidas. O campo atualmente carece de uma explicação mecanística sobre quando Habilidades fornecem valor, quando são redundantes e quando degradam ativamente o desempenho. Este artigo aborda essa lacuna investigando a eficácia do conhecimento procedural em cibersegurança ofensiva, um domínio sub-representado nos benchmarks atuais de Habilidades, especificamente dentro de um ambiente fundamentado pelo Protocolo de Contexto de Modelo (MCP).

Metodologia

Os autores reanalisam um estudo controlado previamente publicado de um agente autônomo de Capture-the-Flag (CTF). O estudo original envolveu 180 execuções em 15 desafios (abrangendo corrupção de memória, engenharia reversa, exploração web e criptografia) usando um único modelo base (Claude Sonnet 4.5) e uma camada de ferramentas estrita e validada por esquema (MCP).

O estudo foi reestruturado como uma ablação de Habilidades de quatro níveis, mapeando as condições originais de documentação para uma taxonomia padrão de Habilidades:

1. Sem-Habilidades (Mínimo): 55 linhas de contexto contendo apenas definições de servidor MCP e esquemas de ferramentas. Nenhuma orientação procedural.
2. Habilidades-Experienciais (Lições): 1.478 linhas de contexto contendo lições extraídas de sessões anteriores de depuração e um classificador de triagem (análogo a Habilidades auto-extraídas e mineradas de trajetórias).
3. Habilidades-Curadas (Modelos): 1.976 linhas de contexto contendo modelos de ataque estruturados e autorados por humanos, indexados por tipo de vulnerabilidade com condições de aplicabilidade explícitas.
4. Habilidades-Compreensivas (Linha de Base): 4.147 linhas, representando a união das condições Experienciais e Curadas mais ferramentas completas de triagem.

As métricas de avaliação incluíram taxas de aprovação de tarefas, tempos médios de resolução e testes de significância estatística (teste qui-quadrado, teste de tendência de Cochran-Armitage e tamanhos de efeito h de Cohen).

Resultados Principais

A reanálise produz um resultado negativo quanto ao benefício marginal de Habilidades neste domínio específico:

• Ganho Marginal: A condição Habilidades-Compreensivas melhorou a taxa de aprovação em apenas +8,9 pp (de 77,8% para 86,7%) em comparação com a linha de base Sem-Habilidades. Isso é significativamente menor que a média cruzada de domínios do SkillsBench de +16,2 pp e cai dentro da faixa do domínio de menor ganho no SkillsBench (Engenharia de Software, +4,5 pp).
• Significância Estatística: As diferenças entre as condições não são estatisticamente significativas.
  • Teste qui-quadrado: p = 0,71.
  • Teste de tendência de Cochran-Armitage: p = 0,25.
  • Cinco de seis valores h de Cohen em pares caem abaixo do limiar de 0,2 para um efeito pequeno.
• Não Monotonicidade: Em sub-tarefas específicas (por exemplo, canais laterais de temporização), adicionar mais conhecimento procedural degradou o desempenho. A condição Habilidades-Compreensivas (33% de sucesso) teve desempenho inferior à condição Habilidades-Curadas (67% de sucesso) porque as lições "experienciais" adicionais enviesaram o agente para execução simbólica, uma técnica inadequada para ataques de canal lateral.
• Economia de Tokens: A condição Compreensiva consumiu aproximadamente 75× mais tokens para contexto procedural do que a condição Sem-Habilidades para um ganho não significativo, colocando a condição Sem-Habilidades na fronteira de Pareto para eficiência de custos.

Mecanismo Proposto: A Hipótese da Largura de Banda de Feedback

Os autores propõem a Hipótese da Largura de Banda de Feedback (H1) para explicar esses resultados e a variância observada em benchmarks mais amplos:

O benefício marginal de Habilidades de Agente curadas é inversamente relacionado à largura de banda do feedback de ambiente determinístico disponível para o agente.

• Alta Largura de Banda de Feedback (Este Estudo): O ambiente fundamentado pelo MCP fornece observações estritas, validadas por esquema e de baixa latência (por exemplo, JSON tipado de nmap ou gdb). O próprio ambiente fornece o sinal de correção procedural que as Habilidades normalmente são necessárias para fornecer, tornando as Habilidades curadas redundantes ou até mesmo prejudiciais devido ao ruído de contexto.
• Baixa Largura de Banda de Feedback (Domínios do SkillsBench): Domínios como saúde e manufatura frequentemente envolvem ambientes frágeis e parcialmente observáveis com feedback fraco ou atrasado. Nestes contextos, as Habilidades são críticas para fornecer a orientação procedural faltante.

O artigo descreve três previsões testáveis derivadas desta hipótese:

1. Reduzir a largura de banda de feedback (por exemplo, usando saída de shell bruta em vez de ferramentas validadas por esquema) deve aumentar o benefício marginal das Habilidades.
2. Tarefas com verificadores densos e imediatos devem mostrar deltas de Habilidades menores do que tarefas com verificadores esparsos e atrasados.
3. Conhecimento procedural que contradiz o feedback do ambiente deve produzir deltas negativos, enquanto conhecimento que o ambiente não pode fornecer (por exemplo, convenções de domínio) deve produzir deltas positivos.

Significância e Afirmações

O artigo afirma oferecer uma conta mecanística falseável para a heterogeneidade da eficácia das Habilidades, indo além das estatísticas agregadas. Suas principais contribuições são:

1. Extensão de Domínio: Estende a paisagem empírica da avaliação de Habilidades para a cibersegurança ofensiva, um domínio anteriormente não testado no SkillsBench.
2. Validação de Resultado Negativo: Demonstra que, em ambientes de alta largura de banda de feedback, o conhecimento procedural estruturado agrega valor negligenciável e pode ser um resultado líquido negativo devido à sobrecarga de tokens e à "propagação de lições falsas".
3. Implicações de Design para Sistemas de IA Compostos: Os autores argumentam que o valor de uma camada de Habilidades não é independente, mas substitucional. Em sistemas com forte fundamentação de ferramentas (alta largura de banda de feedback), o valor marginal das Habilidades diminui. Consequentemente, os praticantes devem priorizar investir em feedback de ambiente (validação de esquema, verificadores de baixa latência) antes de curar Habilidades. As Habilidades devem ser vistas como uma camada compensatória para ambientes que carecem de feedback determinístico, em vez de uma abstração universalmente benéfica.

Os autores afirmam explicitamente que não reivindicam uma demonstração causal de um efeito zero, mas sim que qualquer efeito neste domínio é pequeno demais para ser distinguido do ruído em um estudo de 180 execuções, contrastando fortemente com os efeitos de alta potência observados em domínios de baixo feedback. Comprometem-se a liberar o pipeline de reanálise para apoiar a replicação e testes futuros da Hipótese da Largura de Banda de Feedback.