Resumo Técnico: Cobertura de Habilidades: Uma Métrica de Adequação de Teste para Habilidades de Agentes

Declaração do Problema

As avaliações atuais de agentes de Large Language Model (LLM) baseiam-se primariamente em resultados de nível de tarefa (sucesso/falha) para avaliar a utilidade de "habilidades de agentes" — artefatos de conhecimento procedural reutilizáveis codificados em linguagem natural. No entanto, a conclusão bem-sucedida de uma tarefa não revela quais instruções, expectativas ou padrões de ação específicos dentro de uma habilidade foram de fato exercitados durante a execução. Isso cria uma lacuna significativa na adequação do teste: os usuários carecem de evidências sobre quais partes de uma habilidade documentada foram testadas e quais permanecem não observadas sob configurações específicas de modelo-tarefa. Consequentemente, é difícil determinar se uma habilidade é suficientemente validada para reutilização, adaptação ou melhoria.

Metodologia

O artigo introduz a Cobertura de Habilidade (Skill Coverage), uma métrica de adequação de teste que trata o próprio artefato da habilidade como o objeto sob teste, em vez de focar apenas no resultado final da tarefa. A metodologia consiste em duas etapas primárias:

1. Extração de Restrições de Comportamento de Habilidade (SBCs)

Os autores definem uma abstração conservadora chamada Restrição de Comportamento de Habilidade (Skill Behavior Constraint - SBC) para formalizar a parte testável de um documento de habilidade.

• Definição: Uma SBC é uma regra de condição-ação normalizada, baseada em fonte, observável e no estilo EARS (Essentialize, Analyze, Refine, Simplify) derivada de documentos de habilidade em linguagem natural.
• Critérios: Para ser retida, uma restrição deve ser:
  1. Baseada em fonte: Suportada por um trecho concreto no documento da habilidade.
  2. Portadora de restrição: Impondo uma obrigação, proibição, padrão de uso, etapa de fluxo de trabalho ou propriedade de entregável.
  3. Observável: Julgável a partir de evidências de execução (ex: chamadas de ferramentas, código, diffs de arquivos, logs).
  4. Atômica: Expressando uma obrigação comportamental independente.
• Processo: Um LLM extrai SBCs candidatas dos documentos de habilidade, que são então auditadas e reparadas por revisores humanos para filtrar prosa de fundo, metadados e detalhes de implementação incidentais. O conjunto resultante $C(S)$ serve como o denominador para a análise de cobertura.

2. Julgamento de Cobertura em Trajetórias de Agente

O framework avalia se uma trajetória de agente $\tau$ fornece evidência suficiente para exercitar uma restrição específica $c = \langle C_c, B_c, J_c \rangle$.

• Julgamento Binário: Uma restrição é marcada como Coberta apenas se duas condições forem atendidas:
  1. Aplicabilidade: A evidência observável $Obs(\tau)$ instancia a condição de aplicabilidade $C_c$.
  2. Evidência Adjudicável: A trajetória contém evidência observável suficiente para julgar se o comportamento restringido $B_c$ foi satisfeito ou violado.
• Distinção: A cobertura não exige que o agente tenha sucesso no comportamento; requer apenas que o cenário tenha sido instanciado e o resultado seja julgável. Se uma restrição é aplicável, mas a evidência é insuficiente para julgar o comportamento, ela permanece Não Coberta.
• Métrica: A cobertura de habilidade é calculada como a fração de restrições auditadas em $C(S)$ que são cobertas por pelo menos uma trajetória em um conjunto de testes $T$.

Protocolo de Validação

Para garantir a confiabilidade em escala, os autores empregam um protocolo de validação-antes-da-escala. Um juiz de LLM (DeepSeek V4 Flash) é usado para atribuir rótulos de cobertura, mas seu desempenho é primeiro validado contra auditores humanos em uma amostra de 350 pares de restrição-trajetória. O juiz alcançou 93,71% de concordância exata e um Cohen's $\kappa$ de 0,874 com os rótulos humanos antes de ser aplicado ao benchmark completo.

Principais Resultados

A metodologia foi aplicada ao SkillsBench, avaliando 78 tarefas de origem através de sete configurações de agente-modelo (incluindo variantes de Gemini, Codex e Claude).

• Taxas de Cobertura Baixas: As execuções de benchmarks existentes cobrem apenas 39,90% a 43,98% das restrições de comportamento de habilidade extraídas, em média. Isso indica que mais da metade das orientações de habilidade documentadas permanece não testada ou não julgável nas avaliações atuais.
• Sucesso da Tarefa vs. Cobertura: Embora as execuções bem-sucedidas de tarefas geralmente cubram mais restrições do que as malsucedidas (com uma lacuna de cobertura de 2,25 a 13,50 pontos percentuais), o sucesso da tarefa não implica em teste adequado. Mesmo execuções bem-sucedidas deixam de 38,96% a 47,14% o denominador da habilidade não testado.
• Distribuição: Entre as configurações, apenas 8–22 de 162 habilidades atingiram 90–100% de cobertura, enquanto 41–52 habilidades permaneceram no balde de 0–30% de cobertura.

Significância e Alegações

O artigo alega que a cobertura de habilidade fornece um sinal complementar aos resultados de nível de tarefa, abordando um ponto cego crítico na avaliação de agentes.

• Adequação ao Nível do Artefato: O trabalho desloca o foco de "o agente resolveu a tarefa?" para "quais partes da habilidade reutilizável foram de fato exercitadas com evidência julgável?".
• Diagnósticos Acionáveis: Restrições não cobertas não são necessariamente violações; em vez disso, identificam cenários ou lacunas de evidência onde o benchmark falha em instanciar a condição da habilidade ou capturar dados de rastreamento suficientes. Isso fornece feedback acionável para:
  • Designers de Benchmarks: Para adicionar tarefas que exercitem cenários específicos ou melhorar a captura de rastreamento para evidências verificáveis por oráculo.
  • Autores de Habilidades: Para identificar quais partes de uma habilidade não foram validadas sob execuções de agentes realistas.
  • Usuários: Para tomar decisões informadas sobre a reutilização de habilidades com base na extensão de seu teste.

Os autores concluem que o sucesso da tarefa e a cobertura de habilidade respondem a perguntas de avaliação diferentes e devem ser reportados separadamente para fornecer uma imagem completa da capacidade do agente e da adequação da habilidade.