Resumo Técnico: SkillVetBench

Declaração do Problema

Plataformas agênticas abertas (ex: OpenClaw, NanoClaw) permitem que contribuidores da comunidade publiquem "skills" (habilidades) reutilizáveis que agentes invocam em tempo de execução. Embora essa extensibilidade impulsione o crescimento do ecossistema, ela introduz um risco crítico de cadeia de suprimentos: contribuidores maliciosos podem embutir comportamentos prejudiciais em skills que parecem benignas sob uma inspeção superficial. Incidentes recentes, como a campanha ClawHavoc, que injetou 1.184 skills maliciosas no marketplace ClawHub, demonstram que as defesas existentes são insuficientes.

O desafio central identificado é que as ferramentas de verificação de segurança atuais carecem de um benchmark sistemático para avaliar tanto a detecção de skills maliciosas quanto a verificação em tempo de execução. Ferramentas de análise estática tradicionais falham em detectar ameaças codificadas em instruções de linguagem natural (ex: injeção de prompt, envenenamento de memória) ou aquelas que se manifestam apenas através de interações entre componentes em tempo de execução. Por outro lado, a análise dinâmica sem fundamentação semântica produz logs ininterpretáveis. Existe uma lacuna na capacidade de verificar se as alegações estáticas de uma skill alinham-se com seu comportamento executável real.

Metodologia

Os autores apresentam o SkillVetBench, um framework de benchmark de verificação de segurança de dois estágios projetado para avaliar ecossistemas de skills agênticas abertos. O framework é construído sobre um conjunto de dados de 100 skills (78 confirmadas como maliciosas, 22 controles benignos) extraídas do repositório vivo do OpenClaw, incluindo amostras da campanha ClawHavoc.

Estágio 1: Análise Semântica (LLM-as-a-Judge)

O primeiro estágio realiza uma análise estática do artefato completo da skill (especificações em linguagem natural, código executável, arquivos de configuração e interfaces de ferramentas).

• Mecanismo: Um LLM atua como um "juiz" para raciocinar sobre a intenção declarada, estruturas de ataque entre componentes e riscos composicionais.
• Dimensões de Avaliação: As skills são pontuadas em cinco dimensões de risco agêntico (escala 0–3):
  1. Risco de Fidelidade de Instrução (IFR): Suscetibilidade a injeção de prompt ou sobreposição de instrução.
  2. Gravidade de Dados (DG): Sensibilidade dos dados acessados (ex: credenciais, chaves privadas).
  3. Irreversibilidade de Ação (AI): Se os efeitos podem ser desfeitos (ex: exclusões vs. leituras).
  4. Raio de Alcance (BR): Escopo do dano (usuário único vs. multiplataforma).
  5. Amplificação de Cadeia (CA): Potencial perigo quando composta com outras skills.
• Saída: Esses escores são agregados em um Skill Agentic Risk Score (SARS) para classificar as skills como Benignas, Suspeitas ou Maliciosas. Este estágio visa especificamente ameaças invisíveis para scanners baseados em assinatura, como aquelas ocultas em instruções de linguagem natural.

Estágio 2: Análise Programática (Execução em Sandbox)

O segundo estágio executa as skills sinalizadas como "Suspeitas" ou "Maliciosas" no Estágio 1 dentro de um sandbox Docker instrumentado e isolado.

• Ambiente: Uma stack local do OpenClaw é implantada com acesso à rede, operações de sistema de arquivos, execução de comandos e acesso a credenciais monitorados.
• Processo: O sandbox emite tanto prompts benignos (para testar a funcionalidade declarada) quanto prompts adversariais (para sondar injeção, abuso de privilégios e exfiltração de dados).
• Verificação: Uma skill é elevada de "Suspeita" para "Maliciosa" apenas se o log de execução contiver um traço concreto e atribuível de comportamento prejudicial (ex: modificação de sistema de arquivos, comunicação de rede externa ou execução de comando não autorizado).
• Evidência: Este estágio gera traços de evidência auditáveis (261.891 linhas de log de gateway no estudo) para confirmar ameaças em tempo de execução.

Principais Contribuições

1. Framework SkillVetBench: O primeiro benchmark de dois estágios que acopla análise semântica baseada em LLM com execução controlada em tempo de execução para verificar skills agênticas. Ele preenche a lacuna entre a análise de intenção estática e a verificação de comportamento dinâmico.
2. Taxonomia Abrangente de Vulnerabilidades: O benchmark define e avalia sete categorias específicas de vulnerabilidade relevantes para sistemas agênticos:
   • Execução de código: Injeção de Comando, Operações de Arquivo Inseguras.
   • Camada de instrução/Agêntica: Injeção de Prompt, Envenenamento de Memória, Abuso de Privilégios.
   • Dados/Cadeia de Suprimentos: Exposição de Dados, Riscos de Cadeia de Suprimentos.
3. Métricas e Pontuação Inovadoras: Introdução da métrica SARS e a integração do CVSS v4.0 para pontuação estática, permitindo uma avaliação de risco multidimensional que considera ameaças específicas de agentes, como sequestro de instrução e amplificação de cadeia.
4. Dataset Empírico: Um benchmark curado de 78 skills confirmadas como maliciosas e 22 controles benignos, fornecendo um conjunto de dados de verdade fundamental (ground-truth) para avaliar futuras ferramentas de segurança.

Resultados Experimentais

Os autores avaliaram o SkillVetBench contra oito baselines, incluindo scanners oficiais de marketplace (ClawScan, ClawVet), ferramentas de análise estática (CodeBERT) e abordagens baseadas em LLM (prompting zero/few-shot, SkillProbe, SkillSieve).

• Desempenho de Detecção: O SkillVetBench alcançou zero falsos negativos em todas as 78 skills confirmadas como maliciosas, superando todos os baselines.
  • Os baselines perderam até 89% das skills maliciosas, particularmente em categorias que carecem de assinaturas de nível de código (ex: Injeção de Prompt, Envenenamento de Memória). Por exemplo, o ClawScan perdeu 84% das skills de Injeção de Prompt, e o VirusTotal perdeu 100% delas.
  • O SkillVetBench foi o único sistema a emitir vereditos de "Malicioso" respaldados por traços de execução em sandbox para 5 casos de Injeção de Comando e 1 caso de Envenenamento de Memória.
• Análise de Comportamento em Tempo de Execução: A análise de 261.891 linhas de log revelou que ataques confirmados estão concentrados em um pequeno conjunto de primitivas de alta permissão: exec, write_file, install_skill, spawn e subagent. Ferramentas de apenas leitura produziram quase zero ataques confirmados.
• Discrepância Estática vs. Dinâmica: O estudo descobriu que, embora scanners estáticos (e o CVSS v4.0) identifiquem efetivamente exploits diretos de código, eles falham em capturar ameaças composicionais e de camada de instrução. Por exemplo, riscos de Exposição de Dados e de Cadeia de Suprimentos foram frequentemente classificados como "Baixos" pelo scoring estático do CVSS, mas como "Suspeitos" pela estrutura multidimensional do SARS devido ao seu contexto de tempo de execução.
• Sensibilidade do Avaliador: O estudo mostrou que o desempenho do juiz LLM varia significativamente conforme a arquitetura e o tamanho do modelo. Modelos com pelo menos 7B de parâmetros e forte alinhamento de seguimento de instruções (ex: Qwen2.5-32B, Llama-3.1-7B) foram necessários para uma detecção confiável, enquanto modelos menores ou menos alinhados exibiram subdetecção sistemática ou pontuação mal calibrada e excessivamente sensível.

Significância e Alegações

O artigo afirma que o SkillVetBench aborda uma lacuna crítica de avaliação em ecossistemas agênticos abertos. Sua principal significância reside em demonstrar que a verificação confiável de skills requer tanto a detecção de ameaças semânticas quanto a verificação em tempo de execução.

• Complementaridade: Os autores posicionam o SkillVetBench não como um substituto para as ferramentas existentes, mas como um framework complementar que aborda os pontos cegos estruturais dos sistemas atuais: a incapacidade de raciocinar sobre ameaças da camada de instrução e a ausência de verificação em tempo de execução.
• Vereditos Baseados em Evidências: Ao fundamentar os vereditos finais em traços de execução concretos, em vez de apenas suspeita estática, o framework fornece um pipeline reproduzível para avaliar se o comportamento de uma skill é disparado sob condições realistas.
• Segurança da Cadeia de Suprimentos: O trabalho destaca que a "abertura" das plataformas agênticas cria uma superfície de ataque única, onde o comportamento malicioso é frequentemente distribuído entre instruções de linguagem natural, arquivos de configuração e código executável, necessitando de uma estratégia de defesa holística de dois estágios.

Os autores concluem que, sem tais benchmarks sistemáticos e sistemas de verificação que produzam evidências, as plataformas agênticas abertas permanecem vulneráveis a ataques de cadeia de suprimentos que evadem a análise estática tradicional.