Resumo Técnico: MalSkillBench

Declaração do Problema

Agentes de codificação de IA (ex: Claude Code, Gemini CLI) dependem cada vez mais de "skills" (habilidades) de terceiros — pacotes distribuíveis que agrupam instruções em linguagem natural, scripts executáveis e permissões de ferramentas. Essas skills introduzem uma superfície de ataque híbrida inédita, onde o risco não reside puramente no código nem puramente nos prompts, mas na relação semântica entre ambos. Os esforços de detecção atuais enfrentam três lacunas críticas:

1. Falta de Verdade Fundamental (Ground Truth): Datasets existentes são retidos pela indústria (ex: Snyk, Antiy) ou são muito pequenos (ex: 157 amostras em trabalhos acadêmicos anteriores) para avaliar detectores sistematicamente.
2. Cobertura de Ataque Estreita: Amostras disponíveis "no mundo real" (in-the-wild) são fortemente enviesadas para um único padrão de ataque (impersonação de dependência levando à entrega de malware), deixando ataques na camada de instrução e sequestros de controle de agente empiricamente invisíveis.
3. Avaliação Fragmentada: Detectores são avaliados em datasets privados com métricas díspares, impedindo uma comparação justa entre vetores de Injeção de Código (CI), Injeção de Prompt (PI) e Mistos (MIXED).

Consequentmente, a comunidade carece de uma compreensão confiável sobre quais ferramentas de detecção generalizam e quais apenas sofrem overfitting para padrões de ataque específicos e estreitos.

Metodologia

Os autores apresentam o MalSkillBench, o primeiro benchmark verificado em tempo de execução para skills maliciosas de agentes. A construção baseia-se em um pipeline de Geração-Verificação-Feedback de ciclo fechado, projetado para criar uma verdade fundamental de alta qualidade e verificada.

1. Taxonomia de Ataque e Base de Conhecimento

O benchmark define uma taxonomia tridimensional abrangendo 108 células de ataque:

• Vetor de Ataque ($v$): Injeção de Código (CI), Injeção de Prompt (PI) e Misto (MIXED).
• Comportamento Malicioso ($b$): 15 categorias, incluindo comportamentos tradicionais de cadeia de suprimentos (B1–B9, ex: exfiltração de dados, reverse shells) e comportamentos nativos de agentes (B10–B15, ex: sequestro de papel/role hijacking, bypass de segurança, sobreposição de instrução).
• Estratégia de Inserção ($s$): Métodos específicos para posicionamento de payload (ex: novos arquivos de script, injeção de função, esteganografia, camuflagem total).

O pipeline inicia a geração a partir de duas bases de conhecimento: IntelliGraph (3.026 pacotes PyPI maliciosos) para padrões de CI e corpora WildJailbreak/CCS'24 para padrões de PI. Estes são mapeados para a taxonomia usando rotulagem baseada em LLM.

2. Loop de Geração e Verificação

• Agente de Geração: Utiliza um Qwen3.5-35B modificado (ablaterado para remover mecanismos de recusa) para sintetizar skills candidatas. Ele recupera exemplos de ataque, seleciona um template de "camuflagem" benigno de um pool de 3.458 skills legítimas e injeta o payload malicioso de acordo com a célula da taxonomia alvo.
• Agente de Verificação: Executa os candidatos dentro de um sandbox Docker instrumentado com strace e inotifywait. Emprega um processo de verificação de duas camadas:
  • Camada 1 (Determinística): Correlaciona rastros de chamadas de sistema (rede, arquivo, processo) contra Indicadores de Comprometimento (IOCs) declarados.
  • Camada 2 (Semântica): Utiliza um LLM (GPT-5.4-mini) para analisar as saídas de texto do agente e resumos de rastreamento para confirmar a intenção comportamental, particularmente para ataques de PI que não deixam rastros de syscalls.
• Feedback: Se um candidato falha na verificação, o agente recebe feedback estruturado (razão, comportamentos observados, sugestões) e tenta novamente até três vezes. Apenas amostras onde o comportamento malicioso é confirmado (rendimento em tempo de execução) entram no dataset.

3. Composição do Dataset

O benchmark final ($\mathcal{D}$) compreende:

• 3.214 Skills Geradas: Verificadas via pipeline de ciclo fechado, garantindo cobertura equilibrada em todas as 108 células da taxonomia.
• 703 Skills Reais (Wild): Coletadas manualmente e verificadas de registros públicos (ex: ClawHub), representando ataques do mundo real.
• 27 Amostras de Teste: Curadas de suítes de teste de ferramentas existentes.
• 4.000 Skills Benignas: Skills de alta confiança e amplamente baixadas, usadas para medir falsos positivos.

Principais Contribuições

1. Dataset MalSkillBench: Um benchmark verificado em tempo de execução contendo 3.944 skills maliciosas e 4.000 benignas, rotuladas através de uma taxonomia de 108 células.
2. Pipeline de Ciclo Fechado: Um novo framework automatizado que migra padrões de ataque do mundo real para o formato de skill e os valida via execução em sandbox, transformando alegações de rótulo em evidência comportamental.
3. Avaliação Sistemática: A primeira avaliação unificada de 12 ferramentas de detecção (9 específicas para skills, 5 scanners de cadeia de suprimentos, 6 defensores de injeção de prompt) sob condições idênticas.

Resultados Empíricos

RQ1: Realizabilidade de Ataque

A realizabilidade é desigual através da superfície de ataque.

• Injeção de Código (CI): 94,5% de rendimento de verificação.
• Misto (MIXED): 91,9% de rendimento.
• Injeção de Prompt (PI): 75,8% de rendimento.
• Insight: Comportamentos de raciocínio apenas de PI (ex: Sobreposição de Instrução, Sequestro de Objetivo) são os mais difíceis de realizar (rendimento de 63–70%), indicando uma fragilidade estrutural na geração de ataques apenas de instrução que consigam alterar o comportamento do agente.

RQ2: Análise de Dados Reais (Wild)

A superfície de ataque "no mundo real" é surpreendentemente estreita.

• Dominância: 86,3% das skills reais usam impersonação de dependência (requisitos falsos), e 86,6% resultam em Entrega de Malware.
• Concentração: 81% das amostras reais originam-se de apenas duas contas, impulsionadas majoritariamente por uma única campanha de roubo de criptomoedas.
• Ameaças Nativas de Agente: Uma pequena cauda (1,7%) visa o plano de controle do agente (ciclo de vida da sessão, identidade, hierarquia de instruções) em vez do host, um vetor ausente em ecossistemas de pacotes tradicionais.

RQ3: Detecção Específica de Skill

Nenhum detector atual é uniformemente confiável.

• Desempenho: A ferramenta mais forte (Sentry Skill Scanner, modo completo) alcança 98,4% de recall no benchmark completo, mas cai significativamente em ataques de PI e de controle de agente.
• O Viés do "Mundo Real": Avaliar apenas em dados reais é sistematicamente enganoso. Por exemplo, o VirusTotal classifica-se próximo ao fundo do ranking no benchmark completo (21,6% de recall), mas salta para o topo (87,9% de recall) quando avaliado apenas em dados reais — uma oscilação de 66 pontos. Isso ocorre porque os dados reais são dominados por impersonação de dependência, que ferramentas baseadas em assinatura detectam bem, ignorando ataques na camada de instrução.

RQ4: Transferibilidade de Ferramentas

Ferramentas de domínio único existentes falham em transferir efetivamente.

• Scanners de Cadeia de Suprimentos: O alto recall (ex: OSSGadget com 97,3%) vem acompanhado de falsos positivos massivos (até 3.979 em 4.000 amostras benignas) porque eles sinalizam dependências benignas como maliciosas.
• Defesas de Injeção de Prompt: Da mesma forma, elas ou disparam excessivamente em skills ricas em código ou perdem ataques operacionais que carecem de frases típicas de jailbreak.
• Falha de Combinação: Combinações ingênuas (lógica OR/AND) dessas ferramentas não recuperam a relação semântica perdida entre código e instruções. Combinações OR herdam altos falsos positivos; combinações AND colapsam o recall (frequentamente <6%).

Significância e Alegações

O artigo afirma que detectar skills maliciosas requer raciocínio conjunto sobre a intenção da tarefa, o código e as instruções, em vez de inspecioná-los separadamente. A principal significância do MalSkillBench é que ele expõe as limitações das metodologias de avaliação atuais:

• Distorção de Medição: Depender apenas de dados "reais" ou subconjuntos estreitos infla artificialmente o desempenho de ferramentas que por acaso coincidem com os padrões de ataque dominantes (mas estreitos), enquanto obscurece falhas em ataques de nível de instrução.
• Natureza Híbrida: O risco de uma skill não é um artefato localizado, mas uma relação semântica (ex: "Esta dependência é justificada pela tarefa?"). As ferramentas atuais, que leem código ou prompts isoladamente, não conseguem capturar essa relação.
• Direção Futura: O benchmark fornece a verdade fundamental necessária para desenvolver detectores que possam raciocinar através do espaço híbrido código-instrução, abordando os "pontos cegos" nas práticas de segurança atuais.

Os autores enfatizam que seu trabalho não inventa novos vetores de ataque, mas mede sistematicamente a realizabilidade e a detectabilidade das ameaças existentes no contexto específico de skills de agentes de IA, revelando que a camada de instrução permanece uma vulnerabilidade significativa e subprotegida.