Detecting Malicious Agent Skills in the Wild using Attention

Resumo Técnico: Detecção de Habilidades de Agentes Maliciosos no Mundo Real usando Atenção

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de "habilidades" (skills) — pacotes baseados em arquivos que contêm instruções em linguagem natural e código opcional, criados por terceiros e distribuídos via marketplaces. Diferente das ferramentas de API, as habilidades são executadas localmente com os privilégios do usuário. Esta arquitetura cria uma nova superfície de ataque: uma única habilidade maliciosa pode exfiltrar dados, sequestrar o comportamento do agente ou estabelecer um ponto de apoio na cadeia de suprimentos.

As defesas existentes para injeção de prompt indireta falham neste contexto. A maioria das defesas assume uma fronteira limpa entre instruções de sistema confiáveis e dados de usuário não confiáveis. No entanto, uma habilidade é um corpo de instruções; uma injeção maliciosa é apenas alguns comandos extras inseridos entre outros legítimos. Consequentemente, estratégias de separação padrão são ineficazes. Além disso, escanear cada habilidade em um marketplace com um LLM poderoso para detectar essas injeções é computacionalmente proibitivo devido ao volume e à extensão das habilidades, enquanto scanners baseados em palavras-chave ou regex falham em detectar "Habilidades Maliciosas Ocultas" (HMS - Hidden Malicious Skills) que disfarçam payloads maliciosos dentro de documentações benignas.

Metodologia: Localize-e-Julgue (Locate-and-Judge)
Os autores propõem o Locate-and-Judge, um pipeline de detecção de dois estágios projetado para escalar em ambientes de marketplace ao desacoplar a localização da classificação.

1. Segmentação de Intervalos (Span Segmentation): As habilidades são primeiro analisadas em intervalos estruturais (cabeçalhos, parágrafos, blocos de código, metadados) usando um parser de Markdown determinístico. Isso preserva a estrutura natural da habilidade, garantindo que comandos injetados não sejam perdidos em chunks de comprimento fixo.
2. O Localizador (Localização): Um LLM leve e pequeno (ex: Qwen2.5-0.5B) processa toda a habilidade. Ele é instruído a prestar atenção ao conteúdo executável, obrigatório ou relevante para a ação. O sistema agrega pesos de atenção das últimas quatro camadas, de todos os cabeças (heads) e das posições de tokens de sufixo para pontuar cada intervalo estrutural. Os top-$K$ intervalos com a maior atenção de seguimento de instrução são retidos. A hipótese é que, para uma injeção ter sucesso, ela deve capturar a atenção do modelo leitor, mesmo cercada por instruções benignas.
3. O Juiz (Classificação): Um LLM capaz e de zero-shot (DeepSeek-V4-Flash) examina apenas os top-$K$ intervalos retidos. Ele avalia se um intervalo específico contém uma instrução maliciosa. A habilidade é sinalizada se a pontuação máxima do juiz exceder um limiar calibrado $\tau$.

Esta abordagem reduz o orçamento de tokens para o juiz caro em um fator de aproximadamente 2,84 em comparação com o escaneamento de conteúdo total, pois o juiz processa apenas uma fração do texto da habilidade.

Principais Contribuições

• Pipeline Locate-and-Judge: Uma arquitetura inovadora de dois estágios que torna a detecção de instruções injetadas em habilidades economicamente viável em escala de marketplace. Os autores demonstram que o recall é limitado pela capacidade do juiz (que é ajustável via força do modelo) e não pela arquitetura de localização.
• Estudo Empírico de Habilidades Maliciosas: O primeiro implante em larga escala de tal detector em três marketplaces ativos (Lobehub, Skills.sh, Clawhub.ai). O estudo revelou 131 habilidades confirmadas como maliciosas, incluindo 82 Habilidades Maliciosas Ocultas (HMS) que disfarçam comandos perigosos como funcionalidades benignas.
• Lançamento de Dataset: A liberação de um dataset rotulado contendo mais de 200 habilidades (tanto maliciosas quanto benignas) com rótulos de avaliação humana e vetores de ataque anotados para apoiar a reprodutibilidade.
• Divulgação Responsável: Todos os achados foram reportados aos respectivos operadores dos marketplaces.

Resultados Experimentais

• Avaliação de Laboratório: Em um corpus controlado (Skill-Inject), o pipeline alcançou uma precisão de 1,0 e um F1 score de 0,727 em um limiar conservador, superando tanto os baselines de regex quanto os baselines de LLM de escaneamento de conteúdo total em termos de eficiência de custo. O localizador reteve com sucesso o intervalo injetado em 95% das habilidades maliciosas quando $K=10$.
• Implantação no Mundo Real (Wild Deployment): O escaneamento de 134.934 habilidades de três marketplaces custou aproximadamente $34. O sistema sinalizou 359 habilidades; a revisão humana confirmou 131 como maliciosas (83% de precisão nos casos decididos).
• Comparação com Baselines:
  • Vs. Escaneamento de Conteúdo Total: O Locate-and-Judge detectou 83% das habilidades confirmadas como maliciosas, comparado a 62% para o escaneamento de conteúdo total pelo mesmo juiz. A lacuna foi mais significativa para HMS (83% vs. 45% de recall), onde payloads maliciosos estão enterrados em textos benignos longos.
  • Vs. Detectores Existentes: O sistema superou significativamente os scanners de produção (SkillSpector, Cisco Skill Scanner) e o detector baseado em atenção Attention Tracker. As ferramentas existentes falharam em detectar a maioria das HMS, muitas vezes perdendo os payloads disfarçados completamente.
  • Modos de Falha: O sistema perdeu 22 habilidades maliciosas, principalmente instaladores de RCE inline (one-liners em base64) que o segmentador de spans falhou em isolar como intervalos distintos. Os autores observam que este é um modo de falha limitado, recuperável por uma passagem secundária de conteúdo total.

Significância e Alegações
O artigo afirma que a separação entre localização e classificação é crítica para escalar a segurança em sistemas agênticos. Ao alavancar a atenção como uma assinatura quase necessária de ataques eficazes, os autores demonstram que é possível auditar marketplaces inteiros a uma fração do custo da análise de conteúdo total.

O estudo revela que o ecossistema atual de habilidades contém ameaças instaláveis ativas que evadem as defesas existentes. Especificamente, a prevalência de Habilidades Maliciosas Ocultas sugere que atacantes estão explorando com sucesso a falta de separação entre instruções confiáveis e dados não confiáveis no paradigma das habilidades. Os autores concluem que, embora as ferramentas atuais sejam insuficientes, a arquitetura proposta oferece um caminho escalável e de baixo custo para assegurar as cadeias de suprimentos de agentes, desde que o passo de localização possa ser ajustado para capturar os padrões estruturais específicos de ameaças emergentes.