Resumo Técnico: SkillHarm: Ataques Baseados em Skills com Consciência de Ciclo de Vida via Construção Automatizada

Declaração do Problema

As habilidades (skills) de agentes — pacotes reutilizáveis que agrupam instruções em linguagem natural, materiais de referência e scripts executáveis — ocupam uma posição privilegiada nos fluxos de trabalho dos agentes. Diferente de contextos externos não confiáveis (ex: documentos da web), espera-se implicitamente que os agentes sigam as instruções das skills, consultem referências e executem scripts. Essa confiança implícita torna as third-party skills uma superfície de ataque vulnerável. Conteúdos maliciosos incorporados em uma skill podem ser interpretados como orientações legítimas e executados com o privilégio total do agente sobre arquivos, comandos de shell e credenciais.

A pesquisa existente sobre ataques baseados em skills sofre de duas limitações primárias:

1. Cegueira de Ciclo de Vida: A maioria dos benchmarks avalia skills envenenadas dentro de uma única execução de tarefa, ignorando a persistência das skills entre sessões. Eles falham em capturar ataques onde uma execução inicial benigna modifica silenciosamente o conteúdo da skill, adiando o dano para um uso subsequente.
2. Avaliação de Risco Ad-hoc: Estudos atuais frequentemente dependem de listas de riscos específicas de cada benchmark, em vez de uma taxonomia sistemática de riscos relevantes para skills, levando a uma cobertura incompleta de potenciais resultados de ataque.

Metodologia

1. Cenários de Ataque e Taxonomia de Risco

Os autores introduzem o SkillHarm, um benchmark projetado para avaliar vulnerabilidades de agentes através do ciclo de vida de uso de skills. Ele define dois cenários de ataque distintos:

• Envenenamento de Payload Fixo (FPP - Fixed-Payload Poisoning): Um pacote de skill envenenado contém um payload malicioso fixo que dispara um resultado prejudicial imediatamente após a invocação durante uma única execução de tarefa.
• Envenenamento de Mutação Autônoma (SMP - Self-Mutating Poisoning): A skill contém um gancho de mutação (mutation hook). Uma execução de tarefa inicial parece benigna, mas modifica silenciosamente o conteúdo persistente da skill. O resultado prejudicial é adiado, materializando-se apenas quando uma tarefa posterior reutiliza o pacote comprometido.

Para garantir uma cobertura sistemática, o SkillHarm categoriza os riscos em 12 tipos organizados pelo componente do fluxo de trabalho visado:

• Exploração de Pipeline de Dados: Exfiltração de dados, manipulação de saída e envenenamento de dados.
• Exploração de Ambiente de Sistema: Escalação de privilégios, modificação não autorizada de arquivos, injeção de backdoor, negação de serviço, implantação de malware e corrupção do sistema.
• Exploração de Autonomia do Agente: Sequestro de objetivo (goal hijacking), anti-forense e ataques de proxy.

2. Construção Automatizada: AutoSkillHarm

Dada a alta heterogeneidade de skills, riscos e cenários de ataque, o design manual é impraticável. Os autores desenvolveram o AutoSkillHarm, um pipeline automatizado impulsionado por agentes de codificação utilizando harnesses de linguagem natural. O pipeline opera em três estágios:

1. Seleção de Alvo de Ataque: Identifica arquivos de skill alcançáveis (para FPP) ou pares de tarefas que compartilham skills (para SMP) com base nas taxas de exposição em trajetórias de linha de base benignas.
2. Design de Ataque: Um agente de codificação (principalmente Claude Code) instancia tipos de risco abstratos em objetivos adversariais concretos. Ele materializa payloads modificando arquivos de skill enquanto mantém conexões de fluxo de trabalho plausíveis. Para SMP, ele implementa mecanismos de mutação adiada (ex: callbacks disparados pelo encerramento/exit). O agente também gera avaliadores determinísticos para verificar estados finais prejudiciais.
3. Filtragem de Qualidade: Os candidatos passam por autorrefinamento iterativo e detecção baseada em LLM para garantir furtividade. Um agente revisor realiza então uma análise fundamentada em trajetórias para descartar candidatos inválidos ou não executáveis, retendo apenas ataques sólidos.

Resultados Principais

O benchmark compreende 879 amostras de ataque distribuídas em 71 skills e 12 tipos de risco. Os autores avaliaram seis configurações de model-harness (incluindo Claude Code, Codex, Gemini CLI e OpenCode) contra esses ataques.

• Alta Vulnerabilidade: Os agentes atuais permanecem altamente vulneráveis.
  • FPP: As Taxas de Sucesso de Ataque (ASR) atingiram até 86,3% (Codex GPT-5.4).
  • SMP: A ASR atingiu 69,3%, apesar do requisito mais rigoroso de mutação bem-sucedida e reutilização entre sessões.
• Risco Latente (ASR Condicional): Existe uma lacuna significativa entre a ASR e a ASR Condicional (cASR), que mede o sucesso dado que o agente interage com o arquivo envenenado. Por exemplo, no SMP, a cASR para o Claude Opus 4.7 saltou de 9,4% para 41,5% (+32,1%) quando condicionada ao engajamento. Isso indica que muitos "fracassos" aparentes devem-se ao fato de os agentes não acessarem o arquivo alvo, e não a uma resistência genuína.
• Comportamento de Recusa: A recusa explícita é rara. Apenas modelos da família Claude mostraram comportamento de recusa perceptível e, mesmo assim, as taxas caíram significativamente em cenários SMP (ex: de 25,3% em FPP para 2,1% em SMP para o Sonnet 4.6), sugerindo que o desacoplamento temporal obscurece a intenção maliciosa.
• Ineficácia das Defesas Atuais:
  • Scanners de Skills: Injeções contextualizadas frequentemente evadem a detecção. A configuração de scanner mais forte detectou apenas 55,6% das injeções FPP e 68,8% das injeções SMP.
  • Prompts de Sistema Defensivos: Adicionar avisos aos prompts de sistema reduziu a ASR em alguns casos, mas permaneceu pouco confiável, com quase todas as configurações mantendo ASR acima de 70%.
• Utilidade da Tarefa: As skills envenenadas geralmente preservaram a taxa de sucesso original da tarefa, o que significa que os usuários recebem saídas plausíveis enquanto o agente executa silenciosamente efeitos colaterais prejudiciais.

Significância e Alegações

O artigo afirma que o SkillHarm estabelece os ataques baseados em skills como uma região distinta e subexaminada do cenário de segurança de agentes. Suas principais contribuições são:

1. Consciência de Ciclo de Vida: É o primeiro benchmark a avaliar conjuntamente o comprometimento direto de sessão única e o comprometimento adiado entre múltiplas sessões, revelando que os agentes permanecem vulneráveis mesmo quando as skills são reutilizadas entre sessões.
2. Cobertura de Risco Sistemática: Ao organizar 12 tipos de risco em uma taxonomia fundamentada no fluxo de trabalho, fornece uma visão abrangente de danos potenciais além de listas ad-hoc.
3. Escalabilidade Automatizada: O pipeline AutoSkillHarm demonstra que ataques complexos e heterogêneos podem ser construídos automaticamente em escala usando harnesses de linguagem natural, superando as limitações da geração manual ou baseada em templates.
4. Implicações de Segurança: Os achados revelam que os mecanismos de segurança atuais (scanners, prompts e treinamento de modelos) são insuficientes contra ataques baseados em skills. O artigo argumenta que a mitigação eficaz provavelmente requer mecanismos além de intervenções de nível de prompt, como guardrails de tempo de execução ou pós-treinamento de segurança que foquem especificamente no reconhecimento de intenção maliciosa dentro do conteúdo da skill.

Os autores disponibilizam o benchmark, o conjunto de dados e o pipeline de construção para apoiar o desenvolvimento de defesas que abordem a confiança inerente que os agentes depositam no conteúdo das skills.