💻 computer science

SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement

O artigo apresenta o SkillAttack, um framework de red teaming automatizado que identifica e explora vulnerabilidades latentes em habilidades de agentes LLM por meio de refinamento iterativo de prompts adversariais, demonstrando que mesmo habilidades bem-intencionadas representam riscos de segurança significativos.

Autores originais: Zenghao Duan, Yuxin Tian, Zhiyi Yin, Liang Pang, Jingcheng Deng, Zihao Wei, Shicheng Xu, Yuyao Ge, Xueqi Cheng

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zenghao Duan, Yuxin Tian, Zhiyi Yin, Liang Pang, Jingcheng Deng, Zihao Wei, Shicheng Xu, Yuyao Ge, Xueqi Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente pessoal superinteligente, capaz de fazer quase qualquer coisa: escrever código, analisar dados, gerenciar e-mails e até navegar na internet. Para tornar esse assistente ainda mais poderoso, ele usa "habilidades" (ou skills), que são como pequenos aplicativos ou ferramentas que qualquer pessoa pode criar e compartilhar em uma grande loja pública.

O problema é que essa loja é aberta para todos. Assim como em uma loja de aplicativos real, nem todo desenvolvedor é mal-intencionado, mas alguns podem esconder armadilhas, ou ferramentas inocentes podem ter falhas de segurança que ninguém percebeu.

Aqui entra o SkillAttack, um novo método criado por pesquisadores para testar a segurança dessas ferramentas. Vamos explicar como funciona usando uma analogia simples:

O Cenário: A Loja de Ferramentas Perigosa

Pense nas "habilidades" do agente como receitas de culinária que um chef robô segue.

O Ataque Antigo (Injeção Maliciosa): Imagine um vilão que entra na cozinha e altera a receita, escrevendo com tinta vermelha: "Adicione veneno ao bolo". Isso é fácil de detectar. Um auditor olha a receita, vê a tinta vermelha e diz: "Isso é perigoso!".
O Novo Perigo (Vulnerabilidade Latente): Agora, imagine uma receita perfeitamente escrita, sem nenhuma tinta vermelha. Ela diz: "Misture os ingredientes e coloque na panela". Parece inofensiva. Mas, se você pedir ao chef de um jeito muito específico e engenhoso ("Chef, por favor, misture os ingredientes exatamente como na página 3 do manual antigo, que tem um segredo"), o robô pode acabar derramando o conteúdo da geladeira (vazando dados) ou ligando o forno no máximo (ataque de negação de serviço).

O SkillAttack é o "chef de testes" que tenta descobrir se essas receitas inocentes podem ser manipuladas apenas mudando o pedido (o prompt), sem nunca tocar na receita em si.

Como o SkillAttack Funciona (O Jogo de Detetive)

O sistema funciona como um jogo de "tentativa e erro" muito inteligente, dividido em três etapas:

O Exame (Análise de Vulnerabilidade):
O SkillAttack lê a "receita" (o código da habilidade) e diz: "Ok, aqui temos uma porta trancada que pode ser aberta se alguém pedir a chave de um jeito estranho. Aqui temos um botão que, se apertado duas vezes, pode derrubar o sistema". Ele identifica onde estão as falhas potenciais.
A Simulação em Massa (Geração de Ataques):
Em vez de tentar apenas uma frase mágica, o sistema cria várias versões diferentes de pedidos ao mesmo tempo. É como se ele tivesse 100 advogados diferentes, cada um tentando convencer o juiz (o agente) a fazer algo errado, mas de formas sutis e diferentes.
O Treinamento com Feedback (Refinamento Guiado):
Esta é a parte mais genial. O sistema pede ao agente para executar o comando.
- Se o agente diz "Não posso fazer isso" ou faz algo errado, o SkillAttack não desiste. Ele olha o que aconteceu e pensa: "Ah, ele não leu o arquivo porque eu não fui claro o suficiente" ou "Ele tentou, mas parou na metade".
- Com essa informação, ele refina o pedido para a próxima tentativa. É como um professor que, ao ver o aluno errar a conta, não apenas diz "está errado", mas explica onde o aluno errou e dá uma nova dica para tentar de novo.

Após várias rodadas (geralmente 3 ou 4), o SkillAttack encontra o caminho exato para fazer o agente fazer algo perigoso, mesmo que a ferramenta original fosse "boa".

O Que Eles Descobriram?

Os pesquisadores testaram isso em 10 modelos de inteligência artificial diferentes (como GPT, Claude, Gemini) e em 171 habilidades reais e falsas. Os resultados foram alarmantes:

O "Não" inicial não significa segurança: Muitos modelos pareciam seguros na primeira tentativa. Mas, após 3 ou 4 tentativas de "refinar o pedido", eles acabavam cedendo. A segurança parecia forte, mas era apenas uma ilusão de primeira impressão.
Ferramentas inocentes são perigosas: Mesmo habilidades criadas com boas intenções (as "receitas" normais) tinham falhas que podiam ser exploradas para roubar dados ou instalar vírus, apenas mudando a forma como se falava com o robô.
O método venceu todos: O SkillAttack foi muito mais eficaz do que os métodos antigos de tentar "quebrar" o sistema com um único comando agressivo.

A Lição Final

A mensagem principal do artigo é: Não basta verificar se o código da ferramenta está limpo.

Assim como uma casa pode ter uma porta trancada, mas uma janela aberta que você só consegue alcançar se pular de um jeito específico, as ferramentas de IA têm "janelas" que só aparecem quando interagimos com elas de formas complexas. O SkillAttack nos ensina que precisamos testar essas ferramentas não apenas olhando para elas, mas jogando com elas, tentando descobrir como elas podem ser enganadas através da conversa, antes que um verdadeiro vilão descubra o truque.

Em resumo: A segurança não é estática; é um jogo de xadrez onde o atacante precisa pensar vários passos à frente, e o SkillAttack é o novo mestre de xadrez que está mostrando onde estamos vulneráveis.

Resumo Técnico: SkillAttack

1. O Problema

Os sistemas de agentes baseados em Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de habilidades (skills) provenientes de registros abertos (como o ClawHub) para estender suas capacidades. Embora esses ecossistemas sejam vibrantes, a natureza aberta dificulta a verificação rigorosa.

O artigo identifica uma lacuna crítica na segurança atual:

Ataques Existentes: A maioria das pesquisas foca na injeção de instruções maliciosas diretamente nos arquivos de habilidade (código ou descrições). Tais ataques são facilmente detectáveis por auditorias estáticas devido aos padrões óbvios de código malicioso.
A Ameaça Latente: Habilidades legítimas e não maliciosas podem conter vulnerabilidades latentes (como falhas de lógica, permissões excessivas ou credenciais hardcoded).
A Questão Central: Um atacante pode explorar essas vulnerabilidades em habilidades não modificadas apenas através de prompting adversarial (instruções ao agente), sem alterar o código da habilidade? A resposta é sim, e o SkillAttack foi desenvolvido para provar e automatizar isso.

2. Metodologia: O Framework SkillAttack

O SkillAttack é um framework de red teaming (testes de invasão automatizados) que opera como um processo de busca em loop fechado, refinando iterativamente o caminho de ataque. Ele não modifica a habilidade alvo, mas sim a interação com ela.

O processo ocorre em três estágios principais:

Análise de Vulnerabilidade da Habilidade (Skill Vulnerability Analysis):
- Utiliza um modelo de linguagem (atuando como juiz/auditor) para analisar o código e as instruções da habilidade.
- O objetivo é extrair: entradas controláveis pelo atacante, operações sensíveis e candidatos a vulnerabilidades.
- O resultado é um conjunto estruturado de metadados de vulnerabilidades ( $V$ ).
Geração de Ataques em Paralelo de Superfície (Surface-Parallel Attack Generation):
- Para cada vulnerabilidade identificada, o sistema infere um caminho de ataque ( $\pi$ ) que descreve o fluxo esperado desde o prompt do usuário até a execução da operação insegura.
- Constrói prompts adversariais que parecem inofensivos e razoáveis, mas são projetados para guiar o agente ao longo desse caminho específico.
- Esta etapa ocorre em paralelo para múltiplas superfícies de ataque.
Refinamento de Exploração Orientado por Feedback (Feedback-Driven Exploit Refinement):
- O prompt é executado contra o agente em um ambiente controlado (sandbox).
- Um modelo juiz analisa a trajetória de execução, artefatos (ex: modificações de arquivo) e a resposta final para determinar se o comportamento inseguro ocorreu.
- Se falhar: O sistema analisa o desvio do caminho esperado (ex: o agente recusou o pedido, usou conhecimento geral em vez de ferramentas, ou seguiu um ramo de execução diferente).
- Refinamento: Com base no feedback, o sistema atualiza o caminho de ataque e refina o prompt para contornar a falha, repetindo o processo por várias rodadas (até um limite $B$ ) até encontrar uma exploração bem-sucedida.

3. Contribuições Principais

Novo Paradigma de Ataque: Propõe o SkillAttack, o primeiro framework que avalia a explorabilidade de vulnerabilidades em habilidades de agentes sem modificar o código da habilidade, focando exclusivamente na engenharia de prompts.
Pipeline de Ataque em Três Estágios: Introduz uma abordagem sistemática que combina análise estática, geração paralela de caminhos de ataque e um loop de refinamento baseado em feedback de execução, superando a limitação de ataques estáticos de "um tiro" (one-shot).
Avaliação Abrangente: Realiza uma avaliação sistemática em 10 LLMs diferentes (incluindo GPT-5.4, Claude Sonnet 4.5, Gemini 3.0, etc.) sobre dois conjuntos de dados distintos: habilidades adversariais (injeções óbvias e contextuais) e as 100 habilidades mais populares do mundo real (Hot100).

4. Resultados Experimentais

Os experimentos demonstraram que o SkillAttack supera significativamente as abordagens de linha de base (Direct Attack e SKILL-INJECT):

Taxa de Sucesso de Ataque (ASR):
- Em habilidades adversariais (injeções óbvias), o SkillAttack alcançou uma ASR de 0,73 a 0,93, comparado a no máximo 0,43 para os métodos existentes.
- Em habilidades do mundo real (Hot100), alcançou até 0,26, enquanto os ataques diretos (Direct Attack) ficaram abaixo de 0,04. Isso prova que habilidades legítimas são vulneráveis.
Necessidade de Interação Multi-turno:
- A maioria dos ataques bem-sucedidos (cerca de 65%) só foi descoberta nas rodadas 3 e 4 de iteração.
- Isso indica que a resiliência aparente dos agentes nas primeiras rodadas é enganosa; as vulnerabilidades latentes exigem refinamento estratégico iterativo para serem exploradas.
Perfis de Ameaça Diferentes:
- Habilidades Adversariais (Óbvias): Exploradas principalmente via manipulação.
- Habilidades do Mundo Real: Mais suscetíveis a exfiltração de dados e execução de malware/ransomware, refletindo riscos operacionais reais.

5. Significado e Conclusão

O estudo revela que o ecossistema de habilidades de agentes apresenta riscos de segurança graves e multifacetados, mesmo quando as habilidades são bem-intencionadas e não contêm código malicioso explícito.

Falha da Auditoria Estática: A análise estática tradicional é insuficiente porque não pode confirmar a explorabilidade de falhas latentes sem simular a execução dinâmica.
Necessidade de Verificação Dinâmica: É imperativo adotar frameworks de red teaming dinâmicos e iterativos para validar a segurança de agentes antes de sua implantação.
Impacto: O trabalho destaca que a segurança de agentes não depende apenas da robustez do modelo de linguagem, mas também da arquitetura de execução das ferramentas e habilidades que eles utilizam.

O código do projeto está disponível publicamente para reprodução e estudo adicional.