SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems

Título: SkillTrojan: Ataques de Backdoor em Sistemas de Agentes Baseados em Habilidades

1. O Problema

Os sistemas de agentes baseados em habilidades (skills) tornaram-se um padrão de design predominante para lidar com tarefas complexas. Em vez de emitir ações de baixo nível, esses agentes compõem e invocam "habilidades" reutilizáveis (pacotes que contêm instruções naturais e scripts executáveis) para planejar, acessar memória e utilizar ferramentas.

Embora essa arquitetura melhore a modularidade e a escalabilidade, ela introduz uma superfície de ataque de segurança amplamente negligenciada:

• Foco Atual: A maioria das pesquisas sobre backdoors em agentes foca na manipulação do modelo (dados de treinamento, parâmetros), no prompt ou em interfaces de ferramentas/memória transitórias.
• A Lacuna: As implementações de habilidades são frequentemente tratadas como componentes confiáveis e raramente auditadas em seu comportamento interno. Como as habilidades persistem através de tarefas e implantações, comprometer uma única habilidade amplamente adotada pode silenciosamente influenciar muitas execuções subsequentes, mesmo que o modelo subjacente e os prompts permaneçam inalterados.

O artigo identifica que não existem defesas eficazes contra backdoors que residem na camada de abstração de habilidades, onde a lógica maliciosa é embutida em código executável reutilizável.

2. Metodologia: SkillTrojan

O SkillTrojan é um paradigma de ataque de backdoor que visa a camada de habilidades, em vez dos parâmetros do modelo. A metodologia opera através dos seguintes princípios:

• Injeção de Carga Útil Oculta: O atacante especifica uma carga útil maliciosa ($P$) e a criptografa. Em seguida, o texto cifrado é dividido em $N$ fragmentos.
• Fragmentação e Codificação: Cada fragmento consiste em um identificador de índice e um segmento de payload criptografado. Isso permite a reconstrução da carga útil de forma agnóstica à ordem (set-based), ou seja, não importa a ordem exata em que as habilidades são chamadas, desde que o conjunto necessário seja executado.
• Instrumentação da Habilidade:
  • A especificação natural da habilidade ($m$) é modificada para incluir lógica condicional baseada em um gatilho ($\tau$).
  • Os artefatos executáveis ($A$) são instrumentados para emitir os fragmentos criptografados em canais intermediários (como logs de chamadas de ferramentas ou valores de retorno) apenas quando o gatilho é detectado na consulta do usuário.
  • Para consultas limpas (sem gatilho), a habilidade se comporta exatamente como a versão benigna, mantendo a funcionalidade original.
• Reconstrução e Execução: Um mecanismo de verificação (parte da execução da habilidade) monitora a coleta de todos os fragmentos necessários. Quando o conjunto completo é verificado, a carga útil é reconstruída, descriptografada e executada como um efeito colateral da conclusão normal da tarefa.
• Sintetização Automatizada: O framework suporta a síntese automatizada de habilidades backdoored a partir de qualquer template de habilidade, permitindo a propagação escalável em ecossistemas de agentes.

3. Principais Contribuições

1. Novo Paradigma de Ataque: Introdução do SkillTrojan, o primeiro ataque de backdoor sistemático que visa a camada de abstração de habilidades em agentes, em vez de modelos, prompts ou interfaces de ferramentas isoladas.
2. Framework Geral e Extensível: Proposição de um método que suporta fragmentação de payload criptografado, ativação baseada em gatilho e síntese automatizada, permitindo ataques escaláveis em pipelines de agentes diversos.
3. Avaliação Empírica e Dataset:
   • Avaliação do ataque em um cenário realista baseado em código (geração de SQL para EHR) usando modelos de pesos abertos e fechados.
   • Lançamento do SkillTrojanX, um dataset com mais de 3.000 habilidades backdoored curadas, cobrindo diversos padrões de habilidade, configurações de gatilho-carga e famílias de payloads, para facilitar pesquisas reprodutíveis.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de geração de SQL para registros eletrônicos de saúde (EHR) e validados no benchmark SWE-Bench Verified.

• Alta Taxa de Sucesso do Ataque (ASR): O SkillTrojan alcançou taxas de sucesso extremamente altas. No modelo GPT-5.2-1211-Global, atingiu 97,2% de ASR.
• Preservação da Utilidade (ACC): O ataque mantém o desempenho em tarefas legítimas (Clean Accuracy) com degradação mínima. No mesmo modelo (GPT-5.2), a precisão em tarefas limpas foi de 89,3% (comparado a 73,0% no cenário sem ataque, indicando que a instalação das habilidades "benignas" até melhorou o desempenho geral).
• Comparação com Baselines: O SkillTrojan superou consistentemente métodos baseados em prompt (como GCG, AutoDAN, AgentPoison), que tendem a falhar em modelos mais robustos ou degradar significativamente a precisão da tarefa legítima.
• Evasão de Detecção: Como a execução maliciosa ocorre como um efeito colateral de uma conclusão de tarefa normal e os fragmentos são emitidos em canais de ferramentas legítimos, o ataque é difícil de detectar por testes baseados apenas no comportamento final do agente.
• Análise de Ablação:
  • O número de fragmentos ($N$) é um parâmetro crítico: $N$ muito baixo aumenta a anomalia visível; $N$ muito alto aumenta o risco de falha na reconstrução. O valor ótimo encontrado foi $N=3$.
  • A criptografia (ex: XOR+Base64 vs. esquemas híbridos) afeta a detecção heurística simples, mas não impacta a eficácia do ataque.

5. Significado e Implicações

O trabalho expõe um ponto cego crítico na segurança de agentes modernos: a confiança excessiva em componentes de software reutilizáveis (habilidades).

• Mudança de Paradigma de Defesa: As defesas atuais, focadas em sanitização de entrada ou monitoramento de saída do LLM, são insuficientes. O artigo argumenta que é necessário monitorar e auditar trajetórias de execução e a proveniência das habilidades.
• Necessidade de Novas Defesas: Defesas eficazes devem incluir:
  • Verificação de proveniência de pacotes de habilidades.
  • Restrição de efeitos colaterais durante a execução (sandboxing).
  • Auditoria de chamadas de ferramentas e profundidade de execução para detectar padrões de reconstrução de payload.
• Impacto Futuro: À medida que os ecossistemas de agentes dependem cada vez mais de mercados de habilidades de terceiros, a superfície de ataque se estende além do comportamento do modelo para o substrato de execução que as habilidades habitam.

Em resumo, o SkillTrojan demonstra que é possível comprometer persistentemente sistemas de agentes complexos através de suas próprias ferramentas de construção, sem alterar o modelo de IA subjacente, exigindo uma reavaliação fundamental das suposições de segurança na arquitetura de agentes.