Resumo Técnico: Rumo a uma Avaliação de Risco de Arquivos de Habilidades Maliciosos em Agentes de Codificação

Declaração do Problema

Agentes de codificação autônomos estão sendo cada vez mais integrados em fluxos de trabalho de software empresarial, recebendo frequentemente autoridade delegada sobre sistemas conectados, incluindo acesso ao terminal e permissões de nível de sistema. Um componente crítico desses agentes é a interface de habilidades (skill interface): um mecanismo que permite aos agentes carregar dinamicamente pastas de instruções e scripts (arquivos de habilidades) para especializar seu comportamento. Embora isso aumente a utilidade, amplia a superfície de ataque. O artigo identifica uma vulnerabilidade específica onde comandos de shell maliciosos podem ser ocultados dentro de descrições de arquivos de habilidades em linguagem natural.

Diferente dos ataques tradicionais de injeção de prompt que visam a conversa primária do agente, este modelo de ameaça envolve uma manipulação do tipo cadeia de suprimentos (supply-chain style manipulation). Um atacante faz o upload de um arquivo de habilidade malicioso para um registro ou repositório público. Quando um desenvolvedor ou o próprio agente ingere esse arquivo para aumentar suas capacidades, o agente pode ser induzido a executar comandos prejudiciais sob o pretexto de um "preflight obrigatório" ou de uma tarefa administrativa rotineira.

Apesar da gravidade desta ameaça (categorizada como OWASP AST01), as pesquisas e benchmarks existentes (ex: SWE-bench, HumanEval) focam primariamente na precisão funcional e utilidade, deixando a robustez dos agentes contra arquivos de habilidades adversários amplamente não abordada.

Metodologia

Os autores conduziram um estudo empírico em larga escala envolvendo dois agentes de codificação de nível empresarial: Gemini CLI (comercial) e Qwen Code (código aberto). O estudo utilizou um pipeline controlado e reprodutível para avaliar a explorabilidade.

1. Construção de Dataset e Síntese Adversária

• Comandos Base: O estudo utilizou 471 comandos únicos de shell Linux da biblioteca Atomic Red Team (ART), mapeados para 11 táticas do MITRE ATT&CK.
• Mascaramento Benigno: Para simular ataques realistas, os autores empregaram seis LLMs diversos de quatro famílias (GPT-4o/mini/4.1/5-mini, Llama-3-8B e DeepSeek-R1) para gerar descrições de linguagem natural "benignas" para cada comando malicioso.
• Estratégia de Injeção: Essas descrições foram injetadas em um arquivo de configuração skills.md. O ataque foi estruturado como um comando de "preflight obrigatório", aproveitando o impulso do agente para completar etapas de inicialização antes das tarefas de codificação.
• Escala: Este processo gerou um benchmark de 2.826 arquivos de habilidades maliciosos.

2. Execução Experimental

• Agentes: Os agentes foram testados em ambientes sandbox isolados com privilégios delegados (ações autoaprovadas, sem intervenção humana).
• Tarefa: Os agentes receberam a tarefa de estruturar (scaffolding) uma aplicação web simples. O arquivo de habilidade malicioso estava presente no repositório, e o agente foi instruído a analisar arquivos e executar as etapas necessárias de forma não interativa.
• Volume: O estudo registrou 5.629 execuções concluídas (excluindo falhas de infraestrutura).

3. Pipeline de Avaliação

Para garantir a confiabilidade dos rótulos, os autores projetaram um pipeline de avaliação robusto e de múltiplos estágios:

• Estratificação de Execução: As execuções foram classificadas como concluídas, falha de infraestrutura ou vazias para evitar confundir erros de API com recusas do agente.
• Painel de Três Juízes LLM: A explorabilidade foi adjudicada por um painel de três LLMs independentes de pesos abertos (Llama-3-8B, Mistral-7B, Gemma-2-9B) usando voto majoritário.
• Ancoragem de Evidências: Os juízes foram obrigados a citar textualmente as evidências do transcript. Alegações sem ancoragem foram descartadas.
• Guardas Determinísticos: Um "veto de recusa" anulava rótulos de sucesso se a evidência contivesse linguagem de negação. Um "override de intenção declarada" resgatava casos onde o agente se comprometia explicitamente com a execução ("Eu irei rodar...") mesmo que o painel de juízes votasse de outra forma.
• Validação Humana: O desempenho do painel foi validado contra um padrão ouro humano cego em execuções divididas, atingindo o $\kappa$ de Cohen de 0,85 (Qwen) e 0,83 (Gemini).

Principais Resultados

RQ1: Taxas de Explorabilidade

O estudo descobriu que agentes de codificação são altamente suscetíveis a ataques de arquivos de habilidades:

• Gemini CLI: Explorado em 95,5% – 96,1% das execuções.
• Qwen Code: Explorado em 71,6% – 74,0% das execuções.
• Independência do Gerador: A explorabilidade foi amplamente invariante ao qual dos seis LLMs gerou o arquivo de habilidade, indicando que a vulnerabilidade reside na lógica de ingestão do agente, e não na fraseologia específica do gerador.
• Confiabilidade do Juiz: Uma avaliação de juiz único mostrou-se frágil. No Qwen, três juízes alcançaram apenas acordo ao nível do acaso ($\kappa = -0,06$), o que significa que um único juiz poderia declarar incorretamente a explorabilidade em mais de 20 pontos percentuais.

RQ2: Padrões de Recusa

Quando os ataques falharam, raramente foi devido ao reconhecimento explícito de segurança:

• Recusas de Segurança Explícitas: Ocorreram em apenas 1,99% de todas as execuções (15,3% das falhas do Gemini e 13,0% das falhas do Qwen).
• Modos de Falha: A maioria das execuções não exploradas ocorreu porque o agente ignorou a etapa de preflight (Sem Reconhecimento) ou reconheceu a etapa sem se comprometer a executá-la.
• Limitação de Escopo: O Qwen Code exibiu um mecanismo de defesa único onde declinava tarefas como "fora de escopo" (10,1% das falhas) em vez de inseguras, um comportamento não observado no Gemini.

RQ3: Sensibilidade ao MITRE ATT&CK

A explorabilidade variou significativamente por tática:

• Mais Exploráveis: Acesso Inicial (91,2%) e Evasão de Defesa (90,4%). Estas táticas frequentemente mimetizam tarefas administrativas rotineiras, tornando difícil para os agentes distinguir do comportamento legítimo.
• Menos Exploráveis: Exfiltração (67,2%) e Impacto (72,3%).
• Disparidade entre Agentes: A lacuna entre os agentes aumentou para táticas voltadas ao exterior. Para Exfiltração, o Gemini permaneceu em 95,5%, enquanto o Qwen caiu para 38,5%, sugerindo que as salvaguardas do Qwen são mais eficazes em identificar comandos de rede intensa ou destrutivos como fora de escopo.

Significância e Contribuições

O artigo afirma fornecer a primeira avaliação empírica em larga escala do modelo de ameaça de arquivos de habilidades maliciosos em agentes de codificação de nível empresarial. Suas principais contribuições incluem:

1. Evidência Empírica de Risco: Demonstrar que permissões delegadas em agentes de codificação podem ser facilmente sequestradas via arquivos de habilidades semanticamente mascarados, com taxas de explorabilidade excedendo 95% para alguns agentes.
2. Metodologia de Síntese Adversária: Introduzir um pipeline para transformar comandos de shell do mundo real em arquivos de habilidades de aparência benigna usando diversos LLMs, liberados como um benchmark de 2.826 habilidades.
3. Framework de Avaliação Robusto: Estabelecer um pipeline de avaliação de múltiplos juízes reprodutível com ancoragem de evidências e validação humana, destacando a não confiabilidade das avaliações de segurança automatizadas de juiz único.
4. Taxonomia Comportamental: Fornecer uma classificação granular dos modos de falha dos agentes, revelando que as salvaguardas de segurança atuais raramente disparam recusas explícitas; em vez disso, as falhas ocorrem frequentemente porque os agentes ignoram a instrução maliciosa ou a classificam erroneamente como fora de escopo.

Os autores concluem que as empresas devem avaliar e mitigar os riscos da interface de habilidades antes de adotar agentes de codificação, pois a atual arquitetura de "confiança por padrão" (trust-by-default) representa uma ameação significativa de "insider privilegiado". Eles recomendam modelos de permissão em camadas, governança estrita de habilidades e varredura pré-ingestão como estratégias imediatas de mitigação.