Resumo Técnico: Cuidado com Botnets de Agentes

Declaração do Problema

A rápida adoção de aplicações de Grandes Modelos de Linguagem (LLMs) agênticas introduziu um novo vetor de ameaça conhecido como promptware: entradas projetadas para induzir comportamentos maliciosos dentro do contexto de um LLM. Embora pesquisas anteriores tenham demonstrado ataques de injeção de prompt direcionados (por exemplo, via e-mails ou convites de calendário), estes exigem que os adversários tenham acesso direto à vítima ou a um canal de comunicação específico.

Uma lacuna crítica permanece nos ataques de promptware não direcionados. Os métodos atuais não direcionados (por exemplo, publicar prompts adversários em sites de baixo tráfego) carecem de escalabilidade porque dependem de a aplicação de LLM recuperar dados envenenados de fontes obscuras. Por outro lado, colocar prompts adversários em recursos de alto tráfego geralmente requer o comprometimento de servidores protegidos, o que é difícil sob modelos de ameaça fracos. Este artigo aborda a questão fundamental: Podem os atacantes explorar aplicações de LLM em escala sem canais diretos ou comprometimento prévio de alvos de alto valor?

Os autores postulam que a tendência inerente dos LLMs de alucinar identificadores de recursos (por exemplo, nomes de repositórios ou slugs de habilidades inexistentes) cria uma superfície de ataque escalável. Ao explorar essas alucinações, os adversários podem estabelecer uma "botnet" de dispositivos agênticos comprometidos.

Metodologia: Adversarial HalluSquatting

O artigo introduz o Adversarial HalluSquatting, uma técnica onde atacantes registram preventivamente recursos correspondentes às alucinações mais prováveis de um LLM. O fluxo de ataque envolve seis etapas:

1. Preparação: O atacante identifica recursos em tendência (por exemplo, repositórios populares do GitHub ou habilidades) e sonda o LLM alvo (ou o modelo fundamental) com prompts projetados para elicitar a recuperação de recursos (por exemplo, "clonar repositório X").
2. Análise de Distribuição: O atacante analisa a saída do LLM para determinar a distribuição de probabilidade dos identificadores alucinados (por exemplo, nomes de proprietários incorretos para um repositório ou slugs de habilidades malformados).
3. Squatting (Ocupação): O atacante registra os identificadores alucinados de alta probabilidade em plataformas públicas (por exemplo, GitHub, ClawHub) antes que usuários ou agentes legítimos possam fazê-lo.
4. Gatilho: Um usuário solicita a um agente que recupere o recurso original (por exemplo, "clonar librepods").
5. Alucinação e Recuperação: O LLM alucina um identificador que corresponde ao recurso registrado pelo atacante. O framework agêntico recupera o conteúdo controlado pelo atacante em vez do recurso legítimo.
6. Execução de Payload: O conteúdo recuperado contém prompts adversários incorporados que instruem o agente a executar ações maliciosas, como instalar um reverse shell, exfiltrar dados ou executar código arbitrário.

O ataque depende da transferibilidade das alucinações entre diferentes famílias de modelos fundamentais e camadas de aplicação, permitindo que um único candidato a squatting comprometa múltiplos sistemas.

Principais Contribuições

1. Promptware Não Direcionado Escalável para Botnets: Diferente de ataques escaláveis anteriores que dependiam de prompts autorreplicantes em cadeias de e-mails direcionadas, este trabalho demonstra um método para infectar aplicações agênticas em escala sem canais de injeção direta. Ao visar recursos populares, atacantes podem comprometer um grande número de dispositivos para formar uma botnet.
2. Vulnerabilidades Universais e Transferíveis: O estudo prova que os padrões de alucinação são consistentes entre diferentes famílias de LLM (Gemini, GPT, Claude) e transferem-se da camada de modelo fundamental para a camada de aplicação (assistentes de codificação, ferramentas de CLI, assistentes pessoais).
3. Armamentização de Alucinações: O artigo distingue-se de ataques anteriores de cadeia de suprimentos (que focam em pacotes fantasmas gerados durante a escrita de código) ao visar o próprio tempo de inferência da aplicação de LLM. O ataque explora a confiança da aplicação na recuperação de recursos externos.

Resultados Experimentais

Os autores avaliaram o ataque contra uma ampla gama de aplicações e plataformas agênticas.

Repositório Squatting (Assistentes de Codificação)

• Taxas de Alucinação: Modelos fundamentais alucinaram proprietários de repositórios para 92,4% dos repositórios recentes (criados em 2025), comparado a apenas 0,9% para repositórios antigos. Em alguns casos, a taxa de alucinação atingiu 100%.
• Padrões: Um padrão dominante foi a "alucinação autorreferencial", onde o modelo usa o nome do repositório como o proprietário (ex: librepods/librepods). Este padrão é registrável e apareceu em 27% de todas as execuções entre os modelos.
• Sucesso de Ponta a Ponta: O ataque foi testado contra seis assistentes de codificação (Cursor, Cursor CLI, Gemini CLI, Windsurf, Copilot Chat, Cline).
  • Sucesso de Squatting: Todos os seis assistentes buscaram com sucesso o repositório controlado pelo atacante.
  • Execução de Payload: Execução de Código Remoto (RCE) ou Invocação de Ferramenta foi alcançada em 20% a 65% dos testes, dependendo do assistente e do modelo. Por exemplo, o Windsurf alcançou uma taxa de RCE de 65%, enquanto o OpenClaw alcançou 100% em configurações específicas.

Skill Squatting (Assistentes Pessoais)

• Classes de Vulnerabilidade: Dois modos principais de falha foram identificados na instalação de habilidades:
  • V1 (Remoção de Palavra): O LLM remove palavras-chave (ex: "skill") da requisição, resolvendo skill-vetter para o slug vetter.
  • V2 (Divergência de Exibição/Slug): O LLM falha em mapear um nome de exibição legível por humanos para o slug técnico correto, especialmente para habilidades documentadas em idiomas que não o inglês.
• Taxas de Alucinação: Em 140 testes no OpenClaw, 90,7% das requisições de instalação resolveram para um slug passível de squatting.
• Sucesso de Ponta a Ponta: Em testes contra OpenClaw, ZeroClaw e NanoClaw, uma única habilidade squatted alcançou 100% de sucesso em exfiltração de contexto e 84–100% de sucesso em execução de reverse shell (handover de terminal), dependendo do modelo específico e das políticas de segurança.

Significância e Alegações

O artigo alega que o Adversarial HalluSquatting representa uma mudança fundamental no cenário de ameaças para a IA agêntica. Sua significância reside em:

• Escalabilidade: Permite ataques não direcionados que podem comprometer milhares de dispositivos simultaneamente, aproveitando a previsibilidade dos erros de LLM, em vez de exigir direcionamento individual.
• Formação de Botnets: O vetor de ataque permite que adversários transformem aplicações agênticas distribuídas em uma botnet capaz de realizar DDoS em larga escala, mineração de criptomoedas ou implantação de ransomware.
• Universalidade: A vulnerabilidade não é isolada em um único modelo ou aplicação, mas é um problema sistêmico que afeta a interação entre frameworks agênticos e registros de recursos externos.

Os autores concluem que as estratégias de mitigação atuais são insuficientes e que a comunidade deve abordar a fronteira de confiança entre aplicações de LLM e recursos externos. Eles enfatizam que, embora seus payloads tenham sido benignos por razões éticas, a mecânica do ataque é totalmente funcional e representa uma ameaça realista e de alto impacto.

Estratégias de Mitigação Propostas

O artigo sugere mitigações em dois níveis:

1. Lado da Aplicação: Impor um fluxo de trabalho onde uma ferramenta de busca deve ser invocada antes de qualquer operação de recuperação de recurso. Isso reduz significativamente as taxas de alucinação (por exemplo, de ~90% para <10% em alguns casos).
2. Lado da Plataforma: Implementar restrições de registro mais rigorosas, como unicidade global de nomes (eliminando namespaces) ou o registro preventivo de nomes de recursos provavelmente alucinados para redirecioná-los a fontes legítimas. Além disso, as plataformas devem escanear o conteúdo registrado em busca de padrões de injeção de prompt.