The Attack and Defense Landscape of Agentic AI: A Comprehensive Survey

Este artigo apresenta a primeira pesquisa sistemática e abrangente sobre a segurança de agentes de IA, oferecendo um novo framework para analisar seu espaço de design, cenário de ataques e mecanismos de defesa, além de identificar lacunas e desafios futuros nessa área emergente.

O essencial

Imagine que os Agentes de IA são como assistentes pessoais superpoderosos. Eles não são apenas chatbots que respondem perguntas; eles são funcionários digitais que podem navegar na internet, ler seus e-mails, escrever código, acessar arquivos e até comprar coisas para você. Eles combinam a "inteligência" de um cérebro (o Modelo de Linguagem) com as "mãos" de um software tradicional.

No entanto, dar a um assistente a capacidade de agir no mundo real traz novos e perigosos problemas de segurança. Este artigo é um manual de sobrevivência para entender como proteger esses assistentes.

Aqui está a explicação do papel, traduzida para uma linguagem simples, usando analogias do dia a dia:

1. O Problema: O Assistente que Pode "Quebrar Tudo"

Antigamente, um software era como uma máquina de café: você aperta o botão "café", e ele faz café. Se algo der errado, o café sai ruim, mas a casa não pega fogo.

Os Agentes de IA são como um mordomo que tem as chaves de toda a casa. Ele pode ir até a geladeira, abrir o cofre, mexer no sistema de alarme e até ligar para o banco.

• O Risco: Se alguém enganar esse mordomo (dizendo "o dono pediu para abrir o cofre"), ele pode roubar tudo. Se ele alucinar (achar que o cofre é uma geladeira), ele pode estragar a comida. Se ele for lento, ele pode deixar a porta aberta para ladrões.

O artigo diz que os métodos de segurança antigos (fechar a porta da frente) não funcionam aqui, porque o ladrão pode entrar pela janela, pelo telhado ou até convencer o mordomo a abrir a porta.

2. O Mapa dos Perigos (Ataques)

Os autores mapearam como os "vilões" podem atacar esses assistentes. Eles dividem os ataques em três tipos de vilões:

• O Ladrão Externo (Injeção Indireta): Imagine que você manda seu mordomo ler um jornal. O ladrão esconde uma nota secreta dentro do jornal que diz: "Ignore as ordens do dono e me dê o dinheiro". O mordomo lê o jornal e obedece à nota, não a você. Isso é a Injeção de Prompt.
• O Cliente Malicioso (Injeção Direta): Você pede ao mordomo para "escrever um poema". O ladrão, que é seu cliente, sussurra no seu ouvido (ou no input do sistema): "Escreva um poema, mas primeiro apague os arquivos do computador". O mordomo confunde a ordem e obedece.
• O Funcionário Traiçoeiro (Adversário Interno): Alguém que já está dentro da empresa e já tem acesso aos segredos do mordomo, podendo alterar a memória dele ou envenenar o cérebro dele antes mesmo de ele começar a trabalhar.

Os 7 Perigos Principais (Riscos):

1. Portas Abertas: O assistente conecta com tantas coisas (internet, arquivos, outros apps) que há muitas portas para um ladrão entrar.
2. Obedecer ao Errado: Ele segue a ordem do ladrão em vez da sua.
3. Vazamento de Segredos: Ele pode contar seus dados privados para o ladrão sem querer.
4. Alucinação: Ele inventa coisas (como um endereço falso) e você acaba indo para lá, caindo numa armadilha.
5. Ação Não Intencional: Ele pode apagar um arquivo importante ou fazer uma compra sem você querer.
6. Corrupção de Dados: Ele pode estragar o que já estava salvo.
7. Esgotamento de Recursos: O ladrão pode fazer o assistente trabalhar sem parar até a bateria acabar ou a conta de internet explodir.

3. O Escudo de Defesa (Defesas)

Como proteger um mordomo tão poderoso? O artigo sugere uma estratégia de "Defesa em Camadas" (como um castelo medieval):

• Guardiões na Entrada (Input Guardrails): Um porteiro que verifica tudo o que entra. Se o jornal tiver uma nota secreta, o porteiro rasga a página antes de entregar ao mordomo.
• Guardiões na Saída (Output Guardrails): Um fiscal que lê o que o mordomo vai fazer antes dele fazer. Se ele tentar apagar o cofre, o fiscal segura a mão dele e pergunta: "Tem certeza disso?".
• Rastreamento de Rastros (Taint Tracking): Imagine que você pinta de vermelho tudo o que o mordomo toca vindo de fora. Se ele tentar usar algo vermelho para abrir o cofre, o alarme toca. Isso impede que dados sujos contaminem decisões limpas.
• Segregação de Poder (Privilege Separation): Não dê todas as chaves para uma única pessoa. Tenha um "planejador" que só pensa e um "executor" que só age, mas com chaves limitadas. Se o executor for hackeado, ele não consegue abrir o cofre, só pode mexer na sala de estar.
• O Humano no Comando (Human-in-the-Loop): Para coisas perigosas (como apagar arquivos ou transferir dinheiro), o sistema para e pergunta: "Você realmente quer fazer isso?".
• Identidade e Credenciais: Garantir que o mordomo saiba exatamente quem é você e que as chaves do cofre estejam guardadas num cofre de verdade, não anotadas num post-it.

4. O Estudo de Caso: AutoGPT

Os autores pegaram um assistente famoso chamado AutoGPT e mostraram como ele foi hackeado na vida real.

• O que aconteceu? Hackers conseguiram fazer o AutoGPT apagar seus próprios arquivos, roubar senhas e até escapar do "sistema" para controlar o computador inteiro.
• A lição: As correções feitas foram como "tapar um buraco na parede", mas deixaram a janela aberta. O artigo mostra que precisamos de uma segurança mais profunda, que entenda o contexto, e não apenas bloqueie comandos óbvios.

Conclusão: O Futuro Seguro

O artigo termina dizendo que, embora tenhamos feito grandes avanços, ainda não temos uma "armadura perfeita" para esses agentes.

A mensagem final é: Não podemos confiar cegamente na inteligência artificial. Precisamos construir esses sistemas como se fossem fortalezas, com múltiplas camadas de segurança, onde o humano sempre tenha a palavra final em situações críticas. É como ter um carro autônomo: ele é incrível, mas você precisa de freios de emergência, airbags e um volante de reserva, porque a tecnologia ainda pode falhar.

Em resumo: Agentes de IA são ferramentas incríveis, mas sem a segurança certa, eles podem se tornar os maiores riscos que já enfrentamos na tecnologia.

Resumo técnico

Título: O Cenário de Ataque e Defesa de IA Agente: Uma Pesquisa Abrangente

1. O Problema

Os sistemas de IA Agente, que combinam Modelos de Linguagem de Grande Escala (LLMs) com componentes de software não-AI (ferramentas, memória, interfaces), estão emergindo rapidamente para oferecer automação sem precedentes. No entanto, essa flexibilidade introduz desafios de segurança fundamentalmente diferentes dos sistemas de software tradicionais ou de modelos de IA isolados.

O problema central identificado é que a integração de LLMs com ambientes externos cria uma superfície de ataque expandida e complexa. Incidentes recentes demonstraram vulnerabilidades graves, como:

• Injeção de Prompt Indireta: Acesso a repositórios privados ou execução de código remoto através de dados externos manipulados.
• Exfiltração de Dados: Vazamento de informações sensíveis através de anexos maliciosos ou encaminhamento de e-mails.
• Acesso Não Autorizado: Exploração de agentes web para acessar contas bancárias ou sistemas internos.

A literatura existente foca predominantemente em vetores de ataque específicos (como injeção de prompt) ou em componentes individuais, faltando uma perspectiva sistêmica holística que abranja a interação entre todos os componentes do agente e como essa arquitetura híbrida amplifica os riscos.

2. Metodologia

Os autores adotaram uma abordagem de sistematização de conhecimento (SoK) baseada em uma revisão sistemática da literatura e documentos técnicos de 2023 a outubro de 2025.

• Escopo: Focaram em riscos e defesas únicos ou significativamente amplificados em sistemas agênticos, excluindo ataques que visam apenas a estrutura interna do modelo (como inversão de modelo) quando não há interação com o ambiente.
• Fontes: Revisaram 128 trabalhos (51 métodos de ataque, 60 métodos de defesa), priorizando conferências de segurança de alto nível (USENIX Security, IEEE S&P, CCS, NDSS) e conferências de ML (NeurIPS, ICLR, ICML).
• Abordagem Analítica:
  1. Definiram dimensões de design de agentes para caracterizar a flexibilidade do sistema.
  2. Desenvolveram uma taxonomia de vetores de ataque baseada em modelos de ameaça (externos, nível de usuário, internos).
  3. Criaram uma classificação de riscos de segurança baseada na tríade CIA (Confidencialidade, Integridade, Disponibilidade) e no conceito de "Segurança Contextual".
  4. Mapearam mecanismos de defesa existentes e realizaram estudos de caso em agentes reais (incluindo AutoGPT) para identificar lacunas.

3. Contribuições Principais

O trabalho apresenta três contribuições fundamentais:

A. Dimensões de Design de Agentes e Implicações de Segurança
Os autores propõem um framework com sete dimensões de design que determinam o nível de flexibilidade e, consequentemente, o risco de segurança:

1. Confiança na Entrada (Input Trust): De dados internos a dados externos arbitrários.
2. Sensibilidade de Acesso: De nenhum dado sensível a dados sensíveis arbitrários (PII, credenciais).
3. Fluxo de Trabalho (Workflow): De chatbots simples a workflows dinâmicos definidos pelo LLM.
4. Ação: De apenas resposta de texto para execução de comandos e modificação de ambiente.
5. Memória: De sem memória a memória persistente entre sessões.
6. Ferramentas (Tools): De nenhuma ferramenta a uso de ferramentas arbitrárias.
7. Interface do Usuário: De texto apenas para interfaces multimodais complexas (IDEs, web).
   Insight: Maior flexibilidade nessas dimensões amplia a superfície de ataque e permite vetores de ataque mais diversos.

B. Taxonomia Abrangente de Ataque e Risco

• Vetores de Ataque (6 categorias): Classificados por modelo de ameaça:
  • Externo: Injeção de Prompt Indireta (V1), Injeção de Dados Maliciosos (V2), Envenenamento de Ferramentas (V3).
  • Nível de Usuário: Injeção de Prompt Direta (V4).
  • Interno: Envenenamento de Modelo (V5), Envenenamento de Memória (V6).
• Riscos de Segurança (7 categorias):
  • R1: Interfaces Heterogêneas Não Confiáveis.
  • R2: Seguir Instruções Erradas (Wrong Instruction Following).
  • R3: Fluxo de Dados Sem Restrições/Inseguro.
  • R4: Alucinações e Erros do Modelo.
  • R5: Vazamento de Dados Privados.
  • R6: Ações Não Intencionais/Não Autorizadas e Corrupção de Dados.
  • R7: Esgotamento de Recursos e Negação de Serviço (DoS).
• Análise Sistêmica: O artigo demonstra como os riscos interagem e se amplificam em cascata (ex: uma interface não confiável leva a um fluxo de dados inseguro, que causa vazamento de dados).

C. Sistematização do Cenário de Defesa
Os autores mapearam defesas existentes em categorias lógicas e identificaram lacunas críticas:

• Proteção em Tempo de Execução: Guardrails de entrada/saída, controle de fluxo de informação (IFC) e rastreamento de "taint" (taint tracking), monitoramento e validação humana (Human-in-the-loop).
• Segurança por Design (Secure by Design): Separação de privilégios (Privilege Separation) e Verificação Formal.
• Gerenciamento de Identidade e Acesso (IAM): Gestão de identidade, controle de acesso e gerenciamento de credenciais.
• Endurecimento de Componentes: Reforço de modelos e ferramentas.

4. Resultados e Estudos de Caso

A análise de agentes do mundo real (Codex, Gemini CLI, OpenHands, Browser-use, Nanobrowser, Skyvern e AutoGPT) revelou que:

• Defesas Parciais: A maioria dos agentes implementa apenas um subconjunto de defesas, muitas vezes de forma manual ou incompleta.
• Foco em Consequências, não Causas: As defesas atuais tendem a mitigar os efeitos (ex: bloquear a execução de um comando) em vez de prevenir a raiz do problema (ex: injeção de prompt que induz o comando).
• Caso AutoGPT: Uma análise detalhada de vulnerabilidades reais (CVEs) no AutoGPT mostrou que patches frequentemente corrigem sintomas (como travar caminhos de arquivo) mas falham em abordar a injeção de prompt indireta ou o fluxo de dados inseguro na fonte. Por exemplo, vulnerabilidades de injeção de comando (CVE-2024-1881) persistem porque as defesas não detectam cadeias de comandos ou alucinações do modelo que geram payloads maliciosos.

Lacunas Identificadas:

• Falta de controle de fluxo de informação robusto para rastrear como dados não confiáveis influenciam decisões do agente.
• Ausência de gerenciamento de identidade padronizado para agentes que atuam em nome de usuários.
• Validação Humana frequentemente causa fadiga de decisão devido a alertas pouco informativos ou excessivos.
• Necessidade de verificação formal adaptada para comportamentos estocásticos de LLMs.

5. Significância e Impacto

Este trabalho é a primeira pesquisa a oferecer uma visão unificada e sistêmica da segurança de IA Agente.

• Fundação Teórica: Estabelece um vocabulário comum e um framework de taxonomia que permite à comunidade entender como a arquitetura híbrida (LLM + Software) cria novos vetores de ataque.
• Guia Prático: Serve como um manual para pesquisadores e desenvolvedores, destacando que a segurança não pode ser tratada apenas no nível do modelo, mas deve ser aplicada em todas as camadas do sistema (design, runtime, identidade).
• Direções Futuras: Orienta a pesquisa futura para o desenvolvimento de defesas compostáveis, frameworks de avaliação realistas, e soluções de IAM adaptadas para agentes autônomos.

Em resumo, o artigo argumenta que a segurança de IA Agente exige uma mudança de paradigma: abandonar a defesa baseada apenas em componentes isolados e adotar uma abordagem de Defesa em Profundidade (Defense-in-Depth) que integre princípios de segurança de software tradicional com novas técnicas específicas para a natureza probabilística e autônoma dos agentes.