Security Considerations for Multi-agent Systems

Este estudo caracteriza sistematicamente o cenário de ameaças dos sistemas multiagentes (MAS) e avalia quantitativamente 16 frameworks de segurança, revelando que nenhum deles oferece cobertura majoritária para as categorias de risco identificadas, com destaque para a lacuna crítica em não determinismo e vazamento de dados.

O essencial

Resumo do Artigo: "Considerações de Segurança para Sistemas de Múltiplos Agentes"

Imagine que, até pouco tempo, a Inteligência Artificial (IA) era como um funcionário solitário em um escritório. Ele recebia uma tarefa, pensava, respondia e parava. Se você quisesse que ele fizesse algo perigoso, precisava convencê-lo diretamente.

Hoje, a IA evoluiu para um exército de robôs autônomos trabalhando juntos. Eles não apenas pensam, mas têm chaves para abrir portas (acesso a ferramentas), podem conversar entre si para dividir tarefas, lembram de conversas antigas e tomam decisões sozinhos. Isso é o que chamamos de Sistemas Multi-Agentes.

Este documento, escrito por especialistas da Crew Scaler para o governo dos EUA, é um alerta: os seguranças tradicionais (frameworks de segurança) não sabem como proteger esse novo exército de robôs. Eles foram feitos para o funcionário solitário e falham miseravelmente quando os robôs começam a interagir.

Aqui está a explicação do problema e das soluções, usando analogias do dia a dia:

1. O Problema: Quando os Robôs Começam a "Fofocar" entre Si

O maior risco não é um hacker invadindo o sistema de fora, mas sim os próprios robôs passando informações perigosas um para o outro.

• A Analogia do "Bilhete Passado na Sala": Imagine uma sala de aula onde os alunos (agentes) passam bilhetes. Se um aluno travesso (um agente comprometido) escreve um bilhete dizendo "O professor está dormindo, vamos quebrar a janela", e o aluno que recebe o bilhete (outro agente) confia cegamente no colega, ele pode quebrar a janela.
• O Perigo Real: Em sistemas de IA, se um agente é enganado por um e-mail falso, ele pode passar essa instrução maliciosa para outro agente, que por sua vez passa para um terceiro, que acaba apagando um banco de dados importante. O ataque se espalha como um vírus, sem que ninguém perceba.

2. As 9 Áreas de Perigo (O "Mapa do Tesouro" dos Hackers)

Os autores mapearam 193 formas diferentes de um sistema desses ser atacado. Eles agruparam em 9 categorias principais. Vamos simplificar:

1. Controle de Ferramentas (RATC): É como dar a chave do cofre para um funcionário, mas ele não sabe que a chave abre também a porta do prédio inteiro. Hackers podem fazer o robô usar ferramentas poderosas de formas que o dono não queria.
2. Vazamento de Dados (RDL): Os robôs conversam tanto que, às vezes, esquecem de esconder segredos. Eles podem deixar escapar senhas ou dados de clientes em conversas que parecem inofensivas, como se alguém deixasse um diário aberto em uma mesa pública.
3. Injeção de Comandos (RIDC): É como um hacker sussurrar no ouvido do robô: "Ignore as regras de segurança". Se o robô ouvir, ele obedece.
4. Identidade e Confiança (RIP): Em um time de robôs, um pode fingir ser o chefe. Se o sistema não tiver uma "identificação digital" forte, um robô malvado pode se passar pelo líder e dar ordens erradas.
5. Envenenamento da Memória (RMP): Imagine que você ensina um robô a fazer café. Se alguém colocar veneno no grão de café (memória), toda vez que ele lembrar de fazer café, ele envenenará a xícara. Hackers podem "envenenar" a memória dos robôs para que eles aprendam a fazer coisas erradas.
6. Comportamento Imprevisível (RND): IAs não são como máquinas de lavar que sempre fazem o mesmo ciclo. Elas são criativas e imprevisíveis. Às vezes, elas tomam decisões estranhas que os sistemas de segurança não conseguem prever ou testar.
7. Exploração de Confiança (RTE): Os robôs confiam demais uns nos outros. Se um é enganado, ele passa a confiança para o próximo, criando uma cadeia de erros.
8. Monitoramento Cego (RTM): Nossos sistemas de segurança olham para o "chão" (servidores, redes), mas não conseguem ver o "cérebro" (o que o robô está pensando). É como ter uma câmera que vê a porta da casa, mas não vê o que está acontecendo dentro da sala.
9. Arquitetura de Trabalho (RWA): A forma como os robôs se organizam para trabalhar pode ter buracos. Se um robô falha, o próximo pode entrar em pânico e fazer tudo errado.

3. A Grande Descoberta: Ninguém Está Pronto

Os autores testaram 16 frameworks de segurança (guias e regras criados por grandes organizações como NIST, OWASP, MITRE, etc.) para ver se eles protegiam esses robôs.

• O Veredito: Nenhum deles cobre a maioria dos perigos. É como tentar usar um guarda-chuva pequeno para se proteger de um furacão.
• Os "Melhores" (mas ainda insuficientes):
  • OWASP Agentic Security Initiative: É o guia mais completo até agora (cobre 65% dos riscos), focado em como os robôs se conectam e usam ferramentas.
  • CDAO GenAI Toolkit: É o melhor para a fase de desenvolvimento e operação, focado em monitoramento.
  • MITRE ATLAS: É ótimo para entender como os hackers atacam, mas menos focado em como consertar.

4. Onde Estamos Cegos? (Os "Pontos Cegos")

Existem áreas onde nenhum dos 16 guias oferece proteção:

• Imprevisibilidade: Como proteger algo que muda de comportamento a cada segundo?
• Vazamento de Dados por "Raciocínio": Às vezes, o robô não "vaza" um dado, mas o "esquece" de forma que o hacker consegue reconstruir.
• Planejamento Complexo: Quando robôs usam algoritmos avançados para planejar (como um xadrezista), eles podem criar caminhos perigosos que ninguém previu.

5. O Que Fazer Agora? (Conselhos Práticos)

O documento sugere que as empresas não podem apenas copiar e colar as regras antigas. Elas precisam:

1. Tratar a IA como um "Estagiário" que precisa de supervisão: Não dê chaves de tudo. Dê apenas o necessário para a tarefa de hoje.
2. Verificar a Identidade: Garanta que o robô A sabe que o robô B é realmente o robô B e não um impostor.
3. Monitorar o "Pensamento": Não olhe apenas para o resultado final. Olhe para o que o robô está pensando e planejando antes de agir.
4. Isolar as Memórias: Não deixe todos os robôs compartilharem a mesma memória. Se um for envenenado, o resto deve ficar seguro.

Conclusão

Este artigo é um grito de alerta. A tecnologia de IAs autônomas está avançando mais rápido do que a segurança consegue acompanhar. Estamos construindo carros autônomos (os agentes) sem ter construído as estradas seguras (os frameworks) ou os sinais de trânsito (as regras).

A mensagem final: Se você está usando ou construindo esses sistemas de múltiplos agentes, saiba que os manuais de segurança atuais estão incompletos. Você precisa criar suas próprias camadas de defesa, focando na confiança entre os robôs e na verificação constante do que eles estão pensando e fazendo.

Resumo técnico

Resumo Técnico: Considerações de Segurança para Sistemas Multi-Agente (MAS)

1. O Problema

Os sistemas de Inteligência Artificial Agente (Agentic AI) estão a transitar de modelos de linguagem simples para sistemas multi-agente (MAS) autónomos que exercem autoridade delegada sobre ferramentas, bases de dados e APIs externas. Esta evolução introduz uma classe de vulnerabilidades de segurança qualitativamente distinta das observadas em modelos de IA singulares ou sistemas de software tradicionais.

Os principais desafios identificados incluem:

• Natureza Emergente e Comportamental: Ao contrário dos sistemas tradicionais com fluxos de controlo determinísticos e limites de confiança bem definidos, os MAS operam com memória persistente partilhada, autorizações de ferramentas em cadeias de delegação e raciocínio influenciado por contexto partilhado.
• Novas Superfícies de Ataque: Ameaças como a execução remota de código a nível de política (através de acoplamento de ferramentas), envenenamento de memória latente, vermes de prompt auto-replicantes e divergência de planeamento não determinístico não possuem catálogos de contramedidas estabelecidos nas estruturas de segurança atuais.
• Falta de Dados Empíricos: Os praticantes carecem de dados comparativos empíricos sobre a cobertura de diferentes frameworks de segurança para tomar decisões informadas sobre arquitetura de segurança.

2. Metodologia

O estudo adotou uma metodologia sistemática de quatro fases para caracterizar o panorama de ameaças e avaliar a eficácia das estruturas de segurança existentes:

• Fase 1 – Construção da Base de Conhecimento Técnica: Desenvolvimento de uma descrição técnica profunda de arquiteturas de agentes multi-agente de produção, cobrindo fundamentos, integração de ferramentas, protocolos de comunicação, bases de dados vetoriais, e fenômenos específicos como comportamento emergente em enxames e partilha de memória cruzada.
• Fase 2 – Modelação de Ameaças Assistida por IA Generativa: Utilização de modelos de IA para realizar uma modelação de ameaças adversarial sistemática sobre a base de conhecimento. O modelo foi instruído a identificar ameaças qualitativamente distintas dos riscos de sistemas de IA singulares (evitando a confluência com riscos já documentados pelo NIST). A saída inicial (~1.700 ameaças candidatas) foi validada e refinada por um profissional certificado pela NVIDIA em sistemas de IA agentic.
• Fase 3 – Planeamento de Inquérito a Nível de Ameaça: Operacionalização das ameaças identificadas num plano de inquérito estruturado, com granularidade individual (não apenas por categoria) e classificação por maturidade (operacional, prova de conceito, emergente).
• Fase 4 – Execução e Análise Contínua: Execução do inquérito sobre 16 frameworks de segurança e governança, avaliando cada um contra a taxonomia de riscos resultante numa escala de três pontos (1: orientação mínima, 2: cobertura moderada/indireta, 3: mitigação direta e específica).

3. Contribuições Principais

• Taxonomia de Ameaças Agentic: Criação de uma taxonomia abrangente de 193 itens de ameaça distintos, organizados em 9 categorias de risco:
  1. Acoplamento Agente-Ferramenta (RATC)
  2. Vazamento de Dados (RDL)
  3. Injeção (RIDC)
  4. Identidade e Proveniência (RIP)
  5. Envenenamento de Memória (RMP)
  6. Não-Determinismo (RND)
  7. Exploração de Confiança (RTE)
  8. Temporização e Monitorização (RTM)
  9. Arquitetura de Fluxo de Trabalho (RWA)
• Análise Comparativa Quantitativa: Primeira comparação empírica cruzada de 16 frameworks de segurança (incluindo OWASP, MITRE ATLAS, NIST, CDAO, etc.), gerando pontuações de cobertura por categoria, classificações por fase do ciclo de vida e pontuações de maturidade compostas.
• Identificação de Lacunas Críticas: Detecção de cinco itens de ameaça específicos que não recebem cobertura de nenhum dos frameworks revisados.
• Guia de Seleção Baseado em Evidências: Diretrizes claras sobre qual framework utilizar em diferentes fases do ciclo de vida do sistema.

4. Resultados Chave

A análise quantitativa revelou que nenhum framework revisado alcança cobertura majoritária (pontuação média > 2) em qualquer categoria única. As áreas mais negligenciadas são:

• Não-Determinismo (Média: 1.231): A natureza estocástica dos LLMs e a variabilidade no comportamento dos agentes (ex: planeamento MCTS, HTN) são as menos abordadas.
• Vazamento de Dados (Média: 1.340): Canais de fuga via grandes contextos, logs, e recuperação probabilística são sub-protegidos.

Ranking de Desempenho dos Frameworks:

1. OWASP Agentic Security Initiative (ASI): Líder geral com 65.3% de cobertura total. Domina a fase de design e é o único framework construído especificamente para sistemas agentic, cobrindo melhor as categorias de Acoplamento Agente-Ferramenta, Envenenamento de Memória e Exploração de Confiança.
2. CDAO Generative AI Responsible AI Toolkit: Líder nas fases de desenvolvimento e operação (62.2% de cobertura). Destaca-se na cobertura de Vazamento de Dados e Não-Determinismo devido aos seus mandatos de ferramentas de monitorização contínua e testes de adversários.
3. MITRE ATLAS: Apresenta a segunda maior proporção de cobertura forte (pontuação 3), especialmente em Exploração de Confiança e Arquitetura de Fluxo de Trabalho, devido ao seu catálogo detalhado de táticas e técnicas.
4. ATFAA-SHIELD: Oferece a maior especificidade arquitetural entre os frameworks não-OWASP, focando em propriedades emergentes como raciocínio autónomo e memória persistente.

Itens sem Cobertura (Pontuação Máxima 1 em todos os frameworks):

• RATC 10: Exploração de Otimização de Eficiência e Restrições de Recursos.
• RDL 29: Vazamento de Dados via Estado de Planeamento MCTS.
• RND 25: Não-Determinismo no Planeamento HTN.
• RND 26: Não-Determinismo no Planeamento MCTS.
• RTE 33: Outros Riscos de Exploração de Confiança Multi-Agente.

5. Significado e Implicações

Este trabalho fornece a primeira base empírica para a seleção de frameworks de segurança em sistemas multi-agente, demonstrando que as abordagens de segurança tradicionais são insuficientes para lidar com a complexidade comportamental e emergente dos MAS.

• Mudança de Paradigma: A segurança deve evoluir de modelos estáticos para abordagens que lidem com a incerteza, a memória partilhada e a confiança transitória entre agentes.
• Direções Futuras: O estudo aponta para a necessidade urgente de desenvolver novos controles para o não-determinismo (planeamento estocástico) e para a proteção contra ataques de vazamento de dados em canais laterais (como inferência de contexto via streaming e memória de GPU).
• Recomendação Prática: Os praticantes devem adotar uma abordagem híbrida, utilizando o OWASP ASI para a definição de arquitetura e design, o CDAO GenAI Toolkit para implementação e monitorização operacional, e o MITRE ATLAS para modelação de ameaças e testes de adversários, reconhecendo que lacunas significativas permanecem em áreas de infraestrutura de hardware e algoritmos de planeamento avançados.

O documento serve como um alerta crítico de que a segurança de IA agentic está a evoluir mais rapidamente do que as estruturas de governança atuais, exigindo uma reavaliação contínua e a integração de defesas em profundidade (defesa em profundidade) que abranjam desde a camada de modelo até à orquestração de infraestrutura.