Environment-Grounded Multi-Agent Workflow for Autonomous Penetration Testing

Título: Fluxo de Trabalho Multi-Agente Baseado no Ambiente para Testes de Penetração Autônomos

1. O Problema

A crescente complexidade e interconectividade das infraestruturas digitais, especialmente em Tecnologias Operacionais (OT) e sistemas robóticos (como os baseados em ROS/ROS2), criam desafios críticos para a segurança.

• Limitações das Soluções Atuais: Abordagens existentes de testes de penetração automatizados, muitas vezes baseadas em um único Modelo de Linguagem Grande (LLM), sofrem com memória de longo prazo limitada, falta de separação de funções (role separation) e baixa rastreabilidade das decisões.
• Desafios Regulatórios e de Segurança: Em ambientes críticos (como indústria e robótica), a intervenção intrusiva é limitada e a conformidade com regulamentações (como a Lei de IA da UE) exige rastreabilidade, documentação técnica e supervisão humana eficaz. Soluções monolíticas de LLM frequentemente falham em atender a esses requisitos de auditoria e controle.
• Falta de Contexto Persistente: Sistemas atuais tendem a perder informações entre etapas ou dependem excessivamente de resumos, o que leva a inconsistências e perda de conhecimento operacional durante testes longos.

2. Metodologia

Os autores propõem uma arquitetura multi-agente baseada em LangGraph, projetada especificamente para testes de penetração em ambientes robóticos. O sistema opera em um ciclo fechado com três agentes cooperativos e uma memória compartilhada persistente:

• Agentes Principais:

  1. Planejador (Planner): Gera uma lista estruturada de tarefas (ex: varredura de rede, exploração) baseada no estado atual do sistema.
  2. Executor (Executor): Traduz as tarefas planejadas em comandos executáveis (ex: Nmap, scripts Bash personalizados para ROS) e interage com o sistema alvo.
  3. Agente de Memória (Memory Agent): Revisa as tarefas concluídas, estrutura os resultados e atualiza a base de conhecimento persistente.

• Memória Baseada no Ambiente (GraphMemory):

  • Diferente de abordagens que usam apenas resumos de texto, o sistema constrói dinamicamente um grafo de conhecimento durante a execução.
  • Este grafo captura o estado observável do sistema: topologia de rede, nós, canais de comunicação, vulnerabilidades descobertas e tentativas de exploração.
  • Permite que o sistema "lembre" do que foi descoberto em etapas anteriores, evitando explorações redundantes e permitindo a reconstrução do caminho de ataque.

• Modos Operacionais e Controle Humano:

  • O sistema opera em modos predefinidos (ex: Modo de Varredura, Modo de Exploração ROS).
  • Um operador humano atua no ciclo (human-in-the-loop) para alternar entre esses modos, garantindo controle operacional e segurança, enquanto os agentes operam autonomamente dentro dos limites de cada modo.

• Ambiente de Teste:

  • Avaliado em um Capture-the-Flag (CTF) baseado em Docker, simulando um cenário de manufatura robótica com containers ROS1 (Noetic) e ROS2 (Foxy), um PLC e um braço robótico.
  • O foco foi na camada de comunicação ROS, conhecida por suas vulnerabilidades de segurança (portas abertas, falta de autenticação).

3. Contribuições Chave

• Arquitetura Multi-Agente com Memória Persistente: Introdução de um grafo de memória compartilhado que mantém o contexto de longo prazo, superando as limitações de janelas de contexto de LLMs isolados.
• Rastreabilidade e Conformidade: O sistema fornece um registro transparente de quais agentes executaram quais comandos e por quê, atendendo a requisitos regulatórios como a Lei de IA da UE.
• Integração Híbrida: Combina o raciocínio adaptativo de LLMs com componentes determinísticos baseados em regras (scripts) para validação de resultados, aumentando a confiabilidade em tarefas específicas de domínio (como enumeração de tópicos ROS).
• Avaliação Comparativa: Análise rigorosa comparando a proposta com o estado da arte (HackSynth) e testando múltiplos modelos de LLM (desde modelos grandes de 70B até modelos menores de 8B).

4. Resultados

O sistema foi avaliado em um cenário CTF com quatro tarefas principais (CTF-0 a CTF-3), cobrindo desde a descoberta de nós até a exploração e extração de dados em tempo real.

• Desempenho Superior:
  • A abordagem proposta completou com sucesso 100% das execuções (n=5) em todas as tarefas, incluindo a descoberta de nós, identificação do mestre ROS (porta 11311), enumeração de tópicos e recuperação de mensagens.
  • Em contraste, a linha de base da literatura (HackSynth) falhou consistentemente nas tarefas de exploração específica de ROS (CTF-2 e CTF-3), com modelos de ponta conseguindo apenas resolver parcialmente a descoberta de portas.
• Análise de Modelos:
  • O modelo llama-3.3-70b-instruct demonstrou a maior estabilidade na abordagem proposta.
  • Modelos menores ou menos otimizados (gemma-3-27b-it, hermes-2-pro-llama-3-8b) falharam na fase de reconhecimento no baseline, mas a arquitetura proposta conseguiu mitigar alguns desses erros através da estruturação de tarefas e validação por scripts.
• Falhas Mitigadas: O sistema reduziu falhas comuns como "Desvio de Tarefa" (Task Derailment) e "Repetição de Passos" (Step Repetition), que foram observadas no baseline, graças ao uso do grafo de memória para orientar o planejamento subsequente.

5. Significância e Conclusão

O trabalho demonstra que a automação de testes de penetração em ambientes críticos e complexos (como robótica) é viável quando se combina a inteligência adaptativa de LLMs com uma memória estruturada e baseada no ambiente.

• Impacto Prático: A solução oferece um equilíbrio entre autonomia e segurança, permitindo que sistemas operem de forma independente dentro de limites seguros definidos pelo humano.
• Conformidade Regulatória: Ao fornecer um histórico de ações auditável e reconstruível, o sistema atende às demandas emergentes de transparência e supervisão humana exigidas por legislações como a Lei de IA da UE.
• Futuro: Os autores sugerem que essa arquitetura baseada em memória persistente tem potencial para ser aplicada em outras áreas de segurança crítica, como monitoramento de infraestrutura e controle de processos industriais.

Em resumo, o artigo valida que uma arquitetura multi-agente com memória gráfica compartilhada supera significativamente as abordagens monolíticas atuais, oferecendo maior confiabilidade, rastreabilidade e eficácia na segurança cibernética de sistemas robóticos.