💻 ciência da computação

The MAL Simulator: Cyber Operations Simulation based on Attack &amp; Defense Graphs

O artigo apresenta o MAL Simulator, uma plataforma de operações cibernéticas flexível construída sobre a Meta Attack Language que permite o treinamento e a avaliação de agentes ofensivos e defensivos automatizados, demonstrando sua eficácia por meio de estudos de caso em um ambiente de rede emulada.

Autores originais: Jakob Nyberg, Sandor Berglund, Andrei Buhaiu, Joakim Loxdal, Pontus Johnson, Mathias Ekstedt

Publicado 2026-10-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jakob Nyberg, Sandor Berglund, Andrei Buhaiu, Joakim Loxdal, Pontus Johnson, Mathias Ekstedt

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No reino digital, a segurança é frequentemente um jogo de gato e rato jogado à velocidade da luz. Os defensores constroem muros e vigiam intrusos, enquanto os atacantes procuram a menor fenda para se infiltrarem. Para se prepararem para estas batalhas, os investigadores utilizam simulações computacionais, parques de diversões virtuais onde podem testar estratégias sem arriscar sistemas reais. No entanto, criar uma simulação realista é difícil. Se o mundo virtual for demasiado simples, as lições aprendidas não se aplicam à complexa realidade das redes modernas. Se for demasiado rígido, o software não consegue adaptar-se a novos tipos de computadores ou novos tipos de ataques. O desafio reside em construir um simulador que seja suficientemente flexível para modelar qualquer sistema, mas suficientemente estruturado para ensinar a inteligência artificial a pensar como um hacker ou um guardião.

Uma equipa de investigadores do KTH Royal Institute of Technology, na Suécia, abordou este desafio ao desenvolver uma nova ferramenta chamada MAL Simulator. Este sistema baseia-se numa fundação conhecida como Meta Attack Language, uma forma especializada de descrever como computadores, utilizadores e software interagem. Em vez de codificar rigidamente cada cenário possível, os investigadores desenharam o simulador para ler estas descrições. Isto significa que o mesmo software central pode ser usado para simular uma pequena rede de escritório, um sistema de nuvem massivo ou um sistema de controlo de uma fábrica, bastando alterar a descrição, sem necessidade de reescrever o código subjacente. Os investigadores utilizaram esta ferramenta para treinar dois tipos de agentes de inteligência artificial: um concebido para atacar o sistema e encontrar vulnerabilidades, e outro concebido para o defender.

A equipa testou a sua criação num ambiente controlado que mimetizava uma rede informática real, completa com servidores, estações de trabalho e as complexas ligações entre eles. Criaram trinta versões diferentes desta rede, variando o número de computadores e o layout das ligações, para garantir que os agentes estavam a aprender competências gerais e não apenas a memorizar um único mapa. O objetivo para o agente atacante era alcançar dados sensíveis específicos, enquanto o trabalho do agente defensor era travar o ataque com o mínimo de interrupção na rede. No mundo real, desligar um servidor para travar um hacker pode ser eficaz, mas também impede o funcionamento da empresa, pelo que o defensor deve ser preciso.

Quando os investigadores colocaram o agente atacante treinado à prova, este revelou-se significativamente mais eficiente do que os métodos tradicionais de busca computacional. Os algoritmos padrão, que muitas vezes verificam todas as possibilidades de forma sistemática, mas cega, demoraram muito mais tempo e realizaram muito mais movimentos desnecessários para atingir o seu objetivo. O agente treinado, tendo aprendido de milhares de tentativas simuladas, sabia exatamente qual caminho seguir para comprometer o sistema rapidamente. Conseguia inclusive lidar com layouts de rede que nunca tinha visto antes, demonstrando que tinha aprendido a lógica subjacente do ataque e não apenas uma rota específica. Isto sugere que a inteligência artificial consegue aprender a navegar em ambientes digitais complexos de forma mais eficaz do que regras pré-programadas e rígidas.

Os resultados para o agente defensor foram mais matizados e destacaram uma realidade crítica da cibersegurança. Quando a simulação era perfeita, com o defensor a receber alertas claros e precisos sobre cada movimento do atacante, uma estratégia simples baseada em regras funcionava tão bem quanto a inteligência artificial treinada. No entanto, o mundo real raramente é perfeito. Nas simulações que incluíram "ruído" — onde o defensor recebia alarmes falsos ou perdia alertas reais, mimetizando a confusão de uma rede real — o agente treinado superou as regras simples. A inteligência artificial aprendeu a ignorar o ruído e a focar-se nas ameaças mais prováveis, enquanto as regras simples eram facilmente confundidas pelos sinais falsos. Esta descoberta sugere que, embora regras básicas possam funcionar em condições ideais, sistemas inteligentes são necessários para a realidade desordenada e incerta da defesa cibernética real.

O teste mais revelador ocorreu quando os investigadores colocaram o atacante treinado contra o defensor treinado. Neste cenário, o desempenho do defensor caiu significativamente. As estratégias simples e os agentes baseados em regras foram subjugados pela velocidade e adaptabilidade do atacante inteligente. Até o defensor treinado teve dificuldades, indicando que uma estratégia de defesa construída apenas contra atacantes previsíveis e mais lentos não é suficiente para deter um adversário sofisticado e capaz de aprender. Este resultado sublinha um ponto vital: para construir defesas verdadeiramente robustas, os sistemas de segurança devem ser treinados contra oponentes que sejam tão inteligentes e adaptáveis quanto eles. Os investigadores descobriram que, sem este tipo de treino adversarial, as defesas podem parecer fortes em testes, mas falham perante uma ameaça real e inteligente.

O estudo conclui que o MAL Simulator fornece uma plataforma poderosa para o desenvolvimento destes agentes avançados. Ao permitir que os investigadores alternem facilmente entre diferentes tipos de redes e cenários de ataque, a ferramenta ajuda a criar inteligência artificial que é flexível e resiliente. O trabalho demonstra que, embora possamos construir agentes que são melhores do que os métodos atuais tanto no ataque como na defesa, a lacuna entre os dois está em constante mudança. À medida que os atacantes se tornam mais inteligentes, os defensores devem evoluir em paralelo. Os investigadores disponibilizaram o seu simulador e as ferramentas para construir estes agentes publicamente, convidando outros a continuar o trabalho de treinar sistemas que possam proteger a nossa infraestrutura digital num mundo cada vez mais complexo.

Resumo Técnico: O Simulador MAL

Declaração do Problema

O desenvolvimento de agentes de Operações Cibernéticas Automatizadas (ACO), como aqueles para testes de penetração e resposta a intrusões, requer ambientes de simulação robustos. Os simuladores existentes frequentemente sofrem de rigidez; eles são frequentemente codificados de forma estática para topologias de rede ou tipos de ativos específicos, tornando difícil adaptá-los a novos domínios de alvo sem modificar o código-fonte principal do simulador. Além disso, muitos simuladores carecem da capacidade de treinar e testar simultaneamente agentes ofensivos e defensivos dentro de um framework unificado, ou falham em suportar a configuração de diversas variantes de sistemas necessárias para evitar o sobreajuste (overfitting) dos agentes. Há uma necessidade específica de um simulador que preencha a lacuna entre frameworks de avaliação de risco e ambientes de treinamento de aprendizado por reforço (RL), permitindo a geração de grafos de ataque baseados em modelos de dados explícitos que possam ser alterados sem mudar o motor de simulação.

Metodologia

A Arquitetura do Simulador MAL

Os autores desenvolveram o Simulador MAL, um simulador de operações cibernéticas construído sobre o Meta Attack Language (MAL). O MAL é um framework de linguagem de modelagem usado para modelagem de ameaças e design de sistemas seguros.

Design Central: O simulador separa a lógica de simulação da semântica do domínio. O núcleo do simulador permanece fixo, enquanto o ambiente é definido por uma linguagem MAL (definindo tipos de ativos, relações e etapas de ataque/defesa) e um modelo de instância (dados específicos do sistema).
Formalismo: O simulador estende o MAL para definir um Processo de Decisão de Markov Parcialmente Observável (POMDP) e, em configurações multiagente, um Jogo de Markov.
- Estado: Definido pelo conjunto de etapas de ataque e defesa realizadas até o tempo $t$ .
- Ações: Atacantes selecionam etapas de ataque navegáveis; defensores selecionam etapas de defesa não realizadas.
- Transições: Determinadas por uma lógica de eventos discretos onde ações de defesa podem bloquear tentativas de ataque simultâneas, mas etapas de ataque previamente realizadas persistem.
- Observabilidade: O simulador suporta observabilidade configurável, incluindo Falsos Positivos (FP) e Falsos Negativos (FN) para modelar Sistemas de Detecção de Intrusão (IDS) imperfeitos.
- Tempo para Comprometimento (TTC): Distribuições probabilísticas modelam o esforço necessário para executar etapas de ataque, introduzindo estocasticidade ao sucesso do ataque.

Configuração do Estudo de Caso

Os autores validaram o simulador usando uma rede emulada chamada AIR-DELIVERY-SYSTEM24 (ADS-24), implementada no ambiente de teste (cyber range) CRATE.

Fonte de Dados: Dados de inventário de rede foram coletados via Osquery e usados para gerar 30 variações distintas de modelos de instância (cenários) usando um subconjunto do MAL chamado CadsLang.
Cenários: Estas variações incluíram diferentes tamanhos de rede (105–165 ativos) e topologias para testar a generalização.

Treinamento de Agentes

Dois tipos de agentes foram treinados usando Aprendizado por Reforço (RL):

Agente Ofensivo (Atacante):
- Objetivo: Alcançar objetivos específicos de acesso a dados enquanto minimiza o número de etapas (custo).
- Arquitetura: Utilizou um Heterogeneous Graph Transformer (HGT) para incorporar o estado, que é representado como um grafo heterogêneo de ativos, relações e etapas de ataque.
- Algoritmo: Otimização de Política Próxima (PPO).
- Treinamento: Treinado em 15 cenários e testado em 15 cenários não vistos.
Agente Defensivo (Defensor):
- Objetivo: Minimizar a soma dos custos associados a hosts comprometidos (perda de confidencialidade/integridade) e o custo das ações defensivas (perda de disponibilidade).
- Arquitetura: Utilizou a biblioteca de aprendizado por reforço relacional Vejde, que utiliza Redes Neurais de Grafos (GNNs) para processar representações de estado baseadas em fatos.
- Condições: Duas variantes foram treinadas: uma em um ambiente "perfeito" (sem ruído) e outra em um ambiente "com ruído" (taxas de FP/FN de 1%).
- Algoritmo: PPO.

Principais Contribuições

O Simulador MAL: Uma plataforma de simulação inovadora que desacopla o motor de simulação do domínio alvo através da linguagem de modelagem MAL. Isso permite que o simulador se adapte a diferentes domínios (ex: TI, Nuvem, OT) mudando apenas a linguagem e os modelos de instância, em vez do código-fonte.
Framework Adversário Unificado: O simulador fornece interfaces tanto para agentes ofensivos quanto defensivos, permitindo o treinamento de agentes no mesmo ambiente e o teste de agentes uns contra os outros.
Generalização via Variação de Cenários: A metodologia demonstra como o treinamento em uma distribuição de variantes de cenários (diferentes tamanhos de rede, pontos de entrada de atacantes e políticas) melhora a robustez do agente a configurações não vistas.
Integração com Ferramentas Existentes: O simulador oferece compatibilidade com frameworks padrão de ML (ex: API Gymnasium) e bibliotecas específicas como Vejde e HGT.

Resultados

Desempenho do Agente Ofensivo

Eficiência: O atacante de RL superou significativamente os algoritmos de busca heurística (BFS, DFS, Aleatório). O agente de RL alcançou um retorno médio de -301 (quanto maior, melhor, pois os custos são negativos), comparado a -717 para BFS e -797 para DFS.
Generalização: O agente de RL manteve um alto desempenho em cenários de teste não vistos, sem diferença estatisticamente significativa nos retornos entre os conjuntos de treinamento e teste. Ele conseguiu minimizar o custo de ataque estimado de forma mais eficaz do que os métodos baseados em busca.

Desempenho do Agente Defensivo

Sensibilidade ao Ruído: Em condições "perfeitas" (sem ruído), um agente heurístico simples (desativar imediatamente os ativos após um alerta) teve um desempenho comparável ao do agente de RL.
Condições com Ruído: Sob condições realistas de ruído (1% de FP/FN), o desempenho do agente heurístico degradou-se significativamente. O agente de RL treinado com ruído ("Vejde w/ Noise") induziu os menores custos de defesa, superando tanto o agente de RL sem ruído quanto o heurístico.
Teste Adversário: Quando os defensores treinados foram testados contra o Atacante de RL (que não foi utilizado durante o treinamento do defensor), todos os agentes defensores sofreram uma queda significativa de desempenho. O atacante de RL foi capaz de contornar as defesas de forma mais eficaz do que os atacantes baseados em busca contra os quais os defensores foram treinados, destacando as limitações de treinar defensores apenas contra adversários heurísticos ou de busca.

Significância e Alegações

O artigo afirma que o Simulador MAL aborda com sucesso a rigidez dos simuladores de ACO anteriores ao utilizar um framework de modelagem formal para se adaptar a novos domínios sem mudanças de código. Os experimentos apoiam a afirmação de que:

Agentes de RL são Eficazes: Políticas aprendidas podem superar heurísticas e algoritmos de busca projetados manualmente, particularmente em ambientes complexos ou ruidosos.
Treinamento Adversário é Crítico: A degradação significativa de desempenho dos defensores ao enfrentar um atacante de RL (em comparação aos atacantes heurísticos) ressalta a necessidade de testar e treinar tanto agentes ofensivos quanto defensivos dentro do mesmo ambiente para garantir a robustez.
Potencial Sim-to-Real: Ao incorporar incertezas (ruído, topologias variáveis) e usar uma abordagem baseada em dados de inventário de rede real, o simulador facilita o desenvolvimento de agentes que podem generalizar melhor para sistemas reais, embora os autores notem explicitamente que a validação completa de "sim-to-real" na rede física estava além do escopo deste trabalho específico.

Os autores concluem que o Simulador MAL fornece uma base flexível e publicamente disponível para o desenvolvimento e avaliação de agentes de operações cibernéticas automatizadas, enfatizando a importância do treinamento adversário para evitar a otimização excessiva de defesas contra atacantes fracos ou previsíveis.