Resumo Técnico: Aprendizado de Política de Agente Vermelho a partir de Observações para Agentes Cibernéticos Autônomos Neurosimbólicos

Declaração do Problema

Os sistemas modernos de defesa cibernética autônoma dependem cada vez mais de agentes de Aprendizado por Reforço (RL) para aplicar regras de segurança e se adaptar a ameaças em evolução. No entanto, esses ambientes são inerentemente parcialmente observáveis. Especificamente, o defensor (agente azul) não pode observar diretamente as ações ou políticas do atacante (agente vermelho). O defensor apenas percebe transições de estado parciais e resultados indiretos de ataques. Essa falta de visibilidade dificulta a reconstrução da verdadeira dinâmica do sistema, a previsão de movimentos do atacante ou a avaliação eficaz de níveis de intrusão.

Embora o aprendizado por imitação tenha sido aplicado para inferir políticas latentes em controle clássico e domínios de vídeo, os métodos existentes não são diretamente aplicáveis a redes autônomas. Isso ocorre porque os estados de rede são tipicamente discretos (instantâneos de atividades de hosts/servidores) e as transições de estado dependem das ações conjuntas de ambos os agentes, o vermelho e o azul. Consequentemente, há uma necessidade crítica de uma técnica que possa aprender políticas de agentes vermelhos e prever ações vermelhas em tempo de execução usando apenas observações azuis e ações azuis.

Metodologia

Os autores propõem uma Técnica de Aprendizado de Política baseada em aprendizado por imitação, projetada para inferir políticas de agentes vermelhos ($\pi'$) e prever ações vermelhas ($r_{t-1}$) a partir de observações azuis consecutivas ($o^b_{t-1}, o^b_t$) e da ação azul anterior ($b_{t-1}$). A abordagem é estruturada em três fases e integrada a um framework neurosimbólico.

1. Formulação do Problema

A rede é modelada como um Processo de Decisão de Markov Parcialmente Observável (POMDP) de tempo discreto. O objetivo é aprender a política vermelha $\pi'$ dado uma política azul conhecida $\pi$. A entrada consiste em:

• Observações azuis em $t-1$ e $t$.
• A ação azul executada em $t-1$.
• O objetivo é prever a ação vermelha executada em $t-1$.

2. Técnica de Aprendizado de Três Fases

A técnica emprega um modelo de dinâmica de múltiplos estágios usando Redes Neurais Profundas (DNNs):

• Fase I: Geração de Dados

  • O sistema interage com o ambiente para coletar transições $(o^b_{t-1}, b_{t-1} \to o^b_t)$.
  • Um conjunto de dados $D$ é gerado para treinamento.
  • Um conjunto de dados rotulado $D_R$ é gerado extraindo as ações vermelhas de verdade fundamental (ground-truth) ($r_{t-1}$) do sistema (inobserváveis durante a execução real) e pré-processando-as em componentes: nome da ação, host alvo e sub-rede.

• Fase II: Aprendizado de Política (Inferência de Ação Latente)

  • Codificação: As ações e alvos azuis são codificados via one-hot encoding.
  • Aprendizado de Ação Latente: Dois modelos são treinados conjuntamente:
    1. Modelo de Dinâmica Inversa (IDM1): Estima uma ação vermelha latente ($l_{t-1}$) dadas as observações e ações azuis.
    2. Modelo de Dinâmica Direta (FDM1): Prediz a observação atual ($\tilde{o}^b_t$) dado o estado anterior, a ação azul e a ação latente inferida.
    • Estes são treinados para minimizar o erro de observação $|\tilde{o}^b_t - o^b_t|$, forçando a ação latente a capturar a dinâmica vermelha ausente.
  • Imitação de Política: Um segundo Modelo de Dinâmica Inversa (IDM2) é treinado para imitar as ações latentes aprendidas pelo IDM1, efetivamente aprendendo a política $\pi'$.
  • Mapeamento para Ações Discretas: Um Modelo de Dinâmica Direta (FDM2) mapeia as ações latentes contínuas de volta para componentes de ações vermelhas discretas (nome da ação, host, sub-rede). Essas saídas são limiares (thresholded) para produzir codificações one-hot binárias para a ação vermelha prevista $\hat{r}_{t-1}$.

3. Integração com Agentes Neurosimbólicos

A política aprendida é integrada a uma Árvore de Comportamento Evolutiva (EBT), uma arquitetura neurosimbólica que combina Árvores de Comportamento (BTs) com Componentes Habilitados para Aprendizado (LECs).

• Novos comportamentos são adicionados à EBT para realizar a previsão em tempo de execução.
• Um nó de condição garante que haja histórico de observação suficiente antes da previsão.
• A EBT seleciona a política vermelha aprendida apropriada com base na estratégia azul ativa (por exemplo, distinguindo entre estratégias de atacante "Meander" e "B line").
• Se não existir uma política, o sistema registra as transições para análise offline.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Técnica de Aprendizado de Política: Um método inovador para aprender políticas de agentes vermelhos e prever ações vermelhas em ambientes de RL parcialmente observáveis com estados e ações discretos, usando apenas observações e ações azuis.
2. Integração Neurosimbólica: A integração bem-sucedida desta técnica em um agente de defesa cibernética autônomo baseado em árvore de comportamento, permitindo a previsão de movimentos adversários em tempo de execução.
3. Avaliação Empírica: Uma avaliação abrangente usando o ambiente CybORG CAGE Challenge 2, que utiliza táticas MITRE ATT&CK. A abordagem demonstra alta precisão através de diversas estratégias, incluindo a troca dinâmica de estratégia.

Resultados Experimentais

Os autores avaliaram a técnica no ambiente CybORG CAGE Challenge 2 usando duas estratégias de atacante estáticas (Meander e B line) e uma estratégia de troca dinâmica (RedSwitch).

• Precisão de Previsão:

  • B line: Alcançou a maior precisão (99,93% para previsão de observação azul, 95,28% para previsão de ação vermelha ao nível de host) devido à sua natureza determinística e orientada a objetivos.
  • Meander: Mostrou menor precisão (94,96% observação, 77,71% host-level) devido à maior variabilidade de comportamento.
  • RedSwitch: O desempenho variou com base na estratégia ativa; a precisão aumentou quando o agente mudou para a estratégia B line.
  • Subnet vs. Host: A precisão de previsão ao nível de sub-rede excedeu consistentemente a precisão ao nível de host em todas as estratégias, atribuído à aleatoriedade inerente na seleção do host alvo.

• Estimativa de Nível de Intrusão:

  • As ações previstas foram usadas para calcular pontuações de intrusão baseadas em níveis de comprometimento (Nenhum, Nível de Usuário, Nível de Privilégio).
  • Os resultados indicaram que o agente EBT azul foi significativamente mais eficaz na mitigação de ataques sob a estratégia Meander comparado a B line e RedSwitch, conforme evidenciado por menos passos de tempo atingindo o Comprometimento de Nível de Privilégio.

Significância e Alegações

O artigo afirma que sua técnica proposta aborda efetivamente o desafio da observabilidade parcial na defesa cibernética autônoma. Ao inferir políticas vermelhas em tempo de execução, o sistema permite:

• Detecção precoce de movimentos adversários antes de um comprometimento profundo da rede.
• Estimativa de níveis de intrusão do atacante ao longo do tempo.
• Refinamento de estratégias de mitigação ao identificar fraquezas de rede expostas pelas ações vermelhas previstas.

Os autores observam que, embora a avaliação atual seja baseada em um ambiente simulado (CybORG CAGE Challenge 2) derivado do MITRE ATT&CK, a técnica é generalizável para qualquer agente de RL parcialmente observável com estados e ações discretas. O trabalho futuro é identificado como a validação da abordagem em ambientes emulados realistas e o aproveitamento das ações vermelhas previstas para treinar agentes azuis mais robustos. O trabalho é apresentado como um passo em direção a sistemas de defesa autônomos mais adaptáveis e interpretáveis.