Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

Resumo Técnico: Enganação Cibernética em Ambientes Contestados usando RL e LLMs

1. Problema e Motivação

O artigo aborda a assimetria fundamental na cibersegurança, onde atacantes podem realizar reconhecimento e movimentação lateral por longos períodos, enquanto os defensores precisam responder em segundos. Em ambientes de Tecnologia Operacional (OT), como redes elétricas inteligentes (Smart Grids), essa latência na resposta pode levar a interrupções físicas catastróficas.

As abordagens tradicionais de enganação (honeypots estáticos, randomização de IPs) são limitadas porque:

• São caras e exigem intervenção humana significativa para manutenção.
• Frequentemente falham em emular fielmente protocolos industriais complexos (como o DNP3 usado em SCADA), tornando-se detectáveis por análise de tempo e comportamento.
• Não se adaptam dinamicamente ao comportamento do atacante.

O desafio central é criar um sistema de enganação que seja dinâmico, adaptativo e fiel aos protocolos de OT, capaz de manipular a percepção do atacante sem comprometer a integridade operacional real.

2. Metodologia Proposta

Os autores propõem uma arquitetura hierárquica que funde Aprendizado por Reforço (RL) e Modelos de Linguagem de Grande Escala (LLMs) para criar uma enganação coordenada em nível de rede e de host.

A. Arquitetura Hierárquica:

1. Agente de Rede (Nível de RL): Controla o roteamento de tráfego. O objetivo é redirecionar o tráfego suspeito do atacante para "honeypots" (nós de enganação) em vez de dispositivos reais (RTUs).
2. Agente de Host (Nível LLM): Emula o comportamento de uma RTU (Unidade Terminal Remota) real. Utiliza um LLM para gerar respostas de protocolo DNP3 coerentes, mantendo consistência de estado e semântica de tempo.
3. Camada de Avaliação e Feedback: Quantifica a qualidade da enganação e alimenta o sinal de recompensa de volta ao agente de RL.

B. Formulação do Problema (MDP e MARL):

• O problema de enganação de rede é modelado como um Processo de Decisão de Markov (MDP).
• Para escalabilidade, o trabalho evolui de um agente único para um Aprendizado por Reforço Multiagente (MARL), onde cada roteador atua como um agente independente com espaço de ação local, reduzindo a explosão dimensional do espaço de estados.
• Função de Recompensa Composta: É projetada para ser rigorosa, incluindo:
  • Recompensa Cibernética: Baseada na taxa de redirecionamento para honeypots vs. RTUs reais.
  • Recompensa Física: Penaliza danos à infraestrutura real (ex: perda de carga crítica) e recompensa a restauração.
  • Restrições: A recompensa é limitada para evitar "hacking de recompensa" (políticas degeneradas).

C. Integração LLM-RL (Acoplamento Bidirecional):

• LLM $\to$ RL: A qualidade da resposta do honeypot (medida por métricas de perplexidade e similaridade de tokens) gera um fator de probabilidade de enganação ($P_{dec}$). Se o LLM gerar respostas pouco realistas, o agente de RL é penalizado por rotear tráfego para aquele nó.
• RL $\to$ LLM: As decisões de roteamento alteram o padrão de interação do atacante. Essas interações atualizam a base de conhecimento do LLM (via Retrieval-Augmented Generation - RAG e injeção de contexto/personalidade), refinando as respostas futuras para serem mais convincentes.

D. Validação de Protocolo OT:
Diferente de honeypots comuns (SSH/HTTP), o sistema é construído especificamente para o protocolo DNP3, garantindo:

• Semântica de tempo determinística (jitter aceitável).
• Consistência de estado mestre-estação.
• Validação de comandos e lógica de mensagens não solicitadas.

3. Contribuições Principais

1. Framework RL Formal: Definição de um framework de RL (agente único e multiagente) para enganação adaptativa de rede com design de recompensa composta e limitada.
2. Primeiro Honeypot Orientado a Protocolo DNP3: Desenvolvimento de um honeypot acionado por LLM que preserva a semântica de tempo e estado de sistemas de controle industrial (ICS), algo não explorado anteriormente.
3. Arquitetura RL-LLM Coordenada: Uma estrutura que permite a enganação sincronizada entre a camada de rede (roteamento) e a camada de host (geração de resposta), criando um ciclo de feedback adaptativo.
4. Análise de Sobrecarga Computacional: Avaliação das considerações de implantação em ambientes OT em tempo real, discutindo o custo de inferência do LLM e a viabilidade de treinamento.

4. Resultados e Análise

Os experimentos foram realizados em um ambiente simulado baseado na rede de distribuição IEEE 123-bus, com tráfego DNP3.

• Comparação de Algoritmos de RL:
  • Algoritmos baseados em gradiente de política (PPO e A2C) superaram significativamente agentes aleatórios e abordagens estáticas.
  • A abordagem Multiagente (MARL) demonstrou maior estabilidade e convergência mais rápida em comparação ao agente único, especialmente em cenários com congestionamento de rede.
• Impacto da Integração LLM:
  • A introdução do LLM para ajustar a recompensa (via $P_{dec}$) reduziu o comprimento médio dos episódios de treinamento, indicando que o agente aprendeu mais rápido a priorizar nós de enganação de alta fidelidade.
  • A precisão das respostas do LLM (medida por perplexidade) melhorou iterativamente com a atualização dos arquivos de "personalidade" e contexto, tornando a enganação indetectável para o atacante simulado.
• Cenário Ciber-Físico:
  • No modelo combinado (Ciber-Físico), o agente conseguiu não apenas desviar o atacante, mas também minimizar o impacto físico (restauração de carga), alcançando recompensas positivas onde modelos puramente cibernéticos falharam.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na defesa cibernética de infraestruturas críticas. Ao demonstrar que é possível integrar LLMs (para emulação de alto nível e adaptação contextual) com RL (para tomada de decisão estratégica de rede), os autores criam um sistema de defesa que:

• Aumenta o custo e o tempo do atacante, forçando-o a gastar recursos em alvos falsos.
• Preserva a integridade operacional real, evitando que comandos maliciosos atinjam dispositivos físicos.
• Oferece uma solução escalável e adaptativa, superando as limitações de honeypots estáticos e scripts rígidos.

A pesquisa aponta para o futuro da segurança em OT, onde a inteligência artificial não apenas detecta ameaças, mas ativamente manipula o ambiente de combate para neutralizar adversários antes que causem danos físicos. O trabalho destaca também a necessidade de ambientes de teste de alta fidelidade (Cyber Ranges) para validar essas soluções em cenários reais.