Multi-Agent LLM Governance for Safe Two-Timescale Reinforcement Learning in SDN-IoT Defense

Título: Governança Multi-Agente por LLM para Aprendizado por Reforço Seguro em Duas Escalas de Tempo na Defesa SDN-IoT

1. O Problema

A defesa de redes de Internet das Coisas (IoT) baseadas em Software-Defined Networking (SDN) enfrenta um desafio fundamental: ela é um problema de controle em malha fechada, e não apenas uma tarefa de classificação de tráfego.

• Acoplamento Estrutural: As ações de mitigação (como bloquear fluxos ou limitar taxas) consomem recursos do controlador central, alteram a dinâmica de filas, aumentam o atraso na instalação de regras e modificam as observações futuras do sistema.
• Riscos de Mitigação Agressiva: Ações defensivas muito agressivas podem sobrecarregar o plano de controle, degradar a Qualidade de Serviço (QoS) e amplificar o risco sistêmico, levando a instabilidades ou colapsos do controlador.
• Limitações das Abordagens Atuais:
  • Soluções baseadas em detecção tratam a mitigação como uma reação estática, ignorando o feedback entre a decisão e a dinâmica do controlador.
  • Abordagens de Aprendizado por Reforço (RL) existentes frequentemente otimizam recompensas de curto prazo, negligenciando a estabilidade de longo prazo e a evolução auditável das políticas.
  • A adaptação a instabilidades geralmente requer retreinamento de modelos, o que é custoso, lento e difícil de auditar em redes em escala.

2. Metodologia Proposta

O artigo apresenta uma arquitetura de defesa auto-reflexiva em duas escalas de tempo que separa a mitigação rápida da governança lenta e estruturada.

A. Arquitetura em Duas Escalas de Tempo

1. Escala Rápida (Mitigação Descentralizada):

   • Cada switch possui um agente independente baseado em Proximal Policy Optimization (PPO).
   • Esses agentes tomam decisões em tempo real com base em telemetria local (ocupação de filas, pressão na tabela de fluxo, atraso do controlador).
   • As ações são filtradas por máscaras de segurança explícitas e restrições que impedem ações que poderiam sobrecarregar o controlador (ex: evitar DROP_FLOW se a fila de backlog do controlador estiver crítica).

2. Escala Lenta (Governança por LLM Multi-Agente):

   • Um motor de governança baseado em Large Language Models (LLMs) opera em um ciclo mais lento (a cada $K$ passos de tempo).
   • Em vez de retreinar os pesos da rede neural, este sistema edita uma "Constituição de Política Global" ($\Pi$).
   • A constituição $\Pi$ define:
     • Conjuntos de ações admissíveis (máscaras).
     • Limiares de segurança (ex: limites de backlog).
     • Prioridades de recompensa e custos operacionais.
   • Pipeline Multi-Agente LLM: O processo envolve quatro papéis distintos:
     • Critic: Analisa trajetórias de falha e propõe correções.
     • Compiler: Transforma propostas em atualizações estruturadas e legíveis por máquina ($\Delta\Pi$).
     • Red-Team: Gera campanhas de estresse adversarial para testar a nova política.
     • Judge: Valida se a nova política passa em testes de não-regressão e segurança antes de ser implantada.

B. Formulação Matemática e Segurança

• Objetivo de Risco Sensível: O sistema otimiza o CVaR (Conditional Value at Risk), focando na minimização dos piores casos (cauda da distribuição) em vez de apenas maximizar a recompensa média. Isso previne colapsos catastróficos do controlador.
• Modelo de Controle Acoplado: O modelo considera explicitamente o atraso na ativação de regras e a dinâmica de filas do controlador ($d_t$), reconhecendo que a ação de um switch afeta a observabilidade de todos os outros.
• Validação Rigorosa: Atualizações de política ($\Delta\Pi$) só são aceitas se passarem por testes de "não-regressão" (não piorar a detecção ou latência) e "segurança dura" (garantir que o controlador não entre em saturação).

3. Principais Contribuições

1. Arquitetura de Defesa Auto-Reflexiva: Separação clara entre a resposta rápida descentralizada (RL) e a evolução lenta e estruturada da política (LLM), permitindo adaptação sem retreinamento de parâmetros.
2. Constituição de Política Auditável: Introdução de uma entidade de política global ($\Pi$) editável por LLMs, que codifica restrições de segurança e prioridades de forma interpretável e verificável, substituindo a "caixa preta" de ajustes de hiperparâmetros.
3. Defesa Sensível ao Risco e Consciente do Controlador: O framework modela explicitamente o acoplamento SDN (backlog, atrasos, pressão de fluxo), otimizando para estabilidade do sistema e não apenas para precisão de detecção.
4. Mecanismo de Governança Fail-Closed: O sistema garante que, se uma atualização de política falhar na validação ou causar instabilidade, o sistema reverte para a política anterior, mantendo a operação segura.

4. Resultados Experimentais

A avaliação foi realizada em um ambiente de simulação de SDN-IoT com tráfego heterogêneo e estresse adversarial, modelando limites de taxa de serviço do controlador.

• Desempenho de Detecção:
  • Melhoria de 9,1% no Macro-F1 em comparação com PPO sem restrições.
  • Melhoria de 15,4% em comparação com mitigação baseada em limiares estáticos.
• Estabilidade e QoS:
  • Redução de 36,8% na degradação do agente no pior caso.
  • Redução de 42,7% nos picos de backlog do controlador.
  • A inflação do RTT (Round-Trip Time) no percentil 95 permaneceu abaixo de 5,8% durante ataques de alta intensidade.
  • Nenhuma instabilidade oscilatória ou colapso do controlador foi observado.
• Convergência da Governança:
  • A evolução da política convergiu em cinco ciclos de reflexão.
  • Eventos de sobrecarga catastrófica foram reduzidos de 11,6% para 2,3% dos episódios, sem retreinar os parâmetros do RL.
• Validação de Não-Regressão: O sistema rejeitou automaticamente atualizações de política que prometiam melhorias de detecção mas que resultariam em aumento excessivo de latência ou instabilidade.

5. Significado e Conclusão

Este trabalho redefine a defesa adaptativa em SDN-IoT, tratando-a como um problema de gestão de políticas em vez de apenas otimização de detecção.

• Segurança Operacional: A abordagem demonstra que a estabilidade em redes críticas depende mais da gestão de riscos de cauda (evitar colapsos) do que da maximização da precisão média.
• Auditoria e Controle de Mudança: Ao usar LLMs para editar uma constituição de política estruturada e auditável, o sistema permite uma evolução de segurança que é transparente, reprodutível e alinhada com princípios de controle de mudanças em TI.
• Escalabilidade: A separação entre a inferência local rápida e a governança global lenta permite que o sistema escale para grandes redes IoT sem criar gargalos de treinamento centralizado, mantendo a coordenação através de restrições compartilhadas.

Em resumo, a solução proposta oferece um mecanismo robusto para equilibrar a eficácia da segurança, a estabilidade do controlador e a integridade da QoS em ambientes SDN-IoT dinâmicos e sob ataque.