Resumo Técnico: Um Framework de Red Teaming para Avaliar a Robustez de Sistemas SOAR Habilitados por IA

Declaração do Problema

À medida que as empresas adotam cada vez mais sistemas de Orquestração, Automação e Resposta de Segurança (SOAR) habilitados por IA para detecção e resposta autônomas a ameaças, a resiliência desses sistemas contra adversários adaptativos e estratégicos permanece pouco explorada. Testes de penetração tradicionais e red teaming baseado em regras falham em capturar a natureza dinâmica e multi-etapa de campanhas de ataque do mundo real. Embora avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) e Aprendizado por Reforço (RL) ofereçam potencial para red teaming autônomo, ambos os paradigmas exibem limitações fundamentais quando aplicados independentemente:

• LLMs: Dificultam o rastreamento de estado de longo horizonte, a consistência de ações e a adaptação por meio de feedback do ambiente. Frequentemente falham em sustentar campanhas de ataque multiestágio contra defensores adaptativos.
• RL: Sofre de ineficiência de amostragem, interpretabilidade limitada e baixa generalização em ambientes cibernéticos heterogêneos. Agentes de RL puro frequentemente convergem para políticas degeneradas (por exemplo, repetir ações de reconhecimento) quando confrontados com recompensas esparsas e espaços de estado complexos.

Existe uma lacuna crítica na avaliação da robustez de sistemas de defesa cibernética habilitados por IA contra agentes que podem combinar raciocínio estratégico de alto nível com execução tática adaptativa.

Metodologia

Os autores propõem um framework híbrido hierárquico que integra planejamento estratégico baseado em LLM com execução tática baseada em RL para red teaming autônomo. O sistema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP) e opera dentro do ambiente CybORG CAGE Challenge 4, uma simulação de rede empresarial de alta fidelidade que apresenta observabilidade parcial e defensores de IA coordenados.

Arquitetura

O framework desacopla o agente em dois níveis distintos:

1. Planejador Estratégico (LLM): Um LLM congelado opera em uma resolução temporal grosseira (por exemplo, a cada 20 passos). Ele gera "intenções" estruturadas com base em observações atuais e memória opcional. Essas intenções codificam decisões de alto nível, como tipo de ação, tática MITRE ATT&CK, seleção de alvo e postura de risco. Os parâmetros do LLM permanecem fixos durante o treinamento para preservar o conhecimento externo.
2. Controlador Tático (RL): Um controlador de RL treinável (usando Proximal Policy Optimization, PPO) executa ações a cada passo de tempo. Ele condiciona sua política tanto na observação atual do ambiente quanto na intenção gerada pelo LLM. Isso permite que o controlador aprenda políticas fundamentadas no ambiente, enquanto adere a orientações estratégicas de alto nível.

Mecanismos Chave

• Moldagem de Recompensa Hierárquica: Para abordar recompensas esparsas e atrasadas, os autores introduzem uma função de recompensa multi-componente ($r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$). Isso inclui penalidades por ações inválidas e bônus por avançar através de estágios da cadeia de morte (por exemplo, descoberta, exploração, escalonamento de privilégios, impacto), alinhados com o MITRE ATT&CK.
• Reflexão (Memória): Um mecanismo opcional permite que o planejador LLM gere autorreflexões em linguagem natural ao final de cada episódio. Essas reflexões (resumindo sucessos, falhas e comportamentos dos defensores) são armazenadas em um buffer FIFO e realimentadas na entrada do planejador para episódios subsequentes, permitindo adaptação estratégica sem atualizações de parâmetros.
• Representação de Estado: As observações são transformadas em um resumo de texto para o LLM e em um vetor de características numérico para o controlador RL. A intenção estruturada do LLM é codificada em um espaço de embedding compatível com a rede de política do RL.

Contribuições Principais

1. Arquitetura Hierárquica LLM-RL: O artigo apresenta uma arquitetura inovadora que desacopla o planejamento estratégico (LLM) da execução tática (RL), permitindo interação estruturada entre a geração de intenção de alto nível e o controle fundamentado no ambiente de baixo nível.
2. Framework de RL Alinhado à Cadeia de Morte: Os autores introduzem um mecanismo de moldagem de recompensa especificamente projetado para guiar comportamentos adversariais de longo horizonte consistentes com os estágios do MITRE ATT&CK, estabilizando o aprendizado em ambientes de recompensa esparsa.
3. Estudo Empírico Abrangente: O trabalho avalia uma ampla gama de LLMs (de 0,6B a 70B parâmetros), incluindo modelos de propósito geral (Qwen3, Llama), especialistas em raciocínio (DeepSeek-R1, QwQ) e modelos especializados em cibersegurança de domínio (Foundation-Sec, DeepHat).
4. Benchmark Rigoroso: O framework é avaliado contra o defensor autônomo mais forte publicado para o cenário CAGE 4 (política H-MARL Expert), fornecendo um teste robusto das capacidades de red team sob condições adversariais realistas.

Resultados

Os experimentos foram conduzidos ao longo de 200 episódios no ambiente CAGE 4. A métrica principal foi a Taxa de Comprometimento do Episódio (ECR).

• Desempenho do Framework Híbrido: Os agentes propostos LLM+RL alcançaram sucesso quase perfeito.
  • Qwen3 + RL: Alcançou uma ECR de 100% (200/200 episódios).
  • Foundation-Sec + RL: Alcançou uma ECR de 94%.
  • Esses agentes avançaram confiavelmente através de múltiplos estágios de ataque, incluindo escalonamento de privilégios e impacto.
• Limitações de LLMs Autônomos: Agentes apenas LLM (zero-shot) exibiram capacidade limitada de ponta a ponta.
  • Apenas 6 de 14 modelos alcançaram qualquer comprometimento além do ponto de apoio inicial.
  • O modelo autônomo mais forte (QwQ-32B) teve sucesso em apenas 30% dos episódios.
  • Modelos especializados em domínio (por exemplo, Foundation-Sec-8B) geraram altos volumes de ações, mas falharam em traduzir isso em progresso significativo do ataque (ECR de 6,5%), indicando que o conhecimento de domínio sozinho é insuficiente sem execução consistente.
• Limitações de RL Autônomo: O agente apenas RL colapsou para uma política degenerada, selecionando uma única ação de reconhecimento em quase todos os passos de tempo e alcançando uma ECR de 0%. Ele falhou em descobrir a sequência estruturada de ações necessária para ataques multiestágio sob a estrutura de recompensa dada.
• Observações de Escala: O desempenho na família Qwen3 foi não monotônico; modelos menores (0,6B, 1,7B) alcançaram algum sucesso, enquanto variantes maiores (4B+) falharam em tentar exploração apesar da exploração eficaz.

Significado e Alegações

O artigo afirma que o red teaming autônomo contra sistemas SOAR habilitados por IA requer o acoplamento estreito de raciocínio estratégico e execução aprendida. Os autores argumentam que:

1. Abordagens autônomas são insuficientes: Nem sistemas apenas de raciocínio (LLM) nem apenas de aprendizado (RL) podem executar comportamentos completos da cadeia de morte contra defensores adaptativos.
2. Integração híbrida produz melhoria multiplicativa: Combinar o planejamento LLM com a execução RL resulta em melhorias substanciais no sucesso de ataques multiestágio e na robustez.
3. Planejamento estruturado é mais crítico que especialização de domínio: Modelos de propósito geral consistentemente superaram modelos maiores e especializados em cibersegurança no cenário híbrido. Isso sugere que a confiabilidade da saída e o controle estruturado são requisitos-chave para LLMs em sistemas de decisão hierárquicos, superando os benefícios do ajuste fino de domínio específico.

O estudo conclui que este framework híbrido preenche a lacuna entre as capacidades de raciocínio estratégico dos LLMs e a execução tática adaptativa do RL, fornecendo uma abordagem principial para testar a robustez de sistemas de defesa cibernética autônoma.