In-Context Autonomous Network Incident Response: An End-to-End Large Language Model Agent Approach

Resumo Técnico: Resposta a Incidentes de Rede Autônoma com Contexto em LLMs

1. O Problema

A resposta a incidentes de rede cibernética é um processo crítico de tomada de decisão pós-ataque, visando conter, mitigar e recuperar sistemas. Atualmente, a prática depende fortemente de operações manuais, que são lentas e laboriosas, falhando frequentemente diante de ameaças em constante evolução.

• Limitações das Abordagens Atuais:
  • Aprendizado por Reforço (RL): Embora eficaz em simulações, o RL exige modelagem manual rigorosa do ambiente de rede, comprimindo semântica rica de logs e alertas em dados numéricos estruturados. Isso demanda muito trabalho manual e perde nuances importantes.
  • LLMs Genéricos (Prompt Engineering): Métodos baseados em LLMs existentes sofrem de alucinações (gerar ações plausíveis mas inadequadas) e perda de contexto em planejamentos de longo prazo, onde o modelo esquece informações anteriores devido ao volume de dados.

2. Metodologia Proposta

Os autores propõem um agente LLM autônomo de ponta a ponta que integra quatro funcionalidades principais (Percepção, Raciocínio, Planejamento e Ação) em um único modelo leve (14 bilhões de parâmetros), capaz de operar em hardware comercial. A abordagem é inspirada em Processos de Decisão de Markov Parcialmente Observáveis (POMDP) e utiliza Aprendizado de Contexto (In-Context Learning).

O sistema opera em duas fases principais (ilustradas na Figura 1 do artigo):

A. Fase Offline: Ajuste Fino (Fine-Tuning)

• Um modelo LLM (DeepSeek-14B) é ajustado usando LoRA (Low-Rank Adaptation) em um conjunto de dados de 50.000 pares de instruções-respostas.
• O treinamento utiliza Raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) para ensinar o modelo a:
  1. Percepção: Inferir o estado de recuperação da rede (contenção, avaliação, preservação, expulsão, endurecimento, restauração) a partir de logs e alertas.
  2. Raciocínio: Prever futuras observações (alertas) e estados com base em táticas de ataque (MITRE ATT&CK), criando um "modelo de mundo" interno.
  3. Ação: Gerar comandos de segurança concretos e acionáveis.

B. Fase Online: Planejamento de Olheira Conjetural com Adaptação

• O agente executa um ciclo de planejamento baseado em Busca em Árvore Monte Carlo (MCTS) adaptado para LLMs:
  1. Geração de Candidatos: O agente gera $N$ ações candidatas baseadas no estado atual.
  2. Simulação (Lookahead): Para cada ação, o agente simula trajetórias de recuperação futuras (estados e alertas previstos) usando seu modelo de mundo interno.
  3. Seleção: Calcula o custo esperado (tempo de recuperação) para cada trajetória e seleciona a ação ótima.
  4. Execução e Calibração: Após executar a ação, o agente compara os alertas reais observados com os previstos. Se houver discrepância, ele utiliza um LLM de ponta (ex: GPT-5.2 via API) ou seu próprio mecanismo para calibrar a conjectura das táticas de ataque (ajustar o "modelo de mundo") e replanejar. Isso garante consistência e adaptação contínua.

3. Principais Contribuições

1. Agente LLM End-to-End: Integração de percepção, raciocínio, planejamento e ação em um único modelo leve, eliminando a necessidade de modelagem manual de simuladores complexos.
2. Mitigação de Alucinações e Perda de Contexto: O uso de um mecanismo de "olheira" (lookahead) e a comparação entre previsões do modelo e observações reais filtram ações alucinadas e permitem a recalibração do modelo de ataque em tempo real.
3. Eficiência Computacional: O agente é leve (14B parâmetros) e pode ser implantado em hardware comercial, diferentemente de soluções que exigem grandes clusters de GPU para treinamento de RL ou modelos massivos.
4. Abordagem Híbrida: Combina a capacidade de processamento de texto e conhecimento pré-treinado dos LLMs com princípios de planejamento de RL (POMDP) para tomada de decisão sequencial.

4. Resultados Experimentais

O agente foi avaliado em quatro conjuntos de dados reais de incidentes (CTU-Malware-2014, CIC-IDS-2017, AIT-IDS-V2-2022, CSLE-IDS-2024) e comparado com modelos de ponta (DeepSeek-R1, Gemini 2.5 Pro, OpenAI O3).

• Desempenho de Recuperação: O agente proposto alcançou um tempo de recuperação 23% mais rápido do que os modelos de ponta (frontier LLMs).
• Precisão: O modelo atingiu uma acurácia de correspondência exata de 0,98 na previsão de estados de recuperação e altos scores F1 na previsão de alertas de IDS.
• Estudo de Ablação: A remoção do ajuste fino (fine-tuning) ou do módulo de planejamento degradou significativamente o desempenho, confirmando que ambas as etapas são essenciais. A adaptação de contexto trouxe melhorias, mas foi menos crítica em sequências curtas de teste.
• Falhas: As taxas de falha foram semelhantes às dos modelos de ponta, mas o tempo para recuperar com sucesso foi superior.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na automação da defesa cibernética. Ao demonstrar que um LLM leve, devidamente ajustado e equipado com mecanismos de planejamento e verificação de contexto, pode superar modelos genéricos massivos em tarefas complexas de resposta a incidentes, o artigo oferece uma via viável para sistemas de defesa autônoma.

Limitações e Futuro:
O principal gargalo é a escalabilidade computacional devido à busca em árvore Monte Carlo (complexidade $O(MN)$), que pode tornar o tempo de geração de planos longo em redes complexas. Trabalhos futuros focarão em simulações mais eficientes e computação paralela para reduzir a latência em ambientes de rede sofisticados.

Em suma, a proposta oferece uma alternativa prática e eficiente aos métodos tradicionais de RL, permitindo que sistemas de resposta a incidentes aprendam e se adaptem dinamicamente sem a necessidade de modelagem manual extensiva.