Resumo Técnico: Emulação de Adversário de Ponta a Ponta Totalmente Automatizada a partir de CTI Usando LLMs

Declaração do Problema

A emulação de adversários é um método crítico para validar os sistemas de defesa organizacional replicando Táticas, Técnicas e Procedimentos (TTPs) específicos de grupos de ameaça. No entanto, alcançar a emulação de adversário de ponta a ponta totalmente automatizada continua sendo um desafio significativo. As abordagens existentes sofrem de fragmentação:

• Geração Manual de Playbooks: Ferramentas como MITRE Caldera e PurpleSharp automatizam a execução, mas dependem de especialistas em segurança para redigir manualmente os playbooks, criando um gargalo de escalabilidade.
• Automação Parcial: Sistemas recentes como o AURORA usam Grandes Modelos de Linguagem (LLMs) para gerar playbooks a partir de relatórios de Inteligência de Ameaças Cibernéticas (CTI), mas ainda exigem intervenção manual para o fornecimento e execução de payloads. Crucialmente, eles carecem de mecanismos para diagnosticar ou reparar falhas de execução, muitas vezes prosseguindo com cadeias de ataque inválidas quando comandos falham devido a diferenças ambientais.

O problema central é a ausência de um fluxo de trabalho unificado que integre geração de playbook, execução e recuperação de falhas sem intervenção humana, particularmente ao traduzir relatórios de CTI não estruturados em linguagem natural para cenários de ataque executáveis.

Metodologia

Os autores propõem um framework totalmente automatizado que transforma relatórios de CTI alinhados ao MITRE ATT&CK em playbooks do Caldera executáveis usando LLMs. A arquitetura do sistema consiste em quatro camadas funcionais:

1. Camada de Entrada

• Relatórios de CTI: O sistema ingere relatórios de CTI estruturados (ex: da KISA) contendo TTPs, detalhes operacionais (IPs, caminhos de arquivos) e estratégias de mitigação.
• Especificação do Ambiente: Um documento fornecido por um operador de segurança detalhando o ambiente alvo (versões de SO, topologia de rede, credenciais). Isso permite que o LLM abstraia detalhes específicos do ambiente do relatório de CTI e os concretize para o ambiente de teste.

2. Camada de Geração de Playbook Baseada em LLM

Esta camada transforma a entrada no um Adversário do Caldera através de três etapas:

• Etapa 1 (Fluxo Abstrato): O LLM extrai objetivos de ataque do texto de CTI, identificando objetivos, táticas e métodos para criar um fluxo de ataque abstrato independente de ambiente.
• Etapa 2 (Fluxo Concreto): O LLM combina o fluxo abstrato com a especificação do ambiente para gerar nós específicos. Cada nó contém um comando executável, um ID de Técnica MITRE ATT&CK e parâmetros concretos (IPs, campaths). Dependências lógicas são estabelecidas para determinar a ordem de execução.
• Etapa 3 (Conversão para Caldera): Os nós são convertidos em Abilities do Caldera (unidades executáveis) e montados em um Adversário (playbook) nos formatos abilities.yml e adversaries.yml.

3. Camada de Execução

O Adversário gerado é carregado na plataforma MITRE Caldera. Um Agente Caldera no host alvo executa as Abilities e retorna resultados (códigos de saída, stdout, stderr) para o sistema.

4. Camada de Recuperação de Falhas

Este é um componente inovador projetado para lidar com a heterogeneidade das falhas de simulação de ataque.

• Classificação de Falhas: Os erros de execução são classificados em quatro tipos usando padrões de regex derivados dos logs de erro observados:
  1. Erro de Sintaxe: Problemas de parsing de comando ou escape.
  2. Erro de Dependência: Problemas de privilégio, falhas de autenticação ou falhas em cascata de etapas anteriores.
  3. Ambiente Ausente: Ausência de recursos necessários (arquivos, endpoints de rede).
  4. Timeout: Execução excedendo limites de tempo.
• Estratégia de Recuperação: Para falhas recuperáveis, o sistema constrói um novo prompt para o LLM contendo o comando original, a definição específica do tipo de falha, o histórico de revisão acumulado e a especificação do ambiente. O LLM gera um comando revisado, que é reexecutado. Este loop continua até três vezes ou até o sucesso.

Principais Contribuições

1. Framework Unificado de Ponta a Ponta: O artigo apresenta o primeiro sistema que integra geração de playbook, execução e recuperação de falhas em um único fluxo de trabalho automatizado, eliminando a necessidade de intervenção manual em qualquer estágio.
2. Mecanismo de Recuperação Consciente do Tipo de Falha: Diferente da correção de código geral, este mecanismo é específico para o domínio, classificando falhas em quatro categorias distintas e aplicando estratégias de recuperação personalizadas. Ele aproveita o histórico de revisão acumulado para evitar erros repetidos.
3. Avaliação Abrangente de LLM: O estudo avalia quatro LLMs comerciais (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro e Grok 4 Fast), demonstrando que diferentes modelos exibem forças distintas em fidelidade, comprimento de cadeia e capacidade de recuperação.

Resultados Experimentais

O framework foi avaliado em 11 relatórios de CTI de alta qualidade (com média de 41,5 páginas cada) usando um ambiente Windows controlado (PC1, PC2, PC3).

Métricas de Desempenho (Melhor Modelo: Claude Sonnet 4.5)

• Conformidade com ATT&CK: 94,91% das Abilities geradas corresponderam a técnicas válidas do MITRE ATT&CK.
• Fidelidade de CTI: Alcançou um F1-score de CTI de 60,50% (Precisão: 73,95%, Recall: 52,48%).
• Sucesso de Execução:
  • Taxa de sucesso inicial de execução: 69,63%.
  • Taxa de sucesso final de execução (após recuperação): 84,22%.
  • Melhoria: O mecanismo de recuperação de falhas aumentou as taxas de sucesso em 14,59 pontos percentuais em média entre todos os modelos.
• Eficiência: Gerar e revisar um playbook levou em média 197,39 segundos (aprox. 3,3 minutos) e custou $0,35 em tokens de LLM por relatório.

Comparação com o Estado da Arte (AURORA)

Usando 10 relatórios de CTI do dataset AURORA:

• Sucesso de Execução: O sistema proposto alcançou uma taxa de sucesso final de 65,17%, superando o AURORA (60,72%).
• Fidelidade: O sistema alcançou um F1-score de CTI superior (30,57%) comparado ao AURORA (26,07%).
• Impacto da Recuperação: Embora o AURORA tivesse uma taxa de sucesso inicial mais alta (60,72%) devido ao uso de uma biblioteca de comandos pré-construída, o sistema proposto teve uma taxa inicial menor (32,90%) porque gera comandos do zero. No entanto, o mecanismo de recuperação impulsionou a taxa de sucesso do sistema proposto em 32,27 pontos percentuais, acabando por superar o AURORA.

Significância e Alegações

Os autores afirmam que este trabalho representa um passo significativo em direção à emulação de adversários prática e escalável. Ao automatizar todo o ciclo de vida, desde o relatório de CTI até a execução bem-sucedida do ataque, o sistema aborda o gargalo de escalabilidade da autoria manual de playbooks.

O artigo enfatiza que o mecanismo de recuperação de falhas é o diferencial crítico. Na simulação de ataque, nuances ambientais frequentemente fazem com que comandos falhem onde teriam sucesso em outro contexto. A capacidade de diagnosticar automaticamente essas falhas (ex: distinguir entre um erro de sintaxe e uma variável de ambiente ausente) e revisar o playbook sem intervenção humana é essencial para manter a validade da cadeia de ataque.

O estudo conclui que, embora o sistema atual assuma um ambiente pré-preparado, ele demonstra com sucesso que a emulação de adversário de ponta a ponta totalmente automatizada é viável, oferecendo economias substanciais de tempo e custo, mantendo alta fidelidade à inteligência de ameaças. Sugere-se como trabalho futuro a automação dos passos de provisionamento de ambiente e geração de especificação.