What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Este artigo apresenta uma revisão sistemática de 80 estudos que analisam o estado da arte na extração automatizada de táticas, técnicas e procedimentos (TTPs) de textos não estruturados, identificando a predominância de arquiteturas baseadas em transformadores, mas destacando limitações críticas como a falta de generalização entre domínios e a escassez de recursos reprodutíveis.

O essencial

Imagine que o mundo da segurança cibernética é como uma grande biblioteca de detetives. Todos os dias, milhares de novos livros são escritos (os relatórios de ameaças), descrevendo como os "vilões" (hackers) estão tentando roubar segredos, invadir casas digitais ou espionar empresas.

O problema é que esses livros são escritos em uma linguagem complexa, bagunçada e mudam o tempo todo. Os detetives (especialistas em segurança) precisam ler tudo isso para entender o que os vilões estão fazendo, como estão fazendo e por que estão fazendo. Mas ler manualmente milhões de páginas é impossível, cansativo e propenso a erros.

É aqui que entra este artigo de pesquisa. Os autores fizeram uma "grande revisão" para ver como a ciência está tentando criar robôs inteligentes que leem esses livros e extraem automaticamente as informações importantes.

Aqui está a explicação simples, usando analogias:

1. O Que São TTPs? (A Receita do Crime)

Para entender o que os robôs estão procurando, precisamos entender o que é um TTP:

• Tática (Tactics): É o "Porquê". É o objetivo do vilão. Exemplo: "Quero roubar dados" ou "Quero ficar escondido no sistema".
• Técnica (Techniques): É o "Como". É o método usado. Exemplo: "Vou usar uma senha fraca" ou "Vou esconder meu rastro apagando os logs".
• Procedimento (Procedures): São os passos exatos. É a receita detalhada. Exemplo: "Primeiro, instalei o programa X, depois rodei o comando Y".

Os pesquisadores usam um "livro de regras" famoso chamado MITRE ATT&CK (pense nele como um dicionário gigante de crimes) para classificar essas ações.

2. O Que a Pesquisa Descobriu? (O Mapa do Tesouro)

Os autores leram 80 estudos diferentes e organizaram o que os cientistas estão fazendo. Eles descobriram algumas tendências interessantes:

• O Foco Principal: A maioria dos robôs está focada em identificar apenas as Técnicas (o "como"). É como se eles soubessem que o ladrão usou um pé-de-cabra, mas não soubessem se ele queria roubar joias ou apenas assustar o dono da casa.
• A Evolução dos Robôs:
  • Antigamente: Eles usavam regras simples (como procurar palavras-chave específicas). Era como procurar por "dinheiro" em um texto. Funcionava, mas era limitado.
  • Hoje: Eles usam Inteligência Artificial Avançada (chamada de Transformers, como o BERT). Esses modelos são como estudantes que leram milhões de livros e entendem o contexto. Eles sabem que "o banco foi invadido" é diferente de "o banco de dados foi invadido".
  • O Futuro: Começaram a usar LLMs (Modelos de Linguagem Grandes, como o ChatGPT). Esses são os "gênios" que podem ler um relatório inteiro, entender a história e resumir o que o vilão fez, quase como um humano.

3. Os Problemas Atuais (Onde a Coisa Travou)

Apesar dos avanços, o artigo aponta que a tecnologia ainda não é perfeita. Aqui estão os principais gargalos, explicados de forma simples:

• O Problema do "Livro Secreto": Muitos estudos usam dados que são secretos ou pagos (como relatórios de empresas privadas). É como se um professor de culinária ensinasse uma receita, mas dissesse: "Não posso mostrar os ingredientes, você tem que acreditar na minha palavra". Isso impede que outros cientistas verifiquem se o robô realmente funciona.
• A Ilusão de Precisão: Muitos robôs são testados apenas em um tipo de texto (ex: apenas relatórios da empresa X). Quando você muda o texto para um blog ou um fórum da internet, o robô "trava". É como treinar um cachorro para buscar apenas uma bola vermelha; quando você joga uma azul, ele não sabe o que fazer.
• Falta de Detalhes: A maioria dos estudos diz "nossa máquina acertou 90%". Mas não diz quais 10% ela errou ou por que errou. É como um aluno que tira 9 na prova, mas o professor não diz quais questões ele errou.

4. O Que Precisamos Fazer Agora? (O Caminho a Seguir)

Os autores sugerem algumas direções para melhorar essa "biblioteca de detetives":

1. Compartilhar os Livros: Precisamos de mais dados públicos e abertos para que todos possam treinar e testar seus robôs.
2. Pensar em Conjunto: Os robôs precisam entender que um relatório pode ter várias táticas e técnicas misturadas, não apenas uma.
3. Entender o Contexto: Em vez de analisar frase por frase, os robôs precisam ler o relatório inteiro para entender a história completa do crime.
4. Testar no Mundo Real: Em vez de testar em laboratórios perfeitos, precisamos ver como esses robôs funcionam com o "barulho" e a confusão dos relatórios reais do dia a dia.

Resumo Final

Este artigo é um mapa para os cientistas. Ele diz: "Olhem, já construímos robôs inteligentes que leem relatórios de hackers e identificam como eles agem. Estamos usando tecnologias modernas, mas ainda estamos presos em testes pequenos e dados secretos. Para proteger o mundo de verdade, precisamos de robôs mais inteligentes, testes mais realistas e mais transparência para que todos possam ajudar a construir a defesa."

É um chamado para transformar a "caça ao vilão" de uma arte manual e difícil em uma ciência automatizada, precisa e acessível a todos.

Resumo técnico

Título: O que os Adversários Estão Fazendo? Extração Automatizada de Táticas, Técnicas e Procedimentos (TTPs): Uma Revisão Sistemática

1. Problema e Motivação

A escala e a complexidade dos ciberataques estão aumentando rapidamente, com um crescimento de 75% nas violações de segurança em 2024. Para defender-se, as organizações dependem de Inteligência de Ameaças Cibernéticas (CTI), que visa entender os Táticas, Técnicas e Procedimentos (TTPs) dos adversários.

• O Desafio: A análise manual de relatórios de CTI (que são não estruturados e crescem exponencialmente) para extrair TTPs e mapeá-los para frameworks estruturados como o MITRE ATT&CK é trabalhosa, propensa a erros e não escala com a velocidade das ameaças.
• A Lacuna na Pesquisa: Embora existam estudos sobre extração automatizada de TTPs usando NLP e Machine Learning, não há uma síntese unificada. As pesquisas existentes variam amplamente em objetivos, fontes de dados, estratégias de anotação e métricas de avaliação, dificultando a comparação e a compreensão do estado da arte.

2. Metodologia

Os autores realizaram uma Revisão Sistemática da Literatura (SLR) seguindo as diretrizes de Kitchenham et al. para engenharia de software.

• Fontes de Dados: Cinco bases de dados acadêmicas principais (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL).
• Estratégia de Busca: Strings de busca focadas em "MITRE ATT&CK" e "Tactics AND Techniques AND Procedures".
• Critérios de Seleção:
  • Inclusão: Artigos revisados por pares (2015–2025), em inglês, focados em extração de TTPs de texto, propondo novas metodologias.
  • Exclusão: Resumos, white papers, estudos anteriores a 2015 e trabalhos não relacionados à extração de TTPs.
• Processo de Filtragem:
  1. Busca inicial: 3.219 artigos.
  2. Triagem por título/resumo: 103 estudos primários.
  3. Snowballing (frente e trás): Adicionou 31 artigos.
  4. Triagem de texto completo: Resultado final de 80 estudos selecionados para análise profunda.
• Análise: Os autores aplicaram codificação aberta qualitativa para categorizar os estudos em dimensões-chave (objetivos, fontes de dados, pré-processamento, anotação, metodologias, métricas e reprodutibilidade).

3. Principais Contribuições

O estudo oferece a primeira síntese sistemática focada exclusivamente na extração de TTPs, cobrindo:

1. Categorização de Objetivos: Definição clara dos tipos de tarefas de extração (Classificação de Táticas, Técnicas, Busca, Extração de IoCs, Construção de Grafos de Conhecimento).
2. Mapeamento de Fontes de Dados: Identificação de onde os dados são obtidos (relatórios de CTI, bases de vulnerabilidades, logs, etc.).
3. Análise de Metodologias: Rastreamento da evolução de métodos baseados em regras para Deep Learning e, mais recentemente, Grandes Modelos de Linguagem (LLMs).
4. Avaliação de Reprodutibilidade: Um diagnóstico crítico sobre a disponibilidade de código e dados públicos.
5. Direções Futuras: Recomendações para preencher lacunas na pesquisa atual.

4. Resultados e Descobertas Chave

A. Objetivos de Extração (RQ1)
A maioria dos estudos foca na Classificação de Técnicas (39 estudos), mapeando texto para técnicas específicas do MITRE ATT&CK.

• Dominante: Classificação de Técnicas (baseada em relatórios de CTI, CVEs, logs).
• Subexplorado: Classificação de Táticas (6 estudos) e Busca de Técnicas (5 estudos).
• Emergente: Construção de Grafos de Conhecimento (KG) (24 estudos) para modelar relações entre entidades.

B. Fontes de Dados e Coleta (RQ2 & RQ3)

• Fontes Principais: Bases de dados de referência (MITRE ATT&CK, CAPEC) e Relatórios de CTI (FireEye, Kaspersky, etc.) são as mais usadas.
• Subutilizadas: Logs de sistema, regras de IDS e repositórios de malware são menos explorados, limitando a aplicação em cenários de detecção em tempo real.
• Pré-processamento: Envolve frequentemente limpeza de texto, segmentação de sentenças e tratamento de IoCs (às vezes substituídos por placeholders para evitar vazamento ou ruído).

C. Metodologias e Modelos (RQ5)
Houve uma evolução clara nas abordagens técnicas:

1. Abordagens Tradicionais: Baseadas em regras, TF-IDF, e modelos clássicos (SVM, Naive Bayes).
2. Deep Learning e Transformers: A transição para modelos baseados em BERT e suas variantes (RoBERTa, SecureBERT, SciBERT) é dominante. Modelos específicos de segurança (como SecureBERT) superam os modelos genéricos devido ao vocabulário técnico.
3. LLMs (Grandes Modelos de Linguagem): Estudos recentes começam a explorar LLMs (GPT-3.5/4, LLaMA) para:
   • Zero-shot/Few-shot learning: Extração sem treinamento extensivo.
   • RAG (Retrieval-Augmented Generation): Uso de bases de conhecimento externas para melhorar a precisão.
   • Geração de Dados: Uso de LLMs para aumentar conjuntos de dados escassos.

D. Avaliação e Métricas (RQ6)

• Métricas: Predominância de Precisão, Recall e F1-Score (macro e micro).
• Limitação: A maioria dos estudos usa conjuntos de dados únicos e configurações de classificação de rótulo único, o que não reflete a complexidade de relatórios que contêm múltiplas táticas e técnicas simultâneas.

E. Reprodutibilidade (RQ7)

• Crítica: Apenas 12,5% dos estudos disponibilizam tanto o código quanto os dados publicamente.
• Barreiras: 50% dos estudos não relatam claramente a disponibilidade de recursos, e muitos dependem de dados proprietários ou privados, impedindo a validação independente e o benchmarking sistemático.

5. Significado e Direções Futuras

Significado do Estudo:
Este trabalho estabelece uma base fundamental para pesquisadores e profissionais de segurança, esclarecendo que, embora a tecnologia tenha avançado (especialmente com LLMs), a generalização e a reprodutibilidade são os maiores gargalos. A pesquisa atual tende a ser muito focada em tarefas de classificação de sentenças em relatórios de texto, negligenciando a extração de TTPs a partir de logs operacionais e a modelagem de relações temporais complexas.

Direções Futuras Recomendadas:

1. Conjuntos de Dados Operacionais: Criar e publicar datasets derivados de relatórios de CTI reais e não filtrados, que capturem ruído e ambiguidade do mundo real.
2. Avaliação Multi-rótulo: Adotar paradigmas que reconheçam que um único relatório pode conter múltiplas táticas e técnicas sobrepostas.
3. Representações Ricas: Ir além de representações estáticas baseadas em STIX; incorporar dimensões temporais, causais e de dependência narrativa.
4. Emulação de Adversários: Usar CTI extraída para gerar playbooks de ataque realistas via LLMs.
5. Extração Contextual: Desenvolver modelos que analisem documentos inteiros (nível de parágrafo/documento) em vez de apenas sentenças isoladas, para capturar dependências implícitas.

Em resumo, o artigo conclui que a extração automatizada de TTPs está em um ponto de inflexão tecnológica, mas precisa amadurecer em termos de rigor experimental, transparência de dados e alinhamento com fluxos de trabalho de segurança reais para ter impacto operacional significativo.