Resumo Técnico: Construção de Modelos de Classificação Hierárquica Multirrótulo para a Etiquetagem de Texto do MITRE ATT&CK

Definição do Problema

O framework MITRE ATT&CK serve como uma base de conhecimento crítica para a cibersegurança, organizando os comportamentos de atores de ameaças em uma hierarquia de táticas (o "porquê" ou objetivos de um ataque) e técnicas (o "como" ou métodos utilizados). Uma aplicação primária deste framework é a anotação manual de relatórios de inteligência de ameaças cibernéticas, descrições de vulnerabilidades e cenários de ameaças para facilitar a análise subsequente. Atualmente, este processo de etiquetagem permanece majoritariamente manual, criando um gargalo para analistas de segurança. Embora vários métodos computacionais tenham surgido para automatizar ou semiautomatizar esta tarefa, há uma falta de um framework unificado para categorizar esses esforços e uma necessidade de modelos robustos e acessíveis que não dependam de Grandes Modelos de Linguagem (LLMs) complexos ou arquiteturas que exijam muitos recursos.

Metodologia

Os autores propõem uma construção por estágios "bottom-up" (de baixo para cima) de um sistema de classificação hierárquica multirrótulo, divergindo das seleções arquiteturais canônicas de IA/ML "top-down" (de cima para baixo). Esta abordagem é guiada por uma formulação de "espaço de tarefas" estratificada (Tabela 1) que categoriza tarefas de etiquetagem por complexidade, variando de classificação multiclasse de rótulo único para mapeamento hierárquico multirrótulo complexo.

A metodologia procede através de três estágios experimentais utilizando aprendizado de máquina clássico (especificamente classificadores de Gradiente Descendente Estocástico (SGD) com vetorização TF-IDF):

1. Estágio Experimental 1 (Classificação de Tática Multiclasse):

   • Tarefa: Mapear uma sentença ($D$) para uma única tática ($T$).
   • Abordagem: Um modelo SGD multiclasse de linha de base foi treinado em 14.405 sentenças de inteligência cibernética geral.
   • Comparação: O modelo foi testado contra o GPT-4o utilizando uma abordagem de engenharia de prompt Text-to-Text.
   • Resultado: O modelo SGD clássico superou significativamente o GPT-4o (81,95% vs. 59% de acurácia).

2. Estágio Experimental 2 (Construção Hierárquica Multirrótulo):

   • Tarefa: Estender o sistema para prever múltiplas táticas e suas respectivas técnicas (ID de Tarefa 7 no espaço de tarefas).
   • Abordagem:
     • Predição Top-N: O modelo multiclasse foi modificado para produzir os $n=3$ principais tópicos previstos em vez de um único rótulo.
     • Condicionamento Hierárquico: Para cada tática prevista, um modelo SGD multiclasse separado e específico para aquela tática foi treinado para prever os $m=3$ principais tópicos de técnicas associadas.
     • Segurança: Um mecanismo de hashing (MurmurHash3) foi integrado ao processo de vetorização para criptografar dados de treinamento sensíveis sem comprometer o desempenho do modelo, facilitando o lançamento público.
   • Resultado: O sistema alcançou aproximadamente 94% de acurácia no nível de tática e 82% de acurácia no nível de técnica (quando tratada como transformações multiclasse).

3. Estágio Experimental 3 (Generalização para Novos Domínios):

   • Tarefa: Avaliar o modelo de linha de base em um conjunto de dados esparso de 552 cenários de ameaças financeiras produzidos por especialistas em assunto do JPMorgan Chase.
   • Abordagem: O modelo treinado com dados de inteligência cibernética geral foi testado neste novo domínio e, subsequentemente, um novo modelo foi treinado do zero usando um pequeno subconjunto dos dados de cenários de ameaças.
   • Resultado: O modelo de linha de base mostrou generalização limitada (41% de acurácia), mas a arquitetura provou ser adaptável, melhorando para 66% de acurácia com o mínimo de retreinamento nos dados do novo domínio.

Principais Contribuições

1. Formulação de Espaço de Tarefas Estratificada: O artigo fornece uma taxonomia estruturada (Tabela 1) para a tarefa de etiquetagem de texto do MITRE ATT&CK, organizando abordagens de AIML existentes e esclarecendo caminhos para desenvolvimentos futuros.
2. Construção de Modelo Bottom-Up: Os autores demonstram uma metodologia para construir modelos hierárquicos que encapsulam organicamente as "Melhores Práticas para Mapeamento MITRE ATT&CK" da CISA através de experimentação, em vez de arquiteturas complexas pré-definidas.
3. Desempenho vs. Complexidade: O estudo estabelece que métodos de aprendizado de máquina clássicos (SGD + TF-IDF) podem igualar ou superar o desempenho de estado da arte (incluindo o GPT-4o) para esta tarefa específica, removendo a dependência de LLMs, RAG, agentes ou métodos complexos baseados em DAG.
4. Lançamento Público e Segurança: Os autores lançaram uma versão segura e compartilhável do seu sistema de etiquetagem (via GitHub) que inclui hashing de dados para proteger os dados de treinamento sensíveis, mantendo alto desempenho.
5. Exemplo de Adaptação de Domínio: O artigo ilustra como o modelo de linha de base pode ser iniciado para novos conjuntos de dados esparsos (cenários de ameaças financeiras), destacando o potencial para a construção de modelos de baixos recursos.

Resultados

• Acurácia no Nível de Tática: A abordagem hierárquica multirrótulo alcançou cerca de 94% de acurácia no nível de tática.
• Acurácia no Nível de Técnica: A abordagem alcançou cerca de 82% de acurácia no nível de técnica.
• Comparação com GPT-4o: O GPT-4o alcançou apenas ~60% de acurácia no nível de tática, significativamente inferior à abordagem SGD clássica.
• Mérito Hierárquico: Os resultados confirmaram que a abordagem hierárquica é eficaz; as técnicas nunca foram previstas corretamente quando pareadas com uma tática incorreta, validando a estratégia de modelagem condicional.
• Segurança de Dados: A integração de hashing para criptografia de dados não impactou significativamente o desempenho do sistema, permitindo a distribuição pública segura.

Significância e Alegações

O artigo alega que a comunidade de cibersegurança enfrenta um hiato entre atividades de segurança especializadas e a rica literatura matemática/técnica de AIML. Ao fornecer uma formulação de tarefa rigorosa e um modelo de linha de base de alto desempenho, acessível e seguro, os autores visam preencher essa lacuna.

Os autores enfatizam que, embora muitas abordagens existam, a adoção generalizada por especialistas em segurança é rara, muitas vezes devido a problemas de usabilidade em configurações de baixos recursos ou dados esparsos. Consequentemente, a significância deste trabalho reside não apenas nas métricas de desempenho, mas na usabilidade, compartilhabilidade e extensibilidade do sistema proposto. O artigo postula que uma abordagem direta de aprendizado de máquina clássico, que respeita a privacidade dos dados e exige mínimos recursos, é um pré-requisito para a adoção real de ferramentas de etiquetagem automatizada por profissionais de segurança. Os autores declaram explicitamente que seu objetivo é facilitar desenvolvimentos futuros e fornecer uma base para trabalhos futuros, em vez de reivindicar uma solução final e perfeita.