🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Este artigo estabelece um novo baseline empírico para a classificação multi-label de ATT&CK em relatórios complexos e não estruturados de Inteligência de Ameaças Cibernéticas ao introduzir um conjunto de dados anotado por humanos de 2.076 sentenças e avaliar sete LLMs de código aberto, que coletivamente alcançaram um baixo escore F1 micro-médio de 0,22, indicando que os modelos atuais permanecem insuficientes para implantação em nível de produção, apesar de uma correlação positiva entre o tamanho dos parâmetros e o desempenho.

Autores originais: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um segurança tentando ler um diário de mil páginas, bagunçado, escrito por um criminoso caótico. Este diário (chamado de Relatório de CTI) não diz apenas "Eu roubei o carro". Ele diz: "Eu arrombei a fechadura, fiz uma ligação direta no motor, dirigi até o banco e depois apaguei as câmeras de segurança".

Seu trabalho é ler cada frase e etiquetá-la com o "código de crime" correto de um livro de regras massivo chamado MITRE ATT&CK. Este livro de regras possui 211 códigos diferentes para cada maneira possível de um criminoso atacar. O problema é que uma única frase pode conter múltiplos crimes ao mesmo tempo, e a linguagem é complexa.

Por muito tempo, os computadores foram terríveis nisso. Eles eram como um robô que só conseguia ler notas simples de uma única frase. Se a nota fosse complexa, o robô ficava confuso.

Então surgiram os Modelos de Linguagem de Grande Escala (LLMs). Pense neles como estagiários super inteligentes e bem instruídos que conseguem entender o contexto e as nuances. As pessoas esperavam que esses estagiários de IA pudessem finalmente ler os diários bagunçados e etiquetar os crimes perfeitamente.

Este artigo é o boletim de sete desses estagiários de código aberto. Os pesquisadores queriam ver se esses estagiários de IA estão realmente prontos para o trabalho ou se ainda estão muito inexperientes.

Aqui está o que eles fizeram e o que descobriram, explicado de forma simples:

1. O Teste: Um Exame do "Mundo Real"

Testes anteriores para esses estagiários de IA eram como dar a eles um quiz com perguntas fáceis de resposta única (ex: "O criminoso usou uma chave." -> Etiqueta: Arrombamento de Fechadura).

Os pesquisadores deste artigo disseram: "Não é assim que a vida real funciona". Eles criaram um exame mais difícil e realista:

Eles pegaram 83 relatórios de segurança reais e bagunçados escritos por especialistas humanos.
Eles os quebraram em 2.076 frases individuais.
Eles fizeram com que especialistas humanos etiquetassem manualmente cada frase com os códigos de crime corretos. Algumas frases não tinham códigos; algumas tinham um; algumas tinham até nove códigos de uma vez!
Isso se tornou a "Folha de Respostas" (Verdade Fundamental/Ground Truth) para avaliar a IA.

2. Os Candidatos

Eles escolheram 7 modelos de IA de código aberto diferentes.

Pense nesses modelos como estudantes de tamanhos diferentes. Alguns são pequenos (8 bilhões de "células cerebrais" ou parâmetros) e alguns são gigantes (236 bilhões).
Eles os testaram em diferentes "modos":
- Zero-Shot: Apenas dando as instruções.
- Few-Shot: Dando à IA alguns exemplos para ela estudar primeiro.
- Chain-of-Thought (Cadeia de Pensamento): Pedindo à IA para "pensar em voz alta" passo a passo antes de responder.
- Temperatura: Girando o botão de "criatividade" da IA para cima ou para baixo (0 = robô rigoroso, 0,5 = levemente mais criativo).

3. Os Resultados: Os Estagiários Ainda Estão Aprendendo

Os resultados foram um choque de realidade.

A Pontuação: Mesmo o melhor modelo de IA obteve uma pontuação de 22% (em uma escala onde 100% é perfeito).
- Analogia: Imagine um aluno fazendo um exame final difícil e tirando um D-. Ele está passando, mas está errando a maioria das respostas.
O Tamanho Importa (Em Grande Parte): Os modelos mais grandes e complexos (os "Gigantes") geralmente tiveram um desempenho melhor do que os pequenos. Houve uma ligação clara: cérebro maior = pontuação ligeiramente melhor.
As Configurações "Mágicas" Não Funcionaram:
- Dar exemplos à IA (Few-Shot) não ajudou muito.
- Pedir para a IA "pensar passo a passo" (Chain-of-Thought) não ajudou muito.
- Girar o botão de "criatividade" (Temperatura) fez quase nenhuma diferença.
- Analogia: É como dar a um aluno um lápis de cor diferente ou dizer para ele "se esforçar mais", mas se ele não conhece o material, a pontuação não muda.

4. A Única Coisa Que Ajudou: A "Folha de Consulta"

Os pesquisadores tentaram mais uma coisa. Eles deram uma configuração de Geração Aumentada de Recuperação (RAG) para a IA.

Analogia: Em vez de apenas confiar no que a IA memorizou, eles deram à IA um livro aberto (o livro de regras oficial) para ela consultar enquanto fazia o teste.
O Resultado: A pontuação saltou de 22% para 32%.
Esta foi a maior melhoria de todas. Provou que a IA não está falhando porque é "burra"; ela está falhando porque não tem as regras atuais à sua frente.

5. O Que Deu Errado?

Os pesquisadores analisaram os erros cometidos pela IA:

Falsos Positivos: A IA viu uma palavra como "evadir" e deduziu "Sequestro", embora a frase fosse sobre outra coisa. Ela estava adivinhando com base em palavras-chave em vez de entender a história.
Falsos Negativos: A IA perdeu um crime porque não entendeu que "preparar um binário de ransomware" era, na verdade, um tipo específico de transferência. Ela carecia de contexto profundo.

A Conclusão

O artigo conclui que os modelos de IA de código aberto atuais ainda não estão prontos para serem os únicos seguranças para classificar ameaças cibernéticas complexas. Eles são muito imprecisos (pontuando apenas 22-32%) para serem confiados em um centro de segurança do mundo real sem ajuda humana.

A única coisa que melhorou significamente o desempenho deles foi dar acesso ao livro de regras oficial (RAG) durante o teste. Simplesmente mudar a forma como você faz as perguntas (prompts) ou tornar o modelo maior não resolveu o problema central.

Em resumo: Os estagiários de IA são inteligentes, mas atualmente são propensos demais a erros para trabalhar sozinhos. Eles precisam de um supervisor humano e de um manual de referência para realizar o trabalho corretamente.

Resumo Técnico: Avaliando LLMs de Código Aberto para Classificação de Técnicas ATT&CK Multi-rótulo

Definição do Problema

Classificar relatórios de Inteligência de Ameaças Cibernéticas (CTI) em técnicas do MITRE ATT&CK é crítico para a defesa proativa, mas permanece um processo laborioso devido à complexidade do texto não estruturado, padrões de ataque de múltiplas etapas e uma taxonomia de 211 classes. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na compreensão de contexto, as avaliações existentes sofrem de limitações significativas: elas dependem de sentenças simplificadas de técnica única que não refletem a natureza multi-rótulo dos relatórios do mundo real, levando a métricas de desempenho infladas. Consequentemente, o desempenho base de LLMs de código aberto em relatórios de CTI complexos e não estruturados permanece não avaliado, deixando os profissionais de segurança sem evidências empíricas para guiar a integração desses modelos em pipelines de ingestão de ameaças.

Metodologia

Para abordar essa lacuna, os autores construíram um rigoroso framework experimental abrangendo criação de dataset, avaliação de modelos e análise estatística.

1. Construção do Dataset (RQ1)
Os autores curaram um dataset de verdade fundamental (ground-truth) composto por 2.076 sentenças extraídas das seções "Case Summary" de 83 relatórios de CTI complexos e não estruturados (abril de 2020 – fevereiro de 2025) provenientes do The DFIR Report.

Processo de Anotação: Foi empregada uma estratégia de anotação de seis fases envolvendo rotulagem independente, rotulagem cruzada, rotulagem de novas versões para instâncias de baixo acordo e resolução de disputas.
Escopo: As sentenças foram mapeadas para 114 técnicas únicas do ATT&CK (das 211 disponíveis no Enterprise v17.1). O dataset inclui tanto classes positivas para a técnica (1.281 sentenças) quanto negativas (795 sentenças) para avaliar as taxas de falsos positivos.
Controle de Qualidade: O processo alcançou um acordo inter-anotador médio de $\kappa = 0,68$ (acordo substancial), com 65 técnicas excedendo o limite de $\kappa \geq 0,7$ .
Características: O dataset exibe um desequilíbrio severo de classes (Razão de Desequilíbrio = 229,0) e uma distribuição de cauda longa, com 40,2% das sentenças rotuladas contendo múltiplas técnicas (cardinalidade média = 1,58).

2. Avaliação de Modelos (RQ2)
Sete LLMs de código aberto variando de 8B a 236B de parâmetros (incluindo Llama 3.1, Gemma 3, DeepSeek-V2.5 e variantes GPT-OSS) foram avaliados.

Design Experimental: Um design fatorial completo testou 53 configurações de inferência combinando:
- Estratégia de Prompt: Zero-Shot vs. Three-Shot (N=3).
- Raciocínio: Chain-of-Thought (CoT) vs. Sem CoT.
- Temperatura: 0.0 vs. 0.5.
Baseline RAG: Um pipeline de Geração Aumentada por Recuperação (RAG) foi implementado usando um banco de dados vetorial FAISS da documentação do ATT&CK para fundamentar o modelo LLM70 em conhecimento externo, comparando-o com a inferência padrão.
Métricas: Precisão, Recall e F1 médias micro foram utilizadas como métricas primárias para refletir a cobertura operacional em todas as instâncias de técnica.

3. Análise Estatística (RQ3)
A correlação de posto de Spearman ( $\rho$ ) foi aplicada para avaliar as relações monotônicas entre as configurações de inferência (tamanho do parâmetro, estratégia de prompt, raciocínio, temperatura) e o desempenho da classificação.

Principais Contribuições

Dataset: Um dataset de verdade fundamental, anotado por humanos e disponível publicamente, contendo 2.076 sentenças de 83 relatórios não estruturados, mapeadas para 114 técnicas ATT&CK, representando o maior dataset de seu tipo até o momento.
Benchmark de Desempenho: Uma avaliação sistemática estabelecendo um baseline empírico para classificação multi-rótulo de ATT&CK, revelando que os atuais LLMs de código aberto enfrentam dificuldades significativas nesta tarefa.
Análise Estatística: Um estudo de correlação quantificando o impacto do tamanho do modelo e dos hiperparâmetros de inferência, identificando o tamanho do parâmetro como o único preditor estatisticamente significativo de desempenho.

Resultados

Desempenho Base: A configuração não-RAG de maior desempenho (DS236, 236B parâmetros, T=0.0, 3-shot, CoT) alcançou um F1 médio micro de apenas 0,22.
Variância do Modelo: O desempenho variou significativamente conforme o tamanho e a arquitetura do modelo. O modelo de 236B (DS236) e o modelo de 70B (LLM70) formaram o cluster superior (F1 0,20–0,22), enquanto modelos menores (ex: GPT20, 20B) performaram próximo ao acaso (F1 $\leq$ 0,03).
Impacto dos Hiperparâmetros:
- Tamanho do Parâmetro: Mostrou uma correlação positiva estatisticamente significativa com o F1 score ( $\rho = 0,85, p = 0,014$ ).
- Estratégia de Prompt e Raciocínio: Nem o prompting Few-Shot nem o raciocínio Chain-of-Thought produziram ganhos estatisticamente significativos através das configurações de modelo ( $p > 0,05$ ).
- Temperatura: Variações entre 0,0 e 0,5 não tiveram efeito estatisticamente significativo no desempenho.
Impacto do RAG: A implementação de RAG com o LLM70 aumentou o F1 médio micro para 0,32 (um $\Delta$ de +0,10), impulsionado principalmente por um aumento substancial no recall (de 0,23 para 0,41). Este aumento foi atribuído à fundamentação por conhecimento externo em vez de ajuste de prompt.
Análise de Erros: As falhas foram categorizadas em Tipo I (falsos positivos devido à dependência excessiva de palavras-chave ou alucinação) e Tipo II (falsos negativos devido à falta de conhecimento de domínio ou incapacidade de sintetizar comportamentos de múltiplas etapas).

Significância e Alegações

O artigo alega fornecer o primeiro baseline empírico para LLMs de código aberto em classificação de CTI complexa e multi-rótulo. Os autores afirmam que os atuais LLMs de código aberto são insuficientes para classificação de ATT&CK em nível de produção, como evidenciado pelos baixos escores F1 (máximo de 0,22) em comparação com ferramentas especializadas anteriores que frequentemente reportam escores mais altos em datasets simplificados.

O estudo conclui que as estratégias de engenharia de prompt (N-shot, CoT, temperatura) não são alavancas eficazes para fechar a lacuna de desempenho neste domínio. Em vez disso, os resultados indicam que o tamanho do parâmetro é um fator crítico, e a fundamentação por recuperação (RAG) é a direção mais produtiva para melhoria, oferecendo um aumento significativo no recall. Os autores posicionam seu dataset e descobertas como uma fundação reproduzível para pesquisas futuras, sugerindo que trabalhos futuros devem focar em RAG hierárquico, fine-tuning eficiente de parâmetros e métricas conscientes de hierarquia, em vez de apenas mais ajustes de prompt.