💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint é um novo framework que aprimora a extração de técnicas do MITRE ATT&CK de relatórios de inteligência de ameaças cibernéticas ao empregar uma estratégia de "divergir-então-convergir" para primeiro identificar amplamente comportamentos candidatos ancorados em evidências específicas e, em seguida, verificá-los rigorosamente contra definições autorizadas, superando assim significativamente os métodos existentes tanto em recall quanto em precisão.

Autores originais: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um relatório de cena de crime massivo e caótico. O relatório tem centenas de páginas, escrito em uma mistura de jargão técnico e descrições vagas. Sua tarefa é encontrar "Modus Operandi" específicos (como os criminosos agiram) e correspondê-los a um livro de regras oficial e gigantesco chamado MITRE ATT&CK.

O problema é complicado:

Não perca nada: Se você perder uma técnica, os criminosos escapam com um novo truque.
Não invente nada: Se você adivinhar uma técnica que não está realmente lá, você desperdiça o tempo de todos perseguindo fantasmas.

Métodos existentes (como antigos livros de regras ou IA de passagem única) lutam para fazer ambas as coisas. Ou eles perdem muitas pistas ou adivinham muitas erradas.

Aí entra o TTPRINT, um novo sistema que resolve isso atuando como uma equipe de detetives humanos usando uma estratégia "Divergir-Então-Convergir". Pense como um processo de dois passos: Espalhe-se primeiro, depois Estreite.

O Fluxo de Trabalho do Detetive TTPRINT

Fase 1: O "Divergir" (Espalhando-se)

Em vez de tentar adivinhar a resposta imediatamente, o TTPRINT divide o relatório massivo de crimes em pedaços minúsculos e digeríveis chamados "comportamentos atômicos".

A Analogia: Imagine pegar um romance de 50 páginas e cortá-lo em frases individuais.
O que faz: Para cada frase minúscula, a IA pergunta: "O que isso poderia ser?" Ela gera uma longa lista de correspondências possíveis do livro de regras. Ela deliberadamente lança uma rede ampla, mesmo que isso signifique sugerir algumas opções improváveis. O objetivo aqui é Recall: garantir que nenhuma pista real seja deixada para trás.

Fase 2: A "Âncora" (Encontrando a Evidência)

Antes que a IA possa confirmar uma suposição, ela deve provar onde no texto a pista veio.

A Analogia: Se você diz, "O suspeito usou um pé de cabra", você deve apontar a frase exata no relatório que diz, "O suspeito usou um pé de cabra". Você não pode apenas dizer, "Acho que eles usaram um pé de cabra porque quebraram uma janela".
O que faz: O TTPRINT usa um algoritmo estrito, não baseado em IA, para encontrar a "janela" específica de texto que suporta o comportamento. Isso ancora cada suposição a uma peça específica de evidência, impedindo que a IA alucine (inventar coisas) com base na vibe geral de todo o documento.

Fase 3: O "Convergir" (Estreitando)

Agora vem a verificação rigorosa. A IA pega a lista de correspondências "possíveis" e a "janela de evidência" específica.

A Analogia: Um detetive sênior revisa a lista do júnior. Eles olham para a frase específica (a evidência) e a definição oficial do livro de regras lado a lado. Eles perguntam: "Esta frase realmente corresponde à definição do livro de regras, ou é apenas uma suposição solta?"
O que faz: A IA atribui uma pontuação de confiança. Se a correspondência for fraca, ela é descartada. Se for forte, é mantida. Esta etapa garante Precisão: apenas os fatos verdadeiramente suportados pelo texto permanecem.

Por Que Isso Funciona Melhor

O artigo afirma que métodos anteriores tentaram fazer todas essas etapas de uma só vez (como um detetive adivinhando a história inteira em uma única respiração). Isso leva a erros:

Excesso de cautela: Eles perdem pistas sutis para evitar adivinhar errado.
Excesso de confiança: Eles adivinham errado porque a redação no relatório não corresponde perfeitamente ao livro de regras.

O TTPRINT separa o "adivinhar" do "verificar". Ao dividir o trabalho, ele pode ser ousado ao adivinhar (pegando tudo) e rigoroso ao verificar (mantendo apenas a verdade).

Os Resultados

Os pesquisadores testaram o TTPRINT em dois conjuntos de dados:

TRAM-Clean: Uma versão limpa de um conjunto de dados existente (eles corrigiram erros nos rótulos originais).
TTPRINT-Bench: Um conjunto de dados totalmente novo de 150 relatórios completos que eles criaram do zero.

O Placar:

No novo conjunto de dados, o TTPRINT obteve uma taxa de sucesso de 87,39% (Macro-F1).
O melhor método anterior (uma IA padrão usando "Cadeia de Pensamento") obteve apenas 58,02%.
O TTPRINT melhorou a pontuação em quase 30%, significando que encontrou significativamente mais técnicas reais enquanto cometia muito menos erros.

O "Botão" de Controle

Uma característica legal é um "botão de limite" (chamado $\tau$ ).

Gire para cima: Você obtém menos resultados, mas tem 100% de certeza de que estão corretos (Alta Precisão). Bom para sistemas automatizados que não podem se dar ao luxo de cometer um erro.
Gire para baixo: Você obtém mais resultados, pegando quase tudo, mesmo que alguns possam ser instáveis (Alto Recall). Bom para equipes de segurança que querem pegar cada ameaça possível e investigar depois.

Resumo

O TTPRINT é como um detetive que primeiro escreve todas as teorias possíveis baseadas em cada frase de um relatório, depois verifica rigorosamente cada teoria contra a evidência específica antes de escrever o arquivo final do caso. Essa abordagem permite que ele capture mais ameaças reais e faça menos falsos alarmes do que qualquer método anterior.

Nota: O artigo foca estritamente na extração dessas técnicas de relatórios em língua inglesa. Não afirma prever ataques futuros, parar hackers em tempo real ou funcionar como uma ferramenta de diagnóstico médica ou legal.

Resumo Técnico: TTPRINT

Declaração do Problema
A extração automática de técnicas MITRE ATT&CK de relatórios de Inteligência de Ameaças Cibernéticas (CTI) não estruturados é um problema de conjunto aberto e multi-rótulo que exige a otimização simultânea de alta recuperação (capturar todas as técnicas genuinamente descritas) e alta precisão (evitar alucinações de técnicas não suportadas). As abordagens existentes enfrentam limitações significativas:

Métodos Baseados em Regras e Supervisionados: Sistemas como TTPDrill ou transformadores ajustados (por exemplo, LADDER, MITREtrieval) lutam com a generalização entre estilos diversos de relatórios e descrições de ataques em evolução. Eles frequentemente dependem de palavras-chave explícitas ou ontologias fixas, falhando em capturar comportamentos implícitos ou parafraseados.
Abordagens de LLM de Passagem Única: Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa, aplicá-los em uma única etapa de inferência acopla os objetivos de geração de hipóteses e verificação. Esse acoplamento leva a dois modos de falha cumulativos: (1) os modelos sacrificam a cobertura pela confiança, omitindo comportamentos menos salientes, e (2) incompatibilidades lexicais de superfície entre a linguagem de relatórios operacionais e as definições canônicas do MITRE causam mapeamento incorreto de técnicas.

Metodologia: TTPRINT
Os autores propõem o TTPRINT, um pipeline de quatro etapas inspirado nos fluxos de trabalho de analistas humanos, utilizando um design de "divergir-então-convergir" para desacoplar a geração orientada à recuperação da verificação orientada à precisão.

Fase Divergente (Maximizar Cobertura):
- Extração de Comportamento: O relatório CTI bruto é decomposto em um conjunto de comportamentos de ataque atômicos e autocontidos. Crucialmente, esta etapa preserva artefatos técnicos específicos (nomes de ferramentas, strings de comando, caminhos de registro) para evitar o colapso de contexto, garantindo que as etapas subsequentes tenham detalhes suficientes para identificação precisa.
- Proposta de TTP: Para cada comportamento atômico, o LLM propõe um amplo conjunto de técnicas candidatas do MITRE ATT&CK (até $k$ identificadores distintos de nível superior). Esta etapa prioriza a recuperação, adiando deliberadamente o julgamento para garantir que nenhuma técnica potencial seja descartada prematuramente.
Fase Convergente (Filtrar por Evidência):
- Localização de Faixa: Um algoritmo determinístico ancora cada comportamento proposto a uma janela de sentença específica e contígua (faixa de evidência) dentro do relatório original. Isso restringe todo o raciocínio subsequente ao suporte textual verificável, em vez do contexto completo do documento, reduzindo ruído e riscos de alucinação.
- Verificação de TTP: O LLM avalia cada técnica candidata contra três entradas: o texto do comportamento, a faixa de evidência localizada e a definição oficial do MITRE ATT&CK. O modelo gera uma pontuação de confiança ( $c_{ver}$ ) indicando se a evidência suporta explicitamente a técnica.
- Limiarização: Candidatos que excedem um limiar de confiança ajustável ( $\tau$ ) são mantidos. Este parâmetro permite que os praticantes controlem explicitamente o trade-off entre precisão e recuperação sem retreinamento ou alterações arquitetônicas.

Principais Contribuições

Princípio Arquitetônico: O artigo identifica o acoplamento de precisão e recuperação na extração de passagem única como uma limitação estrutural e propõe o princípio de divergir-então-convergir, separando explicitamente a geração de hipóteses da verificação fundamentada em evidências.
Pipeline TTPRINT: Uma implementação inovadora que apresenta localização determinística de faixas, garantindo que cada previsão seja rastreável a uma passagem de fonte específica, permitindo auditabilidade total.
Recursos de Avaliação:
- TRAM-Limpo: Uma versão sistematicamente limpa do amplamente utilizado benchmark TRAM, corrigindo falsos positivos e negativos nas anotações originais para fornecer uma linha de base confiável.
- TTPRINT-Bench: Um novo benchmark em nível de documento composto por 150 relatórios CTI completos (2022–2025) com verdade fundamental duplamente anotada e adjudicada, projetado para avaliar a extração de documentos completos não estruturados, em vez de sentenças isoladas.

Resultados
Avaliado no TRAM-Limpo e no TTPRINT-Bench, o TTPRINT demonstra melhorias significativas em relação às linhas de base mais avançadas:

Desempenho: O TTPRINT alcança um Macro-F1 de 76,48% no TRAM-Limpo e 87,39% no TTPRINT-Bench. Isso representa uma melhoria de 63,5% e 29,4% sobre a linha de base líder (CoT GPT-4o), respectivamente.
Precisão e Recuperação: Ao contrário de métodos de passagem única que lutam para equilibrar ambas as métricas, o TTPRINT as melhora simultaneamente. No TTPRINT-Bench, a recuperação aumentou de 50,70% para 95,50%, e a precisão de 69,90% para 82,15%.
Estudos de Ablação: A remoção de qualquer etapa (Extração de Comportamento, Localização de Faixa ou Verificação) leva a uma degradação significativa do desempenho. Notavelmente, a localização de faixas melhora tanto a precisão quanto a recuperação ao reduzir a diluição de contexto e os riscos de alucinação.
Agnosticismo de Modelo: A eficácia do pipeline mantém-se em seis backbones de LLM diferentes (incluindo GPT-4o, Claude Sonnet, Gemini, Qwen e DeepSeek). Modelos menores equipados com o pipeline TTPRINT frequentemente superam modelos maiores usando promptagem de passagem única, sugerindo que o design arquitetônico é o principal motor do desempenho.
Sensibilidade ao Limiar: O limiar de verificação $\tau$ fornece um controle suave e monótono sobre a fronteira precisão-recuperação, permitindo que os usuários selecionem pontos de operação para cenários de alta recuperação (triagem de SOC), equilibrados ou de alta precisão (resposta automatizada).

Significância e Alegações
O artigo alega que o TTPRINT aborda uma lacuna crítica no fluxo de trabalho do analista de CTI, fornecendo um método para extração de TTP de alta recuperação e precisa que é diretamente rastreável à evidência de origem. Ao desacoplar geração e verificação, o sistema mitiga os trade-offs inerentes da promptagem de LLM de passagem única. Os autores enfatizam que a abordagem é agnóstica ao modelo, permitindo que organizações com preocupações de soberania de dados implantem LLMs de código aberto hospedados localmente sem sacrificar o desempenho. O lançamento do TRAM-Limpo e do TTPRINT-Bench visa elevar o campo da avaliação em nível de sentença para extração realista em nível de documento, facilitando pesquisas futuras em análise automatizada de inteligência de ameaças.

Os autores mantêm um escopo modesto, observando que o sistema visa relatórios em inglês de principais fornecedores de segurança e não resolve atualmente ambiguidades inerentes à própria taxonomia do MITRE (por exemplo, técnicas semanticamente adjacentes). Eles também observam que, embora a qualidade da extração seja validada contra anotações de especialistas, o impacto em métricas operacionais a jusante (por exemplo, tempo de triagem) requer futuros estudos de implantação controlada.