CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?

O artigo apresenta o CyberThreat-Eval, um novo benchmark baseado em fluxos de trabalho reais de inteligência de ameaças cibernéticas (CTI) e métricas centradas em analistas, que revela as limitações atuais dos Grandes Modelos de Linguagem (LLMs) na automação de tarefas complexas de pesquisa de ameaças e propõe um processo iterativo com feedback humano para superá-las.

O essencial

Imagine que a segurança cibernética é como a polícia de uma cidade gigante e digital. Os analistas de ameaças são os detetives que precisam investigar milhões de notícias, posts em fóruns e relatórios técnicos todos os dias para descobrir quem está tentando roubar dados ou derrubar sistemas.

O problema? É um trabalho exaustivo. Um único caso pode levar horas para ser resolvido.

Os pesquisadores deste artigo (da Microsoft e da HKUST) perguntaram: "E se pudermos usar Inteligência Artificial (IA) para fazer esse trabalho de detetive?"

Eles descobriram que a IA é ótima, mas ainda não é perfeita. Para provar isso, eles criaram um "campo de treinamento" chamado CyberThreat-Eval e um "assistente de IA" chamado TRA.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: Os Testes Antigos eram como "Provas de Escola"

Antes, para testar se uma IA era boa em segurança, os cientistas faziam perguntas de múltipla escolha (tipo: "Quem foi o hacker? A) B) C) D)").

• A analogia: É como treinar um detetive fazendo ele responder um questionário de "quem matou o Sr. Body", mas na vida real, o detetive recebe uma pilha de documentos confusos e precisa escrever um relatório completo.
• O erro: As IAs passavam nos testes de escola, mas falhavam na vida real. Elas memorizavam fatos, mas não conseguiam conectar os pontos como um humano faria. Além disso, os testes antigos mediam apenas se a IA usava as mesmas palavras que o humano, e não se a informação era útil ou verdadeira.

2. A Solução: O "Campo de Treino Real" (CyberThreat-Eval)

Os autores criaram um novo banco de dados baseado no trabalho real de analistas de uma grande empresa de tecnologia. Eles dividiram o trabalho em três etapas, como se fosse uma linha de montagem de detetives:

• Etapa 1: A Triagem (O Filtro de Café)
  • O que é: Receber 1.000 notícias e decidir quais são importantes e quais são lixo.
  • O resultado da IA: A IA é ótima em não deixar passar nada (ela pega quase tudo), mas ela pega muita "sujeira" também. Ela é muito generosa, o que cansa o humano que tem que revisar tudo.
• Etapa 2: A Busca Profunda (O Detetive no Arquivo)
  • O que é: Pegar uma notícia e procurar mais 10, 20 ou 30 outras que falem sobre o mesmo caso para juntar as provas.
  • O resultado da IA: As IAs normais (como o GPT-4o) são ótimas em encontrar mais informações novas. As IAs "treinadas" (que estudaram muito sobre o assunto) ficam mais conservadoras e acham menos coisas novas, talvez porque já "sabem" demais e não precisam pesquisar tanto.
• Etapa 3: O Relatório Final (Escrever a História)
  • O que é: Juntar todas as provas e escrever um relatório explicando: "Quem fez isso?", "Como fizeram?" e "O que fazer?".
  • O resultado da IA:
    • O que elas fazem bem: Explicar como o ataque aconteceu (a parte técnica). É como explicar a mecânica de um carro quebrado.
    • O que elas fazem mal: Explicar quem fez e por que (o perfil do criminoso). Elas tendem a ser superficiais ou inventar fatos (alucinar), como um detetive que inventa um suspeito para fechar o caso rápido.

3. O Grande Desafio: O "Custo vs. Precisão"

A IA enfrenta um dilema constante:

• Se você pede para ela ser rápida e barata, ela comete mais erros e deixa passar detalhes importantes.
• Se você pede para ela ser precisa e detalhada, ela demora muito, gasta muita energia (dinheiro) e ainda pode errar em detalhes técnicos complexos.

É como pedir para um estagiário: se ele for rápido, o relatório fica raso. Se ele for minucioso, demora dias e custa caro.

4. A Estrela do Show: O TRA (Agente de Pesquisa de Ameaças)

Como a IA sozinha ainda não é perfeita, eles criaram o TRA. Pense no TRA não como um robô que substitui o detetive, mas como um estagiário superinteligente com um supervisor humano.

O TRA funciona assim:

1. A IA faz o rascunho: Ela lê os documentos e escreve o primeiro esboço.
2. O "Verificador" (Base de Dados Externa): Antes de entregar, o TRA consulta bancos de dados reais (como o VirusTotal) para checar se os códigos e endereços que a IA inventou são reais. É como um detetive que liga para a central para confirmar se o suspeito realmente existe.
3. O Humano dá o feedback: O especialista humano revisa o trabalho, aponta onde está errado e diz: "Ei, você esqueceu de mencionar que o hacker usou uma senha vazia".
4. A IA aprende: O sistema guarda esse feedback para melhorar na próxima vez.

O resultado?
Com o TRA, a IA deixou de ser apenas um "gerador de texto" e passou a ser uma ferramenta confiável. Ela consegue pegar detalhes que até os humanos esqueceram de ver (como um detalhe sobre roteadores com senha vazia) e entrega um relatório que os especialistas consideram "pronto para publicação".

Resumo Final

Este paper diz: "Não podemos apenas jogar uma IA em cima do problema e esperar que ela resolva tudo sozinha."

A IA é como um motor de carro muito potente, mas sem direção. Para funcionar no mundo real da segurança cibernética, ela precisa de:

1. Um volante humano (supervisão e feedback).
2. Um GPS confiável (bases de dados externas para checar fatos).
3. Um teste de direção real (o novo benchmark CyberThreat-Eval), e não apenas uma prova teórica.

Com essa combinação (IA + Humano + Dados Reais), conseguimos automatizar o trabalho chato e deixar os humanos focarem no que realmente importa: pensar estrategicamente e proteger a empresa.

Resumo técnico

1. O Problema

A análise de Inteligência de Código Aberto (OSINT) é fundamental para a elaboração de relatórios de Inteligência de Ameaças Cibernéticas (CTI). O fluxo de trabalho humano padrão envolve três etapas: triagem (priorização de artigos), pesquisa profunda (coleta de evidências suplementares) e redação de TI (compilação de relatórios com IoCs e técnicas ATT&CK).

Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para automatizar essas tarefas, os benchmarks existentes apresentam limitações críticas:

• Formatos de Tarefa Irrealistas: Muitos benchmarks utilizam perguntas de múltipla escolha ou recuperação de fatos, que não refletem o trabalho real de um analista (que raramente seleciona opções A/B/C/D para atribuir ameaças).
• Métricas Centradas no Modelo: As avaliações atuais focam em sobreposição lexical (ex: ROUGE, BERTScore) em vez de utilidade prática, precisão factual e insights acionáveis.
• Falta de Cobertura de Fluxo de Trabalho: Nenhum benchmark público cobre o fluxo de trabalho completo de ponta a ponta (triagem + pesquisa profunda + redação), focando apenas em subtarefas isoladas.

2. Metodologia

Os autores desenvolveram uma abordagem baseada em dados reais de uma empresa líder em tecnologia com operações globais.

A. CyberThreat-Eval (O Benchmark)

Um benchmark anotado por especialistas, coletado do fluxo de trabalho diário de CTI da empresa. Ele avalia LLMs em três estágios principais:

1. Triagem:
   • Classificação de Artigo: Decidir se um artigo deve ser "aceito" ou "rejeitado" para análise.
   • Atribuição de Prioridade: Atribuir uma pontuação de prioridade (1-5) baseada na gravidade e no alvo afetado.
2. Pesquisa Profunda (Deep Search):
   • Dado um URL inicial, o modelo deve buscar e recuperar URLs adicionais que contenham informações novas e valiosas (fatos, dados técnicos, perspectivas analíticas) não presentes no artigo original.
3. Redação de TI (TI Drafting):
   • Extração de Elementos Chave: Extração de Indicadores de Comprometimento (IoCs) e mapeamento de Táticas, Técnicas e Procedimentos (TTPs) do MITRE ATT&CK.
   • Geração de Narrativa: Criação de perfis detalhados de atores de ameaça e explicações de causa raiz (root cause).

B. Métricas Centradas no Analista

Ao invés de apenas métricas de texto, o benchmark utiliza:

• Precisão e Recall: Para triagem e extração.
• Taxa de Aprovação (Pass Rate): Para pontuação de prioridade (comparação com notas de especialistas).
• Custo Operacional: Tempo de processamento e consumo de tokens.
• Avaliação de Qualidade de Conteúdo: Uma rubrica de 6 dimensões (Relevância, Precisão, Abrangência, Clareza, Coerência e Atribuição) aplicada por um "Juíz LLM" calibrado com especialistas humanos.

C. Agentes e Modelos Testados

Foram avaliados quatro modelos:

• Modelos base: GPT-4o e o3-mini.
• Modelos ajustados (Fine-tuned): GPT-4o (FT) e GPT-4o-mini (FT), treinados em dados de triagem de CTI de 2024.

D. Threat Research Agent (TRA)

Para mitigar as limitações dos LLMs, os autores propõem o TRA, um framework de agente "human-in-the-loop" que integra:

• Verificação Externa: Uso de bases de dados de verdade absoluta (ex: VirusTotal) para validar IoCs e TTPs.
• Feedback Iterativo: Integração de feedback de especialistas humanos para refinar a saída do modelo.

3. Principais Contribuições

1. CyberThreat-Eval: O primeiro benchmark público que cobre o fluxo de trabalho completo de CTI (triagem, pesquisa e redação) com tarefas realistas e métricas focadas no analista.
2. Avaliação Holística: Demonstra que os LLMs atuais têm desempenho variado, sendo fortes em recuperação de informações, mas fracos em raciocínio complexo e precisão em tarefas de alto risco.
3. Framework TRA: Uma arquitetura prática que combina LLMs com verificação externa e supervisão humana, demonstrando ganhos significativos em precisão e qualidade de relatório.

4. Resultados Chave

Desempenho dos LLMs (Sem TRA)

• Triagem: Os modelos apresentam alta recall (>90%), identificando a maioria dos artigos relevantes, mas baixa precisão (<40%), rejeitando muitos artigos irrelevantes e sobrecarregando os analistas.
• Pesquisa Profunda: Modelos base (GPT-4o, o3-mini) recuperam mais URLs com informações adicionais do que os modelos ajustados. O ajuste fino (fine-tuning) tende a tornar a busca mais conservadora.
• Extração de IoCs: Alta precisão (~82-88%), mas com trade-off entre velocidade e custo de tokens.
• Identificação de TTPs (MITRE ATT&CK): Desempenho muito baixo (Precisão <35% e Recall <23%). Os modelos falham em inferir intenções adversárias a partir de pistas contextuais sutis.
• Geração de Narrativa:
  • Causa Raiz: Desempenho razoável, conseguindo explicar o "como" do incidente.
  • Atores de Ameaça: Desempenho fraco em modelos base (GPT-4o), gerando resumos superficiais. Modelos como o3-mini e GPT-4o (FT) melhoraram, mas ainda faltam detalhes contextuais profundos.
• Trade-off Custo-Desempenho: Aumentar a precisão geralmente exige mais tempo e tokens, ou resulta em menor recall.

Impacto do TRA (Human-in-the-Loop)

A integração do TRA com verificação externa e feedback humano trouxe melhorias drásticas:

• Precisão de IoCs: Aumentou em 26 pontos percentuais (ex: de 0.88 para 0.90 no GPT-4o FT).
• Identificação de TTPs: A precisão aumentou significativamente (ex: o3-mini saltou de 0.35 para 0.42).
• Qualidade de Conteúdo: As pontuações de relevância, clareza e coerência para narrativas de atores de ameaça e causa raiz subiram consistentemente acima de 4.5/5.0, tornando os rascunhos "prontos para publicação".
• Descoberta de Detalhes Ocultos: O TRA conseguiu identificar fatos críticos que especialistas humanos haviam ignorado inicialmente (ex: contas de administrador com senha em branco em dispositivos MikroTik).

5. Significância e Conclusão

O artigo conclui que, embora os LLMs possam reduzir significativamente a carga de trabalho dos analistas de segurança, eles ainda não são capazes de automatizar totalmente o fluxo de trabalho de CTI sem supervisão, especialmente em tarefas que exigem raciocínio profundo (mapeamento de TTPs) e verificação factual rigorosa.

A principal lição é que a automação eficaz em segurança cibernética não depende apenas de modelos maiores ou melhor ajustados, mas de arquiteturas híbridas que integrem:

1. Bases de conhecimento externas para validação de fatos (evitando alucinações).
2. Ciclos de feedback humano para refinar o raciocínio e a contextualização.

O CyberThreat-Eval e o TRA fornecem as ferramentas e o framework necessários para a comunidade avançar rumo a uma automação de CTI orientada ao analista, realista e confiável. O código e os dados estão disponíveis publicamente no GitHub e HuggingFace.