Proactively Detecting Threats: A Novel Approach Using LLMs

Resumo Técnico: Detecção Proativa de Ameaças Utilizando Grandes Modelos de Linguagem

Declaração do Problema
A segurança empresarial é cada vez mais desafiada por malwares sofisticados e superfícies de ataque digitais em expansão, exacerbadas pelo trabalho remoto e pela adoção da nuvem. Os paradigmas atuais de cibersegurança são predominantemente reativos, baseando-se em assinaturas conhecidas ou detecção pós-comprometimento, o que deixa as organizações vulneráveis a ataques de dia zero (zero-day) e famílias de malware polimórfico. Além disso, embora existam padrões estruturados de inteligência de ameaças (como o STIX 2.0), a adoção pela indústria permanece fragmentada. Consequentemente, 69% das equipes de segurança dependem de relatórios de ameaças não estruturados e de formato livre provenientes de diversas fontes da web. Esses relatórios contêm Indicadores de Comprometimento (IOCs) em formatos inconsistentes (ex: imagens, hashes, texto), tornando a extração e classificação automatizadas difíceis. Existe uma lacuna crítica em sistemas proativos capazes de analisar a inteligência não estruturada baseada na web para identificar IOCs antes que sejam catalogados em bancos de dados tradicionais.

Metodologia
Os autores desenvolveram um sistema automatizado para avaliar a eficácia de Grandes Modelos de Linguagem (LLMs) na identificação proativa de IOCs a partir de fontes web não estruturadas. A metodologia envolveu três estágios primários:

1. Coleta e Parsing de Dados: Um rastreador web automatizado colheu dados brutos de 15 fontes reputadas de inteligência de ameaças (incluindo Sophos, SentinelOne e Abuse.ch) via feeds RSS/Atom. Um parser utilizando expressões regulares extraiu padrões específicos correspondentes a IOCs: endereços IPv4/IPv6, domínios, URLs e hashes de arquivos (SHA1, MD5, SHA256). O sistema também mapeou os termos extraídos para o framework MITRE ATT&CK para enriquecer o contexto.
2. Construção do Dataset: O estudo analisou 479 páginas da web contendo 2.658 IOCs (711 IPv4, 502 IPv6, 1.445 domínios). Um subconjunto de teste específico de 303 páginas da web foi selecionado, contendo 251 indicadores maliciosos confirmados (verificados via contexto e VirusTotal) e indicadores benignos.
3. Avaliação de LLM: Seis variantes de LLMs pré-treinados (Gemini 2.0 Flash-Lite, Gemini 1.5 Pro, Qwen3 30B, Qwen3 32B, Llama 8B e Llama 70B) foram avaliadas sem ajuste fino (fine-tuning). Os modelos foram instigados (prompted) a agir como especialistas em cibersegurança, analisando o texto completo de uma página da web (contexto) para determinar se uma entidade específica extraída era um Indicador de Comprometimento. A avaliação focou em métricas de classificação: Precisão, Recall (Revocação), Especificidade e F1-score.

Principais Contribuições

• Avaliação Sistemática de LLMs para Detecção Proativa: Este artigo apresenta a primeira avaliação sistemática de LLMs para a extração de IOCs a partir de inteligência de ameaças baseada na web não estruturada, distinguindo a abordagem da detecção de malware reativa.
• Pipeline de Dados Não Estruturados Automatizado: Os autores projetaram um pipeline que converte relatórios de ameaças diversos e não padronizados em dados estruturados, abordando a falta de abordagens unificadas para inteligência de ameaças de múltiplas fontes.
• Benchmarking Abrangente: O estudo fornece uma análise comparativa de seis arquiteturas distintas de LLM através de um dataset do mundo real de quase 2.700 IOCs, oferecendo dados empíricos sobre os compromissos (trade-offs) entre recall e precisão em contextos de segurança.

Resultados
A avaliação revelou variações significativas de desempenho entre os modelos:

• Gemini 1.5 Pro: Alcançou o equilíbrio de desempenho mais alto, com uma precisão de 0,958 e especificidade de 0,788 para identificação de IOCs maliciosos. Notavelmente, demonstrou recall perfeito (1,0) para ameaças reais, o que significa que identificou com sucesso todos os indicadores maliciosos no conjunto de teste.
• Qwen3 32B: Exibiu o desempenho mais baixo, caracterizado por um alto número de falsos negativos (51) ao classificar dados não maliciosos, resultando em um F1-score baixo.
• Llama 70B: Identificou com sucesso todos os indicadores maliciosos (TP=251), mas sofreu com um número maior de falsos negativos em comparação aos modelos Gemini, levando a um recall menor para a classe maliciosa.
• Tendências Gerais: Os modelos geralmente se destacaram em alto recall (capturando ameaças), mas tiveram dificuldades com a especificidade (identificar corretamente dados benignos). O estudo observou que os modelos frequentemente identificavam erroneamente o contexto benigno, como registradores de domínio ou repositórios de pesquisa, como malicioso devido à presença de palavras-chave como "abuse" ou "killer" dentro do texto.

Significância e Alegações
O artigo alega que os LLMs oferecem um mecanismo viável para mudar a cibersegurança de medidas reativas para proativas, automatizando a extração de IOCs do vasto volume de relatórios web não estruturados. Os autores enfatizam que, embora o alto recall seja primordial para a detecção de ameaças, o trade-off observado com a precisão (falsos positivos) destaca a necessidade de melhor refinamento do modelo e classificação consciente do contexto.

Os autores concluem modestamente que, embora os LLMs demonstrem um desempenho de ponta na identificação de indicadores maliciosos através da compreensão contextual, eles enfrentam atualmente desafios em distinguir com precisão entre indicadores maliciosos e entidades benignas que compartilham características linguísticas semelhantes (ex: nomes de domínio contendo "abuse" ou "dark"). O trabalho estabelece uma base para a automação futura em sistemas de segurança empresarial, mas reconhece que pesquisas adicionais são necessárias para lidar com tipos complexos de indicadores e reduzir alucinações na análise de dados não estruturados.