Proactively Detecting Threats: A Novel Approach Using LLMs

Resumen Técnico: Detección Proactiva de Amenazas mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La seguridad empresarial se enfrenta cada vez más a desafíos planteados por el malware sofisticado y la expansión de las superficies de ataque digitales, exacerbados por el trabajo remoto y la adopción de la nube. Los paradigmas actuales de ciberseguridad son predominantemente reactivos, basándose en firmas conocidas o en la detección post-compromiso, lo que deja a las organizaciones vulnerables ante ataques de día cero y familias de malware polimórfico. Además, aunque existen estándares estructurados de inteligencia de amenazas (como STIX 2.0), su adopción en la industria sigue fragmentada. En consecuencia, el 69% de los equipos de seguridad dependen de informes de amenazas no estructurados y de formato libre provenientes de diversas fuentes web. Estos informes contienen Indicadores de Compromiso (IOC) en formatos inconsistentes (por ejemplo, imágenes, hashes, texto), lo que dificulta la extracción y clasificación automatizadas. Existe una brecha crítica en los sistemas proactivos capaces de analizar la inteligencia web no estructurada para identificar IOC antes de que sean catalogados en las bases de datos tradicionales.

Metodología
Los autores desarrollaron un sistema automatizado para evaluar la eficacia de los Modelos de Lenguaje de Gran Escala (LLM) en la identificación proactiva de IOC a partir de fuentes web no estructuradas. La metodología consistió en tres etapas principales:

1. Recopilación y Procesamiento de Datos: Un rastreador web automatizado recolectó datos brutos de 15 fuentes de inteligencia de amenazas reputadas (incluyendo Sophos, SentinelOne y Abuse.ch) a través de feeds RSS/Atom. Un analizador utilizando expresiones regulares extrajo patrones específicos correspondientes a IOC: direcciones IPv4/IPv6, dominios, URLs y hashes de archivos (SHA1, MD5, SHA256). El sistema también mapeó los términos extraídos al marco MITRE ATT&CK para enriquecer el contexto.
2. Construcción del Conjunto de Datos: El estudio analizó 479 páginas web que contenían 2.658 IOC (711 IPv4, 502 IPv6, 1.445 dominios). Se curó un subconjunto de prueba específico de 303 páginas web, que contenía 251 indicadores maliciosos confirmados (verificados mediante contexto y VirusTotal) e indicadores benignos.
3. Evaluación de LLM: Se evaluaron seis variantes de LLM preentrenados (Gemini 2.0 Flash-Lite, Gemini 1.5 Pro, Qwen3 30B, Qwen3 32B, Llama 8B y Llama 70B) sin realizar un ajuste fino (fine-tuning). Se instruyó a los modelos para que actuaran como expertos en ciberseguridad, analizando el texto completo de una página web (contexto) para determinar si una entidad extraída específica era un Indicador de Compromiso. La evaluación se centró en métricas de clasificación: Precisión, Exhaustividad (Recall), Especificidad y puntuación F1.

Contribuciones Clave

• Evaluación Sistemática de LLM para la Detección Proactiva: Este artículo presenta la primera evaluación sistemática de los LLM para la extracción de IOC a partir de inteligencia de amenazas basada en la web no estructurada, distinguiendo este enfoque de la detección de malware reactiva.
• Pipeline de Datos No Estructurados Automatizado: Los autores diseñaron un pipeline que convierte informes de amenazas diversos y no estandarizados en datos estructurados, abordando la falta de enfoques unificados para la inteligencia de amenazas de múltiples fuentes.
• Benchmarking Exhaustivo: El estudio proporciona un análisis comparativo de seis arquitecturas de LLM distintas a través de un conjunto de datos del mundo real de casi 2.700 IOC, ofreciendo datos empíricos sobre las compensaciones entre exhaustividad y precisión en contextos de seguridad.

Resultados
La evaluación reveló variaciones significativas en el rendimiento entre los modelos:

• Gemini 1.5 Pro: Logró el mayor equilibrio de rendimiento, con una precisión de 0.958 y una especificidad de 0.788 para la identificación de IOC maliciosos. Notablemente, demostró una exhaustividad perfecta (1.0) para amenazas reales, lo que significa que identificó con éxito todos los indicadores maliciosos en el conjunto de prueba.
• Qwen3 32B: Exhibió el rendimiento más bajo, caracterizado por un alto número de falsos negativos (51) al clasificar datos no maliciosos, lo que resultó en una puntuación F1 baja.
• Llama 70B: Identificó con éxito todos los indicadores maliciosos (TP=251), pero sufrió de un mayor número de falsos negativos en comparación con los modelos Gemini, lo que llevó a una menor exhaustividad para la clase maliciosa.
• Tendencias Generales: Los modelos destacaron generalmente en alta exhaustividad (detectar amenazas), pero tuvieron dificultades con la especificidad (identificar correctamente datos benignos). El estudio señaló que los modelos a menudo identificaban erróneamente el contexto benigno, como registradores de dominios o repositorios de investigación, como malicioso debido a la presencia de palabras clave como "abuse" o "killer" dentro del texto.

Significancia y Reivindicaciones
El artículo afirma que los LLM ofrecen un mecanismo viable para cambiar la ciberseguridad de medidas reactivas a proactivas mediante la automatización de la extracción de IOC del vasto volumen de informes web no estructurados. Los autores enfatizan que, si bien una alta exhaustividad es primordial para la detección de amenazas, la compensación observada con la precisión (falsos positivos) resalta la necesidad de un mejor refinamiento del modelo y una clasificación consciente del contexto.

Los autores concluyen modestamente que, si bien los LLM demuestran un rendimiento de vanguardia en la identificación de indicadores maliciosos mediante la comprensión contextual, actualmente enfrentan desafíos para distinguir con precisión entre indicadores maliciosos y entidades benignas que comparten características lingüísticas similares (por ejemplo, nombres de dominio que contienen "abuse" o "dark"). El trabajo establece una base para la futura automatización en los sistemas de seguridad empresarial, pero reconoce que se requiere más investigación para manejar tipos de indicadores complejos y reducir las alucinaciones en el procesamiento de datos no estructurados.