Context-aware Entity-Relation Extraction for Threat Intelligence Knowledge Graphs

Resumen Técnico: Extracción de Entidades y Relaciones con Conciencia Contextual para Grafos de Conocimiento de Inteligencia de Amenazas Cibernéticas (CTiKG)

Enunciado del Problema
La construcción de Grafos de Conocimiento de Ciberseguridad (CKGs) es esencial para unificar diversas fuentes de Inteligencia de Amenazas Cibernéticas (CTI) en formatos estructurados y consultables que apoyen la defensa proactiva y el análisis en tiempo real. Sin embargo, la automatización de este proceso se ve obstaculizada por la naturaleza no estructurada de los informes de CTI, que presentan narrativas complejas, jerga específica del dominio y ambigüedad semántica. Los enfoques existentes suelen caer en dos categorías: Extracción Conjunta (JE) y Extracción en Pipeline (PE). Mientras que los modelos JE integran el Reconocimiento de Entidades Nombradas (NER) y la Extracción de Relaciones (RE) para reducir la propagación de errores, a menudo sufren de confusión de características, dificultades con relaciones superpuestas e inflexibilidad en la optimización modular. Por el contrario, los enfoques PE permiten un diseño modular pero son vulnerables a la propagación de errores, donde las imprecisiones en el reconocimiento de entidades se propagan a la clasificación de relaciones, degradando la calidad general del grafo de conocimiento. Además, las iteraciones anteriores de los marcos de pipeline (como el trabajo previo de los autores, TiKG) dependían de modelos de lenguaje genéricos o clasificadores (por ejemplo, TDD-softmax) que producían secuencias de etiquetado inconsistentes y tenían dificultades con la terminología específica de la ciberseguridad.

Metodología
El artículo introduce el marco Context-aware Threat Intelligence Knowledge Graph (CTiKG), una arquitectura de pipeline diseñada para abordar las limitaciones de los modelos anteriores mediante tres fases distintas:

1. Recopilación y Procesamiento de Datos: Los informes se extraen de repositorios (por ejemplo, MITRE ATT&CK, repositorios APT) y se convierten a texto plano. El preprocesamiento incluye la sanitización (por ejemplo, ofuscación de URLs/correos electrónicos) para simular entradas crudas.
2. Extracción de Entidades y Relaciones: Esta fase central emplea dos módulos especializados:
   • Reconocimiento de Entidades (NER): Los autores proponen una arquitectura SecureBERT+-BiGRU-CRF. Este modelo reemplaza el clasificador TDD-softmax anterior con una capa de Campo Aleatorio Condicional (CRF) para imponer transiciones válidas de etiquetas BIO y mejorar la consistencia a nivel de secuencia. Utiliza SecureBERT+, una variante de BERT adaptada al dominio, para generar incrustaciones contextuales, que luego son procesadas por una Unidad Recurrente de Puerta Bidireccional (BiGRU) para capturar dependencias de tokens antes de que la capa CRF realice la clasificación a nivel de token.
   • Extracción de Relaciones (RE): Reconociendo que los tipos de relación son independientes y carecen de dependencias secuenciales, los autores utilizan una arquitectura SecureBERT+-BiGRU-TDD (Densa Distribuida en el Tiempo). Este modelo reemplaza la capa CRF con una capa TDD para simplificar la arquitectura y permitir una inferencia más rápida. Crucialmente, esta fase integra una ontología específica del dominio (inspirada en UCO 2.0) para guiar la clasificación de pares de entidades. La ontología define 15 tipos de relaciones específicas (por ejemplo, affiliatedWith, targets, hasVulnerability) y se utiliza para filtrar pares de entidades inválidos, mitigando así la mala clasificación.
3. Construcción y Análisis: Las triplets extraídas se almacenan en Neo4j, donde las entidades sirven como nodos y las relaciones como aristas, permitiendo la recuperación y el análisis del grafo construido basados en consultas.

Contribuciones Clave

• Arquitectura NER Novel: La introducción de un modelo SecureBERT+-BiGRU-CRF que logra una mejora de hasta un 4% en la puntuación F1 en 21 categorías de entidades, resolviendo los problemas de etiquetado inconsistente de los clasificadores anteriores basados en softmax.
• Arquitectura RE Mejorada: Un nuevo modelo SecureBERT+-BiGRU-TDD que integra incrustaciones contextuales específicas del dominio con control de errores basado en ontologías, generando una mejora de hasta un 8% en la puntuación F1 para la extracción de relaciones.
• Aumento y Liberación del Conjunto de Datos: La creación y liberación de DNRTI-AUG-STIX2, un conjunto de datos aumentado derivado de DNRTI-STIX2. Esto implicó la anotación manual de 1.367 oraciones adicionales por expertos en seguridad para abordar el desequilibrio de clases severo y la consolidación de tipos de entidades raras (por ejemplo, fusionar SHA1, SHA2, MD5 en un único tipo HASH). El conjunto de datos incluye 21 tipos de entidades alineados con STIX 2.1.
• Evaluación Exhaustiva: Evaluación extensa en el conjunto de datos DNRTI-AUG-STIX2, con validación adicional en los puntos de referencia DNRTI y STUCCO, demostrando la robustez y generalizabilidad del marco.

Resultados Experimentales
El marco CTiKG propuesto fue evaluado frente a líneas base del estado del arte (incluyendo BiLSTM-CRF, RoBERTa y variantes anteriores de TiKG) utilizando las métricas de Precisión, Recall y Puntuación F1:

• Rendimiento NER: El modelo SecureBERT+-BiGRU-CRF logró una puntuación F1 de 0.93 en DNRTI-AUG-STIX2, 0.94 en DNRTI y 0.98 en STUCCO. Esto representa una ganancia del 3–4% sobre las líneas base anteriores. Los resultados indican que, aunque SecureBERT+ mostró mejoras significativas en el modelado de lenguaje enmascarado, las principales ganancias en NER fueron impulsadas por la capacidad de la capa CRF para modelar dependencias de secuencia.
• Rendimiento RE: El modelo SecureBERT+-BiGRU-TDD logró una puntuación F1 de 0.98 en DNRTI-AUG-STIX2, superando al módulo RE anterior de TiKG en un 6–8% en todas las métricas. El estudio señaló que las capas CRF no ofrecieron ningún beneficio medible sobre TDD para la extracción de relaciones, justificando la arquitectura simplificada.
• Generalización: El modelo demostró un rendimiento alto y consistente en diversos conjuntos de datos, incluido el conjunto de datos STUCCO centrado en vulnerabilidades, atribuido a patrones lingüísticos consistentes en las descripciones de vulnerabilidades y a la adaptación al dominio del modelo.

Significado y Afirmaciones
El artículo afirma que CTiKG establece un marco robusto y consciente de la seguridad para el análisis de amenazas, la creación de perfiles y el desarrollo de estrategias de defensa. Al desacoplar NER y RE mientras aprovecha incrustaciones específicas del dominio y restricciones ontológicas, el marco mitiga eficazmente la propagación de errores inherente a los enfoques de pipeline tradicionales. Los autores enfatizan que la integración de SecureBERT+ y la ontología del dominio mejora significativamente la precisión y la generalizabilidad de los CKGs, permitiendo una transformación más precisa de informes de CTI no estructurados en inteligencia estructurada. La liberación de los conjuntos de datos curados y el código en GitHub se destaca como una contribución clave para fomentar la reproducibilidad y la investigación adicional en el campo. El trabajo se presenta como una extensión del marco TiKG, abordando específicamente sus limitaciones en el manejo de conjuntos de datos complejos y jerga específica de la ciberseguridad.