Resumen Técnico: HackerSignal

Declaración del Problema

La ciberseguridad aplicada moderna enfrenta un desafío central en la comprensión de cómo surgen, se propagan y se relacionan las amenazas cibernéticas con las vulnerabilidades. Las señales que rastrean esta trayectoria están distribuidas en fuentes heterogéneas basadas en texto, que incluyen foros de hackers, bases de datos públicas de exploits, avisos oficiales de vulnerabilidades (por ejemplo, NVD, CISA KEV) y commits de correcciones de código de código abierto. Los conjuntos de datos públicos existentes en este dominio generalmente abarcan solo una capa o un subconjunto de estas fuentes y a menudo son propietarios. Además, los conjuntos de datos estructurados que vinculan el discurso de la comunidad hacker con registros formales de vulnerabilidades están en gran medida ausentes en la literatura pública. Las evaluaciones actuales a menudo carecen de rigor temporal, fallando al evaluar cómo los modelos se generalizan a amenazas que no existían en el momento del entrenamiento, y frecuentemente sufren problemas de filtración de datos que inflan las afirmaciones de rendimiento.

Metodología

Los autores presentan HackerSignal, un corpus y una evaluación de referencia (benchmark) a gran escala, estruct temporalmente y de múltiples fuentes, diseñados para vincular el discurso de la comunidad hacker con el ciclo de vida completo de las vulnerabilidades CVE.

Construcción del Conjunto de Datos

• Escala y Alcance: El conjunto de datos agrega 7,45 millones de documentos exactos desduplicados de 64 identificadores públicos de foros y fuentes que abarcan una jerarquía de fuentes de 8 capas y una ventana de 36 años (1990–2026).
• Capas de Fuentes: El corpus integra:
  1. Comunidades de hackers y seguridad (6,97 millones de filas, incluyendo mercados de la darkweb y tableros de seguridad).
  2. Referencias de vulnerabilidades (NVD).
  3. Archivos de exploits (por ejemplo, ExploitDB).
  4. Referencias de preguntas y respuestas sobre exploits.
  5. Referencias de avisos.
  6. Divulgaciones de recompensas por errores (bug-bounty).
  7. Referencias a commits de corrección.
  8. Referencias de explotación (CISA KEV).
• Unificación: Todas las fuentes se normalizan en un esquema JSONL común unificado por un espacio de nombres compartido de identificadores CVE. Un índice CVE separado mapea registros a referencias mediante claves foráneas, permitiendo uniones entre fuentes.
• Preprocesamiento: La recopilación de datos involucró APIs oficiales, ingestión de conjuntos de datos públicos existentes y raspado web ético. Los pasos de procesamiento incluyeron normalización Unicode, eliminación de HTML, reemplazo de URLs, colapso de espacios en blanco y filtrado de contenido no en inglés y publicaciones cortas (<20 caracteres). Se aplicaron desduplicación exacta (SHA-256) y desduplicación cercana (MinHash-LSH).
• Divisiones Temporales: Para garantizar una generalización prospectiva, los datos se dividen temporalmente:
  • Tarea 1 y 3: Entrenamiento (<2022), Validación (2022–2023), Prueba (2024+).
  • Tarea 2: Entrenamiento (<2020), Validación (2020–2022), Prueba (≥2023).

Tareas de Evaluación de Referencia

El artículo define tres tareas de evaluación para evaluar la generalización fuera de distribución (OOD) temporal:

1. Recuperación de Vinculación CVE (CVE-R): Una tarea de anclaje de entidades entre fuentes donde el modelo recupera la descripción correcta de CVE del corpus NVD (340 mil entradas) dada una consulta de texto de exploit/aviso.
   • Líneas base: BM25, codificadores bi-densos (MiniLM, mpnet, BGE, E5) y un enfoque híbrido disperso+denso.
2. Clasificación de Tipo de Exploit (ETC): Una tarea de clasificación de 8 clases que predice tipos de vulnerabilidades (por ejemplo, Inyección, XSS, Corrupción de Memoria, RCE) a partir de texto de exploit.
   • Líneas base: Clasificadores de bolsa de palabras (Árbol de Decisión, TF-IDF+LR, SVM), RNN (RNN, GRU, LSTM, BiLSTM) y un transformador específico del dominio (SecBERT).
3. Generalización Temporal (TG): Una tarea de recuperación estricta idéntica a la Tarea 1 pero con una restricción de disjunción CVE ($C_{train} \cap C_{test} = \emptyset$). Los modelos deben generalizar a descripciones de vulnerabilidades completamente nuevas, evitando la memorización de entradas CVE específicas.

Protocolos de Evaluación

• Auditorías de Filtración: Los autores auditan explícitamente la filtración temporal y de fuentes, verificando la disjunción CVE programáticamente.
• Escalera de Líneas Base: Siguiendo las metodologías BEIR y WILDS, la evaluación emplea una escalera heterogénea de modelos que van desde léxicos (BM25) hasta arquitecturas densas e híbridas.
• Métricas: Las tareas de recuperación utilizan Recall@k y Recíproco Medio de Rango (MRR); la clasificación utiliza Macro-F1 y F1 por clase.

Resultados Clave

• Recuperación de Vinculación CVE (Tarea 1): El modelo E5-base-v2 logró el mejor rendimiento con un MRR de 0,587, superando al enfoque híbrido BM25+mpnet (0,567) y a otros codificadores bi-simétricos. Esto sugiere que el entrenamiento asimétrico con prefijos de consulta/pasaje es particularmente efectivo para el anclaje de CVE entre fuentes.
• Clasificación de Tipo de Exploit (Tarea 2): El modelo BiLSTM logró el mejor Macro-F1 de 0,871, superando a la mejor línea base de bolsa de palabras (SVM en 0,799) y al SecBERT específico del dominio (0,846). Esto indica que el contexto bidireccional es crucial para el texto de exploit, mientras que el pre-entrenamiento específico del dominio ofreció solo beneficios modestos sobre las arquitecturas estándar.
• Generalización Temporal (Tarea 3): Bajo condiciones estrictas de disjunción CVE, E5-base-v2 nuevamente lideró con un MRR de 0,602. Los modelos generalmente mantuvieron o mejoraron el rendimiento en comparación con la Tarea 1, confirmando que las divisiones temporales evitaron efectivamente la memorización significativa de los datos de entrenamiento.

Contribuciones Clave

1. Un Corpus de CTI Atemporalmente Fundamentado: Un conjunto de datos de 7,45 millones de documentos que abarca ocho capas de fuentes con metadatos de vinculación CVE, que soporta diversas tareas de PLN más allá de las tres evaluaciones (por ejemplo, resumen de código de exploit, modelado de temas).
2. Tres Tareas de Evaluación de Referencia: Un conjunto de tareas con divisiones temporales de entrenamiento/validación/prueba diseñadas para probar generalizaciones progresivamente más difíciles, incluyendo recuperación entre fuentes, clasificación de 8 clases y evaluación prospectiva de disjunción CVE.
3. Artefactos de Gobernanza y Transparencia: Una escalera completa de modelos, diagnósticos de atajos de fuentes, paquetes de auditoría manual, una hoja de datos y un suplemento de gobernanza de lanzamiento para garantizar la integridad y prevenir la filtración de datos.

Significado y Afirmaciones

El artículo posiciona a HackerSignal como un recurso fundamental para la inteligencia de amenazas cibernéticas (CTI) fuera de distribución temporal. Su significado principal radica en:

• Cerrar la Brecha: Es una de las primeras evaluaciones de referencia públicas que mapea la trayectoria completa desde el discurso de la comunidad hacker hasta los registros formales de vulnerabilidades y correcciones de software.
• Evaluación Rigurosa: Al imponer divisiones temporales y restricciones de disjunción CVE, aborda el problema común de afirmaciones de evaluación infladas causadas por filtración de datos y evaluación no prospectiva.
• Enfoque en Investigación Defensiva: El conjunto de datos está curado explícitamente para investigación defensiva, con reglas de gobernanza que prohíben el ajuste fino de modelos automatizados de exploits o la desanonimización de usuarios.

Los autores reconocen limitaciones, señalando que las vinculaciones CVE se derivan de metadatos en lugar de ser adjudicadas por expertos (introduciendo ruido), que la recuperación multilingüe no fue evaluada, y que los reordenadores de modelos de lenguaje grande no se incluyeron debido a los costos computacionales. Sin embargo, el lanzamiento del código, los datos y los metadatos Croissant tiene como objetivo apoyar futuras extensiones en el resumen de código de exploit, el análisis de interacción comunitaria y la extracción de CTI multilingüe.