Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

En el mundo de alto riesgo de la ciberseguridad, los defensores han operado durante mucho tiempo en un modo reactivo, esperando a que suene una alarma antes de poder actuar. Para cuando se detecta una brecha, el daño suele estar ya hecho. Para cambiar esta dinámica, los investigadores han recurrido al pronóstico: el intento de predecir qué tipo de ataques ocurrirán, dónde golpearán y quién será el objetivo antes de que sucedan. Este campo se apoya en vastas colecciones de datos históricos, conocidos como repositorios de incidentes, que registran los detalles de ataques cibernéticos pasados. Sin embargo, estos registros suelen estar dispersos en diferentes bases de datos, cada una con su propio lenguaje y formato, y muchos carecen de detalles cruciales. Para construir una imagen útil del futuro, los científicos deben fusionar estos archivos separados en una sola historia completa, llenando los vacíos con conjeturas educadas derivadas de los datos de los que disponen. El desafío radica en asegurar que estas conjeturas no engañen accidentalmente a los mismos modelos diseñados para aprender de ellas, creando una falsa sensación de seguridad donde no existe ninguna.

Un equipo de investigadores de la Universidad Islámica Internacional de Islamabad, la Universidad Nacional de Seúl y la Universidad del Príncipe Mugrin se propuso probar la fiabilidad de esta práctica común. Combinaron dos bases de datos masivas de incidentes cibernéticos: la Base de Datos de la Comunidad VERIS, que ofrece detalles estructurados profundos sobre los ataques pero deja de registrar en 2017, y Hackmageddon, que proporciona un flujo continuo de incidentes recientes pero con información menos detallada. Al armonizar estas dos fuentes, crearon un registro unificado de más de 20,000 incidentes que abarcan más de cincuenta años. Para hacer que los datos fueran utilizables, tuvieron que completar campos faltantes para cada incidente, como el motivo específico del atacante o el tipo de activo atacado. Hicieron esto entrenando un modelo computacional para predecir los detalles faltantes basándose en la información disponible en la otra base de datos. Este proceso produjo un conjunto de datos completo, pero también introdujo una trampa sutil. Debido a que las etiquetas faltantes fueron generadas por un modelo computacional utilizando las mismas características que los modelos de pronóstico utilizarían más tarde para realizar predicciones, los modelos de pronóstico estaban, esencialmente, siendo probados con respuestas que ya habían sido entrenadas para reconocer.

Cuando los investigadores evaluaron sus modelos de pronóstico en este conjunto de datos fusionado, los resultados inicialmente parecieron prometedores. Los modelos parecían predecir el tipo de ataque futuro con una precisión que parecía superar los estándares de referencia. Sin embargo, el equipo sospechó que estos altos puntajes eran una ilusión causada por la forma en que se construyó la data. Para investigar, separaron los datos de prueba en dos grupos: registros donde el tipo de ataque fue originalmente observado y registrado por humanos, y registros donde el tipo de ataque fue reconstruido por el modelo computacional durante el proceso de fusión. La diferencia fue abismal. En los registros con etiquetas observadas por humanos, el rendimiento del modelo cayó significativamente, revelando que los altos puntajes en el conjunto de datos completo se debían en gran medida a que el modelo simplemente estaba memorizando los patrones de la computadora que había completado los datos faltantes. De hecho, la brecha entre los dos grupos fue tan grande que el rendimiento promedio general se vio inflado en casi un cuarenta y cuatro por ciento, una distorsión que habría permanecido oculta si los investigadores solo hubieran mirado las cifras combinadas.

Para confirmar que esta inflación fue causada específicamente por el acto de completar los datos faltantes, y no por otras diferencias entre los dos períodos de tiempo, los investigadores realizaron un experimento controlado. Tomaron un único período de tiempo donde todos los datos fueron originalmente observados, luego ocultaron deliberadamente una parte de las etiquetas y las completaron utilizando el mismo modelo computacional que habían usado para el conjunto de datos principal. Cuando entrenaron su modelo de pronóstico con estos datos mixtos, el rendimiento en las etiquetas reconstruidas fue una vez más mucho mayor que en las observadas. Esto demostró que el acto de la imputación en sí mismo crea un bucle circular donde el modelo aprende a imitar al generador en lugar del fenómeno del mundo real. El estudio también reveló un hallazgo contraintuitivo: cuanto peor era el modelo computacional para completar los datos faltantes, más se inflaba artificialmente el rendimiento del modelo de pronóstico. Un mal imputador crea un patrón único e idiosincrásico en los datos faltantes que es fácil de aprender para un modelo posterior, mientras que un imputador altamente preciso se mezcla tan bien que no crea un signo tan distintivo y aprendible.

Más allá del problema de la fuga de datos, los investigadores exploraron cómo representar mejor la información dentro de estos registros. Los datos de incidentes cibernéticos están llenos de categorías de alta cardinalidad, como los nombres de cientos de países diferentes o miles de organizaciones específicas. Los métodos tradicionales suelen tratar esto como números simples, lo que puede confundir a los modelos. El equipo probó una técnica llamada incrustaciones de entidades (entity embeddings), que aprende una representación matemática densa y única para cada categoría, permitiendo que el modelo comprenda las relaciones entre ellas. Este enfoque mejoró drásticamente la capacidad del modelo para predecir tipos de ataque, aumentando su rendimiento en casi un diecinueve por ciento en comparación con el método tradicional. Este hallazgo sugiere que estudios previos que afirman que los modelos de aprendizaje profundo funcionan mal en este tipo de datos pueden haber estado limitados por cómo se les presentaban los datos, en lugar de por los modelos mismos.

El estudio también examinó la dificultad de predecir el país específico atacado en un ataque. Aunque los modelos podían lograr una precisión general alta simplemente adivinando los países más comunes, tenían dificultades inmensas para identificar correctamente a los objetivos menos frecuentes. El rendimiento en esta tarea fue tan bajo que apenas superaba la línea base de siempre adivinar la clase mayoritaria. Los investigadores determinaron que esto no se debía a una falta de datos o a un desequilibrio en el número de ataques, sino a que simplemente no hay suficiente información específica en los registros disponibles para distinguir entre los cientos de países diferentes. Las características presentes en los datos no portan la señal geográfica necesaria para que estas predicciones finas sean confiables.

Finalmente, el equipo probó sus modelos bajo una evaluación estrictamente cronológica, entrenando con datos del pasado y probando con datos del futuro, que es la única forma de evaluar verdaderamente un sistema de pronóstico. Bajo estas condiciones realistas, el rendimiento cayó aún más, y los modelos de aprendizaje profundo, que previamente se habían quedado atrás de los modelos más simples basados en árboles, finalmente los superaron. Esta reversión sugiere que los modelos profundos, ayudados por la mejor representación de los datos, fueron mejores para generalizar a nuevos períodos de tiempo no vistos, mientras que los modelos más simples simplemente estaban memorizando patrones específicos de la ventana de entrenamiento. Los investigadores concluyeron que, si bien el pronóstico del tipo general de ataque es posible con un éxito modesto, predecir el país específico o el patrón exacto de un ataque sigue estando fuera del alcance con los datos y métodos actuales. Su principal contribución no fue un nuevo algoritmo de predicción, sino un protocolo riguroso para evaluar conjuntos de datos fusionados que expone estas fallas ocultas, asegurando que la investigación futura en ciberseguridad y otros campos no confunda los artefactos de la construcción de datos con un poder predictivo genuino.