Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation

Resumen Técnico: Registros de Ciberseguridad de Múltiples Fuentes: Un Conjunto de Datos Etiquetado con ATT&CK y Evaluación de SLM

Declaración del Problema
Los ataques cibernéticos modernos de múltiples etapas atraviesan simultáneamente los registros del sistema, de la red y del navegador. La detección de estos ataques requiere correlacionar eventos a través de estas tres fuentes para reconstruir la cadena de ataque completa. Si bien los métodos de aprendizaje automático (ML) ofrecen un camino para aprender estos patrones de múltiples fuentes, requieren datos de múltiples fuentes etiquetados, los cuales no están disponibles actualmente en el dominio público. Los conjuntos de datos existentes sufren limitaciones significativas: los conjuntos de datos centrados solo en la red (p. ej., CICIDS, UNSW-NB15) carecen de visibilidad del host y del navegador; los conjuntos de datos centrados en el host (p. ej., LMDG, CICAPT-IIoT) omiten la telemetría del navegador; y el trabajo previo más cercano, ATLAS, incluye las tres fuentes pero carece de etiquetas granulares de técnicas de MITRE ATT&CK, categorizando los eventos únicamente como maliciosos o benignos. En consecuencia, los investigadores no pueden entrenar ni evaluar modelos que razonen a través de las tres fuentes al nivel de la técnica.

Metodología
Para abordar esta brecha, los autores construyeron un nuevo conjunto de datos y evaluaron la capacidad de aprendizaje de los Modelos de Lenguaje Pequeños (SLM) en este, mediante la siguiente metodología:

1. Construcción del Conjunto de Datos:

   • Alcance: El conjunto de datos comprende 870 sesiones (70 simulaciones de ataque y 800 sesiones de usuarios benignos) registradas durante 13 meses (enero de 2025 – febrero de 2026), sumando aproximadamente 2.3 millones de eventos.
   • Fuentes: Se capturaron registros de sistema, red y navegador simultáneamente en endpoints de Windows (físicos y virtuales) en intervalos de 20 minutos por sesión.
   • Simulación de Ataques: Los ataques se generaron utilizando herramientas genuinas (p. ej., Revenge-RAT, BD2 .NET Injector, Playit.gg para C2) en lugar de generadores de tráfico sintético. Los escenarios cubrieron 12 tácticas y 53 técnicas de ATT&CK, incluyendo Acceso Inicial, Ejecución, Persistencia, Escalada de Privilegios, Evasión de Defensas, Acceso a Credenciales, Descubrimiento, Movimiento Lateral, Recolección, Exfiltración, Comando y Control, e Impacto.
   • Datos Benignos: 800 sesiones capturaron actividades rutinarias de usuario (navegación web, productividad, desarrollo de software, administración de sistemas, entretenimiento) para asegurar la robustez del modelo frente a falsos positivos.
   • Etiquetado: Los eventos maliciosos fueron etiquetados con IDs de técnicas específicas de ATT&CK. Los datos se estructuraron en "fragmentos" (secuencias de siete eventos con marca de tiempo) que sirven como la unidad de entrada para los SLM.

2. Evaluación del Modelo:

   • Modelos: Se seleccionaron tres SLM ajustados por instrucciones: Qwen2.5-1.5B, Llama-3.2-3B y Phi-4-Mini (3.8B de parámetros).
   • Ajuste Fino (Fine-Tuning): Todos los modelos fueron ajustados mediante Adaptación de Bajo Rango (LoRA) con un rango de 16 y un factor de escala de 32.
   • Tareas: Los modelos fueron evaluados en dos tareas:
     1. Clasificación de Fragmentos: Determinar si un fragmento es "normal" o "sospechoso".
     2. Identificación de Técnicas de ATT&CK: Generar los IDs de técnicas específicos y el razonamiento para los eventos sospechosos.
   • Métricas: Se utilizaron diez métricas, incluyendo precisión (accuracy), precisión (precision), exhaustividad (recall), puntuaciones F1 (macro y ponderada), precisión de coincidencia exacta, coincidencia parcial promedio y F1 a nivel de palabra.

Contribuciones Clave

1. Un Nuevo Conjunto de Datos Multi-Fuente: El artículo publica un conjunto de datos que combina registros simultáneos de sistema, red y navegador con etiquetas de técnicas de ATT&CK por entrada derivadas de herramientas de ataque reales. Cubre 12 tácticas y 53 técnicas.
2. Benchmarking de SLM: El estudio proporciona una evaluación controlada de tres SLM tanto en su forma base como en su forma ajustada con LoRA sobre datos de seguridad de múltiples fuentes.
3. Evidencia Empírica de la Capacidad de Aprendizaje: Los autores demuestran que el conjunto de datos contiene una señal aprendible, ya que el ajuste fino mejoró significativamente el rendimiento de los modelos en todas las métricas.

Resultados

• Ganancias de Rendimiento: El ajuste fino resultó en mejoras consistentes en los tres modelos y en las diez métricas.
  • Clasificación de Fragmentos: La precisión del modelo base rondaba el 7–8%. Tras el ajuste fino, la precisión aumentó entre el 89.9% y el 97.0%.
  • Corrección de Sobre-Alerta: Los modelos base exhibieron una severa sobre-alerta, etiquetando casi todo el tráfico normal como sospechoso (identificando correctamente solo entre el 0.1% y el 0.7% de las sesiones normales). El ajuste fino resolvió esto, mejorando la exhaustividad para sesiones normales al 89.6%–98.0%.
  • Variación de Modelos: Phi-4-Mini (3.8B) fue el que mejor desempeño tuvo, logrando un 97.0% de precisión en la clasificación de fragmentos e identificando el 97.0% de las sesiones sospechosas. Llama-3.2-3B tuvo dificultades con ataques poco comunes, identificando solo el 39.5% de las sesiones sospechosas.
• Identificación de Técnicas: Esta tarea siguió siendo desafiante. Los modelos base lograron un 0% de precisión de coincidencia exacta. Los modelos ajustados mejoraron, con Phi-4-Mini alcanzando un 41.6% de precisión de coincidencia exacta. Sin embargo, las altas puntuaciones de coincidencia parcial (0.857–0.931) y las puntuaciones F1 a nivel de palabra (0.819–0.930) indican que los modelos capturaron la mayor parte del razonamiento subyacente incluso cuando fallaban al reproducir las cadenas de salida exactas.

Significancia y Reivindicaciones
El artículo afirma que las simulaciones controladas pueden producir conjuntos de datos de registros multi-fuente de alta calidad adecuados para entrenar SLM. La significancia principal radica en demostrar que:

1. La Escasez de Datos es Abordada: El nuevo conjunto de datos llena el vacío de los datos públicos multi-fuente con un etiquetado granular de ATT&CK.
2. Los SLM son Viables para el Triaje: Aunque los SLM base son operativamente inutilizables debido a los falsos positivos, los SLM ajustados logran una fiabilidad suficiente para apoyar a los analistas de Centros de Operaciones de Seguridad (SOC) en el triaje inicial.
3. Capacidad de Razonamiento: Las altas puntuaciones de coincidencia parcial sugieren que los SLM ajustados pueden asistir a los analistas humanos sugiriendo técnicas relevantes y razonamiento, incluso si la identificación exacta de la técnica aún no es perfecta.

Los autores mantienen la modestia respecto a sus conclusiones, señalando que los resultados indican tendencias más que clasificaciones probadas debido al tamaño limitado de la muestra de modelos probados. Reconocen que, si bien el salto en el rendimiento es genuino, la superioridad específica de un modelo sobre otro requiere una mayor validación en registros de producción y ensayos repetidos.