Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings

1. Planteamiento del Problema

Las ciberataques a gran escala, conocidos como campañas, suelen documentarse en múltiples informes de Inteligencia de Amenazas Cibernéticas (CTI) provenientes de diversas fuentes. Estos informes varían en su enfoque: algunos ofrecen una visión estratégica de alto nivel, mientras que otros proporcionan detalles forenses técnicos.

• Limitación actual: Los métodos automatizados existentes para extraer técnicas del marco MITRE ATT&CK se han evaluado principalmente en informes individuales. Esto resulta en una visión fragmentada del comportamiento de la campaña, dejando muchas técnicas y sus controles de mitigación correspondientes sin detectar.
• El desafío: Extraer manualmente estas técnicas a gran escala es impráctico. Se necesita evaluar si la agregación de múltiples informes mejora la precisión y la cobertura de los controles de seguridad, y determinar cuántos informes son necesarios para alcanzar un rendimiento óptimo.

2. Metodología

El estudio realiza una replicación conceptual y extensión del trabajo de Büchel et al. [10], evaluando 29 métodos de extracción automatizada de última generación en un entorno de campaña multi-informe.

• Datos:
  • Entrenamiento: Se utilizó el conjunto de datos AnnoCTR (ampliado con muestras de MITRE para cubrir técnicas faltantes) para entrenar y ajustar los modelos.
  • Prueba: Se utilizó el conjunto de datos CTIfecta, que contiene 90 informes CTI filtrados de tres campañas de alto perfil: SolarWinds, XZ Utils y Log4j.
• Enfoques Evaluados (29 métodos):
  1. Reconocimiento de Entidades Nombradas (NER): 6 métodos basados en reglas y pipelines sintácticos/semánticos.
  2. Clasificación basada en Codificadores (Encoders): 15 modelos (variantes de BERT y RoBERTa) que tratan la extracción como un problema de clasificación de texto.
  3. LLM basados en Decodificadores: 8 métodos que utilizan Grandes Modelos de Lenguaje (LLM) mediante prompting (zero-shot, few-shot), Generación Aumentada por Recuperación (RAG) y ajuste fino (SFT).
• Proceso de Evaluación:
  • En lugar de evaluar informes aislados, se agregaron las predicciones de todos los informes de una misma campaña (unión de técnicas predichas) para evaluar el rendimiento a nivel de campaña.
  • Se analizaron métricas cuantitativas (Precisión, Recall, F1-score) y el impacto en la cobertura de controles de mitigación mapeados al marco P-SSCRM.
  • Se realizó un análisis de errores para determinar si la similitud semántica entre las descripciones de las técnicas de ATT&CK contribuía a las clasificaciones erróneas.
  • Se estudió la saturación del rendimiento: cuántos informes son necesarios antes de que la incorporación de más datos deje de mejorar significativamente los resultados.

3. Contribuciones Clave

1. Estudio de replicación a nivel de campaña: Primera evaluación sistemática de métodos automatizados de extracción de ATT&CK utilizando múltiples informes de la misma campaña, en lugar de informes individuales.
2. Métricas de nivel de control: Introducción de métricas para cuantificar no solo la cobertura de técnicas, sino también el impacto de los errores de extracción en la cobertura de los controles de mitigación.
3. Umbral de saturación empírico: Definición de la cantidad mínima de informes CTI necesarios para que los métodos automatizados alcancen la saturación de rendimiento.
4. Caracterización de informes: Identificación de las propiedades textuales y estructurales (longitud, detalles técnicos, fuente) que maximizan el rendimiento de extracción.
5. Análisis de errores semánticos: Caracterización sistemática de las técnicas más frecuentemente mal clasificadas y la influencia de la superposición semántica en estos errores.

4. Resultados Principales

• Rendimiento por Agregación (RQ1):
  • La agregación de múltiples informes mejoró el puntaje F1 en aproximadamente un 26% en comparación con el análisis de un solo informe.
  • NER y LLM (Decodificadores): Mejoraron consistentemente con múltiples informes. Los LLM mostraron la mayor mejora relativa (26.1% en F1).
  • Codificadores (Encoders): Sorprendentemente, todos los 15 métodos basados en codificadores mostraron una degradación del rendimiento (caída del 30% en F1) al pasar a múltiples informes, probablemente debido a la complejidad de la agregación de contexto.
• Análisis de Errores (RQ2):
  • El 33.3% de las clasificaciones erróneas involucraron técnicas semánticamente similares que comparten tácticas y descripciones superpuestas (ej. Develop Capabilities vs. Obtain Capabilities).
  • Hasta el 79.2% de los falsos positivos y el 73.3% de los falsos negativos compartían al menos una táctica MITRE con la técnica real, lo que indica que la confusión ocurre dentro de los mismos dominios tácticos.
• Impacto en Controles (RQ3):
  • Existe una brecha significativa entre la cobertura de técnicas y la de controles. El mejor método (LLM con RAG) alcanzó un 77.1% de cobertura de controles en SolarWinds, a pesar de una cobertura de técnicas más alta.
  • Los errores de extracción se propagan desproporcionadamente: perder solo el 10% de las técnicas puede resultar en un 23% de brecha en la cobertura de controles.
  • Se identificaron vacíos sistemáticos en las áreas de Gobernanza (G), Despliegue (D) y Entorno (E) del marco P-SSCRM.
• Saturación de Rendimiento (RQ4):
  • La mayoría de los enfoques alcanzan la saturación de rendimiento después de incorporar entre 5 y 15 informes.
  • Sin embargo, para campañas complejas como XZ Utils, los LLM requieren hasta 22-30 informes para estabilizarse.
  • El NER alcanza una precisión perfecta (1.0) con un solo informe, pero tiene un recall bajo.
• Características de los Informes (RQ5):
  • Los informes que contribuyen más al rendimiento (pre-saturación) son más largos, contienen más detalles técnicos y provienen de fuentes confiables (agencias gubernamentales como CISA o proveedores comerciales establecidos).
  • Contrariamente a la intuición, una baja puntuación de legibilidad (debido a hashes, IPs y términos técnicos complejos) se correlaciona con un mejor rendimiento de extracción, no con una peor calidad de escritura.

5. Significado e Implicaciones

• Cambio de Paradigma: La investigación demuestra que la evaluación de herramientas de CTI basada en informes individuales es insuficiente para la práctica real. Se debe adoptar un enfoque de agregación multi-informe para obtener una visión completa de las campañas de ataque.
• Selección de Herramientas:
  • Para SOC y respuesta a incidentes (prioridad: reducir falsos positivos), el enfoque NER es preferible debido a su alta precisión.
  • Para analistas de inteligencia de amenazas (prioridad: cobertura completa), los LLM basados en decodificadores son superiores, a pesar de requerir más informes para saturarse y tener una tasa de falsos positivos más alta.
• Curación de Datos: Los investigadores y practicantes deben priorizar informes técnicos densos y largos, incluso si son difíciles de leer, sobre informes cortos y altamente legibles pero superficiales.
• Gestión de Riesgos: La extracción de técnicas debe ir acompañada de un análisis de la cobertura de controles. Una alta precisión en la detección de técnicas no garantiza una protección adecuada si los controles asociados se pierden debido a errores de mapeo.

En conclusión, el estudio aboga por moverse más allá de las evaluaciones de informe único, utilizando métricas de saturación y cobertura de controles para guiar la recolección de inteligencia y la selección de métodos automatizados en entornos de ciberseguridad reales.