What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Esta revisión sistemática analiza 80 estudios sobre la extracción automatizada de tácticas, técnicas y procedimientos (TTPs) de texto no estructurado, identificando que, aunque el campo ha evolucionado hacia arquitecturas basadas en transformadores y LLMs, persisten limitaciones críticas como la falta de generalización, la dependencia de conjuntos de datos restringidos y problemas de reproducibilidad.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un mapa del tesoro para los detectives de ciberseguridad, pero en lugar de buscar piratas, buscan a los hackers.

Aquí tienes la explicación de este estudio complejo, contada como una historia sencilla:

🕵️‍♂️ El Problema: Un Océano de Papeles y un Enemigo que Cambia de Disfraz

Imagina que los hackers (los "adversarios") son como ladrones muy inteligentes que cambian de ropa, de herramientas y de planes cada día para robar. Los defensores (los expertos en seguridad) necesitan saber exactamente qué están haciendo estos ladrones, cómo lo hacen y por qué lo hacen. A esto se le llama TTPs (Tácticas, Técnicas y Procedimientos).

El problema es que hay miles de informes escritos por expertos humanos describiendo estos robos. Leerlos uno por uno es como intentar beber agua de una manguera de incendios: es abrumador, lento y propenso a errores. Necesitamos una forma automática de leer esos informes y decirnos: "Oye, este ladrón está usando la técnica de 'abrir la puerta trasera' en lugar de 'romper la ventana'".

🔍 La Misión del Estudio: Un Gran Recuento

Los autores de este artículo (un equipo de investigadores de universidades de EE. UU.) decidieron hacer algo muy importante: revisaron 80 estudios científicos que ya habían intentado crear máquinas o programas para leer estos informes y extraer la información automáticamente.

Fue como si ellos fueran los "detectives de los detectives". Querían ver qué métodos estaban funcionando, cuáles no, y dónde estaban los huecos en el mapa.

🛠️ ¿Qué descubrieron? (Las Analogías)

Aquí están los hallazgos principales, explicados con ejemplos de la vida real:

1. El "Entrenador" que lee los informes (La Evolución de la Tecnología)

• Antiguamente: Los primeros programas funcionaban como un niño buscando palabras clave. Si el informe decía "robo", el programa marcaba "robo". Era útil, pero muy tonto; no entendía el contexto.
• Hoy: Ahora usamos Inteligencia Artificial avanzada (como modelos de lenguaje tipo BERT o GPT). Imagina que en lugar de un niño, tenemos a un profesor de historia experto que ha leído millones de libros. Este "profesor" no solo busca palabras, sino que entiende la historia completa. Entiende que si alguien dice "entró por la ventana", probablemente usó la técnica de "acceso remoto" aunque no escribiera esas palabras exactas.
• El futuro: Ahora están probando con super-inteligencias (Modelos de Lenguaje Grandes o LLMs) que pueden razonar como un humano, pero aún están aprendiendo a ser consistentes.

2. ¿Qué están buscando exactamente? (El Enfoque)

La mayoría de los estudios se centran en encontrar las "Técnicas" (el "cómo"). Es como si todos los investigadores solo estuvieran buscando las herramientas que usa el ladrón (un destornillador, un pico).

• Lo que falta: Hay muy pocos estudios que se centran en las "Tácticas" (el "por qué" o el objetivo final, como "robar dinero" o "espiar") o en buscar información específica en el texto (como un buscador avanzado). Es como si todos estuvieran buscando el martillo, pero nadie estuviera preguntando "¿para qué quiere el ladrón el martillo?".

3. Los Libros de Texto (Las Fuentes de Datos)

Para entrenar a estas máquinas, necesitan leer ejemplos.

• Lo que usan: La mayoría usa informes de ciberseguridad (como los boletines de noticias de seguridad) y bases de datos públicas (como el "catálogo de ladrones" llamado MITRE ATT&CK).
• Lo que ignoran: Pocos usan registros de sistemas reales (como las cámaras de seguridad digitales) o el código de los virus. Es como entrenar a un detective solo con noticias de periódicos, pero nunca con las pruebas reales de la escena del crimen.

4. El Gran Secreto: Nadie comparte sus juguetes (Reproducibilidad)

Este es quizás el hallazgo más crítico. Imagina que un chef crea una receta increíble para un pastel, pero no publica la lista de ingredientes ni las cantidades.

• En este campo, muchos investigadores dicen: "¡Hicimos un programa genial!", pero no comparten el código ni los datos que usaron.
• El resultado: Es muy difícil que otros científicos verifiquen si el programa realmente funciona o si solo tuvo suerte. Es como si todos estuvieran construyendo puentes, pero nadie dejara ver los planos.

🚧 Los Obstáculos (Limitaciones)

El estudio señala tres grandes problemas que frenan el progreso:

1. Datos limitados: Muchos programas se entrenan con datos muy pequeños o de un solo tipo de hacker. Es como entrenar a un perro solo para cazar conejos y luego esperar que cace leones.
2. Evaluación simplista: A menudo, los programas se evalúan como si fueran un examen de "Verdadero o Falso", cuando en la vida real, un informe puede tener múltiples ladrones, múltiples herramientas y múltiples objetivos al mismo tiempo.
3. Falta de transparencia: Como mencioné antes, sin compartir los datos y el código, es difícil mejorar lo que otros han hecho.

🚀 ¿Hacia dónde vamos? (El Futuro)

Los autores sugieren que para avanzar, necesitamos:

• Recetas compartidas: Crear bases de datos públicas y abiertas donde todos puedan ver y usar los mismos ejemplos.
• Entrenamiento más realista: Usar datos del "mundo real" (con todo el ruido y el desorden de los informes reales) en lugar de datos limpios y perfectos de laboratorio.
• Detectives más inteligentes: Crear sistemas que entiendan no solo una frase, sino toda la historia del informe, para entender la secuencia de los eventos (primero entró, luego robó, luego se fue).

📝 En Resumen

Este artículo es un llamado a la acción para la comunidad científica. Nos dice: "¡Hemos hecho un gran progreso usando Inteligencia Artificial para leer informes de hackers, pero necesitamos ser más transparentes, compartir más nuestros datos y entrenar a nuestras máquinas con situaciones más reales para que realmente nos ayuden a detener a los criminales!".

Es como pasar de tener un mapa dibujado a mano con un lápiz, a tener un GPS satelital en tiempo real, pero primero necesitamos asegurarnos de que todos los conductores compartan sus rutas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review" (¿Qué están haciendo los adversarios? Extracción automatizada de Tácticas, Técnicas y Procedimientos: Una Revisión Sistemática), traducido y estructurado en español.

---

Resumen Técnico: Extracción Automatizada de TTPs

1. Problema y Motivación

La ciberseguridad enfrenta un desafío crítico debido al aumento exponencial en la escala y complejidad de los ciberataques. En 2024, las brechas de seguridad aumentaron un 75%, y el costo global del cibercrimen se proyecta en 23 billones de dólares para 2027.

• El Reto: Los defensores necesitan Inteligencia de Amenazas Cibernéticas (CTI) para comprender el comportamiento de los adversarios. La información clave reside en las Tácticas, Técnicas y Procedimientos (TTPs), que describen el "por qué" (táctica), el "cómo" (técnica) y la implementación práctica (procedimiento) de un ataque, a menudo mapeados al marco MITRE ATT&CK.
• La Limitación Actual: La extracción manual de TTPs a partir de informes de CTI no estructurados (texto libre) es laboriosa, propensa a errores y no escala con la velocidad de las amenazas.
• El Vacío de Investigación: Aunque existen estudios sobre extracción de CTI, carecen de una síntesis sistemática que compare metodologías, fuentes de datos, estrategias de evaluación y reproducibilidad específicamente para la extracción de TTPs alineada con MITRE ATT&CK.

2. Metodología de la Revisión

Los autores siguieron las directrices de Kitchenham et al. para realizar una revisión sistemática de la literatura (SLR) en ingeniería de software.

• Fuentes de Datos: Se buscaron estudios en cinco bases de datos académicas principales (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL) desde 2015 hasta junio de 2025.
• Criterios de Selección:
  • Inclusión: Estudios que propongan métodos novedosos para extraer TTPs de texto, escritos en inglés y revisados por pares.
  • Exclusión: Resúmenes, blogs, trabajos no revisados por pares, o estudios anteriores a 2015.
• Proceso de Filtrado:
  1. Búsqueda inicial: 3,219 publicaciones.
  2. Eliminación de duplicados y filtrado por título/resumen: 103 estudios primarios.
  3. Técnica de "bola de nieve" (forward/backward): Se añadieron 31 estudios adicionales.
  4. Evaluación de texto completo y consenso de revisores (Kappa de Cohen = 0.86): 80 estudios finales seleccionados para el análisis.
• Análisis: Se utilizó codificación abierta cualitativa para categorizar los estudios en dimensiones clave: objetivos, fuentes de datos, construcción de conjuntos de datos, metodologías, métricas de evaluación y reproducibilidad.

3. Contribuciones Clave

El artículo ofrece la primera síntesis estructurada del estado del arte en la extracción de TTPs, proporcionando:

1. Categorización de Objetivos: Una taxonomía de los propósitos de extracción (clasificación de tácticas, técnicas, búsqueda, extracción de IoCs y construcción de Grafos de Conocimiento).
2. Análisis de Fuentes y Datos: Un inventario de las fuentes de datos utilizadas (informes de CTI, bases de vulnerabilidades, logs, etc.) y estrategias de preprocesamiento.
3. Evolución Metodológica: Un mapa de la transición desde métodos basados en reglas y ML tradicional hacia arquitecturas de transformadores y Modelos de Lenguaje Grande (LLM).
4. Evaluación de Reproducibilidad: Un análisis crítico sobre la disponibilidad de código y datos, revelando una brecha significativa en la reproducibilidad.
5. Hoja de Ruta Futura: Recomendaciones concretas para mejorar la robustez, la generalización y la relevancia operativa de los sistemas de extracción.

4. Resultados y Hallazgos Principales

A. Objetivos de Extracción (RQ1)

• Dominio: La clasificación de técnicas (39 estudios) es la tarea predominante, seguida por la construcción de Grafos de Conocimiento (24 estudios).
• Brechas: La clasificación de tácticas (6 estudios) y la búsqueda de técnicas (5 estudios) están subexploradas.
• Enfoque: La mayoría de los estudios se centran en informes de CTI no estructurados, con menos atención a logs de sistemas, reglas de IDS o código fuente de malware.

B. Fuentes de Datos y Construcción (RQ2-RQ4)

• Fuentes: El 60% de los estudios utiliza informes de CTI (FireEye, Kaspersky, etc.) y bases de conocimiento públicas (MITRE ATT&CK, CAPEC).
• Procesamiento: Se observa una dependencia de la limpieza manual y la segmentación de oraciones. Las técnicas de aumento de datos (data augmentation) y la anotación semi-automática son comunes para mitigar la escasez de datos etiquetados.
• Anotación: La mayoría de los conjuntos de datos son manuales y específicos de un estudio, lo que dificulta la comparación directa.

C. Metodologías (RQ5)

• Evolución: Hay un claro desplazamiento desde métodos basados en reglas y ML clásico (SVM, Naive Bayes) hacia arquitecturas basadas en Transformadores (BERT, RoBERTa, SecureBERT).
• Embeddings Específicos: El uso de modelos preentrenados en ciberseguridad (SecureBERT, CyBERT) supera a los modelos genéricos al capturar jerga técnica.
• LLMs: Recientemente, se están explorando LLMs (GPT-3.5/4, LLaMA) mediante prompting, fine-tuning ligero (LoRA) y generación aumentada por recuperación (RAG), mostrando potencial en tareas de razonamiento complejo y pocos ejemplos (few-shot).

D. Evaluación y Métricas (RQ6)

• Métricas: Predominan la Precisión, Recall y F1-score (macro/micro).
• Limitaciones: La mayoría de los estudios evalúan en un solo conjunto de datos, lo que limita la validación de la generalización. Pocas evaluaciones son multi-etiqueta o analizan el rendimiento por clase específica, a pesar de la naturaleza inherentemente desbalanceada de los datos de CTI.

E. Reproducibilidad (RQ7)

• Crisis de Reproducibilidad: Solo el 12.5% de los estudios proporcionan tanto el código como los datos públicos.
• Barreras: El 50% de los estudios no reportan claramente la disponibilidad de recursos, y muchos dependen de datos propietarios o enlaces rotos, impidiendo la validación independiente y la comparación justa.

5. Significado y Direcciones Futuras

Este estudio es fundamental para la comunidad de ciberseguridad porque:

1. Estandariza el campo: Define un lenguaje común y una taxonomía para comparar trabajos dispares.
2. Identifica cuellos de botella: Señala que la falta de datos operativos realistas y la pobre reproducibilidad son los mayores obstáculos para la adopción industrial.
3. Guía la investigación futura: Propone seis direcciones críticas:
   • Creación de conjuntos de datos basados en operaciones reales (no solo sintéticos o filtrados).
   • Adopción de paradigmas de evaluación multi-etiqueta para reflejar la complejidad de los ataques.
   • Reporte de métricas granulares (por clase/técnica) en lugar de promedios agregados.
   • Representaciones de conocimiento más ricas que vayan más allá de STIX, capturando relaciones temporales y causales.
   • Uso de CTI para la emulación de adversarios mediante LLMs.
   • Modelos conscientes del contexto que analicen documentos completos en lugar de oraciones aisladas.

Conclusión:
Aunque la extracción automatizada de TTPs ha avanzado significativamente gracias a la IA y los LLMs, el campo necesita madurar hacia sistemas más robustos, reproducibles y alineados con los flujos de trabajo reales de inteligencia de amenazas. La transición de la investigación académica a herramientas operativas requiere una mayor transparencia en los datos y una evaluación más rigurosa en escenarios del mundo real.