From IOCs to Regex: Automating CTI Operationalization for SOC with LLMs

Resumen Técnico: De IOCs a Regex – Automatización de la Operacionalización de CTI para SOC con LLMs

1. El Problema

Los Centros de Operaciones de Seguridad (SOC) dependen de la Inteligencia de Amenazas Cibernéticas (CTI) para identificar y mitigar ataques. Los informes de CTI proporcionan Indicadores de Compromiso (IOCs) (como rutas de archivos, claves de registro y argumentos de línea de comandos) que son esenciales para la detección.

Sin embargo, existe una brecha crítica entre la extracción de estos IOCs y su operacionalización en sistemas reales:

• Limitación de la coincidencia exacta: Los IOCs extraídos como cadenas de texto simples no pueden coincidir directamente con los registros del sistema (logs) debido a variaciones en el contexto del sistema, capitalización, delimitadores de ruta o comportamientos del atacante.
• Cuello de botella manual: La estrategia actual para cerrar esta brecha es convertir manualmente los IOCs en expresiones regulares (regex). Este proceso es lento, propenso a errores, requiere experiencia especializada y no escala ante el volumen creciente de informes de CTI.
• Vacío en la investigación actual: Aunque existen métodos automatizados para extraer IOCs usando Modelos de Lenguaje Grande (LLMs), estos solo producen cadenas de texto crudas. La etapa crítica de traducir esos IOCs a regexes sintácticamente válidos y semánticamente precisos sigue siendo manual. Los enfoques existentes de generación de reglas SIEM a menudo ignoran la complejidad de los regex o producen patrones demasiado simples.

2. Metodología: IOCRegex-gen

Los autores proponen IOCRegex-gen, un sistema completamente automatizado basado en LLMs diseñado para transformar IOCs extraídos en regexes desplegables. El sistema aborda tres desafíos principales:

1. Identificación de grupos de captura (C1): Determinar qué partes del IOC son constantes (grupos de captura) y cuáles son variables (grupos no capturados).
2. Validez sintáctica y corrección de alucinaciones (C2): Evitar que el LLM genere regexes inválidos o incompletos.
3. Equilibrio entre precisión y generalización (C3): Evitar patrones demasiado amplios (falsos positivos) o demasiado estrechos (falsos negativos).

El sistema se divide en dos fases principales:

Fase 1: Búsqueda de Grupos de Captura (Capture Group Finding)

• Base de Conocimiento: Utiliza una base de datos gráfica (Neo4j) que almacena estructuras jerárquicas de rutas de archivos nativas de Windows, claves de registro y argumentos de línea de comandos.
• Algoritmo de Diferenciación:
  • Para rutas y registros: Divide la cadena en substrings y busca la secuencia más larga de nodos adyacentes en la base de datos gráfica. Estos nodos nativos se marcan como grupos de captura.
  • Para argumentos de línea de comandos: Identifica el comando principal y sus parámetros nativos como grupos de captura, mientras que los valores específicos (como nombres de archivos generados por el atacante) se tratan como no capturados.
• Filtrado: Si una cadena IOC no contiene ningún grupo de captura identificado, se considera un falso positivo y se descarta.

Fase 2: Generación de Regex con Razonamiento Iterativo

• Generación Inicial: El LLM recibe el IOC y la información de los grupos de captura para generar un regex inicial.
• Bucles de Validación Iterativa:
  1. Depuración Sintáctica: Se prueba si el regex coincide con el IOC original. Si falla, un "depurador de regex" identifica el error y retroalimenta al LLM para corregirlo.
  2. Validación de Grupos No Capturados: Se verifica que el regex no contenga grupos no capturados (que debían ser capturados). Si los hay, se refina iterativamente.
  3. Chequeo de Sobre-generalización: Se generan 10 cadenas aleatorias. Si el regex coincide con todas, se considera demasiado genérico (ej. .*) y se reinicia el proceso.
• Clasificación (Grading): Se generan múltiples candidatos (aprox. 5) y se selecciona el mejor mediante una fórmula de puntuación que recompensa los componentes de captura correctos y penaliza los grupos no capturados o innecesarios.

3. Contribuciones Clave

1. Sistema IOCRegex-gen: Primera solución automatizada que cierra la brecha entre la extracción de IOCs y la generación de regexes operativos, eliminando la necesidad de intervención manual en esta etapa crítica.
2. Mecanismo de Identificación de Grupos: Un enfoque novedoso que combina recuperación de contexto enriquecido (base de datos gráfica) y análisis de patrones para distinguir automáticamente entre componentes fijos y variables en los IOCs.
3. Flujo de Trabajo de Razonamiento Iterativo: Un pipeline que utiliza validación multi-etapa y retroalimentación para mitigar las alucinaciones de los LLMs y garantizar la corrección sintáctica y semántica.
4. Evaluación Exhaustiva: Validación rigurosa utilizando más de 3,000 informes de CTI reales y 2,400 cadenas de "verdad fundamental" (ground truth) extraídas de las evaluaciones independientes de MITRE ATT&CK.

4. Resultados Experimentales

El sistema fue evaluado contra los datos de MITRE ATT&CK (incluyendo escenarios como APT29, LockBit, Turla, etc.):

• Tasa de Detección (Hit Rate): Los regexes generados alcanzaron una tasa de acierto promedio del 99.1% en las cadenas de verdad fundamental. En varios conjuntos de datos (como LockBit y Turla Snake), la tasa fue del 100%.
• Tasa de Falsos Positivos: Se mantuvo extremadamente baja, con un promedio de solo 0.8%.
• Complejidad y Generalización:
  • Los regexes generados obtuvieron una puntuación promedio superior a 3 en una escala de complejidad estructural, demostrando que no son coincidencias literales simples.
  • La similitud con los IOCs originales fue de aproximadamente 0.4, lo que indica que el sistema introduce la variabilidad necesaria para adaptarse a diferentes entornos sin perder la esencia del indicador.
• Estudio de Ablación: Al desactivar los componentes clave (búsqueda de grupos o generación basada en razonamiento), el rendimiento cayó drásticamente (la tasa de aciertos bajó >16.7% y los falsos positivos subieron >23.3%), confirmando que cada componente es esencial.
• Consistencia del Modelo: El sistema mostró alta consistencia estructural (similitud >0.97) al utilizar diferentes modelos base (GPT-4o, LLaMA3, DeepSeek-V3).

5. Significado e Impacto

Este trabajo representa un avance significativo en la automatización de la ciberseguridad:

• Escalabilidad: Permite a los SOC procesar miles de informes de CTI y generar reglas de detección en minutos, en lugar de días.
• Precisión Operativa: Al automatizar la distinción entre componentes fijos y variables, se reduce la fatiga del analista y los errores humanos, mejorando la calidad de las reglas de SIEM.
• Viabilidad Práctica: Demuestra que los LLMs, cuando se guían con mecanismos de validación estrictos y conocimiento de dominio (grafos), pueden superar sus limitaciones inherentes (alucinaciones) para tareas de seguridad críticas.
• Cierre de la Brecha de CTI: Transforma la inteligencia de amenazas teórica en acciones de detección inmediatas y automatizables, fortaleciendo la postura defensiva contra amenazas emergentes.

El código fuente del proyecto se ha hecho público para fomentar la investigación y la adopción en la industria.