Resumen Técnico: GenTI – Evaluación de LLMs para la Generación Autónoma de Reglas de IDPS

1. Declaración del Problema

Los Sistemas de Detección y Prevención de Intrusiones (IDPS) basados en reglas, como Snort y Suricata, siguen siendo la opción dominante en entornos de producción debido a su precisión e interpretabilidad. Sin embargo, su dependencia de reglas creadas manualmente y basadas en firmas limita su capacidad de adaptación ante amenazas emergentes y de día cero (zero-day). Los expertos en seguridad deben analizar manualmente las vulnerabilidades y documentar los patrones de ataque para crear reglas, un proceso que no puede seguir el ritmo de la sofisticación de los ataques modernos, que a menudo emplean la ofuscación y vulnerabilidades no reveladas.

Además, los conjuntos de datos públicos existentes (p. ej., CICIDS2017, UNSW-NB15) están diseñados principalmente para la clasificación de tráfico a nivel de flujo o de cabecera. Carecen de la información estructurada a nivel de carga útil (payload), los metadatos de las reglas y el mapeo de Inteligencia de Amenazas Cibernéticas (CTI) necesarios para entrenar Modelos de Lenguaje de Gran Escala (LLM) para la síntesis automática de reglas. En consecuencia, existe una brecha crítica en:

1. Datos: La ausencia de un conjunto de datos de referencia a gran escala y disponible públicamente, diseñado para la generación de reglas de IDPS, que incluya semántica a nivel de carga útil y contexto de CTI.
2. Metodología: Los métodos existentes de generación automática de reglas a menudo no logran capturar comportamientos a nivel de carga útil o carecen de mecanismos sistemáticos para verificar la corrección sintáctica y semántica de las reglas generadas.
3. Evaluación: La falta de una verificación sistemática de si las reglas generadas automáticamente pueden operar con tasas de falsos positivos aceptables en entornos de producción realistas.

2. Metodología

Los autores proponen GenTI (Generative Threat Intelligence), un marco que comprende un nuevo conjunto de datos de referencia (GTI) y un flujo de trabajo impulsado por LLM para generar, refinar y verificar reglas de IDPS.

A. El Conjunto de Datos GTI

El conjunto de datos GTI es un corpus enriquecido con CTI que agrega más de 200,000 reglas:

• Más de 150,000 reglas de IDPS: Agregadas de Snort, Suricata y Emerging Threats.
• Más de 50,000 reglas YARA: Enfocadas en firmas a nivel de carga útil.

Características Clave de GTI:

• Esquema Estructurado: Las reglas se normalizan en un formato unificado que contiene características de cabecera (IP, puertos, protocolos), características de flujo y características de carga útil.
• Enriquecimiento con CTI: Cada regla se mapea con fuentes de inteligencia externa, incluyendo MITRE ATT&CK (tácticas/técnicas), D3FEND (técnicas defensivas), CVE/CWE, AlienVault OTX y MISP.
• Anotación de Contexto de Regla y Relaciones (RCRA): Anotaciones que vinculan las reglas con contextos de ataque específicos, familias de malware y tipos de respuesta accionables (alerta, bloqueo, rechazo).
• Ingeniería de Prompts: El conjunto de datos incluye prompts de entrada estructurados (descripciones estilo analista) y salidas objetivo (reglas canónicas), junto con razonamientos de Cadena de Pensamiento (CoT) y anotaciones de Cadena de Verificación (CoVe).

B. El Flujo de Trabajo del Marco GenTI

El marco opera como un flujo de trabajo de extremo a extremo que transforma los prompts del analista y las cargas útiles maliciosas en reglas verificadas:

1. Preprocesamiento y Construcción de Prompts: Los prompts del analista y las cargas útiles maliciosas representativas se analizan para extraer características (p. ej., cabeceras HTTP, marcadores de C2). Estos se convierten en prompts estructurados ($P_{struct}$) y prompts de lenguaje natural ($P_{user}$).
2. Síntesis de Reglas Basada en LLM: Un LLM (específicamente el modelo DeepSeek-7B ajustado) genera una regla candidata inicial ($r_0$) y un rastro de CoT ($C_0$) basado en los prompts y el contexto de CTI.
3. Mapeo de Inteligencia de Amenazas: El sistema consulta el almacén de CTI para mapear la regla generada a técnicas específicas de ATT&CK, IoCs y familias de malware.
4. Bucle de Refinamiento Iterativo: La regla candidata se evalúa contra tráfico malicioso y benigno. Un mecanismo de retroalimentación ($F_{k+1}$) se genera basado en métricas (tasa de detección, falsos positivos, validez sintáctica) para refinar la regla en las iteraciones subsecuentes.
5. Cadena de Verificación (CoVe): Se aplica un proceso de verificación de tres etapas a la mejor candidata:
   • Verificación Sintáctica: Asegura la compatibilidad con los motores Snort/Suricata.
   • Verificación Lógica: Valida la consistencia entre las condiciones de la regla y el contexto mapeado de ATT&CK/CTI.
   • Análisis de Falsos Positivos: Se reproduce el tráfico benigno para asegurar que la regla no dispare alertas excesivas.
6. Aprendizaje por Currículo (Curriculum Learning): El proceso de entrenamiento utiliza un currículo de múltiples etapas, comenzando con reglas simples de solo cabecera y presentando progresivamente patrones de carga útil complejos y mapeos densos de CTI para estabilizar el entrenamiento y mejorar la generalización.

3. Contribuciones Clave

1. Conjunto de Datos de Referencia GTI: El primer corpus a gran escala enriquecido con CTI diseñado para la generación de reglas de NIDPS basada en LLM, consolidando más de 200k reglas con metadatos ricos, mapeos de CTI y RCRA.
2. Generación de Reglas a Nivel de Carga Útil: La capacidad de traducir firmas de carga útil estilo YARA en lógica compatible con IDPS, permitiendo la generación automática de reglas tanto de detección como de prevención (bloqueo/rechazo) a nivel de carga útil.
3. Flujo de Entrenamiento de Cuatro Etapas: Una metodología novedosa que comprende:
   • Fundamentación sintáctica mediante el aprendizaje de la estructura de la regla.
   • Enriquecimiento semántico mediante el razonamiento CoT aumentado con CTI.
   • Verificación impulsada por CoVe para la reducción de falsos positivos.
   • Integración de complejidad total mediante transferencia de aprendizaje.
4. Evaluación en Tiempo Real: Un marco de evaluación integral que prueba las reglas generadas en motores de código abierto (Snort/Suricata) utilizando tráfico realista, midiendo la precisión sintáctica, la similitud semántica, la cobertura de CTI y la efectividad de seguridad.

4. Resultados Experimentales

El modelo GenTI (DeepSeek-7B ajustado) fue evaluado frente a bases de referencia sólidas, incluyendo GPT-4o, LLaMA-3-8B y Mistral-7B, en un conjunto de prueba no visto anteriormente.

Métricas de Desempeño:

• Puntuación Compuesta de Calidad de la Regla: GenTI alcanzó un 89.4%, superando significativamente a las bases de referencia (p. ej., GPT-4o con 80.4%, LLaMA-3-8B con 71.6%).
• Cobertura de CTI: Alcanzó un 94.8%, indicando una alineación superior con los marcos de inteligencia de amenazas en comparación con las bases de referencia (~75–83%).
• Precisión Sintáctica: El 89.5% de las reglas generadas fueron sintácticamente válidas sin corrección manual.
• Similitud Semántica: Un 87.2% de coincidencia con las reglas de referencia de analistas expertos.

Detección de Ataques No Vistos:

• Tasa de Detección: La capacidad de detectar ataques previamente no vistos mejoró del 45% (base de referencia) al 87.4% (GenTI).
• Tasa de Falsos Positivos: Se redujo del 8.5% al 2.3%, demostrando que el bucle CoVe refina eficazmente los límites de decisión sin sacrificar la precisión.

Estudio de Ablación:
El estudio confirmó que el ajuste fino mediante QLoRA proporcionó el mayor impulso de rendimiento individual. El aprendizaje por currículo mejoró aún más la similitud semántica y la efectividad de seguridad, mientras que las aumentaciones de CoT/CoVe fueron críticas para reducir los errores residuales y mejorar la robustez.

5. Significado y Reivindicaciones

El artículo afirma que GenTI establece el primer benchmark a gran escala que acopla estrechamente la Inteligencia de Amenazas Cibernéticas (CTI) a nivel de regla con la automatización basada en LLM. Su principal importancia radica en permitir sistemas de IDPS adaptativos y autoevolutivos.

A diferencia de enfoques anteriores que simplemente reproducen firmas existentes o se centran en la clasificación de tráfico, GenTI demuestra que los LLM pueden actuar como agentes conscientes de la CTI para:

• Generar nuevas reglas fundamentadas en la inteligencia de amenazas para ataques no vistos.
• Operar con alta corrección sintáctica y bajas tasas de falsos positivos en entornos similares a la producción.
• Cerrar la brecha entre el tráfico de red bruto y la lógica de prevención verificada y accionable.

Los autores concluyen que su trabajo lleva al campo más allá de la simple copia de firmas, proporcionando una vía viable para automatizar el mantenimiento y la expansión de las bases de reglas de IDPS contra las amenazas reales en evolución.