Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

Resumen Técnico: Más allá de la sintaxis: ¿Confían los expertos en seguridad en los LLM para la ingeniería de reglas de NIDS?

Planteamiento del problema
A medida que las amenazas de red evolucionan con una velocidad y complejidad crecientes (por ejemplo, malware polimórfico, exploits de día cero), la ingeniería manual de reglas de Sistemas de Detección de Intrusiones de Red (NIDS) se ha convertido en un cuello de botella operativo crítico. Aunque las soluciones de código abierto como Snort y Suricata dependen de la detección basada en firmas, la eficacia de estos sistemas depende de la calidad y la puntualidad de sus conjuntos de reglas. La creación y el mantenimiento manual de estos conjuntos de reglas son laboriosos, no escalables y propensos a la "fatiga del SOC" debido a las altas tasas de falsos positivos y la complejidad sintáctica de los lenguajes de reglas. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial para automatizar la generación de reglas, su utilidad práctica sigue sin ser validada. Específicamente, existe una falta de evidencia empírica sobre si los expertos en seguridad confían en las reglas generadas por LLM, cómo interactúan con dichos resultados y si las reglas sintácticamente correctas son semánticamente desplegables en escenarios del mundo real.

Metodología
Los autores emplean una metodología centrada en el humano de cuatro fases para investigar la viabilidad de la ingeniería de reglas de NIDS basada en LLM:

1. Formalización del sistema: Los autores realizaron una revisión de la literatura de 11 trabajos primarios y un estudio preliminar con tres expertos en el dominio para formalizar un marco de generación fundamentado. El sistema resultante (Figura 1) consiste en un "Agente de Ingeniería de Reglas" y un "Bucle Humano".

   • Entradas: El agente ingiere datos de inventario de red, inventarios de vulnerabilidades (CVEs, CPEs) y exploits de Prueba de Concepto (PoC).
   • Procesamiento: Utiliza un motor de LLM (alojado localmente vía Ollama para garantizar la privacidad y la reproducibilidad) con prompting basado en roles y de pocos disparos (few-shot prompting).
   • Validación: Un pipeline de múltiples etapas incluye un verificador de sintaxis (validación del compilador nativo) y un corrector de sintaxis automatizado que utiliza prompting adaptativo para corregir errores.
   • Humano en el bucle (Human-in-the-Loop): Los expertos pueden interactuar con el LLM mediante prompting adaptativo para refinar las reglas de forma iterativa.

2. Diseño del estudio de usuario: El estudio involucró a 137 participantes reclutados, con un subconjunto de análisis final de 10 expertos altamente experimentados (analistas de SOC, investigadores e ingenieros). El estudio se estructuró en tres fases: ética/demografía, evaluación de reglas (evaluación de calidad y carga cognitiva) y evaluación del sistema interactivo.

   • Escenarios: Los participantes evaluaron reglas generadas a través de seis escenarios de red (dos sintéticos, cuatro basados en el conjunto de datos CIC-IDS 2017) con variaciones en la complejidad topológica y la densidad de vulnerabilidades.
   • Tareas: Los expertos realizaron evaluaciones ciegas de la corrección de las reglas, evaluaron la utilidad de las explicaciones generadas por el LLM e interactuaron con el sistema para modificar las reglas.

3. Análisis estadístico: Los autores generaron reglas utilizando 27 motores de LLM diferentes a través de los escenarios. Analizaron la validez sintáctica, la necesidad de bucles de corrección y el contenido semántico de las reglas (distribución de campos, especificidad).

4. Evaluación centrada en el humano: Se seleccionó el motor con mejor desempeño (DeepSeek-R1 70B) para el estudio de usuario. Los expertos calificaron la desplegabilidad de las reglas, los niveles de confianza y la usabilidad del sistema utilizando la Escala de Usabilidad del Sistema (SUS) y cuestionarios personalizados.

Contribuciones clave

• Formalización de un marco fundamentado: El artículo formaliza un sistema de vanguardia para la ingeniería de reglas basado en LLM que integra datos de vulnerabilidad, PoCs y un mecanismo de verificación de humano en el bucle, abordando las brechas en la literatura existente donde el feedback humano suele estar ausente.
• Caracterización empírica de la confianza del experto: Proporciona los primeros datos empíricos sobre la confianza de los profesionales de seguridad en las reglas de NIDS generadas por LLM, revelando una desconexión crítica entre la validez sintáctica y la desplegabilidad semántica.
• Perspectivas sobre patrones de interacción: El estudio identifica patrones de interacción específicos, factores de carga cognitiva y barreras de usabilidad cuando los expertos utilizan la asistencia de LLM para la ingeniería de reglas.

Resultados
La evaluación revela una "paradoja de la sintaxis-semántica":

• Sintaxis vs. Semántica: Mientras que los modelos de gran escala (≥70B de parámetros) demuestran una alta competencia sintáctica (hasta 87-90% de reglas válidas), los modelos pequeños (≤4B) son mayormente ineficaces. Sin embargo, incluso los mejores modelos requieren módulos de verificación y corrección de sintaxis; solo aproximadamente el 21% de las reglas del mejor modelo fueron válidas en el primer intento.
• Desplegabilidad semántica: A pesar del alto éxito sintáctico, los expertos consideraron que solo el 37.5% de las reglas generadas eran semánticamente correctas y desplegables. Las principales razones de rechazo fueron la baja especificidad (dependencia excesiva de variables genéricas como ANY), la fuerte dependencia del emparejamiento de contenido puro (falta de campos como OFFSET, DEPTH o campos específicos de protocolo) y las alucinaciones lógicas (por ejemplo, asociaciones incorrectas de puerto/protocolo).
• Desempeño del modelo: DeepSeek-R1 70B y Llama-3.1/3.3 70B emergieron como los motores superiores. La inclusión de datos de PoC mejoró la precisión sintáctica, pero solo para modelos capaces de manejar ventanas de contexto amplias.
• Confianza del experto y usabilidad:
  • El sistema recibió una puntuación SUS favorable de 67, lo que indica que se percibe como utilizable y aprendible.
  • Sin embargo, los expertos mantienen escepticismo sobre las capacidades autónomas. Ven a los LLM como herramientas de apoyo para el borrador, la verificación de sintaxis y la explicación, más que como generadores independientes.
  • Adopción: Más del 70% de los expertos se negaron a desplegar las reglas "tal cual", citando la necesidad de un refinamiento humano sustancial (calificación de esfuerzo promedio: 4.25/5).
  • Carga cognitiva: Aunque los expertos podían identificar fácilmente fallos en escenarios simples, su confianza y capacidad para validar reglas disminuyeron a medida que la complejidad de la red aumentaba, aunque los expertos altamente experimentados (3+ años) mantuvieron una mayor precisión al identificar problemas incluso en contextos complejos.

Significancia y Reivindicaciones
El artículo afirma proporcionar una evaluación fundacional de los LLM en el dominio de la ingeniería de reglas. Su principal significancia radica en delinear las limitaciones de los LLM actuales: aunque pueden producir código sintácticamente correcto, actualmente carecen de las capacidades de razonamiento profundo requeridas para la precisión semántica y la conciencia de contexto necesarias para reglas de NIDS listas para producción.

Los autores concluyen que el camino a seguir no es la generación totalmente autónoma, sino las arquitecturas de humano en el bucle. Estos sistemas deben priorizar la agencia del analista, utilizando los LLM para asistir en el borrador, la verificación y la explicación, mientras se confía en los expertos humanos para la validación final y la toma de decisiones para mitigar los riesgos de falsos positivos y alucinaciones. El trabajo sirve como una hoja de ruta para desarrollar flujos de trabajo de ingeniería de reglas más robustos, fiables y alineados con el humano.