Resumen Técnico: Consulta de Registros de Seguridad sin Analizadores

Declaración del Problema

Los analistas de seguridad consultan rutinariamente los registros del sistema para detectar amenazas e investigar incidentes, pero la diversidad de formatos de registro crea un cuello de botella significativo. Aunque los registros son baratos de producir, son costosos de utilizar porque cada fuente (firewalls, servicios de autenticación, agentes de punto final) utiliza su propio formato semiestructurado.

El enfoque estándar de la industria consiste en construir analizadores por fuente para normalizar los registros en esquemas estructurados (por ejemplo, OCSF) antes del análisis. Aunque potente, esto requiere un esfuerzo continuo de ingeniería para mantener los analizadores a medida que evolucionan los formatos; por ejemplo, Google SecOps mantiene aproximadamente 1.000 analizadores activos con más de 200 actualizaciones mensuales. Por el contrario, omitir el análisis y buscar directamente en archivos crudos con herramientas como grep o scripts ad hoc evita los costos de mantenimiento, pero traslada la carga al analista. Este enfoque manual requiere un conocimiento profundo de variantes específicas de mensajes y lucha por expresar consultas temporales complejas de varias líneas (por ejemplo, "encontrar usuarios que iniciaron sesión desde dos direcciones IP diferentes dentro de 60 segundos"), las cuales requieren estado, agrupación y agregación.

Ambos enfoques fallan por la misma razón: requieren conocimiento previo de la sintaxis y la semántica del registro de origen. Las tuberías estructuradas codifican esto en analizadores, mientras que los flujos de trabajo de texto crudo requieren que el analista lo reconstruya manualmente.

Metodología: El Sistema Sieve

Los autores presentan Sieve, un sistema que genera código de consulta ejecutable a partir de preguntas de seguridad en lenguaje natural sin requerir analizadores preconstruidos ni esquemas normalizados. Sieve opera fundamentando un Modelo de Lenguaje Grande (LLM) con contexto de formato de registro ligero y extraído automáticamente.

Descripción General de la Tubería

Sieve opera en cuatro etapas:

1. Construcción del Prompt: El sistema ensambla un prompt que contiene la consulta en lenguaje natural, la ruta del archivo de registro y una "estrategia de contexto" (ejemplos de plantillas de registro o líneas crudas). También incluye restricciones (por ejemplo, el código debe ser Python o Bash, sin escritura de red/archivo) y una especificación de salida.
2. Generación de Código: Se invoca un LLM (principalmente Gemini 3.1 Pro Preview o OpenAI GPT-5.4) una vez por consulta para emitir un script autónomo en Python o Bash. Se instruye al modelo a devolver el código envuelto en JSON para garantizar una extracción fiable.
3. Ejecución en Entorno Aislado: El código generado se ejecuta en un subproceso sin acceso a la red y con permisos restringidos del sistema de archivos. Está sujeto a comprobaciones de seguridad (rechazando eval, exec, rm, etc.) y validación del formato de salida.
4. Mecanismo de Reintento: Si la ejecución falla, el script lanza una excepción o se viola el formato de salida, el mensaje de error se retroalimenta al LLM para un reintento. Se permiten hasta cuatro reintentos.

Estrategias de Contexto

Para fundamentar al LLM en el formato de registro específico, Sieve evalúa cinco estrategias para proporcionar contexto:

• Plantillas Matryoshka: Utiliza una tubería de LLM offline para generar plantillas semánticas de alta calidad con marcadores de posición de campos con nombre.
• Drain3: Un analizador de flujo que extrae plantillas con comodines genéricos en un solo paso.
• Plantillador basado en Frecuencia: Un algoritmo ligero y heurístico (inspirado en IPLoM) que normaliza tokens, agrupa por longitud e identifica posiciones variables para producir plantillas en menos de diez segundos sin llamadas a LLM.
• Muestra Aleatoria: Proporciona 100 líneas de registro muestreadas aleatoriamente sin plantillas explícitas.
• Sin Contexto: Proporciona solo una línea de muestra, confiando en el conocimiento preentrenado del modelo.

El sistema trata al LLM como un compilador: genera la lógica de extracción una vez, y el script resultante se ejecuta de manera determinista a velocidad de programa normal sobre todo el registro.

Contribuciones Clave

1. Tubería Sieve: Un sistema de código abierto para la consulta asistida por LLM de registros de seguridad crudos que genera código ejecutable a partir de lenguaje natural, requiriendo solo una llamada a LLM por consulta seguida de ejecución determinista.
2. Punto de Referencia: Un nuevo punto de referencia que comprende 133 consultas de seguridad en 5 tipos de registros (Auditoría de Linux, SSH, cron, Puppet, DHCP). Las consultas van desde filtros simples (Clase 1–2) hasta correlaciones complejas de varias líneas que involucran ventanas temporales y agregación con estado (Clase 3–4). Se proporcionan respuestas de verdad fundamental para todas las consultas.
3. Exploración del Espacio de Diseño: Una evaluación de estrategias de contexto, lenguajes de ejecución (Python vs. Bash) y familias de modelos para determinar la configuración óptima para la consulta de registros.
4. Comparaciones de Línea Base: Una comparación contra una línea base humana (analistas escribiendo scripts ingenuos de grep/Python en menos de 10 minutos) y una tubería automatizada de análisis estructurado (Matryoshka).

Resultados Experimentales

La evaluación se realizó en 133 consultas en 5 tipos de registros.

• Rendimiento frente a la Línea Base Humana: Sieve iguala el rendimiento humano en consultas de filtro simples, pero supera significativamente la scripting manual en consultas complejas. En cargas de trabajo complejas (detección de fuerza bruta, identificación de anomalías de sesión, correlación entre eventos), Sieve reduce la tasa de error promedio de 0,34 (humano) a 0,10, una reducción de aproximadamente 3,6×. Las mayores ganancias se observaron en tareas que requieren análisis de marcas de tiempo, unión de eventos por identificadores compartidos y mantenimiento de estado de ventana deslizante.
• Rendimiento frente al Análisis Estructurado: En cargas de trabajo de filtrado simple, Sieve (utilizando el contexto ligero Drain3) alcanza una puntuación F1 macro de 0,981, que está dentro del ruido de la tubería de análisis estructurado Matryoshka (0,999). Esto demuestra que el código generado por LLM puede acercarse a la precisión de representaciones completamente analizadas sin el paso de generación de analizadores offline.
• Estrategia de Contexto: La elección de la fuente de plantillas importa menos de lo esperado. Un plantillador simple basado en frecuencia (que se ejecuta en segundos sin llamadas a LLM) produjo resultados estadísticamente indistinguibles de las plantillas de alto esfuerzo Matryoshka. El factor crítico es la cobertura de variantes de mensajes más que la sofisticación de la representación de la plantilla.
• Elección de Lenguaje: Python es el predeterminado superior para consultas complejas. Aunque Bash tiene un rendimiento comparable en filtros simples, falla significativamente en consultas temporales con estado (por ejemplo, las consultas complejas de DHCP vieron una caída de 0,815 F1 en Python a 0,446 en Bash) debido a limitaciones en el manejo de estructuras de datos y aritmética de marcas de tiempo.
• Robustez del Modelo: La tubería se transfiere entre familias de modelos (Gemini 3.1 Pro y GPT-5.4), aunque GPT-5.4 mostró un rendimiento inferior en tareas complejas con estado en esta configuración específica.

Significado y Afirmaciones

El artículo afirma que Sieve cierra la brecha entre la expresividad de la consulta de registros estructurados y la inmediatez de trabajar directamente con archivos crudos. Su significado principal radica en demostrar que el código generado por LLM puede servir como un plan de consulta justo a tiempo que elimina la necesidad de mantenimiento continuo de analizadores mientras preserva la precisión del análisis estructurado.

Los autores argumentan que Sieve es particularmente valioso para la "cola larga" de consultas de analistas que caen fuera del esquema normalizado de un SIEM o para investigaciones ad hoc donde la presión del tiempo impide construir un analizador. Al trasladar el costo de la ingeniería continua (mantenimiento de analizadores) a un costo acotado por consulta (una llamada a LLM + ejecución determinista), Sieve ofrece una alternativa escalable a la arquitectura "normalizar primero, consultar después". Los resultados sugieren que para investigaciones de seguridad complejas, la generación automática de código no solo es factible, sino superior a la scripting manual, siempre que el sistema esté fundamentado con suficiente contexto de formato de registro.