Retrieval-Augmented LLMs for Security Incident Analysis

1. Planteamiento del Problema

La investigación aborda la creciente dificultad en los Centros de Operaciones de Seguridad (SOC) para analizar incidentes cibernéticos. Los desafíos principales son:

• Volumen y Complejidad de Datos: Los sistemas SIEM generan miles de alertas diarias, mezclando indicadores reales de compromiso (IOCs) con ruido de actividad normal.
• Limitaciones de los Analistas: El trabajo manual de filtrar datos, correlacionar eventos dispersos (tráfico de red, logs de autenticación, alertas de IDS) y reconstruir la narrativa del ataque es intensivo y propenso al error humano por fatiga.
• Ineficacia de los Modelos Puros: Introducir logs de seguridad crudos directamente en un LLM es inviable debido a las limitaciones de la ventana de contexto (millones de entradas) y la lentitud de la inferencia. Además, los modelos sin contexto específico tienden a alucinar o perder detalles críticos.
• Falta de Generalización: Las detecciones basadas en firmas estáticas no pueden identificar patrones de ataque nunca antes vistos o técnicas sofisticadas como el abuso de plantillas de certificados o la falsificación de tickets Kerberos.

2. Metodología: Arquitectura RAG para Seguridad

Los autores proponen un sistema basado en Generación Aumentada por Recuperación (RAG) diseñado específicamente para el análisis forense de seguridad. La arquitectura se divide en dos componentes principales:

A. Extracción de Contexto de Seguridad (Security Context Extraction)

En lugar de alimentar el LLM con logs crudos, el sistema primero procesa los datos mediante:

• Consultas Dirigidas (Targeted Queries): Se utiliza una biblioteca de consultas predefinidas (basadas en IOCs y técnicas MITRE ATT&CK) para filtrar los logs del SIEM (Suricata, Zeek, Windows Event Logs).
• Agregación Semántica: Las consultas no solo extraen eventos, sino que los agregan en patrones significativos (ej. "número de conexiones a un dominio sospechoso", "mismatches entre Subject/SAN en certificados"). Esto reduce miles de eventos a resúmenes compactos.
• Indexación: Estos resúmenes se incrustan (embedding) en una base de datos vectorial (FAISS) para su recuperación rápida.

B. Análisis LLM con RAG

• Recuperación: Para cada pregunta forense (ej. "¿Cuál es la IP del host infectado?"), el sistema recupera los chunks (fragmentos) más relevantes semánticamente de la base de datos.
• Generación: Un LLM recibe la pregunta, el contexto recuperado y una instrucción de rol (analista de ciberseguridad) para generar un informe basado en evidencia.
• Modos de Operación:
  1. Preguntas Forenses: Respuestas específicas sobre hosts, usuarios, dominios maliciosos y servidores C2.
  2. Reconstrucción de Ataques: Correlación de eventos discretos para narrar la progresión del ataque (ej. movimiento lateral, escalada de privilegios).

3. Contribuciones Clave

1. Formulación del Problema: Definieron el análisis de incidentes como una tarea de respuesta a preguntas (QA) estructurada, manejando tipos de respuesta específicos (IPs, conjuntos de dominios) con funciones de emparejamiento especializadas.
2. Arquitectura RAG Sensible a la Seguridad: Diseñaron un pipeline de recuperación que preserva las relaciones entre eventos cruzados (cross-event), esencial para detectar ataques coordinados donde ningún log individual revela el ataque completo (ej. abuso de certificados AD).
3. Evaluación Exhaustiva de Proveedores: Compararon 8 configuraciones de LLM (APIs en la nube como Claude, DeepSeek, GPT-4/5 y modelos locales como Llama 3.1 y Cisco Foundation-Sec-8B) en escenarios de malware y ataques a Active Directory.
4. Análisis de Costo-Eficiencia: Demostraron que es posible lograr un alto rendimiento con costos significativamente reducidos seleccionando el proveedor adecuado.

4. Resultados Experimentales

El sistema se evaluó en cuatro escenarios de tráfico de malware y un ataque multi-etapa a Active Directory (AD).

• Rendimiento en Malware:

  • Claude Sonnet 4 y DeepSeek V3 alcanzaron un 100% de recuperación (recall) en los cuatro escenarios de malware.
  • Los modelos locales (Llama 3.1:70b) lograron un 95% de recuperación, mientras que el modelo especializado en seguridad (Cisco Foundation-Sec-8B) obtuvo un 90%, sugiriendo que la capacidad de razonamiento general es más crítica que el pre-entrenamiento específico en seguridad para estas tareas.
  • Los modelos GPT (4, 4o, 5) mostraron un rendimiento inferior (60-85%), a menudo fallando en correlacionar eventos complejos o confundiendo cuentas de usuario con nombres de host.

• Reconstrucción de Ataques AD:

  • En la detección de pasos de ataque, el sistema alcanzó un 100% de precisión y un 82% de recuperación.
  • El sistema logró identificar correctamente vectores complejos como el abuso de plantillas de certificados (ESC1) al correlacionar la discrepancia entre el SAN y el Subject en diferentes logs.

• Estudios de Ablación (Importancia del RAG):

  • Sin RAG (Baseline): Cuando se intentó analizar logs crudos sin filtrado RAG, los modelos lograron un 0% de detección de la infraestructura de ataque (dominios falsos, servidores C2) porque los datos relevantes excedían la ventana de contexto o estaban enterrados en el ruido.
  • Solo IDS: Usar solo alertas de Suricata permitió identificar la IP infectada pero falló en la atribución de identidad (usuario/host), demostrando la necesidad de correlación multi-fuente.

• Análisis de Costos:

  • DeepSeek V3 resultó ser la opción más rentable, ofreciendo el mismo rendimiento que Claude (100% recall) a un costo 15 veces menor ($0.008 vs $0.12 por análisis).
  • El tiempo de análisis fue de 1-2 minutos por incidente con proveedores en la nube y menos de 1 minuto por ventana de 5 minutos con despliegue local.

5. Significado e Impacto

Este trabajo demuestra que la combinación de filtrado basado en consultas dirigidas y RAG es esencial para habilitar el análisis de incidentes de seguridad con LLMs dentro de los límites de contexto actuales.

• Viabilidad Operativa: El sistema permite un análisis casi en tiempo real, reduciendo la carga cognitiva de los analistas y permitiendo la reconstrucción de cadenas de ataque complejas que serían imposibles de detectar manualmente en grandes volúmenes de datos.
• Selección de Modelos: Los resultados desafían la noción de que los modelos especializados en seguridad son superiores; un modelo generalista potente y bien contextualizado (como DeepSeek o Claude) supera a modelos pre-entrenados específicamente en ciberseguridad para tareas de razonamiento forense.
• Eficiencia Económica: La identificación de DeepSeek como una alternativa de alto rendimiento y bajo costo hace que la automatización de la respuesta a incidentes sea escalable y accesible para organizaciones con presupuestos limitados.
• Necesidad de Correlación: El estudio confirma que la inteligencia en seguridad no reside solo en el modelo de lenguaje, sino en la capacidad del sistema para extraer, agregar y relacionar evidencia de múltiples fuentes de logs antes de la inferencia.

En resumen, el paper presenta un marco robusto que transforma el análisis de seguridad de una tarea manual y reactiva a un proceso automatizado, preciso y basado en evidencia, superando las limitaciones de los enfoques tradicionales y de los LLMs aplicados directamente a datos crudos.