Resumen Técnico: Evaluación y Exploración de las Capacidades de los LLM para Investigaciones de Ataques

Declaración del Problema

Los equipos de seguridad se enfrentan a un volumen abrumador de falsas alarmas y a una escasez de la experiencia especializada necesaria para analizar los registros de auditoría del sistema en investigaciones de ataques. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial en la forense de seguridad, existe una brecha significativa en el trabajo publicado que evalúe sus capacidades específicas para analizar registros de auditoría de seguridad y realizar investigaciones de ataques. Esta brecha surge de la falta de conjuntos de datos diversos y bien etiquetados, así como de la naturaleza compleja y amorfa de las investigaciones del mundo real, que requieren cerrar la brecha semántica entre las llamadas al sistema de bajo nivel y los comportamientos de ataque de alto nivel.

Metodología

El Benchmark AuditBench

Para abordar estas limitaciones, los autores presentan AuditBench, un nuevo benchmark de evaluación diseñado para evaluar las capacidades de los LLM en el análisis de registros de seguridad. El benchmark abarca:

• Alcance: Cuatro tareas comunes de investigación de seguridad:
  1. Clasificación (Triaje de Alertas): Determinar si una alerta corresponde a un ataque real o a una falsa alarma.
  2. Investigación de Persistencia: Identificar mecanismos que permiten a los atacantes mantener el acceso al sistema.
  3. Investigación de Movimiento Lateral: Identificar conexiones salientes que permiten el acceso y control remoto.
  4. Investigación de Exfiltración de Datos: Identificar eventos donde se mueven datos sensibles externamente.
• Composición del Conjunto de Datos: El benchmark contiene 51 escenarios distintos (25 generados de nuevos datos de "Laboratorio" y 26 curados del conjunto de datos público DARPA OpTC).
  • Datos de Laboratorio: Generados en máquinas virtuales de Linux y Windows utilizando el marco de trabajo MITRE ATT&CK y Atomic Red Team (ART) para simular técnicas de ataque específicas y actividades benignas.
  • Datos de OpTC: Curados del conjunto de datos DARPA OpTC, el mayor conjunto de datos público de registros de auditoría de sistemas, con verificación manual de las etiquetas de verdad fundamental (ground truth).
• Representaciones de Datos: El benchmark evalúa dos representaciones de registros distintas:
  1. Raw (Bruta): Salida directa de los colectores de registros nativos del SO (por ejemplo, auditd, procmon).
  2. Edge (Arista): Una representación procesada previamente basada en grafos (grafo de procedencia) donde las líneas de registro se convierten en aristas que representan relaciones sujeto-acción-objeto. Esta representación reduce la redundancia y el volumen, particularmente para los registros de Windows.
• Marco de Evaluación: Un pipeline automatizado que calcula la Tasa de Verdaderos Positivos (TPR), la Tasa de Falsos Positivos (FPR) y las puntuaciones F1. También evalúa la calidad de las explicaciones generadas por el LLM utilizando un enfoque de Inferencia de Lenguaje Natural (NLI), donde un LLM actúa como juez para verificar si la explicación está semánticamente implicada por la verdad fundamental.

Configuración Experimental

El estudio evaluó cinco LLM de vanguardia: GPT-5, GPT-5 mini, Gemini 2.5 Pro, Gemini 2.5 Flash y Llama 4 Maverick. Los experimentos probaron diversas decisiones de diseño, incluyendo:

• Tamaño del Modelo: Comparación de modelos de vanguardia grandes frente a modelos más pequeños y de alto rendimiento.
• Ingeniería de Prompts: Comparación de dos versiones de prompts (una plantilla general frente a una versión refinada con instrucciones de personalidad y restricciones de dominio específicas).
• Representación de Datos: Evaluación del rendimiento en representaciones raw frente a edge.
• Fragmentación (Chunking): Análisis del impacto de diferentes tamaños de fragmentos de registros en el rendimiento.

Resultados Clave

1. Rendimiento Mixto y Falsos Positivos

Ningún modelo logró un rendimiento estrictamente superior en todas las tareas. Una tendencia dominante observada fue una interpretación excesivamente sospechosa de los registros de auditoría, lo que condujo a altas tasas de falsos positivos (FPR) en muchas tareas.

• Exfiltración: Los modelos generalmente funcionaron mejor en las tareas de exfiltración de datos, con algunos logrando un TPR alto y un FPR bajo.
• Movimiento Lateral: Esta tarea produjo las puntuaciones F1 medianas más bajas, con los modelos clasificando frecuentemente la actividad benigna como ataques.
• Clasificación: Aunque algunos modelos lograron un TPR perfecto, a menudo sufrieron de FPRs altos, marcando actividades benignas del sistema como maliciosas.

2. Tamaño del Modelo vs. Rendimiento

Contrario a la expectativa de que los modelos más grandes siempre funcionan mejor, el estudio encontró que los modelos más pequeños a menudo igualan o superan el rendimiento de los modelos más grandes.

• En varias tareas (por ejemplo, persistencia y movimiento lateral en datos edge), modelos más pequeños como GPT-5 mini y Llama 4 Maverick lograron puntuaciones F1 más altas o equivalentes en comparación con GPT-5 y Gemini 2.5 Pro.
• Esto sugiere que para las investigaciones de seguridad, los profesionales pueden no requerir los modelos más caros y grandes para obtener resultados óptimos.

3. Impacto de la Representación de Datos

La elección de la representación de los datos impactó significativamente el rendimiento, pero el efecto fue dependiente del modelo.

• Para algunos modelos (por ejemplo, Llama 4), la representación compacta de aristas (edge) condujo a un mejor rendimiento estricto en todas las tareas en comparación con los registros brutos (raw).
• Para otros (por ejemplo, Gemini 2.5 Pro), los registros brutos a veces produjeron mejores resultados.
• Esto indica que el preprocesamiento y la transformación de los datos son palancas críticas para optimizar tanto el costo como el rendimiento.

4. Efectos de la Ingeniería de Prompts

Las variaciones de los prompts tuvieron efectos dependientes del modelo. Si bien un prompt refinado (Prompt v2) generalmente mejoró el rendimiento para muchos modelos al reducir los falsos positivos mediante restricciones de dominio específicas, degradó el rendimiento para otros (por ejemplo, Gemini 2.5 Flash en clasificación). Esto advierte contra las estrategias de prompt de "talla única" al comparar modelos.

5. Calidad de la Explicación y Análisis de Errores

• Calidad de la Explicación: Cuando los modelos identificaban correctamente los ataques (Verdaderos Positivos), sus explicaciones generadas eran de alta calidad (puntuaciones de implicación promedio > 4.0/5.0), capturando con precisión los comportamientos clave del ataque sin detalles espurios.
• Características de los Errores: Los falsos positivos rara vez se compartieron entre modelos (baja superposición de errores). Los principales impulsores de los falsos positivos fueron:
  1. Nombres de Objetos del Sistema: Los modelos marcaron actividades basadas en nombres de archivos/procesos "no estándar" o de apariencia sospechosa (por ejemplo, clear_logs, invis.vbs).
  2. Secuencias y Volumen de Eventos: Los modelos malinterpretaron actividades de alto volumen o cadenas de ejecución específicas (por ejemplo, svchost lanzando cmd.exe) como maliciosas sin el contexto suficiente.

Significancia y Contribuciones

El artículo afirma proporcionar un recurso fundamental para las comunidades de seguridad e IA:

1. Benchmark Novedoso: Contribuye con AuditBench, un conjunto de datos y un marco de evaluación de código abierto que cubre diversos escenarios de ataque, actividades benignas y múltiples representaciones de registros. Esto permite el estudio sistemático de los LLM en el análisis de registros de seguridad.
2. Perspectivas Empíricas: El estudio ofrece orientación práctica para los profesionales, sugiriendo que los modelos más pequeños y las transformaciones de datos específicas (como las representaciones de aristas/edge) pueden ser más rentables y eficientes que simplemente escalar el tamaño del modelo.
3. Guía de Diseño: Destaca que las decisiones de diseño (prompts, representación de datos) son altamente específicas de cada modelo, instando a los desarrolladores y equipos de seguridad a evitar comparaciones directas entre modelos sin explorar el espacio de diseño para su contexto específico.
4. Direcciones Futuras: El trabajo identifica la necesidad de mitigar las altas tasas de falsos positivos causadas por la sensibilidad a los nombres de objetos y el volumen de actividad, y sugiere explorar ensambles de modelos para aprovechar la baja superposición en los errores para mejorar la robustez.

Los autores enfatizan que su trabajo es un paso inicial, proporcionando los datos y herramientas necesarios para la investigación futura destinada a mejorar la robustez y utilidad de los LLM en las operaciones de seguridad.