Resumen Técnico: Evaluación de Rendimiento del Blue Teaming Asistido por LLM mediante Caza de Amenazas Estandarizada

Enunciado del Problema

A medida que las amenazas cibernéticas aumentan en escala y sofisticación, los defensores del equipo azul enfrentan una presión significativa para detectar y mitigar riesgos de manera proactiva. Si bien los Modelos de Lenguaje Grandes (LLM) han demostrado potencial en tareas de ciberseguridad aisladas —como la clasificación de malware, las pruebas de penetración y el fuzzing—, su eficacia en la caza de amenazas en el mundo real sigue siendo insuficientemente explorada. La investigación actual a menudo se centra en tareas de análisis de un solo punto, sin abordar la naturaleza inherentemente multietapa y encadenada de la caza de amenazas. La caza de amenazas práctica requiere una secuencia de tareas dependientes (desde la atribución de amenazas hasta la respuesta a incidentes), donde la salida de una fase sirve como contexto para la siguiente. Las aplicaciones existentes de LLM a menudo carecen de los flujos de trabajo estructurados necesarios para manejar estas interdependencias, lo que conduce a problemas de fiabilidad, alucinaciones y una falta de salidas estandarizadas y accionables en escenarios defensivos complejos.

Metodología: CYBERTEAM

Para abordar estas brechas, los autores introducen CYBERTEAM, un punto de referencia diseñado para evaluar rigurosamente y guiar a los LLM en la caza de amenazas del equipo azul. La metodología se basa en tres pilares fundamentales:

1. Flujo de Trabajo Estandarizado y Dependencia de Tareas

CYBERTEAM modela la caza de amenazas como una Cadena de Dependencia, que refleja la progresión real desde la investigación hasta la mitigación. El punto de referencia sistematiza 30 tareas analíticas en cuatro categorías:

• Atribución de Amenazas: Descubrir orígenes (por ejemplo, identificación de actores, extracción de infraestructura, correlación de campañas).
• Análisis de Comportamiento: Comprender las interacciones del adversario (por ejemplo, actividad del sistema de archivos, perfilado de red, extracción de TTP).
• Priorización: Evaluar la urgencia y el riesgo (por ejemplo, clasificación de vectores de ataque, puntuación de severidad).
• Respuesta y Mitigación: Generar estrategias de defensa accionables (por ejemplo, recomendación de manuales de procedimiento, generación de código de parches).

A diferencia del razonamiento abierto, CYBERTEAM impone un pipeline estructurado donde las tareas aguas abajo dependen de las salidas validadas de los pasos aguas arriba.

2. Módulos Operativos

Para equilibrar la estandarización con la flexibilidad requerida para diversos escenarios, CYBERTEAM integra 9 módulos operativos que guían el razonamiento del LLM. Estos módulos transforman registros de amenazas no estructurados en pasos discretos y ejecutables:

• Extracción y Análisis: Reconocimiento de Entidades Nombradas (NER), Análisis con Expresiones Regulares (REX), Localización de Fragmentos de Texto (SPA).
• Razonamiento y Síntesis: Resumen (SUM), Mapeo de Texto (MAP), Clasificación (CLS), Cálculo Matemático (MATH).
• Integración de Conocimiento: Generación Aumentada por Recuperación (RAG) para acceder a inteligencia de amenazas externa (por ejemplo, CVE, MITRE ATT&CK).
• Similitud: Coincidencia de Similitud de Texto (SIM).

Cada tarea $t_i$ se asocia con una secuencia específica de estos módulos $f^*_i$, asegurando que el LLM realice operaciones específicas (por ejemplo, usar RAG para recuperar avisos antes de resumir una estrategia de mitigación) en lugar de depender únicamente del conocimiento interno.

3. Datos y Evaluación

• Fuentes de Datos: El punto de referencia agrega 452,293 muestras de 23 fuentes diversas, incluidas bases de datos de vulnerabilidades (NVD, MITRE CVE, CWE, CAPEC, D3FEND, Exploit-DB, VulDB) y plataformas de inteligencia de amenazas (VirusTotal, AlienVault OTX, MISP, Mandiant, Recorded Future, IBM X-Force, etc.).
• Estrategia de Evaluación: Los autores evalúan los principales LLM de la industria (por ejemplo, GPT-5.1, Grok-4.1, Llama-3.1-405B) y agentes de ciberseguridad de última generación contra CYBERTEAM.
• Líneas Base: El rendimiento se compara con estrategias de razonamiento abierto, incluido el Aprendizaje en Contexto (ICL), la Cadena de Pensamiento (CoT) y el Árbol de Pensamiento (ToT).
• Métricas: Se emplean métricas específicas para cada tarea, incluida la puntuación F1 para la extracción, la Precisión para la clasificación, BERTScore para la generación, Hit@k para la clasificación, Tasa de Aprobación para la generación de código y Distancia Normalizada para la estimación numérica.

Resultados Clave

La evaluación empírica arroja varios hallazgos críticos:

1. Superioridad de la Estandarización: El enfoque modular y estandarizado (CYBERTEAM) supera consistentemente a las estrategias de razonamiento abierto (ICL, CoT, ToT) en las 30 tareas. Por ejemplo, en la Recomendación de Manuales de Procedimiento, el método estandarizado logró una puntuación Hit@10 del 92.7% con GPT-5.1, en comparación con el 90.5% para CoT y puntuaciones significativamente más bajas para ICL. Se observaron ganancias similares en el Ajuste de Controles de Seguridad y la Correlación de Avisos.
2. Manejo de Dependencias Complejas: La brecha de rendimiento es más pronunciada en tareas que requieren fuertes interdependencias (por ejemplo, Reconstrucción de Secuencias de Eventos), donde el flujo de trabajo estandarizado mejoró la precisión en más del 20% en comparación con CoT. Los métodos abiertos a menudo fallan en mantener el orden lógico correcto o el flujo de información requerido para la caza multietapa.
3. Robustez ante el Ruido: Si bien los LLM guiados por CYBERTEAM manejan relativamente bien el ruido a nivel de token (inserciones de caracteres aleatorios), siguen siendo vulnerables al ruido a nivel semántico (texto parafraseado o desplazado contextualmente), lo que causa una degradación significativa del rendimiento. Esto resalta la necesidad continua de informes de amenazas de alta calidad y curados por expertos.
4. Interpretabilidad: El enfoque modular mejora la interpretabilidad. A diferencia de las cadenas de razonamiento opacas en los prompts abiertos, las salidas de CYBERTEAM pueden rastrearse hasta operaciones específicas (por ejemplo, qué recuperación de RAG informó una mitigación específica), facilitando la auditoría humana y la confianza.
5. Compensaciones de Eficiencia: Si bien el pipeline estandarizado incurre en una mayor latencia que el ICL simple (debido a la ejecución secuencial de módulos), ofrece un equilibrio más favorable entre fiabilidad y costo computacional en comparación con la sobrecarga extrema del Árbol de Pensamiento (ToT).

Significado y Afirmaciones

El documento afirma que CYBERTEAM proporciona el primer punto de referencia integral e informado por la práctica para evaluar LLM en la caza de amenazas del equipo azul. Su importancia radica en:

• Cambio de Paradigma: Avanzar más allá de la evaluación de tareas aisladas hacia una evaluación holística y guiada por flujos de trabajo que refleja las operaciones defensivas del mundo real.
• Validación del Razonamiento Estructurado: Demostrar que, para tareas de ciberseguridad de alto riesgo, el razonamiento estructurado y modular es superior a la generación abierta. Los autores argumentan que la adhesión estricta a los procedimientos operativos (a través de módulos) reduce las alucinaciones y asegura que las salidas se alineen con los objetivos de defensa accionables.
• Informes Accionables: Proporcionar un marco que guía a los LLM a través de flujos de trabajo de razonamiento estandarizados pero flexibles, ofreciendo un plan para integrar la IA en los Centros de Operaciones de Seguridad (SOC).

Los autores concluyen que, si bien los LLM ofrecen promesas, su despliegue en la caza de amenazas requiere la disciplina de flujos de trabajo estandarizados para garantizar la fiabilidad, la interpretabilidad y la eficacia en escenarios complejos e interdependientes. CYBERTEAM sirve como un recurso para la comunidad de investigación para impulsar futuras innovaciones en la defensa cibernética asistida por IA.