Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Resumen Técnico: Evaluación de LLMs de Código Abierto para la Clasificación de Técnicas de ATT&CK Multietiqueta

Planteamiento del Problema

Clasificar los informes de Inteligencia de Amenazas Cibernéticas (CTI) en técnicas de MITRE ATT&CK es crítico para la defensa proactiva, pero sigue siendo un proceso que requiere mucha mano de obra debido a la complejidad del texto no estructurado, los patrones de ataque de múltiples pasos y la taxonomía de 211 clases. Si bien los Modelos de Lenguaje Extensos (LLMs) han mostrado potencial para comprender el contexto, las evaluaciones existentes sufren limitaciones significativas: dependen de oraciones simplificadas de una sola técnica que no reflejan la naturaleza multietiqueta de los informes del mundo real, lo que conduce a métricas de rendimiento infladas. En consecuencia, el rendimiento base de los LLMs de código abierto en informes de CTI complejos y no estructurados permanece sin evaluar, dejando a los profesionales de la seguridad sin evidencia empírica para guiar la integración de estos modelos en los flujos de ingestión de amenazas.

Metodología

Para abordar esta brecha, los autores construyeron un marco experimental riguroso que abarca la creación de conjuntos de datos, la evaluación de modelos y el análisis estadístico.

1. Construcción del Conjunto de Datos (RQ1)
Los autores curaron un conjunto de datos de verdad fundamental compuesto por 2,076 oraciones extraídas de las secciones "Resumen de Caso" de 83 informes de CTI complejos y no estructurados (abril de 2020 – febrero de 2025) obtenidos de The DFIR Report.

• Proceso de Anotación: Se empleó una estrategia de anotación de seis fases que involucró etiquetado independiente, etiquetado cruzado, reetiquetado de instancias con bajo acuerdo y resolución de disputas.
• Alcance: Las oraciones se mapearon a 114 técnicas únicas de ATT&CK (de las 211 disponibles en Enterprise v17.1). El conjunto de datos incluye clases tanto positivas como negativas (795 oraciones) para evaluar las tasas de falsos positivos.
• Control de Calidad: El proceso logró un acuerdo medio entre anotadores de $\kappa = 0.68$ (acuerdo sustancial), con 65 técnicas superando el umbral de $\kappa \geq 0.7$.
• Características: El conjunto de datos exhibe un desequilibrio de clases severo (Ratio de Desequilibrio = 229.0) y una distribución de cola larga, donde el 40.2% de las oraciones etiquetadas contienen múltiples técnicas (cardinalidad media = 1.58).

2. Evaluación de Modelos (RQ2)
Se evaluaron siete LLMs de código abierto que van desde 8B hasta 236B de parámetros (incluyendo Llama 3.1, Gemma 3, DeepSeek-V2.5 y variantes de GPT-OSS).

• Diseño Experimental: Un diseño factorial completo probó 53 configuraciones de inferencia combinando:
  • Estrategia de Prompt: Zero-Shot vs. Three-Shot (N=3).
  • Razonamiento: Cadena de Pensamiento (CoT) vs. Sin CoT.
  • Temperatura: 0.0 vs. 0.5.
• Línea Base RAG: Se implementó un flujo de trabajo de Generación Aumentada por Recuperación (RAG) utilizando una base de datos vectorial FAISS con la documentación de ATT&CK para fundamentar el modelo LLM70 en conocimiento externo, comparándolo contra la inferencia estándar.
• Métricas: Se utilizaron las puntuaciones de Precisión, Recall y F1 promediadas por micro-nivel para reflejar la cobertura operativa en todas las instancias de técnicas.

3. Análisis Estadístico (RQ3)
Se aplicó la correlación de rango de Spearman ($\rho$) para evaluar las relaciones monotónicas entre los ajustes de inferencia (tamaño de parámetros, estrategia de prompt, razonamiento, temperatura) y el rendimiento de la clasificación.

Contribuciones Clave

1. Conjunto de Datos: Un conjunto de datos de verdad fundamental, anotado por humanos y disponible públicamente, de 2,076 oraciones de 83 informes no estructurados, mapeadas a 114 técnicas de ATT&CK, representando el conjunto de datos más grande de su tipo hasta la fecha.
2. Referencia de Rendimiento (Benchmark): Una evaluación sistemática que establece una base empírica para la clasificación de ATT&CK multietiqueta, revelando que los actuales LLMs de código abierto tienen dificultades significativas con esta tarea.
3. Análisis Estadístico: Un estudio de correlación que cuantifica el impacto del tamaño del modelo y los hiperparámetros de inferencia, identificando el tamaño de los parámetros como el único predictor estadísticamente significativo del rendimiento.

Resultados

• Rendimiento Base: La configuración no-RAG de mayor rendimiento (DS236, 236B de parámetros, T=0.0, 3-shot, CoT) alcanzó una puntuación F1 micro-promediada de solo 0.22.
• Varianza del Modelo: El rendimiento varió significativamente según el tamaño y la arquitectura del modelo. El modelo de 236B (DS236) y el de 70B (LLM70) formaron el grupo superior (F1 0.20–0.22), mientras que los modelos más pequeños (ej. GPT20, 20B) operaron cerca del azar (F1 $\leq$ 0.03).
• Impacto de los Hiperparámetros:
  • Tamaño de Parámetros: Mostró una correlación positiva estadísticamente significativa con la puntuación F1 ($\rho = 0.85, p = 0.014$).
  • Estrategia de Prompt y Razonamiento: Ni el prompting de pocos disparos (Few-Shot) ni el razonamiento de Cadena de Pensamiento (CoT) produjeron ganancias estadísticamente significativas en las configuraciones de los modelos ($p > 0.05$).
  • Temperatura: Las variaciones entre 0.0 y 0.5 no tuvieron un efecto estadísticamente significativo en el rendimiento.
• Impacto de RAG: La implementación de RAG con LLM70 aumentó la puntuación F1 micro a 0.32 (un $\Delta$ de +0.10), impulsada principalmente por un aumento sustancial en el recall (de 0.23 a 0.41). Esta mejora se atribuyó a la fundamentación mediante conocimiento externo en lugar al ajuste de prompts.
• Análisis de Errores: Los fallos se categorizaron en Tipo I (falsos positivos debido a la dependencia excesiva de palabras clave o alucinación) y Tipo II (falsos negativos debido a la falta de conocimiento de dominio o la incapacidad de sintetizar comportamientos de múltiples etapas).

Significado y Reivindicaciones

El artículo afirma proporcionar la primera base empírica para la clasificación de CTI multietiqueta compleja en LLMs de código abierto. Los autores sostienen que los actuales LLMs de código abierto son insuficientes para la clasificación de grado de producción de ATT&CK, como lo demuestran las bajas puntuaciones F1 (máximo 0.22) en comparación con herramientas especializadas previas que suelen reportar puntuaciones más altas en conjuntos de datos simplificados.

El estudio concluye que las estrategias de ingeniería de prompts (N-shot, CoT, temperatura) no son palancas efectivas para cerrar la brecha de rendimiento en este dominio. En cambio, los resultados indican que el tamaño de los parámetros es un factor crítico, y la fundamentación mediante recuperación (RAG) es la dirección más productiva para la mejora, ofreciendo un aumento significativo en el recall. Los autores posicionan su conjunto de datos y sus hallazgos como una base reproducible para investigaciones futuras, sugiriendo que el trabajo futuro debería centrarse en RAG jerárquico, ajuste fino eficiente de parámetros y métricas conscientes de la jerarquía, en lugar de un mayor ajuste de prompts.