Resumen Técnico: Descubriendo Vulnerabilidades de la Inteligencia de Amenazas Cibernéticas Asistida por Modelos de Lenguaje Grande

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para automatizar tareas de Inteligencia de Amenazas Cibernéticas (CTI), que van desde la evaluación de vulnerabilidades hasta la respuesta a incidentes. Sin embargo, persisten brechas significativas de fiabilidad en los flujos de trabajo operativos. Mientras que la literatura existente suele atribuir estos fallos a limitaciones genéricas de los modelos, como las alucinaciones o el jailbreaking, este artículo argumenta que el cuello de botella dominante es la naturaleza única del propio panorama de amenazas. Los datos de CTI se caracterizan por la heterogeneidad, la volatilidad y la fragmentación. La evidencia suele estar entrelazada, generada por crowdsourcing e inestable temporalmente; propiedades que las evaluaciones estándar de LLM rara vez capturan. En consecuencia, los LLM luchan por razonar eficazmente bajo estas condiciones, lo que conduce a tasas de fallo sustanciales en tareas de seguridad críticas.

Metodología

Los autores proponen un estudio empírico exhaustivo y un marco metodológico novedoso para identificar y categorizar los fallos de los LLM en el razonamiento de CTI.

1. Evaluación Empírica a Gran Escala

El estudio evalúa una suite diversa de modelos, incluidos LLM de propósito general líderes en la industria (por ejemplo, GPT-5, Claude-Sonnet-4, Gemini-2.5) y agentes especializados en ciberseguridad (por ejemplo, DeepHat, SecGPT, Cyber-Zero). La evaluación abarca el ciclo de vida completo de la CTI en cuatro etapas:

• Contextualización: Enriquecer las observaciones crudas con contexto (por ejemplo, mapear registros a CVE).
• Atribución: Identificar adversarios y vincular eventos con perfiles de actores.
• Predicción: Predecir la probabilidad de explotación y la evolución de la campaña.
• Mitigación: Recomendar parches, reglas de detección y guiones de respuesta.

Los conjuntos de datos incluyen puntos de referencia establecidos (CTIBench, SevenLLM-Bench, SWE-Bench, CyberTeam) e informes de amenazas del mundo real de fuentes autorizadas (NVD, CISA, avisos de proveedores).

2. Categorización de Fallos con Humano en el Bucle

Para abordar el desafío de clasificar de manera fiable los modos de fallo sin etiquetas rígidas, los autores introducen un marco estratificado con humano en el bucle:

• Muestreo Estratificado: Las instancias se dividen en estratos cuantílicos basados en puntuaciones de similitud entre las salidas del modelo y materiales de referencia. La inspección manual de muestras "ancla" dentro de cada estrato establece rangos de puntuación para salidas "correctas" frente a "fallidas", minimizando la carga de trabajo manual a menos del 1,5 % del total de instancias.
• Refinamiento Iterativo de la Taxonomía: Un proceso autoregresivo alterna entre clasificación asistida por LLM e inspección humana. Los nuevos patrones de fallo identificados por humanos se añaden a la taxonomía hasta alcanzar la convergencia.
• Deliberación Multiagente: Para garantizar la estabilidad, múltiples LLM clasifican independientemente las instancias, seguidas de una segunda ronda de deliberación. Los inspectores humanos solo intervienen cuando falta consenso entre agentes o las predicciones fluctúan entre rondas (<1,8 % de los casos).

Contribuciones Clave

1. Identificación de Tres Fallos Cognitivos Específicos del Dominio

El estudio identifica tres categorías dominantes de vulnerabilidades que limitan la eficacia de los LLM en CTI, distintas de los fallos genéricos de los LLM:

• Correlaciones Espurias: Los LLM atribuyen en exceso basándose en características superficiales o co-ocurrentes en lugar de vínculos causales. Los ejemplos incluyen confundir herramientas genéricas con evidencia específica de un actor (sesgo de mención conjunta) o atribuir en exceso la reutilización de infraestructura basándose en Indicadores de Compromiso (IoC) deliberadamente reciclados.
• Conocimiento Contradictorio: Las inconsistencias entre fuentes de CTI (por ejemplo, informes contradictorios, contradicciones temporales entre evidencia obsoleta y reciente, conflictos semánticos en la nomenclatura) confunden a los modelos, lo que lleva a predicciones inestables o conflictivas.
• Generalización Constrained: Los LLM luchan por extenderse más allá de distribuciones familiares, fallando ante amenazas emergentes (zero-day) o patrones no vistos. Esto incluye sesgo distribucional (sobredependencia de datos de entrenamiento comunes) y falta de conciencia ambiental (ignorando restricciones específicas de implementación).

2. Análisis de Causa Raíz a través de las Etapas de CTI

El artículo mapea estas vulnerabilidades a etapas y técnicas específicas de CTI. Por ejemplo, el sesgo de mención conjunta a menudo surge durante la Contextualización cuando los sistemas de recuperación tratan entidades co-ocurrentes como causalmente relacionadas. El Conocimiento Contradictorio desestabiliza frecuentemente la Atribución y la Mitigación cuando las fuentes discrepan sobre la identidad del actor o la eficacia del parche. Los fallos de Generalización Constrained son más prominentes en la Predicción y la Mitigación cuando los modelos encuentran vectores de ataque novedosos o restricciones ambientales no presentes en los datos de entrenamiento.

3. Validación mediante Intervenciones Causales

Los autores validan estas causas raíz mediante estudios de intervención causal. Al perturbar tokens contextuales no causales (por ejemplo, fechas, sectores) mientras se preservan los atributos causales (por ejemplo, TTP, mecanismos de explotación), demuestran que las predicciones de los LLM a menudo cambian, confirmando la dependencia de correlaciones espurias.

4. Estrategias Defensivas

El artículo propone y evalúa estrategias de mitigación dirigidas:

• Intervención Causal ($C^3$): Una verificación de consistencia contrafáctica en tiempo de inferencia que obliga a los modelos a verificar si las conclusiones permanecen estables cuando se altera el contexto no causal.
• Mitigaciones de Alta Granularidad: Técnicas específicas para cada subtipo de vulnerabilidad, como filtrado de evidencia en tiempo de recuperación (para eliminar el sesgo de mención conjunta), reordenamiento consciente del tiempo (para resolver contradicciones) e inferencia consciente de la novedad (para manejar patrones no vistos).

Resultados

• Brechas de Rendimiento: La evaluación revela brechas universales en todos los modelos. Los LLM de propósito general sobresalen en tareas de comprensión (por ejemplo, puntuación de fiabilidad de fuentes) pero luchan con salidas operativas. Los agentes especializados en ciberseguridad muestran un mejor rendimiento en rankings operativos específicos, pero sufren de generalización restringida ante amenazas emergentes.
• Tasas de Fallo: Sin mitigación, las tasas de fallo son significativas en todas las etapas. Por ejemplo, los modelos de propósito general muestran altas tasas de fallo en Detección de Bandera Falsa y Reutilización de Infraestructura.
• Eficacia de las Defensas:
  • La propuesta intervención causal $C^3$ produce ganancias universales de rendimiento, con mejoras notables en la Detección de Bandera Falsa (hasta +0,115 F1) y la Construcción de Cronología de Eventos (Δ promedio ≈ 0,08).
  • Las mitigaciones de alta granularidad reducen significativamente las ratios de vulnerabilidad. Un enfoque "completo" (combinando filtrado de recuperación y restricciones de inferencia) reduce las tasas de fallo en todas las categorías. Por ejemplo, los fallos de Contradicción Temporal en LLM generales disminuyeron del 17,53 % al 4,25 % con mitigación solo de recuperación, mientras que los fallos de Correlación Espuria se abordaron mejor con verificaciones solo de inferencia.

Significado y Afirmaciones

El artículo afirma descubrir "puntos ciegos" en las vulnerabilidades actuales de los LLM específicas del dominio de CTI. Argumenta que la adaptación estándar de modelos o la ingeniería de prompts es insuficiente porque los fallos están arraigados en las propiedades intrínsecas del panorama de amenazas (heterogeneidad, volatilidad, fragmentación).

La importancia de este trabajo radica en:

1. Cambio de Enfoque: Mover el discurso de los fallos genéricos de los LLM (alucinaciones) a fallos de razonamiento específicos del dominio impulsados por la naturaleza de los datos de amenazas cibernéticas.
2. Provisión de una Hoja de Ruta: Ofrecer un camino concreto e informado por taxonomía para construir agentes de CTI resilientes y conscientes del dominio.
3. Demostración de Viabilidad: Mostrar que defensas ligeras y dirigidas (verificaciones de consistencia causal y filtrado de recuperación) pueden mitigar sustancialmente estos modos de fallo específicos sin requerir reentrenamiento masivo.

Los autores concluyen que el análisis robusto de CTI basado en LLM requiere protecciones explícitamente adaptadas a la heterogeneidad del panorama de amenazas, proporcionando conocimientos fundamentales para futuras adaptaciones principistas en sistemas de LLM enfocados en ciberseguridad.