Resumen Técnico: CTIConnect

Planteamiento del Problema

La Inteligencia de Amenazas Cibernéticas (CTI) es esencial para una defensa proactiva, pero el ecosistema se caracteriza por un volumen masivo y una heterogeneidad extrema. Este abarca bases de conocimiento estructuradas (CVE, CWE, CAPEC, MITRE ATT&CK) e informes de amenazas no estructurados de proveedores, los cuales utilizan esquemas, vocabularios y niveles de abstracción fundamentalmente distintos. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen sólidas capacidades de razonamiento, los benchmarks actuales no logran evaluar su desempeño en entornos realistas de recuperación aumentada (RAG). Los benchmarks actuales como CTIBench o SEvenLLM dependen de configuraciones de libro cerrado (probando solo la memoria paramétrica) o se centran en la extracción de un único informe, ignorando la necesidad crítica de recuperar y sintetizar información a través de diversas fuentes cruzadas.

Un desafío específico identificado es la brecha semántica entre fuentes: las consultas expresadas en un vocabulario (por ejemplo, la prosa narrativa de un analista) fallan sistemáticamente al intentar coincidir con la evidencia relevante codificada en otro (por ejemplo, entradas de taxonomía formal). Esta brecha provoca que la recuperación basada en embeddings estándar falle, ya que las estrategias de Generación Aumentada por Recuperación (RAG) de propósito general no pueden cerrar los desajustes léxicos y estructurales inherentes al dominio de la CTI.

Metodología

Construcción del Benchmark (CTIConnect)

Los autores construyeron CTIConnect, un entorno de evaluación unificado que integra cinco fuentes de CTI heterogéneas en 1,860 pares de QA (pregunta-respuesta) verificados por expertos. El pipeline de construcción involucra tres etapas:

1. Anotación de Correlación de Semillas: Se establecen correlaciones de verdad fundamental a partir de fuentes autoritativas (mapeos MITRE/NVD) o mediante la anotación dual de expertos para datos no estructurados.
2. Síntesis de QA con Restricción de Plantillas: Las correlaciones se transforman en preguntas y respuestas específicas de la tarea utilizando plantillas de prompts para asegurar la consistencia del formato y reducir las alucinaciones.
3. Control de Calidad Multicapa: Una combinación de filtrado basado en LLM, verificación independiente por parte de profesionales del dominio y adjudicación final por parte de un analista sénior de CTI garantiza la alta calidad de los datos.

Paisaje de Tareas

El benchmark cubre nueve tareas a través de tres categorías, representando todas las direcciones cruzadas de fuentes en el análisis de Cima:

• Vinculación de Entidades (Estructurado $\to$ Estructurado): Mapeo de entradas entre taxonomías (por ejemplo, CVE a CWE, CAPEC a ATT&CK). Las tareas incluyen Mapeo de Causa Raíz (RCM), Instanciación de Debilidades (WIM), Derivación de Técnicas de Ataque (ATD) y Descubrimiento de Superficie de Explotación (ESD).
• Atribución de Entidades (No estructurado $\to$ Estructurado): Anclaje de descripciones narrativas en entradas de taxonomía formal. Las tareas incluyen Atribución de Técnica de Ataque (ATA) y Atribución de Catálogo de Vulnerabilidades (VCA).
• Síntesis de Multidocumentos (No estructurado $\to$ No estructurado): Agregación de inteligencia dispersa en múltiples informes de proveedores. Las tareas incluyen Perfilado de Actores de Amenaza (TAP), Análisis de Linaje de Malware (MLA) y Construcción de la Historia de Campaña (CSC).

Estrategias de Recuperación

El estudio evalúa tres configuraciones de recuperación:

1. Libro Cerrado (CB): Línea base utilizando únicamente conocimiento paramétrico.
2. RAG Vanilla (VR): Embedding directo de consultas brutas sin transformación.
3. Estrategias Específicas del Dominio (DS): Enfoques adaptados diseñados para abordar brechas semánticas específicas:
   • Extraer-luego-Recuperar (EtR): Para la Vinculación de Entidades, el LLM extrae contenido semántico y lo canonicaliza en frases clave alineadas con la base de conocimientos objetivo antes de la recuperación.
   • Descomponer-luego-Recuperar (DtR): Para la Atribución de Entidades, la entrada se descompone en comportamientos atómicos, cada uno de los cuales se canonicaliza y recupera de forma independiente antes de la agregación.
   • RAG Guiado por CSKG: Para la Síntesis de Multidocumentos, se utiliza un Grafo de Conocimiento de Ciberseguridad (CSKG) para resolver alias de entidades (por ejemplo, "APT29" $\equiv$ "Cozy Bear") y clasificar informes basados en entidades canónicas en lugar de fragmentos de texto bruto.

Resultados Experimentales

Configuración de Evaluación

Se evaluaron diez LLM de última generación (que abarcan familias de código abierto y propietarias, por ejemplo, GPT-5, LLaMA-3-405B, Claude-Sonnet-4) en un subconjunto de 691 pares, con verificación en el benchmark completo de 1,860 pares para modelos representativos.

Hallazgos Clave

1. Ganancias de Rendimiento: Las estrategias específicas del dominio superan significativamente al RAG Vanilla. Las ganancias fueron de hasta +35.2% para la Vinculación de Entidades, +16.0% para la Atribución de Entidades y +11.3% para la Síntesis de Multidocumentos.
2. Cuellos de Botella Específicos de la Tarea:
   • Vinculación de Entidades: El cuello de botella es principalmente la infraestructura de recuperación. Una vez que se recupera la evidencia correcta mediante la canonicalización, incluso los modelos más pequeños pueden realizar la tarea con una precisión cercana al techo (promedio DS: 97%).
   • Atribución de Entidades: El cuello de botella se desplaza al razonamiento del modelo. Esta tarea requiere descomponer narrativas e inferir causas raíz; el escalado del tamaño del modelo genera ganancias significativas (hasta +29.5% de modelos de 8B a 405B), y una recuperación incorrecta degrada directamente la precisión.
   • Síntesis de Multidocumentos: El rendimiento está limitado tanto por la recuperación (manejo de alias) como por el razonamiento del modelo (síntesis de cuentas conflictivas).
3. Análisis de la Brecha Semántica: El RAG Vanilla falla debido a una "brecha semántica entre fuentes".
   • La Vinculación de Entidades tiene una brecha de similitud pequeña (0.06) pero sufre problemas de discriminación de candidatos.
   • La Atribución de Entidades tiene una brecha moderada (0.31) debido al desajuste de vocabulario.
   • La Síntesis de Multidocumentos tiene la brecha más grande (0.43) debido al aliasing de entidades y al ruido a nivel de fragmentos (chunks).
4. Propósito General vs. Específico del Dominio: Los paradigmas de recuperación de propósito general fuertes (Retrieve-then-Rerank, IRCoT) solo cierran entre el 1% y el 5% de la brecha de rendimiento. Esto confirma que cerrar la brecha semántica de la CTI requiere intervenciones estructurales (canonicalización, descomposición, resolución de entidades) en lugar de mejoras de recuperación genéricas.
5. Escalado de Modelos: El escalado del tamaño del modelo beneficia desproporcionadamente a la Atribución de Entidades (+19.2% de ganancia promedio) en comparación con la Vinculación de Entidades (+3.4%) o la Síntesis (+2.7%). Los modelos de código abierto más pequeños pueden igualar a los modelos propietarios de frontera en tareas con cuello de botella de recuperación si la estrategia de recuperación está optimizada.

Significancia y Reivindicaciones

El artículo afirma que CTIConnect es el primer benchmark de recuperación aumentada para CTI que evalúa sistemáticamente a los LLM a través de fuentes heterogéneas. Su contribución principal es demostrar que un enfoque de recuperación de "talla única" es insuficiente para la CTI. En su lugar, los sistemas de CTI efectivos requieren arquitecturas de recuperación conscientes de la tarea que apliquen intervenciones estructurales específicas (canonicalización, descomposición, resolución de alias) para cerrar las brechas semánticas entre diversas fuentes de datos.

Los autores sostienen que estos hallazgos proporcionan orientación accionable para diseñar arquitecturas de recuperación de conocimiento escalables, sugiriendo que, para entornos con recursos limitados, invertir en infraestructura de recuperación específica del dominio puede generar mayores retornos que simplemente escalar el tamaño del modelo. Los resultados se mantienen estables a través de divisiones temporales (2008–2025), lo que indica la relevancia del benchmark para los paisajes de amenazas en continua evolución.