Resumen Técnico: Evaluación de LLM de Pesos Abiertos para la Generación de Información de Amenazas Estructurada para Vulnerabilidades en Vehículos Autónomos

Declaración del Problema

Los Vehículos Conectados y Autónomos (CAV, por sus siglas en inglés) dependen de interacciones complejas de componentes de software y hardware, incluyendo sensores, Unidades de Control Electrónico (ECU) y telemática, lo que los hace susceptibles a vulnerabilidades de seguridad. Estas vulnerabilidades se documentan actualmente como descripciones de texto plano no estructurado en la base de datos de Vulnerabilidades y Exposiciones Comunes (CVE). Los profesionales de la seguridad requieren información estructurada sobre los activos afectados, tipos de debilidades y comportamientos de ataque para mitigar los riesgos de manera efectiva. Si bien el formato de Expresión de Información de Amenazas Estructurada (STIX) ofrece una forma estandarizada de representar este conocimiento, la conversión de descripciones de CVE no estructuradas en paquetes STIX (que comprenden Objetos de Dominio STIX [SDO], Objetos de Relación STIX [SRO], Enumeración de Debilidades Comunes [CWE] y mapeos de MITRE ATT&CK) es un proceso manual laborioso.

Aunque los Modelos de Lenguaje de Gran Escala (LLM) poseen la capacidad de comprender el lenguaje y generar conocimiento estructurado, estudios previos indican que los resultados STIX generados por LLM suelen sufrir de objetos incompletos, relaciones incorrectas, estructuras inválidas y atributos alucinados. Además, los conjuntos de datos existentes para la generación de STIX se centran en texto de ciberseguridad general o tareas específicas como la predicción de CWE, careciendo de un benchmark dedicado para CVE relacionados con CAV mapeados a paquetes STIX completos. Existe una necesidad crítica de evaluar los LLM de pesos abiertos para este dominio específico y de establecer un conjunto de datos de verdad fundamental (ground-truth) para facilitar la generación de inteligencia de amenazas automatizada y confiable.

Metodología

Construcción del Conjunto de Datos (CAV-STIXGen)

Para abordar la falta de benchmarks específicos del dominio, los autores construyeron el conjunto de datos CAV-STIXGen mediante un proceso de seis pasos:

1. Construcción de Palabras Clave: Se generó una lista de palabras clave específicas del dominio utilizando LLMs y fue refinada por los autores para cubrir componentes de CAV (p. ej., LiDAR, bus CAN, V2X) y fabricantes.
2. Recolección de CVE: Se recuperaron 445 registros de CVE candidatos de la National Vulnerability Database (NVD) utilizando las palabras clave.
3. Filtrado de Relevancia: Los registros se filtraron basándose en criterios de inclusión (componentes de vehículos, carga de VE, infoentretenimiento, etc.) y criterios de exclusión (vulnerabilidades genéricas de web/software). Esto resultó en 183 CVE únicos y relevantes relacionados con CAV.
4. Anotación: Dos autores anotaron manualmente los SDO y SRO para cada CVE de acuerdo con las especificaciones STIX 2.1, logrando un acuerdo entre evaluadores del 94%.
5. Mapeo: Los CVE se mapearon a categorías CWE y técnicas de MITRE ATT&CK. Los mapeos proporcionados por la NVD fueron verificados y se realizó un análisis manual donde los datos de la NVD eran inexistentes.
6. Conversión: Las anotaciones validadas se convirtieron en paquetes JSON de STIX 2.1 de verdad fundamental.

Evaluación de LLM

El estudio evaluó 11 LLM de pesos abiertos (que oscilan entre 4B y 120B de parámetros) en cuatro categorías: propósito general, especializados en ciberseguridad, orientados a código y modelos de gran capacidad. La evaluación involucró:

• Entrada: Identificadores y descripciones de CVE.
• Estrategias: Se probaron tres estrategias de prompting:
  • Sin contexto (Contextless): Instrucciones mínimas.
  • Guiado por STIX (STIX-guided): Instrucciones explícitas para tipos de objetos, relaciones y mapeos.
  • Few-Shot Dinámico (Dynamic Few-Shot): Prompting guiado aumentado con cinco ejemplos de verdad fundamental similares seleccionados por puntuación de similitud.
• Parámetros: Los experimentos se ejecutaron a temperaturas de 0, 0.25, 0.75 y 1.0.
• Métricas: Se utilizaron puntuaciones de micro-precisión, recall y F1 para la extracción de SDO, SRO y CWE. Para MITRE ATT&CK, se reportaron tanto Match@1 (al menos una técnica correcta) como Match@All (todas las técnicas correctas).
• Configuración Multi-Agente: Se probó una configuración utilizando Gemma-4-31B y Codestral-22B para examinar si la descomposición por roles específicos (separando las tareas de extracción, mapeo y validación) mejoraba el rendimiento.

Análisis de Patrones de Amenaza

El conjunto de datos de verdad fundamental fue analizado para identificar categorías CWE frecuentes y técnicas de MITRE ATT&CK. Se realizó un análisis de coocurrencia utilizando FP-Growth (soporte mínimo 0.02) y reglas de asociación (confianza mínima 0.30) para identificar patrones de ataque recurrentes.

Principales Contribuciones

1. Conjunto de Datos CAV-STIXGen: Un conjunto de datos de benchmark anotado manualmente que mapea 183 CVE relacionados con CAV a paquetes JSON STIX 2.1 de verdad fundamental, incluyendo SDO, SRO, CWE y mapeos de MITRE ATT&CK.
2. Evaluación de LLM: Una evaluación exhaustiva de 11 LLM de pesos abiertos para la generación de inteligencia de amenazas estructurada a partir de descripciones de vulnerabilidades de CAV no estructuradas.
3. Análisis de Estrategia de Prompting: Un estudio comparativo que demuestra cómo diferentes niveles de guía de la tarea (sin contexto, guiado, few-shot) afectan la calidad de la generación a través de diferentes tamaños y tipos de modelos.
4. Identificación de Patrones de Amenaza: Un análisis de los datos de verdad fundamental que revela patrones de coocurrencia frecuentes de CWE y MITRE ATT&CK específicos para el dominio de la seguridad en el transporte.

Resultados

Características del Conjunto de Datos

El conjunto de datos final contiene 183 CVE, que comprenden 1,383 instancias de SDO y 1,395 instancias de SRO. Los tipos de SDO más frecuentes son infraestructura, patrón de ataque, vulnerabilidad, identidad y actor de amenaza. En promedio, cada CVE contiene 7.56 SDOs, 7.62 SROs, 1.15 mapeos de CWE y 1.61 mapeos de MITRE ATT&CK.

Rendimiento de los LLM

• Estrategia de Prompting: El prompting de few-shot dinámico produjo consistentemente los mejores resultados en todas las tareas. El prompting sin contexto resultó en un desempeño pobre, particularmente para objetos y relaciones implícitos.
• Rendimiento de la Tarea:
  • Extracción de SDO: Se logró un alto rendimiento, con los mejores modelos (p. ej., Phi-4, LLaMA-70B, Codestral-22B) alcanzando puntuaciones F1 de 0.94 bajo prompting de few-shot dinámico.
  • Extracción de SRO: El rendimiento fue menor debido a la complejidad de identificar pares origen/destino y tipos de relación correctos. El mejor resultado fue una puntuación F1 de 0.63 (Qwen-Coder).
  • Mapeo de CWE: Se observó una alta precisión, con varios modelos alcanzando puntuaciones F1 cercanas a 0.99 bajo prompting de few-shot dinámico.
  • Mapeo de MITRE ATT&CK: Esta siguió siendo la tarea más desafiante. Aunque las puntuaciones Match@1 mejoraron (hasta 0.68 para Gemma-4-31B), las puntuaciones Match@All se mantuvieron bajas, indicando dificultad para identificar todas las técnicas válidas para un solo CVE.
• Comparación de Modelos: Ningún modelo destacó en todas las subtareas. Los modelos orientados a código (Qwen-Coder, Codestral) y los modelos de propósito general de gran tamaño (LLaMA-70B, GPT-120B) generalmente funcionaron mejor.
• Configuración Multi-Agente: La configuración multi-agente mejoró la extracción de SDO para Gemma-4-31B (F1 0.91) pero no superó consistentemente los mejores resultados de un solo modelo con few-shot para la extracción de SRO (Codestral-22B alcanzó 0.43 F1).

Análisis de Patrones de Amenaza

• CWE: Las debilidades más frecuentes fueron CWE-787 (Escritura fuera de límites), CWE-284 (Control de acceso impropio) y CWE-20 (Validación de entrada impropia). Cinco de los 10 principales CWE en el conjunto de datos se solapan con la lista CWE Top 25 de 2025.
• MITRE ATT&CK: Las técnicas más frecuentes fueron T1499 (Denegación de servicio de endpoint), T1203 (Explotación para ejecución de cliente) y T1210 (Explotación de servicios remotos).
• Coocurrencia: El par de técnicas más frecuente fue T1203–T1499 (apareciendo en 10 CVE), seguido de T1210–T1499 y T1068–T1548.

Significado y Afirmaciones

El artículo afirma que el conjunto de datos CAV-STIXGen proporciona una base necesaria para evaluar la generación de inteligencia de amenazas asistida por IA en el dominio del transporte. Los resultados demuestran que, si bien los LLM de pesos abiertos pueden extraer eficazmente objetos de vulnerabilidad explícitos y mapear debilidades (CWE), tienen dificultades con el razonamiento a nivel de grafo requerido para la extracción de relaciones complejas y el mapeo exhaustivo de técnicas de ataque (MITRE ATT&CK).

Los autores sostienen que la guía de los prompts es crítica; específicamente, el prompting de few-shot dinámico supera significamente a los enfoques puramente guiados o sin contexto al proporcionar ejemplos relevantes para el objetivo. Concluyen que, si bien los LLM pueden automatizar partes de la traducción de CVE a STIX, los modelos actuales requieren validación externa y potencialmente enfoques multi-agente o de recuperación aumentada (RAG) para manejar la complejidad total de la inteligencia de amenazas estructurada, particularmente para la construcción de relaciones y el mapeo de múltiples técnicas de ataque. El estudio posiciona el conjunto de datos y sus hallazgos como un recurso para priorizar la defensa en la seguridad del transporte mediante la identificación de patrones de amenaza recurrentes.