💻 computer science

When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping

Este artículo propone un marco de enrutamiento de LLM consciente de la confianza que reformula el mapeo de CVE-a-ATM automotriz como un problema de automatización selectiva, utilizando aprendizaje en contexto jerárquico y puntuaciones de confianza calibradas para enrutar los mapeos en las categorías de auto-confirmación, revisión o espera, mejorando así significativamente la precisión sobre las líneas base de disparo cero (zero-shot) al tiempo que aísla los casos inciertos para la revisión del analista.

Autores originales: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Heeyun Heo, Sangmin Park, Huy Kang Kim, Sanghoon Jeon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo digital como una ciudad enorme y bulliciosa donde cada coche es ahora un dispositivo inteligente, comunicándose constantemente con la nube, con otros coches e incluso con los semáforos. Al igual que cualquier ciudad, esta metrópolis digital tiene su parte de alborotadores intentando entrar para robar datos o causar el caos. Para mantener a todos seguros, los expertos en seguridad utilizan dos "lenguajes" diferentes para describir estas amenazas. Un lenguaje, llamado CVE, es como un manual técnico de un mecánico; enumera exactamente qué tornillo está flojo o qué cable está deshilachado. El otro lenguaje, llamado ATM (Matriz de Amenazas Automotrices), es más bien como el cuaderno de un detective; describe cómo piensa un criminal, cuáles son sus objetivos y los trucos específicos que utiliza para cometer un delito.

El problema es que estos dos lenguajes no se comunican muy bien entre sí. La nota de un mecánico sobre un cable roto no le dice automáticamente a un detective: "¡Ah, esto es una táctica de 'Ejecución de Código Remoto'!". Si intentamos traducir estos lenguajes automáticamente utilizando Inteligencia Artificial (IA), la IA podría confundirse, mezclar las pistas o inventar con total confianza un crimen que nunca ocurrió. En el mundo de los coches autónomos, un error no es solo una errata; podría significar que un coche es hackeado o que un sistema de seguridad no se activa. Así que la gran pregunta no es solo "¿Puede la IA traducir estas amenazas?", sino "¿Podemos confiar lo suficiente en la IA para dejarla decidir por su cuenta, o necesitamos a un humano que verifique el trabajo?".

Aquí es donde entra en juego el artículo "When to Trust the Map" (Cuándo confiar en el mapa). Los investigadores, trabajando con un equipo de la Universidad de Corea y la Universidad de Kookmin, decidieron dejar de pedirle a la IA que simplemente "adivine y compruebe". En su lugar, construyeron un sistema inteligente que actúa como un policía de tráfico consciente de su confianza. Se dieron cuenta de que, si bien la IA es excelente generando ideas, a menudo sufre de "alucinaciones": inventar cosas con total seguridad. Para solucionar esto, crearon un marco de trabajo que no solo genera una lista de amenazas, sino que asigna una puntuación de confianza a cada sugerencia, preguntándole esencialmente a la IA: "¿Qué tan seguro estás de esto?".

Así es como funciona su sistema, utilizando una analogía lúdica: Imagina que la IA es un detective novato intentando resolver un caso. En lugar de dejar que el detective actúe a su antojo, el sistema lo somete a un riguroso campo de entrenamiento. Primero, el detective observa una biblioteca de casos resueltos en el pasado (llamada "aprendizaje en contexto") para encontrar patrones similares. Luego, el sistema no se limita a tomar la palabra del detective. Envía el caso a un segundo detective (una IA "juez") que solo observa la evidencia bruta —el texto real del informe de seguridad— sin saber qué adivinó el primer detective. Este segundo detective comprueba si las pistas realmente respaldan la teoría.

El sistema combina entonces estas dos voces: la consistencia del primer detective (¿adivinó lo mismo varias veces?) y la comprobación de evidencia del segundo detective (¿dice el texto realmente esto?). Estas señales se introducen en un "meta-modelo", que es como un sabio jefe de policía. El jefe calcula una puntuación de confianza final (un número entre 0 y 1) para cada sugerencia de amenaza. Basándose en esta puntuación, el sistema clasifica cada sugerencia en uno de tres cubos:

AUTO (La luz verde): Si la puntuación de confianza es muy alta (por encima de 0.74 en su mejor modo), el sistema dice: "¡Esto es sólido! Podemos confiar en esto automáticamente". En sus pruebas, cuando el sistema tenía esta confianza, acertó el 87.8% de las veces. Eso es más del doble de la precisión de simplemente adivinar al azar o utilizar métodos de IA más antiguos y simples.
REVIEW (La luz amarilla): Si la puntuación está en el medio, el sistema dice: "Esto parece interesante, pero no estoy 100% seguro. Vamos a mostrarlo a un experto humano". Esto garantiza que los casos complicados o ambiguos reciban la atención humana necesaria.
HOLD (La luz roja): Si la puntuación es muy baja, el sistema dice: "No tengo idea, y la evidencia es débil. Póngalo en espera". En sus pruebas, cada uno de los casos que el sistema puso en el cubo "HOLD" era, de hecho, incorrecto, demostrando que el sistema sabe cuándo no adivinar.

Los investigadores probaron esto en un conjunto de datos de 269 informes de seguridad automotriz reales (CVE) que habían sido cuidadosamente etiquetados por expertos humanos. Encontraron que su enfoque "consciente de la confianza" era mucho mejor para filtrar los malos cálculos que una IA estándar que simplemente intenta responder a la pregunta directamente. Al separar las "certezas" de los "quizás", demostraron que podemos automatizar gran parte del trabajo peligroso sin perder la seguridad.

El artículo argumenta explícitamente contra la idea de que podemos confiar simplemente en un único modelo de IA para hacer este trabajo perfectamente por sí solo. Encontraron que, sin esta capa adicional de verificación y puntuación de confianza, los modelos de IA son demasiado propensos a errores y "alucinaciones" para ser confiables en entornos críticos para la seguridad, como los coches. También descartaron la idea de que simplemente pedirle a la IA que repita la respuesta varias veces (consistencia) sea suficiente; también necesitas a ese segundo "juez" para comprobar la evidencia real.

En resumen, este artículo sugiere que no tenemos que elegir entre la seguridad humana y la velocidad de la IA. En su lugar, podemos construir un sistema que conozca sus propios límites. Actúa como un filtro inteligente, permitiendo que la IA gestione las amenazas fáciles y obvias automáticamente, mientras señala las confusas para que los expertos humanos las revisen. Esta "automatización selectiva" podría ayudar a los fabricantes de automóviles a actualizar sus planes de seguridad de forma más rápida y precisa, asegurando que, cuando se descubre una nueva vulnerabilidad, se apliquen las contramedidas adecuadas sin el riesgo de que la IA se equivoque. Los resultados, medidos en su conjunto de prueba específico, muestran un camino claro a seguir: un marco de trabajo donde la IA dice: "Tengo la confianza suficiente para conducir esta parte del coche", mientras el humano permanece en el asiento del conductor para el resto del trayecto.

Resumen Técnico: Enrutamiento de LLM con Conciencia de Confianza para el Mapeo de CVE a ATM Automotriz

Definición del Problema
El artículo aborda el desafío crítico de mapear Vulnerabilidades y Exposiciones Comunes (CVE) a la Matriz de Amenazas Automotrices (ATM) de Auto-ISAC. Mientras que las CVE describen vulnerabilidades técnicas, la ATM organiza el comportamiento adversarial en tácticas y técnicas. El mapeo automatizado directo es difícil porque estas representaciones no están alineadas; los mapeos incorrectos en entornos automotrices de seguridad crítica pueden distorsionar la interpretación de las amenazas y la priorización de mitigaciones. Además, los marcos de trabajo de propósito general como MITRE ATT&CK carecen de un contexto automotriz específico (por ejemplo, inyección de CAN, compromiso de OTA), y los Modelos de Lenguaje de Gran Escala (LLM) sufren de alucinaciones e inconsistencia en la generación, lo que hace que la automatización de salida única sea poco confiable para tareas de seguridad crítica. El problema central se formula como un desafío de automatización selectiva: distinguir los mapeos que son lo suficientemente fiables para su adopción automática de aquellos que requieren la revisión de un analista.

Metodología
El marco propuesto opera mediante un pipeline de cuatro etapas diseñado para generar, verificar, calibrar y enrutar candidatos a mapeo:

Generación de Candidatos Jerárquica de Dos Etapas:
- El sistema descompone la tarea en la predicción de una táctica primero, y luego la predicción de técnicas condicionadas a esa táctica.
- Utiliza Aprendizaje en Contexto (ICL) Jerárquico con OpenAI GPT-5.2 (esfuerzo de razonamiento = alto).
- Etapa 1 (Táctica): El modelo selecciona entre 14 IDs de tácticas válidos utilizando un esquema de llamada a funciones (function-calling) para prevenir violaciones de la ontología.
- Etapa 2 (Técnica): Para cada táctica predicha, el modelo predice las técnicas del subconjunto específico asociado con esa táctica. Recupera $k=8$ ejemplos semánticamente similares de un "Pool de Ejemplares" (derivado de CVEs antiguos) mediante recuperación k-vecinos más cercanos (kNN) para enfocarse en patrones específicos de la táctica.
- Consistencia: Para mitigar la inestabilidad del LLM, cada etapa se invoca $N=5$ veces. Se calcula una puntuación de consistencia de par como el producto de la frecuencia de la táctica y la frecuencia de la técnica dada esa táctica.
Verificación de Señales Múltiples:
- Para distinguir entre errores generados frecuentemente y mapeos correctos, el sistema emplea un LLM-como-Juez basado en evidencia.
- El verificador extrae seis elementos estructurados del texto de la CVE (alineados con ISO/SAE 21434 TARA), tales como componentes afectados e interfaces de ataque. Los elementos no declarados se marcan como "desconocidos" para imponer un razonamiento basado únicamente en la evidencia.
- El verificador califica cada candidato en tres ejes: soporte, contradicción y suficiencia. Los candidatos son anonimizados antes de la verificación para evitar sesgos.
Calibración de Confianza:
- Un metamodelo (regresión logística con regularización L2) se entrena en un Conjunto de Desarrollo para integrar la estabilidad de la generación (consistencia) y las señales de verificación (soporte, contradicción, suficiencia) en una única puntuación de confianza calibrada ( $\hat{p}$ ).
- El modelo incluye términos de interacción (ej. consistencia $\times$ soporte) para asegurar que la confianza sea alta solo cuando la estabilidad de la generación y el soporte fáctico estén presentes.
- Se aplica calibración post-hoc (escalado de sigmoide y de temperatura) para corregir la sobre/sub-confianza.
Enrutamiento Operativo de Tres Niveles:
- Basándose en $\hat{p}$ $\overset{p}{^}$ , los candidatos se enrutan en tres niveles:
  - AUTO (Automático): Alta confianza; confirmado automáticamente para registros de vulnerabilidades.
  - REVIEW (Revisión): Confianza moderada; enviado a analistas con evidencia de soporte.
  - HOLD (Retención): Baja confianza; diferido hasta que haya más evidencia disponible.
- Los umbrales ( $\tau_{auto}$ , $\tau_{hold}$ ) se ajustan para equilibrar precisión y exhaustividad (recall), permitiendo diferentes modos operativos (Alta Confianza, Equilibrado, Alta Cobertura).

Contribuciones Clave

Formulación: El artículo formaliza el mapeo de CVE a ATM automotriz como un problema de automatización selectiva, separando explícitamente los casos confirmables automáticamente de aquellos que requieren supervisión humana.
Marco de Trabajo: Introduce un marco de enrutamiento de señales múltiples que combina ICL jerárquico, comprobaciones de auticonsistencia y verificación basada en evidencia para impulsar un proceso de decisión calibrado de tres niveles.
Dataset: Los autores construyeron un conjunto de datos de referencia de 269 CVEs automotrices con 483 pares de táctica-técnica anotados por expertos, abordando la falta de datos públicos para esta tarea de mapeo específica.

Resultados
Evaluado en un conjunto de prueba de 58 CVEs (98 pares de oro), el sistema demostró mejoras significativas respecto a las líneas base:

Calidad de Candidatos: El sistema propuesto logró una precisión de 0.395 (frente al 0.277 de la línea base Flat Zero-shot de GPT-5.2) manteniendo una exhaustividad (recall) igualada (0.745), reduciendo el número promedio de predicciones por CVE de 4.55 a 3.19.
Desempeño de Enrutamiento: En el modo de Alta Confianza (umbral $\tau_{auto} \approx 0.74$ ), el nivel AUTO alcanzó una precisión de 0.878, más del doble de la tasa base del conjunto de candidatos (0.395).
Calibración: La puntuación de confianza calibrada $\hat{p}$ alcanzó un AUROC de 0.868 al distinguir candidatos correctos de incorrectos, superando significativamente a la línea base de solo consistencia (AUROC 0.705).
Ablación: Eliminar las señales del juez basadas en evidencia causó una caída brusca en el AUROC, confirmando que la consistencia por sí sola es insuficiente para una estimación de confianza fiable.

Significancia y Reivindicaciones
El artículo afirma que este marco proporciona una vía viable para la automatización selectiva en la ciberseguridad automotriz. Al aislar los mapeos de alta confianza, el sistema soporta flujos de trabajo autónomos de Sistemas de Gestión de Ciberseguridad (CSMS) mientras preserva la atención del analista para casos ambiguos. Los autores enfatizan que el marco ofrece evidencia de decisión trazable (puntuaciones de confianza y señales de verificación) requerida para la conformidad y los flujos de auditoría de ISO/SAE 21434.

Los autores mantienen la modestia respecto al alcance, señalando que:

La evaluación está limitada a la ontología actual de ATM (14 tácticas, 75 técnicas) y al conjunto de datos construido.
El sistema depende de un único modelo de base (GPT-5.2) tanto para la generación como para la verificación, aunque se utilizan salvaguardas como el anclaje en evidencia y la anonimización de candidatos para mitigar el sesgo de auto-confirmación.
La efectividad del nivel "REVIEW" en la práctica requiere estudios de campo futuros con analistas de seguridad.
El sistema no maneja actualmente efectos secundarios indirectos o extensiones especulativas, centrándose estrictamente en etapas de ataque directamente verificables.

Más como este