Validating Threat Modeling Results with the Help of Vulnerable Test Applications

Resumen Técnico: Validación de Resultados de Modelado de Amenazas con Aplicaciones de Prueba Vulnerables

Enunciado del Problema
Validar los resultados del modelado de amenazas sigue siendo un desafío significativo en la ingeniería de seguridad. Aunque el modelado de amenazas es una práctica bien establecida de "seguridad por diseño" para identificar amenazas potenciales tempranamente, evaluar objetivamente la calidad de un modelo de amenazas generado es difícil. Los métodos de validación actuales dependen típicamente de comparar la salida contra un modelo de referencia producido por expertos o una línea base humana. Sin embargo, estos enfoques heredan las limitaciones de la referencia misma: los expertos pueden discrepar, operar en diferentes niveles de abstracción o simplemente pasar por alto amenazas relevantes. En consecuencia, existe una falta de un "oráculo" externo y objetivo para juzgar la completitud de los modelos de amenazas sin depender exclusivamente del juicio humano subjetivo.

Metodología
Para abordar esto, los autores proponen y evalúan un enfoque de validación fundamentado en vulnerabilidades. En lugar de comparar contra otro modelo humano, este método utiliza aplicaciones intencionalmente vulnerables con un conjunto conocido de vulnerabilidades como un oráculo de verdad fundamental. La pregunta central de investigación es: ¿En qué medida pueden las amenazas producidas por herramientas de modelado de amenazas, dados la arquitectura, los Diagramas de Flujo de Datos (DFD) y descripciones generales como entrada, cubrir las vulnerabilidades conocidas en las aplicaciones analizadas?

El estudio compara dos herramientas:

1. ThreMoLIA: Una solución de modelado de amenazas asistida por LLM desarrollada por los autores. Utiliza Generación Aumentada por Recuperación (RAG) para incorporar documentación del proyecto, arquitectura de alto nivel y DFD. Soporta marcos tradicionales (STRIDE, LINDDUN, OWASP Top 10, MITRE ATT&CK) y marcos específicos de IA (MITRE ATLAS, OWASP Top 10 ML, OWASP Top 10 LLM).
2. Microsoft Threat Modeling Tool (MTMT): Una herramienta ampliamente utilizada basada en STRIDE, fundamentada en las prácticas de Microsoft SDL.

El experimento utilizó dos aplicaciones de referencia:

• AzureGoat: Una infraestructura de Azure diseñada para ser vulnerable que contiene 7 vulnerabilidades conocidas (malas configuraciones web y en la nube).
• VulnBank: Una aplicación bancaria deliberadamente vulnerable que contiene 63 vulnerabilidades conocidas (fallos web, de API e integrados con IA).

Procedimiento Experimental

• Entradas: Ambas herramientas recibieron las mismas entradas: diagramas de arquitectura, DFD y descripciones. Las listas de vulnerabilidades conocidas se retuvieron durante la fase de modelado y se utilizaron únicamente para la puntuación.
• Configuración:
  • MTMT se ejecutó una vez por aplicación.
  • ThreMoLIA se ejecutó utilizando el modelo GPT-5 a través de la API de OpenAI. Se probó en múltiples configuraciones: 0-shot (solo DFD), 1-shot (DFD + documentación), 2-shot (DFD + documentación adicional) y un resultado fusionado de 1-shot y 2-shot.
  • Para mitigar la variabilidad de los LLM, ThreMoLIA se ejecutó tres veces por configuración y los resultados se agregaron.
• Métrica: La métrica principal fue la Cobertura de Amenazas, definida como la relación de vulnerabilidades conocidas cubiertas por al menos una amenaza modelada respecto al número total de vulnerabilidades conocidas ($V_{cubiertas} / V_{conocidas}$). Una vulnerabilidad se consideró "cubierta" si un experto determinó que una amenaza modelada describía semánticamente la vulnerabilidad o la condición que permitía su explotación. El estudio señala que los falsos positivos (alucinaciones) se eliminaron durante el paso de validación potenciado por LLM, y las amenazas válidas sin vulnerabilidades correspondientes no fueron penalizadas, ya que el modelado de amenazas no tiene un límite superior teórico de amenazas válidas.

Resultados Clave
Los resultados, resumidos en la Tabla I del artículo, demuestran que ThreMoLIA logró una mayor cobertura de vulnerabilidades que MTMT en ambas aplicaciones:

• AzureGoat: ThreMoLIA logró una cobertura del 100% (7/7 vulnerabilidades), mientras que MTMT cubrió el 57.1% (4/7).
• VulnBank:
  • ThreMoLIA (0-shot) cubrió el 73.0% (46/63), superando ya a MTMT.
  • ThreMoLIA (1-shot) alcanzó el 85.7% (54/63).
  • ThreMoLIA (2-shot) alcanzó el 82.5% (52/63).
  • ThreMoLIA (Fusionado 1+2) logró el 92.1% (58/63).
  • MTMT cubrió el 55.6% (35/63).
• Hallazgos Específicos: MTMT funcionó bien en problemas convencionales de gestión de sesiones y fallos del lado del cliente, pero pasó por alto las 10 vulnerabilidades de soporte al cliente con IA en VulnBank. Por el contrario, las mejores configuraciones de ThreMoLIA cubrieron las 10 vulnerabilidades de IA y las 9 vulnerabilidades de autenticación/autorización.
• General: La mejor configuración de ThreMoLIA cubrió el 92.9% (65/70) del total de vulnerabilidades en ambas aplicaciones, en comparación con el 55.7% (39/70) de MTMT.

Significado y Afirmaciones
El artículo afirma que las aplicaciones de prueba vulnerables proporcionan un punto de referencia práctico para evaluar la cobertura de amenazas, ofreciendo una alternativa medible a las líneas base basadas únicamente en expertos. Al cambiar la evaluación de "¿Coincidió la herramienta con un informe específico de un experto?" a "¿Cubrió la herramienta las debilidades realmente presentes en el sistema?", el enfoque reduce la dependencia del consenso humano subjetivo.

El estudio destaca que, aunque MTMT sigue siendo efectiva para preocupaciones arquitectónicas estándar al estilo STRIDE, ThreMoLIA es más adecuada para paisajes de aplicaciones mixtos que combinan superficies de ataque convencionales y relacionadas con IA. Los resultados sugieren que el modelado asistido por LLM, particularmente cuando se aumenta con documentación del proyecto (estrategias de prompting), puede mejorar significativamente el descubrimiento de vulnerabilidades complejas y específicas de IA.

Limitaciones y Trabajo Futuro
Los autores reconocen varias limitaciones:

1. La cobertura es solo una dimensión de la calidad; una alta recuperación no garantiza la ausencia de amenazas irrelevantes.
2. El resultado fusionado de ThreMoLIA no es estrictamente equivalente en costos a una sola ejecución determinista de MTMT.
3. El estudio se limitó a solo dos aplicaciones.
4. Existe el riesgo de que el modelo GPT-5 haya sido entrenado con datos de estas aplicaciones vulnerables específicas, aunque los autores mitigaron esto renombrando las aplicaciones en las entradas.

El artículo concluye que la validación fundamentada en vulnerabilidades es un complemento útil a las líneas base de expertos. Los autores planean extender esta metodología a entornos de telecomunicaciones (incluyendo redes centrales 5G e infraestructura nativa de la nube) y tienen la intención de lanzar ThreMoLIA como código abierto.