Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

1. El Problema

La seguridad de las aplicaciones web es crítica, pero los métodos tradicionales de evaluación de confianza presentan limitaciones significativas:

• Enfoque reactivo: Las herramientas actuales (SAST, DAST) se centran en detectar vulnerabilidades conocidas, ignorando debilidades latentes o malas prácticas de codificación que no generan alertas inmediatas.
• Escalabilidad y subjetividad: La evaluación de la adherencia a prácticas de codificación segura (como las de OWASP) depende en gran medida de revisiones manuales por expertos, lo cual es lento, costoso, subjetivo y difícil de escalar en entornos de desarrollo ágiles (CI/CD).
• Falta de métricas holísticas: La ausencia de vulnerabilidades no garantiza la fiabilidad del sistema. Se necesita una métrica cuantitativa que evalúe la calidad de seguridad basada en el cumplimiento de estándares, no solo en la ausencia de fallos.

El objetivo del estudio es automatizar la evaluación de la confiabilidad (trustworthiness) de las aplicaciones web utilizando Modelos de Lenguaje Grandes (LLMs) para verificar la adherencia a prácticas de codificación segura, superando las limitaciones de los enfoques manuales.

2. Metodología

Los autores proponen una metodología empírica de cinco fases para evaluar y cuantificar la confianza:

• Dataset y Alcance: Se utilizó el conjunto de datos WSVD-Bench, que contiene servicios web Java con variantes seguras (Vx0) y vulnerables (VxA). El estudio se centró específicamente en el dominio de Validación de Entrada de OWASP (16 prácticas), un área crítica para prevenir inyecciones SQL.
• Selección de Modelos: Se evaluaron cinco LLMs de diferentes proveedores y capacidades: gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini, gpt-4.1 y gemini-2.5-flash. Todos se configuraron con temperatura baja (0.2) para garantizar reproducibilidad.
• Estrategias de Prompting (Pruebas): Se diseñaron cuatro estrategias de ingeniería de prompts para responder a las preguntas de investigación:
  1. Línea Base (Zero-shot): Solo la descripción de la práctica y el código.
  2. Contexto Semántico (Few-shot): Inclusión de identificadores CWE y ejemplos de código "malo" (violaciones).
  3. Contexto Estructural: Inclusión del código de las funciones llamadas (gráficos de llamadas extraídos con Joern) para analizar dependencias interprocedimentales.
  4. Basado en Reglas: Instrucciones explícitas y condicionales ("si-entonces") para definir criterios de cumplimiento binario.
• Evaluación y Métricas:
  • Se construyó una Verdad Terrena (Ground Truth) mediante inspección manual experta.
  • Se calcularon métricas de clasificación (Precisión, Recall, F1-Score macro-averaged).
  • Modelo de Calidad (QM) y LSP: Para la puntuación final, se utilizó un Modelo de Calidad jerárquico basado en la metodología Logic Score of Preference (LSP). Este modelo agrupa las prácticas de codificación en una estructura lógica que penaliza la ausencia de controles críticos (simultaneidad), generando una puntuación de confianza global en el rango [0, 1].

3. Contribuciones Clave

1. Comparación Sistemática de Prompts: Un análisis exhaustivo de cómo diferentes estrategias de ingeniería de prompts (semántica, estructural, basada en reglas) afectan la capacidad de los LLMs para identificar prácticas de codificación segura en múltiples modelos.
2. Evaluación de Factibilidad Empírica: Demostración de cuándo y cómo los LLMs pueden automatizar la detección de prácticas de seguridad de manera fiable, identificando los límites de los modelos de menor capacidad.
3. Extensión del Modelo de Calidad (QM): Integración de las salidas de los LLMs en un marco formal de evaluación de confianza (LSP), permitiendo calcular puntuaciones de confianza escalables y objetivas en lugar de depender de revisiones manuales.

4. Resultados Principales

• RQ1 (Capacidad Base): Los LLMs pueden identificar prácticas de codificación segura en condiciones zero-shot, pero el rendimiento varía drásticamente según la complejidad semántica. Los modelos avanzados (gpt-4.1) superan a los ligeros, pero todos luchan con prácticas que requieren razonamiento de flujo de control o contexto arquitectónico.
• RQ2 (Impacto del Contexto):
  • Contexto Semántico (CWE + Ejemplos): Mejoró el rendimiento en modelos de alta capacidad (gpt-4.1), pero degradó el rendimiento en modelos más pequeños debido a la sobrecarga de información.
  • Contexto Estructural (Llamadas a funciones): Fue contraproducente. La inclusión de código de funciones auxiliares introdujo "ruido", reduciendo la capacidad de recuperación (recall) y empeorando el rendimiento en todos los modelos.
  • Prompting Basado en Reglas: Fue la estrategia más robusta, especialmente para modelos de menor capacidad. Las instrucciones explícitas compensaron la falta de razonamiento profundo, permitiendo que modelos como gpt-4o-mini alcanzaran un rendimiento cercano al de modelos más grandes.
• RQ3 (Puntuación de Confianza):
  • Los LLMs no son fiables para generar directamente puntuaciones de confianza holísticas (estimación directa), mostrando altos errores (MAE 0.40-0.60) y variabilidad.
  • Sin embargo, cuando se utilizan como entrada automatizada para el Modelo de Calidad (QM) basado en LSP, el sistema logra discriminar eficazmente entre código seguro y vulnerable. La agregación determinista de las clasificaciones binarias de los LLMs mediante LSP produce métricas estables y significativas.

5. Significado e Impacto

Este trabajo demuestra que es posible escalar la evaluación de la confianza en aplicaciones web mediante la combinación de LLMs para la detección de prácticas y modelos formales (LSP) para la agregación de métricas.

• Viabilidad en CI/CD: La propuesta ofrece un camino para integrar evaluaciones de seguridad continuas y automatizadas en pipelines de desarrollo, reduciendo la dependencia de expertos humanos para revisiones exhaustivas.
• Optimización de Recursos: Se identifica que no siempre es necesario usar los modelos más grandes y costosos; con una ingeniería de prompts adecuada (basada en reglas), modelos más eficientes pueden lograr resultados aceptables.
• Advertencia sobre el Contexto: El estudio advierte que proporcionar más contexto (código de llamadas) no siempre mejora el rendimiento de los LLMs y puede introducir ruido, sugiriendo que la selección cuidadosa de la información de entrada es crítica.

En conclusión, aunque los LLMs por sí solos no pueden cuantificar la confianza de manera fiable, actúan como un motor de detección escalable que, cuando se alimenta a un marco de evaluación estructurado, permite una auditoría de seguridad objetiva, reproducible y adaptada a la velocidad del desarrollo moderno.