Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection

Resumen Técnico: Evaluación de Cargas de XSS Ofuscadas Generadas por LLM

1. Planteamiento del Problema

La Cross-Site Scripting (XSS) sigue siendo una vulnerabilidad crítica en la seguridad web. El principal desafío para los sistemas de detección (tanto tradicionales como basados en aprendizaje automático) es la ofuscación. Los atacantes transforman las cargas maliciosas (cambios de codificación, inserción de comentarios, manipulación de cadenas, cambios de caso, etc.) para alterar su forma sintáctica mientras preservan su comportamiento de ejecución en el navegador.

• Limitación actual: Los enfoques existentes para generar datos de entrenamiento a menudo se centran en la diversidad sintáctica, pero no garantizan que las muestras generadas sean comportamentalmente válidas (es decir, que realmente ejecuten el ataque).
• Riesgo: Si se utilizan muestras generadas que parecen maliciosas pero no ejecutan el ataque real, se introduce "ruido" en los datos de entrenamiento, lo que puede debilitar la capacidad del detector para generalizar ante variantes adversarias reales.
• Pregunta de investigación: ¿Pueden los Modelos de Lenguaje Grande (LLM) generar cargas de XSS ofuscadas que preserven el comportamiento observable en tiempo de ejecución del código original?

2. Metodología

Los autores proponen una tubería (pipeline) estructurada que combina transformaciones deterministas, generación basada en LLM y validación en tiempo de ejecución. El proceso se divide en las siguientes etapas:

• A. Cadenas de Ofuscación Determinista:

  • Se parte de una carga maliciosa original ($P_0$).
  • Se aplican transformaciones deterministas en secuencia (cadenas de dos pasos) utilizando funciones como: escape hexadecimal, codificación Base64, URL encoding, división de cadenas, inserción de comentarios y cambio de mayúsculas/minúsculas.
  • Se definen 5 recetas fijas de transformación (ej. hex_escape $\rightarrow$ split_strings).

• B. Validación Basada en Navegador (Runtime Evaluation):

  • Este es el componente central de la propuesta. En lugar de confiar solo en la similitud de cadenas, las cargas generadas se ejecutan en un entorno de navegador controlado.
  • Se registran efectos observables: disparo de alertas (alert), salidas en consola, solicitudes de red y errores de ejecución.
  • Una cadena se considera válida solo si el comportamiento de la carga ofuscada ($P_2$) coincide exactamente con el de la carga original ($P_0$) bajo las mismas condiciones.

• C. Entrenamiento y Generación con LLM:

  • Conjunto de Entrenamiento: Se filtran las cadenas deterministas para crear pares "fuente-objetivo" ($P_0 \rightarrow P_2$) que han pasado la validación de comportamiento.
  • Configuraciones del Modelo:
    1. Línea Base (Untuned): Un modelo de lenguaje sin ajuste fino.
    2. Modelo Ajustado (Fine-tuned): Entrenado específicamente en los pares validados que preservan el comportamiento.
  • El modelo ajustado genera nuevas cargas ofuscadas a partir de entradas originales.

• D. Evaluación Descendente (Downstream Detection):

  • Se entrena un clasificador (Random Forest) para detectar XSS bajo tres condiciones:
    1. Solo datos originales.
    2. Datos originales + todas las cargas generadas.
    3. Datos originales + solo cargas generadas que pasaron la validación de comportamiento.

3. Contribuciones Clave

1. Pipeline Estructurado: Presentación de un flujo de trabajo que integra cadenas de transformación determinista con generación de LLM y filtrado estricto basado en comportamiento.
2. Validación en Tiempo de Ejecución: Introducción de un procedimiento de evaluación basado en navegador que prioriza el comportamiento observable sobre la similitud sintáctica, abordando una brecha crítica en la generación de ejemplos adversarios.
3. Evaluación Empírica: Análisis cuantitativo del impacto de los LLM en la generación de ofuscaciones y su efecto real en los sistemas de detección de seguridad, demostrando tanto los beneficios del ajuste fino como las limitaciones actuales.

4. Resultados Principales

• Tasa de Coincidencia de Comportamiento (Runtime Behavior Match Rate):

  • Modelo Línea Base (Untuned): Logró una tasa de coincidencia de 0.15 (15% de las cargas generadas preservaron el comportamiento).
  • Modelo Ajustado (Fine-tuned): Mejoró la tasa a 0.22 (22%). Esto representa una mejora relativa del 46.7%.
  • Interpretación: Aunque el ajuste fino ayuda a aprender patrones de transformación, la gran mayoría de las cargas generadas (78%) aún fallan en preservar el comportamiento de ejecución, indicando que la plausibilidad sintáctica no garantiza la corrección a nivel de ejecución.

• Análisis por Pares de Transformación:

  • Las técnicas de manipulación de cadenas (ej. split_strings $\rightarrow$ comment_insertion) mostraron tasas de validez mucho más altas (~0.75).
  • Las secuencias que involucran codificación (ej. hex_escape) tuvieron tasas de validez extremadamente bajas (~0.03), sugiriendo que los LLM tienen dificultades para reconstruir correctamente el contexto de ejecución tras codificaciones complejas.

• Rendimiento del Clasificador Descendente:

  • El rendimiento de detección (precisión, recall, F1) fue alto (>0.99) en todas las condiciones.
  • Hallazgo crítico: La adición de cargas generadas no mejoró el rendimiento del detector en este escenario. Esto se debe a que las muestras generadas representan una fracción muy pequeña del conjunto de datos total.
  • Sin embargo, la adición de muestras filtradas por comportamiento no degradó el rendimiento, lo que sugiere que pueden integrarse de forma segura a pequeña escala.

5. Significado y Conclusiones

• Brecha entre Sintaxis y Semántica: El estudio demuestra que, aunque los LLM pueden generar texto de código plausible, tienen dificultades significativas para mantener la correctitud funcional en dominios de seguridad donde pequeños cambios estructurales invalidan el ataque.
• Importancia de la Validación de Comportamiento: La validación basada en el navegador es esencial para filtrar datos de entrenamiento. Sin ella, los sistemas de aprendizaje automático podrían aprender artefactos sintácticos que no corresponden a ataques reales.
• Futuro de la Generación Adversarial: Para que los datos generados por LLM sean útiles en la detección de seguridad, deben ir acompañados de validación rigurosa. El trabajo sugiere futuras direcciones como:
  • Conjuntos de ajuste fino más grandes.
  • Decodificación restringida (constrained decoding).
  • Validación multi-navegador.
  • Enfoques híbridos que combinen reglas deterministas con generación generativa.

En resumen, el papel establece un marco riguroso para evaluar la calidad de los datos generados por IA en ciberseguridad, destacando que la diversidad sintáctica no es suficiente sin la preservación del comportamiento de ejecución.