Resumen Técnico: Perturbaciones Mínimas de Prompts Generan Vulnerabilidades en el Código

Declaración del Problema

Mientras que los asistentes de codificación basados en Modelos de Lenguaje Grande (LLM) se adoptan rápidamente para mejorar la productividad de los desarrolladores, la seguridad del código que generan sigue siendo una preocupación crítica. Investigaciones anteriores han establecido que perturbaciones menores en los prompts (por ejemplo, errores tipográficos, parafraseo) pueden degradar la corrección funcional del código generado. Sin embargo, las consecuencias de seguridad de tales perturbaciones permanecen sin estudiar. Una suposición natural en el desarrollo es que las variaciones a nivel superficial en los prompts no deberían alterar la postura de seguridad del resultado. Este artículo investiga si mutaciones mínimas y benignas en los prompts pueden invertir el código generado por LLM de seguro a vulnerable, y si estas vulnerabilidades están codificadas en las representaciones internas del modelo antes de que comience la generación del código.

Metodología

Benchmark y Modelos

El estudio utiliza el benchmark CWEval (Peng et al., 2025), que se distingue de los benchmarks de seguridad anteriores (por ejemplo, CyberSecEval, SecurityEval) porque evalúa la funcionalidad y la seguridad simultáneamente mediante oráculos de prueba impulsados por resultados. El benchmark cubre 31 tipos de Enumeración de Debilidades Comunes (CWE) en cinco lenguajes de programación (C, C++, Go, JavaScript, Python).

Los experimentos emplean tres LLM de código abierto especializados en código:

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

Los experimentos se realizaron con una temperatura de $T=0$ para garantizar una evaluación estable, con análisis de sensibilidad realizados a $T=0.8$.

Estrategia de Perturbación

Los autores aplicaron mutaciones sistemáticas a los prompts, categorizadas por aumento de la disrupción semántica:

1. Cambios de un solo carácter: Sustitución de un carácter por una letra ASCII aleatoria.
2. Cambios de tres caracteres: Intercambio de tres caracteres aleatorios dentro de un solo token.
3. Reemplazos de token completo: Reemplazo de un token por un token aleatorio similar basado en la similitud del coseno de la incrustación (embedding).

Sondeo de Estados Ocultos

Para determinar si existen señales de vulnerabilidad antes de la generación, los autores entrenaron clasificadores lineales (regresión logística regularizada L2) y no lineales superficiales (MLP de dos capas) en el estado oculto del último token del prompt. Estas sondas predicen si una instancia específica (modelo, lenguaje, CWE, mutación) resultará en:

1. Código funcional.
2. Código que es tanto funcional como seguro.

Las sondas se entrenaron por celda (modelo, lenguaje, CWE, objetivo) utilizando una división de entrenamiento/prueba de 80/20 con validación cruzada de 5 pliegues para el ajuste de hiperparámetros.

Contribuciones Clave

1. Demostración de la Fragilidad del Prompt: El estudio muestra que mutaciones tan pequeñas como un solo carácter pueden invertir el código generado de seguro a vulnerable (y viceversa), afectando tanto a la funcionalidad como a la seguridad simultáneamente.
2. Descomposición de los Impulsores de Mutación: La investigación identifica que, para algunas perturbaciones, la posición de la mutación en el prompt es decisiva (por ejemplo, las mutaciones en la parte central del prompt son las más dañinas), mientras que para otras, la sustitución de carácter específica determina el resultado.
3. Variación Sistemática en el Rendimiento de las Sondas: El artículo demuestra que la predictibilidad de las vulnerabilidades a partir de los estados ocultos varía sistemáticamente según la categoría CWE. Las vulnerabilidades que requieren cambios estructurales (manejo de entrada) son más predecibles que aquellas que dependen de elecciones locales individuales (valores predeterminados seguros).

Resultados

Impacto de las Mutaciones

• Prevalencia: Las mutaciones afectan a una gran fracción de CWE en todos los modelos y lenguajes.
• Direccionalidad: Las mutaciones generalmente causan más daño que beneficio. Para CodeLlama (70B) y DeepSeek-Coder (33B), la tasa de deterioro (inversión de código seguro a vulnerable) supera significativamente la tasa de mejora.
• Robustez del Modelo: Qwen3-Coder (30B) exhibió el rendimiento más robusto, mostrando barras de degradación consistentemente más pequeñas en comparación con los otros dos modelos.
• Diferencias de Lenguaje: Los patrones divergen según el lenguaje. Para Python, muchos CWE se ven afectados, pero la fracción de mutaciones que cambian el resultado dentro de cada CWE es baja. Por el contrario, para Go, menos CWE se ven afectados, pero aquellos que lo están responden fuertemente a las mutaciones.

Análisis de Sondeo

• Predictibilidad General: El Área Media bajo la Curva (AUC) para predecir resultados funcionales y seguros conjuntos a partir de los estados ocultos al final del prompt es aproximadamente 0.70 en todos los modelos.
• Variedad Específica de CWE:
  • Grupo I (Manejo de Entrada): Las vulnerabilidades donde la entrada no confiable llega a un sumidero sensible (por ejemplo, inyección SQL, traversía de ruta) requieren agregar lógica de validación. Estas son altamente predecibles a partir de los estados ocultos (AUC Medio: 0.753).
  • Grupo D (Valores Predeterminados Seguros): Las vulnerabilidades donde la solución implica una elección local única (por ejemplo, seleccionar un algoritmo fuerte, una bandera segura o un tamaño de clave) son menos predecibles (AUC Medio: 0.674).
• Significancia Estadística: Una prueba U de Mann-Whitney unilateral confirma una brecha estadísticamente significativa entre los dos grupos ($p = 0.009$).

Interpretación de los Resultados del Sondeo

Los autores postulan que el estado oculto al final del prompt codifica decisiones a las que el modelo se compromete temprano (cambios estructurales como agregar una guardia de validación). En contraste, las decisiones pospuestas a posiciones de tokens específicas durante la generación (como elegir un parámetro de algoritmo específico) están dominadas por la distribución del siguiente token y, por lo tanto, son menos visibles en la representación final del prompt.

Significancia y Afirmaciones

El artículo afirma que el modelo de amenazas para la codificación asistida por LLM se extiende más allá de la inyección de prompts adversarios para incluir variación ordinaria de prompts (errores tipográficos, parafraseo). Los hallazgos indican que:

1. Los defectos de manejo de entrada pueden potencialmente detectarse y mitigarse antes de que comience la generación mediante el análisis de las representaciones del prompt.
2. Los defectos de valores predeterminados seguros son más difíciles de detectar en la etapa del prompt y pueden requerir intervención durante el proceso de decodificación.

Los autores mantienen una orientación defensiva, enfatizando que su trabajo identifica fragilidad bajo uso benigno en lugar de proporcionar recetas de explotación. Señalan limitaciones relacionadas con el costo computacional del sondeo de modelos cerrados de escala fronteriza y la naturaleza manual de la agrupación de CWE, sugiriendo que trabajos futuros podrían sondear representaciones latentes durante la generación para capturar la señal de "valores predeterminados seguros" que se pierde al final del prompt.