Resumen Técnico: Detección de Lotes de Prompts de Generación de Código Contaminados mediante Funciones de Influencia

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más para la generación de código, sin embargo, siguen siendo vulnerables a prompts que provocan implementaciones inseguras. Los mecanismos de defensa existentes, como los analizadores estáticos (por ejemplo, Bandit, Semgrep) y los rastreadores de flujo de datos (taint trackers), dependen de modelos de amenazas o catálogos de patrones de vulnerabilidad conocidos. Estos enfoques son ciegos ante vectores de ataque novedosos o variantes fuera de sus catálogos específicos. Además, aunque existen detectores para jailbreaks o inyecciones de prompts dirigidas al comportamiento de seguimiento de instrucciones, actualmente no existe un método fiable para detectar prompts que específicamente provocan una desalineación en la generación de código —definida como la introducción de debilidades relevantes para la seguridad (según CWE/OWASP) que una completación benigna de la misma tarea no introduciría—. El desafío central es detectar lotes de prompts maliciosos sin conocimiento previo de la clase de vulnerabilidad o el método de ataque específico.

Metodología: CodeSIFT

Los autores proponen CodeSIFT, un método de detección agnóstico al modelo de amenazas que aprovecha las funciones de influencia para identificar lotes de prompts que inducen un comportamiento anómalo en el modelo. En lugar de analizar el código generado en busca de vulnerabilidades específicas, CodeSIFT mide la "influencia en el espacio de parámetros" del código generado para determinar si un conjunto de prompts candidatos se desvía de una distribución de referencia benigna.

Mecanismo Central

1. Funciones de Influencia (IFs): El método cuantifica el efecto de un ejemplo de entrenamiento específico (en este caso, una respuesta generada) sobre los parámetros del modelo. Estima cuánto cambiarían los parámetros del modelo si un determinado ejemplo fuera ponderado al alza durante el entrenamiento.

   • Formalmente, para un prompt $z$ y una respuesta $\hat{z}$, la puntuación de influencia mide la magnitud de la actualización de parámetros $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$, donde $\hat{\theta}$ son los parámetros convergidos y $\hat{r}$ es la función de respuesta linealizada que aproxima la Función de Respuesta de Bregman Proximal (PBRF).
   • La premisa es que las respuestas provocadas por prompts maliciosos (desalineación) requerirán un cambio de parámetros mayor para ser acomodadas que las respuestas de prompts benignos, ya que son inconsistentes con la distribución de entrenamiento benigna del modelo.

2. Pruebas Estadísticas:

   • El algoritmo calcula una Puntuación de Influencia ($IF_{p,\varepsilon}(z)$) para cada prompt en un lote candidato ($D$) y un lote de referencia benigno conocido ($D^*$).
   • Agrega estas puntuaciones y realiza una prueba t de dos muestras de una cola de Welch para comparar la media de la influencia del lote candidato contra la referencia benigna.
   • Hipótesis: $H_0$ (Benigno): El lote candidato ejerce la misma influencia promedio en el espacio de parámetros que la referencia benigna. $H_1$ (Malicioso): El lote candidato induce un cambio de parámetros significativamente mayor.
   • Si el valor p es inferior a un umbral de significancia $\alpha$, el lote se marca como contaminado.

3. Eficiencia Computacional:

   • Para manejar la intratabilidad de calcular la inversa exacta de la Hessiana para modelos grandes, los autores emplean una aproximación de Factorización de Kronecker para la Curvatura Aproximada (K-FAC).
   • Utilizan una "simplificación de un solo lado", conservando únicamente el factor de Kronecker correspondiente a la dimensión oculta del transformador y descartando el factor de la dimensión intermedia más grande del MLP.
   • Los factores de curvatura densos se precomputan en un conjunto de datos de curvatura separado ($D_c$, un subconjunto de The Stack v2) que aproxima la distribución de preentrenamiento del modelo, evitando la necesidad de acceder a los datos originales de entrenamiento.

Contribuciones Clave

1. Un Nuevo Marco de Detección: La propuesta de CodeSIFT, una prueba estadística para detectar prompts de generación de código maliciosos basada en funciones de influencia. A diferencia de los trabajos previos que usan IFs para la interpretabilidad o estudios de generalización, este trabajo utiliza la influencia como un estadístico de detección agregado que no requiere supuestos sobre el modelo de amenaza.
2. Nuevos Conjuntos de Datos de Referencia (Benchmarks): La construcción de dos nuevos conjuntos de datos, AuthSec (seguridad de autenticación, autorización y sesión) e InfraCloud (explotación de infraestructura, nube y protocolos), cada uno con 200 prompts maliciosos y un conjunto de referencia benigno correspondiente. Estos están diseñados específicamente para la discriminación a nivel de lote en lugar de la puntuación de vulnerabilidad por muestra individual.
3. Evaluación Exhaustiva: Una evaluación de CodeSIFT frente a tres líneas base de análisis estático (Bandit, Semgrep y un rastreador de flujo de datos basado en AST personalizado) a través de tres LLM de código de pesos abiertos (de 3B a 7B parámetros).

Resultados Experimentales

Los autores evaluaron CodeSIFT en tres modelos: Granite-3B, DeepSeek-Coder-6.7B y Qwen2.5-Coder-7B.

• Precisión de Detección (AUROC):

  • CodeSIFT demostró una mejora monotónica en la precisión de detección a medida que aumentaba la tasa de inyección (el porcentaje de prompts maliciosos en un lote).
  • En el conjunto de datos AuthSec, el AUROC alcanzó puntuaciones cercanas a la perfección (acercándose a 1.0) con una contaminación moderada (40-50%).
  • En el conjunto de datos más heterogéneo InfraCloud, el AUROC alcanzó su máximo entre 0.88 y 0.98 dependiendo del modelo.
  • En contraste, las líneas base estáticas mostraron un rendimiento inconsistente entre modelos. Mientras que Bandit funcionó bien en DeepSeek-Coder, su rendimiento fue cercano al azar en otros modelos. Semgrep y el rastreador de flujo de datos AST frecuentemente cayeron por debajo de 0.5 AUROC (anticorrelacionado con las etiquetas reales) a medida que aumentaban las tasas de inyección.

• Control de Falsos Positivos:

  • CodeSIFT mantuvo tasas de falsos positivos (FPR) bien calibradas en todos los modelos y conjuntos de datos, siguiendo de cerca el nivel de significancia nominal $\alpha$ (que oscila entre 0.01 y 0.09).
  • Las líneas base estáticas exhibieron una calibración inconsistente, mostrando a menudo patrones de tipo escalonado debido a su naturaleza de marcado binario por muestra.

Significado y Reivindicaciones

El artículo sostiene que la detección basada en funciones de influencia ofrece una dirección prometedora para identificar prompts de generación de código maliciosos sin requerir conocimiento previo de la clase de ataque subyacente.

• Agnosticismo al Modelo de Amenaza: El método detecta con éxito la desalineación sin necesidad de catalogar vulnerabilidades de antemano, abordando la limitación de los analizadores estáticos que son ciegos ante ataques novedosos.
• Transferibilidad: La señal de detección (influencia en el espacio de parámetros) se transfiere a través de diferentes arquitecturas de modelos (de 3B a 7B parámetros) y familias, mientras que el emparejamiento de patrones superficiales (análisis estático) no logra generalizar de manera consistente.
• Eficacia a Nivel de Lote: El enfoque es específicamente efectivo para identificar lotes de prompts contaminados, una capacidad crítica para los flujos de trabajo de desarrollo automatizados donde los prompts se procesan en grupos.

Los autores mantienen la modestia respecto al alcance, señalando que la evaluación actual se limita a Python y familias de vulnerabilidades específicas, y que el método está diseñado actualmente como una prueba a nivel de lote en lugar de una herramienta para localizar prompts maliciosos individuales dentro de un lote. Sugieren que el enfoque debería escalar a modelos más grandes (citando trabajos previos de hasta 52B de parámetros) y que podría extenderse a otros lenguajes y superficies de ataque.