Transferable Backdoor Attacks for Code Models via Sharpness-Aware Adversarial Perturbation

Resumen Técnico: STAB (Sharpness-aware Transferable Adversarial Backdoor)

1. El Problema

Los modelos de código preentrenados son fundamentales en el desarrollo de software moderno, pero son vulnerables a ataques de puerta trasera (backdoor) mediante datos de entrenamiento envenenados. La investigación actual enfrenta una compensación fundamental (trade-off) entre la transferibilidad y la sigilosidad (stealthiness):

• Ataques Estáticos: Utilizan patrones de código muertos fijos (ej. if(sin(0.7)<-1)). Son altamente transferibles entre modelos y conjuntos de datos, pero son fácilmente detectados por defensas específicas de código debido a su estructura predecible.
• Ataques Dinámicos (Estado del Arte): Generan triggers adaptativos y conscientes del contexto para evadir la detección. Sin embargo, sufren de mala transferibilidad entre conjuntos de datos.
  • Limitación Crítica: Los ataques dinámicos existentes (como AFRAIDOOR) asumen que la distribución de datos envenenados es idéntica a la del víctima. En escenarios realistas, los atacantes envenenan repositorios públicos mientras las víctimas entrenan con datos de diversas fuentes, resultando en distribuciones de datos diferentes.
  • Causa: Estos ataques optimizan perturbaciones en "mínimos agudos" (sharp minima) del paisaje de pérdida del modelo, los cuales son vulnerabilidades específicas del conjunto de datos de entrenamiento y no se generalizan bien.

2. Metodología Propuesta: STAB

Los autores proponen STAB, un ataque de puerta trasera que logra simultáneamente alta transferibilidad y sigilosidad sin requerir acceso completo a los datos de la víctima. La metodología se basa en la observación de que las perturbaciones adversarias en regiones planas del paisaje de pérdida se transfieren mejor entre diferentes distribuciones de datos.

El enfoque consta de tres etapas principales:

A. Entrenamiento del Modelo Sustituto Consciente de la Agudeza (Sharpness-Aware Surrogate Model Training)

• Objetivo: Guiar al modelo sustituto (entrenado con datos públicos) hacia regiones planas del paisaje de pérdida en lugar de mínimos agudos.
• Técnica: Utiliza Minimización Consciente de la Agudeza (SAM).
• Mecanismo: SAM reformula el objetivo de entrenamiento como un problema min-max:
  $$\min_{\theta_s} \max_{\|\delta\|_2 \leq \rho} L(\theta_s + \delta, D_s)$$
  Esto busca parámetros robustos a perturbaciones de peso ($\delta$), forzando al modelo a aprender patrones de código universales y generalizables en lugar de artefactos específicos de un conjunto de datos.

B. Optimización de Triggers Adversariales (Adversarial Trigger Optimization)

• Objetivo: Generar triggers dinámicos (renombramiento de identificadores) que sean sintácticamente válidos, sigilosos y óptimos globalmente.
• Técnica: Emplea Relajación Gumbel-Softmax para convertir la selección discreta de tokens en un problema de optimización diferenciable.
• Funcionamiento:
  1. En lugar de una búsqueda codiciosa (greedy) por identificador, se optimiza una matriz de distribución de probabilidad para todos los tokens simultáneamente.
  2. Se utilizan Gumbel-Softmax para obtener representaciones suaves (continuas) que permiten el flujo de gradientes.
• Función de Pérdida Compuesta:
  $$\mathcal{L}_{trigger} = \mathcal{L}_a + \lambda \cdot (\mathcal{L}_c + \mathcal{L}_d)$$
  • $\mathcal{L}_a$ (Ataque): Minimiza la entropía cruzada para lograr la salida maliciosa deseada.
  • $\mathcal{L}_c$ (Consistencia): Usa Discrepancia Media Máxima (MMD) para asegurar que todas las ocurrencias de un mismo identificador se mapeen al mismo trigger.
  • $\mathcal{L}_d$ (Diversidad): Usa MMD para maximizar la diferencia entre los triggers de diferentes identificadores, evitando patrones repetitivos y mejorando la sigilosidad.

C. Generación y Despliegue

• Se muestrean tokens discretos de las distribuciones optimizadas para reemplazar los identificadores originales en el código.
• El código envenenado se inyecta en repositorios públicos. Cuando la víctima entrena con estos datos, el modelo aprende la puerta trasera, la cual se activa en inferencia al encontrar el trigger específico.

3. Contribuciones Clave

1. Propuesta de STAB: Un nuevo marco de ataque de puerta trasera para modelos de código que generaliza más allá de la distribución de entrenamiento de la víctima, resolviendo el problema de transferencia entre conjuntos de datos.
2. Entrenamiento Consciente de la Agudeza: Introducción de SAM en el entrenamiento de modelos sustitutos para encontrar un paisaje de pérdida plano, facilitando la generación de triggers adversariales altamente transferibles.
3. Optimización Diferenciable: Diseño de una optimización de triggers basada en Gumbel-Softmax con restricciones MMD, produciendo triggers sigilosos, conscientes del contexto y sintácticamente válidos.
4. Validación Empírica: Demostración experimental de que STAB supera a los métodos existentes en escenarios realistas, manteniendo alta efectividad incluso bajo defensas de vanguardia.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos (Py150, CodeSearchNet, PyTorch) y dos modelos de código (PLBART, CodeT5).

• Transferibilidad (RQ1):
  • STAB superó al mejor ataque dinámico existente (AFRAIDOOR) en un 12.4% en la tasa de éxito del ataque (ASR) en escenarios de transferencia entre conjuntos de datos.
  • Logró una ASR promedio del 80.1% en transferencias cruzadas, demostrando que los patrones encontrados en regiones planas son robustos a cambios de distribución.
• Resistencia a Defensas (RQ2):
  • Tras aplicar defensas de vanguardia (KillBadCode, ONION, Spectral Signature), STAB mantuvo una tasa de éxito del 73.2%.
  • En contraste, los ataques estáticos fallaron completamente (0% ASR) bajo defensa, y AFRAIDOOR mostró una degradación significativa.
  • STAB logró las tasas de detección más bajas (menor Recall y F1 para las defensas), indicando una sigilosidad superior.
• Estudios de Ablación (RQ3):
  • La eliminación de SAM redujo la ASR y aumentó la desviación estándar, confirmando su importancia para la generalización.
  • La eliminación de Gumbel-Softmax (volviendo a búsqueda codiciosa) redujo la ASR post-defensa, demostrando que la optimización global es crucial para la sigilosidad.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Cierre de la Brecha de Realismo: Aborda la brecha entre los modelos de amenaza teóricos (distribuciones idénticas) y los escenarios reales (distribuciones diversas), proporcionando un modelo de amenaza más preciso para la seguridad de la IA en software.
• Nueva Vulnerabilidad: Revela que los modelos de código entrenados en regiones planas del paisaje de pérdida, aunque generalmente deseables para la generalización, pueden ser explotados para crear puertas traseras altamente transferibles.
• Desafío para la Defensa: Demuestra que las defensas actuales (basadas en anomalías de n-gramas o perplejidad) son insuficientes contra ataques dinámicos optimizados globalmente y conscientes de la agudeza.
• Impulso para Futuras Investigaciones: La investigación motiva el desarrollo de nuevas estrategias de defensa que consideren la geometría del paisaje de pérdida y la robustez de los patrones de código universales.

En conclusión, STAB representa un avance crítico en la comprensión de las vulnerabilidades de los modelos de código, demostrando que es posible crear ataques de puerta trasera que sean a la vez sigilosos y capaces de transferirse exitosamente entre diferentes entornos de datos y modelos.