Resumen Técnico: BADBONE

Declaración del Problema

El aprendizaje de prompts (prompt learning) ha emergido como un paradigma eficiente para adaptar modelos de backbone pre-entrenados a gran escala (por ejemplo, ViT, CLIP, ResNet) a tareas de orden inferior sin realizar un ajuste fino (fine-tuning) de los parámetros del backbone. En su lugar, aprende una perturbación de entrada ligera (un "prompt") para desplazar la distribución de la entrada. Si bien este enfoque ahorra recursos computacionales y ofrece flexibilidad, sus vulnerabilidades de seguridad permanecen poco exploradas.

Los ataques de backdoor existentes en el aprendizaje de prompts suelen inyectar el backdoor directamente en el propio prompt. Estos ataques son limitados porque solo afectan a un diseño de prompt visual específico; si la víctima elige un diseño de prompt diferente, el ataque falla. Por el contrario, los ataques de backdoor tradicionales en modelos de backbone suelen comprometer la utilidad del modelo o son fácilmente detectables porque el trigger activa el backdoor independientemente del proceso de adaptación de la tarea de orden inferior.

El artículo identifica una brecha: no existe un método efectivo para implantar un backdoor en el modelo de backbone de tal manera que la vulnerabilidad sea heredada por cualquier tarea de orden inferior que emplee el aprendizaje de prompts, manteniendo al mismo tiempo una alta utilidad y sigilo.

Metodología: BADBONE

Los autores proponen BADBONE, el primer ataque de backdoor dirigido al modelo de backbone en el aprendizaje de prompts visuales. La innovación central es un marco de optimización bi-nivel que optimiza simultáneamente el proceso de generación de prompts y el proceso de envenenamiento del backbone.

1. Modelo de Amenaza

• Atacante: Un proveedor de modelos malicioso que suministra un modelo de backbone con backdoor ($f'$) a una víctima.
• Víctima: Un usuario con conocimientos limitados de ML que utiliza el backbone proporcionado para generar su propio prompt visual ($g'$) para una tarea de orden inferior específica.
• Capacidades: El atacante tiene acceso a un conjunto de datos de sombra ($D$) similar a los datos de orden inferior de la víctima y al conjunto de datos de pre-entrenamiento original. El atacante no puede influir en el proceso de generación de prompts de la víctima, pero puede controlar los pesos del backbone.
• Objetivo:
  • Utilidad: El backbone con backdoor debe desempeñarse de manera competitiva tanto en las tareas de pre-entrenamiento como en las tareas de orden inferior (con un prompt limpio).
  • Efectividad: El modelo debe clasificar erróneamente las muestras activadas (dirigidas o no dirigidas).
  • Sigilo: El backdoor debe permanecer latente a menos que estén presentes tanto un prompt de orden inferior aprendido como un trigger específico.

2. Marco de Optimización Bi-nivel

El ataque se formula como un problema de optimización anidado donde los parámetros del prompt ($\phi$) son las variables de nivel superior y los parámetros del backbone ($\theta$) son las variables de nivel inferior:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{sujeto a } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

La solución se aproxima mediante un proceso iterativo que alterna entre dos fases:

• Fase A: Aprendizaje de Prompts (Nivel Superior):
  El atacante congela el modelo de backbone ($f_\theta$) y optimiza un prompt ($g_\phi$) utilizando un conjunto de datos de sombra ($D$). Esta fase imita el comportamiento de la víctima para asegurar que el prompt aprendido sea compatible con el backbone envenenado. La pérdida es una entropía cruzada categórica estándar ($\ell_{prompt}$).

• Fase B: Fase de Envenenamiento (Nivel Inferior):
  El atacante congela el prompt aprendido ($g_\phi$) y realiza un ajuste fino del modelo de backbone ($f_\theta$) utilizando un conjunto de datos de envenenamiento compuesto ($D_{poisoning}$). Este conjunto de datos consta de tres subconjuntos:

  1. Conjunto de Datos con Trigger ($D_t$): Imágenes con un trigger añadido y etiquetas invertidas hacia una clase objetivo (para ataques dirigidos) o invertidas de forma aleatoria/secuencial (para ataques no dirigidos).
  2. Conjunto de Datos Limpio ($D_c$): Imágenes limpias del conjunto de datos de sombra para mantener la utilidad de la tarea de orden inferior.
  3. Conjunto de Datos de Pre-entrenamiento ($D_p$): Imágenes del conjunto de pre-entrenamiento original para mantener la utilidad del pre-entrenamiento.

  La pérdida de envenenamiento ($\ell_{poisoning}$) es una suma ponderada:
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  donde $\gamma, \beta, \alpha$ equilibran la efectividad del ataque, la utilidad de la tarea de orden inferior y la utilidad del pre-entrenamiento, respectivamente.

3. Mecanismo de Activación

El backdoor emplea un mecanismo de "co-activación de prompt y trigger".

• Solo Trigger: Si se aplica un trigger al backbone sin un prompt aprendido (por ejemplo, en la tarea de pre-entrenamiento), el backdoor permanece latente y el modelo se comporta normalmente.
• Solo Prompt: Si se utiliza un prompt aprendido sin un trigger, el modelo mantiene una alta precisión en entradas limpias.
• Co-activación: El comportamiento malicioso solo se exhibe cuando la víctima utiliza el backbone envenenado para generar un prompt para una tarea de orden inferior y la imagen de entrada contiene el trigger.

Contribuciones Clave

1. Primer Ataque a Nivel de Backbone: BADBONE es el primer trabajo que propone un ataque de backdoor dirigido/no dirigido contra el modelo de backbone en el aprendizaje de prompts visuales, en lugar de contra el prompt mismo.
2. Optimización Bi-nivel: Los autores introducen una estrategia de optimización bi-nivel para manejar la interacción entre el envenenamiento del backbone y la adaptación de prompts de orden inferior, permitiendo que el backdoor sea heredado por el prompt aprendido por la víctima.
3. Sigilo: El ataque presenta un mecanismo de co-activación que hace que el backdoor sea difícil de detectar mediante defensas estándar, ya que no se activa bajo escenarios de condición única (solo trigger o solo prompt).
4. Transferibilidad: El ataque demuestra una alta transferibilidad a través de diferentes arquitecturas de backbone (ResNet18, ResNet50, BiT-M-RN50), conjuntos de datos (CIFAR-10, SVHN, EuroSAT) y diseños de prompt (padding, parches).

Resultados Experimentales

Los autores evaluaron BADBONE en tres modelos de backbone y tres conjuntos de datos de orden inferior.

• Efectividad:
  • Ataques Dirigidos: Lograron altas Tasas de Éxito de Ataque (ASR). Por ejemplo, en CIFAR-10 con ResNet50, el ASR alcanzó el 98.66% (línea base: 12.44%).
  • Ataques No Dirigidos: Lograron altas Tasas de Clasificación Errónea (MR). Por ejemplo, en EuroSAT con ResNet18, el MR alcanzó el 93.16% (línea base: 26.68%).
• Utilidad:
  • Los modelos con backdoor mantuvieron un rendimiento competitivo en las tareas de pre-entrenamiento ($Acc_{pre}$) y en las tareas de orden inferior con prompts limpios ($Acc_{target}$). En muchos casos, la utilidad fue comparable o ligeramente mejor que las líneas base limpias debido a la inclusión de datos limpios en la fase de envenenamiento.
• Evaluación de Sigilo:
  • Solo Trigger: Cuando se probó en la tarea de pre-entrenamiento con triggers pero sin prompt, el ASR fue insignificante (por ejemplo, 0.10%), indistinguible de los modelos limpios.
  • Solo Prompt: Los modelos mantuvieron una alta precisión en conjuntos de prueba limpios.
• Evasión de Defensas:
  • Los autores evaluaron seis defensas de vanguardia: Neural Cleanse, ABS, MNTD, NAD, CLP y D-BR.
  • Detección: Neural Cleanse, ABS y MNTD fallaron ampliamente en detectar los backdoors, prediciendo los modelos como limpios.
  • Eliminación: NAD, CLP y D-BR fallaron en eliminar el backdoor sin degradar severamente la utilidad del modelo. Específicamente, CLP eliminó el backdoor pero destruyó la utilidad, mientras que D-BR falló en eliminar el backdoor y también dañó la utilidad.

Significado y Reivindicaciones

El artículo afirma que BADBONE expone una vulnerabilidad crítica y previamente inexplorada en el paradigma de aprendizaje de prompts. Al atacar el modelo de backbone en lugar del prompt, el ataque asegura que la vulnerabilidad sea heredada por cualquier tarea de orden inferior que utilice el backbone envenenado, independientemente del diseño de prompt específico elegido por la víctima.

Los autores enfatizan que el mecanismo de co-activación es la clave del sigilo del ataque, lo que hace que los métodos de detección existentes (que a menudo dependen de análisis de solo trigger o de perturbación global) sean ineficaces. El trabajo concluye que los mecanismos de defensa actuales son insuficientes para este nuevo vector de ataque y destaca la urgente necesidad de desarrollar defensas avanzadas diseñadas específicamente para la interacción entre modelos de backbone y aprendizaje de prompts. Los autores liberan su código para facilitar la reproducibilidad y la investigación defensiva.