Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

Resumen Técnico: Más allá del falso compromiso: EWC Adaptativo para Backdoors de Texto-a-Imagen Sigilosos y Generalizables

Enunciado del Problema
El artículo aborda una vulnerabilidad crítica en los modelos de difusión de Texto-a-Imagen (T2I): la dificultad de implementar ataques de backdoor sigilosos en el lado del texto que preserven el comportamiento limpio del modelo (fidelidad) mientras mantienen una alta Tasa de Éxito del Ataque (ASR). Este desafío es particularmente agudo en escenarios de despliegue práctico que involucran expertos adaptados con LoRA (modelos ajustados finamente para estilos específicos como anime o fotorrealismo).

Los autores identifican un "falso compromiso" en los enfoques existentes. El trabajo previo a menudo depende del alineamiento maestro-alumno en el espacio de salida (Aprender sin Olvidar, LwF) o de la Consolidación de Pesos Elásticos (EWC) estática para preservar el comportamiento limpio. El artículo demuestra que la EWC estática, que aplica una penalización fija a los cambios de parámetros, falla en estos escenarios. Específicamente, un peso de consolidación estática fuerte ($\lambda$) destinado a preservar el comportamiento limpio a menudo suprime el disparador del backdoor por completo (colapsando la ASR a 0), especialmente para disparadores débiles y sigilosos (por ejemplo, sustituciones Unicode) o en expertos LoRA. Esto ocurre porque el regularizador estático no puede distinguir entre el modelo "olvidando" el comportamiento limpio (lo cual requiere penalización) y el modelo "subajustando" el backdoor (lo cual requiere relajación).

Metodología: EWC Adaptativo Consciente del Coseno (AEWC)
Para resolver la tensión entre retener capacidades limpias y aprender el backdoor, los autores proponen el EWC Adaptativo Consciente del Coseno (AEWC). Este método transforma la EWC de una restricción estática en un sistema sensor-regulador sensible al contexto que opera exclusivamente durante el entrenamiento con cero sobrecarga de inferencia.

El marco consta de tres componentes centrales:

1. Pipeline Maestro-Alumno: Un codificador limpio congelado ($T$) actúa como maestro, mientras que un codificador entrenable ($S$) es el alumno. El alumno se entrena para mapear prompts envenenados a una incrustación objetivo, manteniendo la alineación con $T$ en prompts limpios.
2. Sensor Semántico (Utilidad Limpia): En lugar de usar el Error Cuadrático Medio (MSE), el AEWC emplea una pérdida de utilidad basada en similitud del coseno ($L_{utl-cos}$) en prompts limpios. Esto mide la deriva semántica entre el alumno y el maestro.
3. Regulador Adaptativo: La fuerza de consolidación $\lambda$ se modula dinámicamente en función de la relación entre la pérdida de utilidad limpia y la pérdida del backdoor ($L_{bd}$).
   • Un Promedio Móvil Exponencial (EMA) estabiliza esta relación ($\hat{r}_t$).
   • Si la relación es alta (indicando que el modelo está olvidando el comportamiento limpio), $\lambda$ aumenta para fortalecer la consolidación.
   • Si la relación es baja (indicando que el backdoor está subajustado), $\lambda$ disminuye para relajar la restricción, permitiendo que se aprenda el disparador.
   • El peso adaptativo final se recorta dentro de un rango definido $[\lambda_{min}, \lambda_{max}]$.

Contribuciones Clave

1. Diagnóstico del Fallo de la EWC Estática: El artículo proporciona un estudio sistemático que muestra que la EWC estática induce un modo de fallo catastrófico en expertos adaptados con LoRA y con disparadores débiles. Crea una apariencia falsa de alta fidelidad al suprimir el ataque por completo (ASR $\approx$ 0), en lugar de equilibrar exitosamente la retención y el aprendizaje.
2. Marco AEWC: Los autores introducen un diseño sensor-regulador que acopla un sensor semántico de coseno con un regulador adaptativo impulsado por la relación de pérdida limpia-a-backdoor. Los estudios de ablación confirman que tanto el sensor de coseno como el regulador adaptativo son necesarios para lograr el compromiso óptimo ASR-fidelidad.
3. Evidencia Empírica: El estudio demuestra que el AEWC logra una frontera de Pareto superior para ASR y fidelidad en comparación con la EWC estática, LwF y el entrenamiento simple. Crucialmente, es la única línea base que mantiene una ASR alta mientras preserva la estilización en expertos LoRA y se generaliza a texto fuera de distribución (OOD).

Resultados Experimentales
Los autores evaluaron su método en tres familias de disparadores (Sintácticos, Unicode/Homóglifos y Frases) en Stable Diffusion v1.5, incluyendo expertos LoRA adaptados de "Anime" y "Fotorreal" y texto OOD de AG News.

• Rendimiento In-Domain: Bajo presupuestos de entrenamiento coincidentes, el AEWC logró consistentemente una mayor similitud de Coseno Limpio (fidelidad) con una ASR comparable o superior a las líneas base estáticas. Para disparadores Unicode, el AEWC logró una ASR del 98.7% con un Coseno Limpio de 0.972, superando significativamente a la EWC estática, que luchó por aprender el disparador sin degradar la fidelidad.
• Expertos LoRA: En ambos expertos LoRA de Anime y Fotorreal, el AEWC mantuvo una ASR perfecta de 1.00 mientras preservaba la estilización (bajo FID y LPIPS). Por el contrario, la EWC estática colapsó el ataque (ASR = 0) al intentar preservar la estilización, y LwF ocasionalmente filtró artefactos del backdoor en las salidas limpias.
• Generalización Fuera de Distribución (OOD): El AEWC demostró una fuerte transferencia cero-shot a texto OOD (AG News), manteniendo alta fidelidad y ASR donde la EWC estática falló en generalizar efectivamente.
• Estudios de Ablación: Eliminar el regulador adaptativo (usando Estático+Coseno) o el sensor de coseno degradó el rendimiento, confirmando la necesidad de la sinergia completa sensor-regulador.

Significado y Afirmaciones
El artículo afirma que el AEWC resuelve la tensión "retener-aprender" en backdoors de T2I al hacer que el mecanismo de regularización sea consciente de la semántica. Al distinguir entre el olvido semántico y el subajuste del backdoor, el AEWC evita el modo de fallo de "supresión de disparador" inherente a la consolidación estática.

Los autores posicionan este trabajo como un principio de diseño práctico para backdoors sigilosos en el lado del texto, particularmente en el contexto de adaptadores LoRA y disparadores débiles. Argumentan que la consolidación en el espacio de parámetros, cuando se vuelve adaptativa y sensible al contexto, ofrece una alternativa robusta a la destilación en el espacio de salida, permitiendo ataques de alta fidelidad que se generalizan más allá de la distribución de entrenamiento sin incurrir en costos computacionales en tiempo de inferencia. El trabajo se enmarca como una contribución a la comprensión de la viabilidad y los mecanismos de tales ataques, con los autores notando la naturaleza de doble uso de la investigación y liberando instantáneas de configuración para verificación mientras restringen artefactos sensibles.