Improving Adversarial Robustness via Activation Amplification and Attenuation

Resumen Técnico: Mejora de la Robustez Adversaria mediante la Amplificación y Atenuación de Activaciones

Planteamiento del Problema
Las Redes Neuronales Profundas (DNN) son vulnerables a los ejemplos adversarios: entradas con perturbaciones imperceptibles diseñadas para confundir las predicciones del modelo. Esta vulnerabilidad suele atribuirse a la presencia de "características no robustas" dentro de las representaciones internas de la red. Si bien las estrategias de defensa previas han intentado mitigar esto mediante la poda (pruning), el enmascaramiento o la recalibración de características, estos enfoques suelen enfrentar compensaciones (trade-offs). Algunos métodos descartan por completo las características no robustas, perdiendo potencialmente información útil, mientras que otros introducen módulos complementarios complejos con una sobrecarga significativa de parámetros y una interpretabilidad reducida. Además, las técnicas de escalado de activación existentes diseñadas para la detección de datos fuera de distribución (OOD) suelen depender de operaciones no diferenciables (por ejemplo, selección top-k) o formulaciones exponenciales que pueden causar la saturación del gradiente, lo que las hace inadecuadas para el entrenamiento adversario de extremo a extremo (end-to-end).

Metodología: Amplificación y Atenuación de Activaciones (A3)
Los autores proponen A3, un módulo complementario (plug-in) ligero diseñado para mejorar la robustez adversaria mediante un mecanismo de reescalado controlado. A3 se integra en la red base (por ejemplo, después de bloques específicos de ResNet) y opera sobre las activaciones intermedias ($z$).

1. Enmascaramiento y Escalado Aprendibles:
   En lugar de una poda rígida, A3 calcula una máscara binaria por canal ($m$) utilizando una proyección aprendible y un truco de Gumbel-Softmax para asegurar la diferenciabilidad. Esta máscara identifica canales basados en la distribución de las magnitudes de activación originales.
   El módulo calcula dos estadísticas de las activaciones: la magnitud total ($s_1$) y la magnitud del subconjunto enmascarado ($s_2$). Utilizando estas, deriva dos factores de escalado ($f_m$ y $f_{1m}$) mediante una formulación logarítmica:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Este enfoque logarítmico se elige sobre las formulaciones exponenciales para garantizar gradientes estables y evitar la inestabilidad numérica durante el entrenamiento adversario.

2. Modos Duales (Amplificación y Atenuación):
   A3 utiliza los mismos parámetros aprendibles para producir dos salidas distintas invirtiendo el signo de la operación de escalado:

   • Atenuación ($z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. Este modo suprime la influencia de las características no robustas.
   • Amplificación ($z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. Este modo exagera los patrones de activación, funcionando efectivamente como una "referencia negativa".

3. Funciones de Objetivo Novedosas:
   El proceso de entrenamiento aprovecha ambos modos para definir nuevas funciones de pérdida:

   • Pérdida de Clasificación de Jerarquía de Entropía Cruzada ($L_{rank}$): Una pérdida de tipo hinge que obliga a las activaciones atenuadas a producir una pérdida de entropía cruzada menor que las activaciones amplificadas. Esto crea un proceso de optimización competitivo donde el modelo aprende a degradar las predicciones en el modo de amplificación mientras mejora las predicciones en el modo de atenuación.
   • Pérdida de Logit Contrastivo ($L_{cl}$): Una pérdida de tipo triplete que minimiza la distancia entre los logits limpios y los adversarios en el modo de atenuación, mientras maximiza la distancia entre los logits atenuados y los amplificados.

El objetivo final combina la pérdida de entrenamiento adversario estándar (por ejemplo, AT, TRADES, MART) con estos componentes propuestos. Durante la inferencia, solo se utiliza el modo de atenuación ($z_{att}$).

Contribuciones Clave

• Módulo A3: Un módulo complementario ligero que mejora la robustez con una sobrecarga mínima de computación y memoria, basándose en un simple mecanismo de escalado en lugar de capacidad de red adicional.
• Mecanismo de Modo Dual: Un enfoque novedoso que aprende simultáneamente a amplificar y atenuar señales utilizando los mismos parámetros. El artículo demuestra que aprender a degradar las predicciones en el modo de amplificación mejora simultáneamente la robustez en el modo de atenuación.
• Escalado Diferenciable: La sustitución de las operaciones top-k no diferenciables (comunes en la detección de OOD) por una máscara aprendible y diferenciable y un escalado logarítmico para evitar la obfuscación de gradientes y asegurar la estabilidad.
• Nuevas Funciones de Pérdida: La introducción de pérdidas contrastivas y de jerarquía que utilizan las activaciones amplificadas como referencias negativas para guiar el aprendizaje de la robustez.

Resultados Experimentales
Se realizaron experimentos extensos en CIFAR-10, CIFAR-100 y Tiny ImageNet utilizando backbones ResNet-18 y WideResNet-34-10, integrados con estrategias de entrenamiento AT, TRADES y MART.

• Rendimiento: A3 superó consistentemente a las defensas complementarias existentes (por ejemplo, CAS, CIFS, FSR, FPCM, EMFF) en diversos tipos de ataques (FGSM, PGD-20/100, C&W, AutoAttack). Por ejemplo, en ResNet-18 con AT en CIFAR-10, A3 logró una mejora del 4.99% en la precisión de ensamble sobre el backbone original.
• Eficiencia: A3 introduce una sobrecarga insignificante. Comparado con el modelo base, añade solo ~0.27M de parámetros y ~0.0021G FLOPs para ResNet-18, significativamente menos que otros métodos basados en enmascaramiento como FTA2C.
• Estudios de Ablación:
  • Análisis de Modos: El modo de atenuación supera significativamente al modo de amplificación y a las estrategias de supresión rígida, confirmando que la atenuación selectiva es superior al descarte completo de características.
  • Componentes de Pérdida: Tanto la pérdida de jerarquía como la de contraste son esenciales; eliminarlas o reemplazar la formulación hinge por una entropía cruzada estándar conduce a la degradación del rendimiento.
  • Formulación de Escalado: El factor de escalado logarítmico propuesto ($f_m$) superó a las alternativas lineales, cuadráticas y exponenciales.
  • Desplazamiento de Distribución: El análisis de las distribuciones de activación muestra que A3 induce una separación clara entre los ejemplos limpios y los adversarios en el modo de atenuación, mientras que el modo de amplificación causa que las distribuciones se solapen, validando el papel de la amplificación como una referencia negativa.

Significancia
El artículo afirma que A3 ofrece una dirección prometedora para construir modelos robustos e interpretables centrándose en la defensa basada en características con pocos parámetros entrenables. Al demostrar que aprender a degradar las predicciones en un modo mejora la robustez en otro, este trabajo desafía la noción de que las defensas deben centrarse únicamente en la supresión. El método alcanza una robustez de vanguardia entre los módulos complementarios manteniendo una alta precisión en datos limpios e introduciendo un costo computacional insignificante, lo que lo convierte en una solución práctica y eficiente para asegurar las DNN contra ataques adversarios.