Enhancing Adversarial Transferability through Block Stretch and Shrink

Resumen Técnico: Transformación de Entrada Orientada a la Respuesta del Frontend para Ataques Adversarios Transferibles (FRO)

Planteamiento del Problema
Las Redes Neuronales Profundas (DNN) son vulnerables a los ejemplos adversarios, donde las perturbaciones imperceptibles causan una clasificación errónea. Aunque los ataques de caja blanca son efectivos, a menudo sufren de una transferencia limitada a modelos objetivo de caja negra. Los ataques basados en la transformación de la entrada intentan mejorar la transferibilidad agregando gradientes sobre múltiples vistas transformadas de una entrada. Sin embargo, las explicaciones existentes para su eficacia —como la diversidad de la imagen, la preservación semántica, la varianza de la atención o la aumentación del espacio de hipótesis— se centran principalmente en las características a nivel de imagen o en las respuestas de alto nivel del modelo. Estos enfoques pasan por alto el papel crítico del frontend del modelo (codificación de características temprana). Las transformaciones visualmente distintas no necesariamente inducen diferencias útiles o transferibles tras la codificación del frontend; si múltiples vistas producen respuestas de frontend casi idénticas, los gradientes resultantes siguen siendo redundantes. Además, las comparaciones existentes entre métodos de transformación carecen de equidad porque varían en el número de vistas transformadas (tamaño del ensamble), confundiendo los beneficios del diseño de la transformación con los beneficios de simplemente aumentar la escala del ensamble.

Metodología
El artículo propone FRO (Frontend Response-Oriented input transformation), un método basado en una perspectiva de ensamble implícito.

1. Formulación de Ensamble Implícito: Los autores reinterpretan los ataques basados en la transformación de la entrada como un ensamble funcional implícito. Dada una fuente $f_s$ y transformaciones $\{T_i\}$, el ataque optimiza sobre un conjunto de miembros compuestos $\{f_s \circ T_i\}$. A diferencia de los ensambles convencionales que usan diferentes parámetros de modelo, este ensamble implícito utiliza el mismo modelo fuente pero con diferentes operadores pre-modelo. La diversidad de este ensamble no está determinada por los parámetros del modelo, sino por la diversidad de la respuesta del frontend inducida por las transformaciones.
2. Perspectiva de Respuesta del Frontend: Los autores argumentan que, para la transferibilidad, las transformaciones deben inducir diferencias de respuesta en el frontend de la fuente que no sean puramente específicas de la fuente, sino que sean parcialmente compartidas con arquitecturas objetivo heterogéneas (por ejemplo, CNN y Vision Transformers).
3. Factores de Frontend Compartidos: A través de un análisis preliminar, los autores identifican dos factores comunes tanto en los frontends de CNN como de ViT que las transformaciones deberían abordar:
   • Muestreo de Contenido Local: Cómo se presentan la escala local, la densidad de textura y las posiciones de los bordes a los campos receptivos o tokens de parche.
   • Organización Espacial: Geometría global, forma del objeto y disposición espacial.
4. Operadores FRO: Para perturbar estos factores, FRO emplea dos operadores complementarios:
   • Operador de Escala Local: Parte la imagen en bloques y aplica operaciones aleatorias de estiramiento y encogimiento a los bloques individuales. Esto altera la escala local, la densidad de textura y las posiciones de los bordes mientras preserva el tamaño global de la imagen.
   • Operador de Proyección: Aplica una deformación de perspectiva globalmente coherente (variaciones de inclinación y distancia focal) a toda la imagen. Esto modifica la geometría global, la forma del objeto y la disposición espacial.
   • Proceso de Generación: En cada iteración, se generan $N$ vistas transformadas mediante el muestreo secuencial de los operadores de Escala Local y de Proyección. Los gradientes de estas vistas se agregan para actualizar la perturbación adversaria.
5. Tamaño de Ensamble Implícito Unificado ($N$): Para asegurar comparaciones justas, los autores definen $N$ como el número unificado de vistas transformadas utilizadas para la agregación de gradientes. Esto permite que las diferencias de rendimiento se atribuyan al diseño de la transformación y no a la escala del ensamble.
6. Métrica de Evaluación (T-FRDM): Para cuantificar la consistencia entre arquitecturas, el artículo introduce una Matriz de Disimilitud de Respuesta de Frontend inducida por la Transformación (T-FRDM). En lugar de comparar características heterogéneas puras, compara las relaciones (estructuras de disimilitud) entre los desplazamientos de respuesta de las vistas transformadas en los frontends de CNN y ViT. Un menor intervalo entre estas matrices de relación indica una mejor preservación de los factores de respuesta entre arquitecturas.

Contribuciones Clave

• Reinterpretación Teórica: El artículo formula los ataques basados en la transformación de la entrada como un ensamble implícito de entrada transformada e introduce la perspectiva de respuesta del frontend para explicar la transferibilidad adversaria, cambiando el enfoque de la diversidad de la imagen a cómo las transformaciones son codificadas por las capas tempranas del modelo.
• Algoritmo FRO: La propuesta de FRO, que combina la Escala Local y la Proyección globalmente coherente para inducir variaciones complementarias de la respuesta del frontend local y global.
• Protocolo de Evaluación Unificado: La introducción de un tamaño de ensamble implícito unificado $N$ para desacoplar los efectos del diseño de la transformación del tamaño del ensamble, permitiendo comparaciones más justas entre ataques basados en la transformación de la entrada.
• Herramienta de Análisis: El desarrollo de una métrica basada en relaciones (T-FRDM) para medir la consistencia de la respuesta del frontend entre arquitecturas sin alinear los espacios de características puras.

Resultados Experimentales
Los experimentos se realizaron en un subconjunto de ImageNet utilizando varios modelos fuente (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) y modelos objetivo (6 CNN y 5 Vision Transformers).

• Transferibilidad: FRO superó consistentemente a otros ataques de transformación de entrada de última generación (DeCoWA, CWT, SIA, SID, OPS) en diversas arquitecturas de origen y objetivo. Logró los mejores resultados en caja negra en 6 de los 11 modelos objetivo y mantuvo un fuerte desempeño incluso con tamaños de ensamble más pequeños (por ejemplo, $N=10$).
• Robustez ante Defensas: FRO demostró una transferibilidad superior contra modelos defendidos, incluyendo entrenamiento adversario de ensamble, suavizado aleatorio (RS), compresión de características (HGD), purificadores de representación neuronal (NRP), entrenamiento adversario (AT) y purificación basada en difusión (DiffPure). Logró la tasa de éxito más alta en 8 de 9 entornos defendidos.
• Estudios de Ablación: El estudio confirmó que los hiperparámetros específicos para los operadores de Escala Local y Proyección (por ejemplo, tamaño de bloque, ángulo de inclinación) impactan significativamente el rendimiento. También validó que aumentar $N$ generalmente mejora el rendimiento, pero que el diseño de FRO ofrece una alta eficiencia incluso con un $N$ bajo.
• Análisis de Frontend: El análisis T-FRDM mostró que FRO induce relaciones de respuesta en el frontend de la fuente que se preservan de manera más consistente en el frontend del objetivo en comparación con otros métodos, lo que respalda la motivación teórica del artículo.

Significancia
El artículo afirma que la principal significancia de FRO radica en su cambio de perspectiva: en lugar de ver las transformaciones de entrada simplemente como aumentación de imagen o generadores de diversidad, estas deben diseñarse para perturbar los factores de respuesta del frontend que son relevantes en arquitecturas heterogéneas. Al atacar explícitamente la muestra de contenido local y la organización espacial —factores compartidos por CNN y ViT—, FRO genera perturbaciones que son menos propensas al sobreajuste de la fuente. El trabajo sugiere que diseñar transformaciones desde la perspectiva de los ensambles de respuesta del front-end es una estrategia más efectiva para mejorar la transferibilidad adversaria que depender únicamente de la diversidad de la imagen o la preservación semántica. La introducción del tamaño de ensamble unificado $N$ proporciona además un marco riguroso para la investigación futura en este dominio.