Resumen Técnico: TARO – Optimización de Rectificación Adversarial Temporal

Enunciado del Problema

Las redes neuronales profundas siguen siendo vulnerables a ejemplos adversarios, donde perturbaciones imperceptibles inducen predicciones erróneas. Aunque el entrenamiento adversario es una defensa dominante, adolece de altos costos de entrenamiento, especificidad a la familia de perturbaciones utilizada durante el entrenamiento y una compensación entre la precisión en datos limpios y la robustez. En consecuencia, la purificación adversarial ha surgido como una estrategia de defensa en tiempo de inferencia, que busca mapear las entradas potencialmente adversarias de vuelta hacia la variedad de imágenes naturales antes de la clasificación.

Los métodos estándar de purificación basados en difusión inyectan ruido gaussiano para atenuar estructuras adversarias y reconstruir la imagen mediante un proceso de difusión inversa. Sin embargo, estos métodos enfrentan una tensión intrínseca entre robustez y fidelidad:

• La desruidificación con bajo ruido preserva el contenido local de la imagen pero puede retener artefactos adversarios.
• La desruidificación con alto ruido suprime perturbaciones fuertes pero corre el riesgo de descartar detalles relevantes para la clase o desviarse hacia modos semánticos incorrectos.

Evaluaciones recientes indican que las afirmaciones sobre purificación estocástica a menudo están exageradas cuando los ataques no logran diferenciarse a través del proceso de purificación o no tienen en cuenta la estocasticidad. Además, los métodos existentes de optimización en tiempo de prueba suelen depender de un único régimen de ruido de difusión en cada actualización, colapsando la información multiescala en una única estimación local. Asimismo, las variantes conscientes del adversario a menudo requieren modelos de perturbación auxiliares entrenados sobre distribuciones de ataque específicas, lo que limita su generalización.

Metodología: TARO

Los autores proponen la Optimización de Rectificación Adversarial Temporal (TARO), un marco de purificación en tiempo de prueba que trata los pasos de tiempo de difusión como expertos de desruidificación dependientes de la escala. En lugar de depender de un único nivel de ruido, TARO agrega múltiples vistas de desruidificación a lo largo de la trayectoria de difusión para construir un prior de puntuación guiado temporalmente.

Mecanismo Central: Agregación Temporal Afín

TARO formula un objetivo residual de lo grueso a lo fino combinando salidas de múltiples expertos de ruido:

1. Producto Temporal de Expertos (PoE): El método define un prior de tiempo continuo donde la log-densidad es una integral ponderada de distribuciones inducidas por difusión a través de los pasos de tiempo.
2. Extrapolación Afín: A diferencia del PoE estándar, que requiere pesos no negativos (interpolación convexa), TARO permite una agregación afín donde los pesos pueden ser negativos mientras suman uno. Esto permite que el método realice correcciones de lo grueso a lo fino más allá de la interpolación estándar.
3. Construcción del Objetivo: La imagen objetivo $x_{target}$ se construye como:
   $$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$$
   Donde $u_j$ representa la salida desruidificada de un régimen de ruido específico (experto).
   • Expertos de alto ruido ($u_K$): Proporcionan estructuras suavizadas globalmente con menor sensibilidad a componentes adversarios frágiles.
   • Expertos de bajo ruido ($u_j$): Restablecen detalles específicos de la imagen y relevantes para la clase.
   • Fuerza de Guía ($\gamma$): Controla el equilibrio. Cuando $\gamma > 1$, el método realiza una extrapolación al estilo de guía, amplificando la dirección de corrección definida por la discrepancia entre expertos finos y gruesos.

Optimización y Regularización

• Optimización: TARO actualiza la entrada minimizando una pérdida de objetivo fijo $\|sg(x_{target}) - x_i\|^2_2$, donde $sg(\cdot)$ denota una operación de stop-gradient para tratar el objetivo como fijo durante la actualización.
• Regularización de Consistencia de Expertos: Para estabilizar la corrección temporal amplificada (especialmente para ataques $\ell_2$ donde los residuos entre pasos de tiempo pueden ser inestables), TARO introduce una pérdida de consistencia $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$. Esto fomenta que los expertos temporales coincidan en la estimación purificada.
• Variante Híbrida (TARO-AA): TARO está diseñado para ser complementario a modelos de verosimilitud conscientes del adversario (por ejemplo, AAOpt). La variante híbrida reemplaza el prior de difusión de escala única en AAOpt con el prior de consenso temporal de TARO, combinando la rectificación temporal interna con modelos de residuo aprendidos externos.

Protocolo de Evaluación

El artículo enfatiza la necesidad de una evaluación consciente de la optimización. Dado que TARO implica un bucle interno de optimización, los ataques deben:

• Dirigirse a la composición completa purificador–clasificador.
• Tener en cuenta la estocasticidad mediante la Esperanza sobre Transformación (EOT).
• Preservar gradientes de orden superior (diferenciación consistente con el grafo) a través del bucle interno de optimización. Los autores demuestran que no hacerlo conduce a estimaciones de robustez severamente infladas debido al enmascaramiento de gradientes.

Contribuciones Clave

1. Marco TARO: Introducción de un purificador en tiempo de prueba que agrega múltiples regímenes de ruido de difusión en un objetivo de desruidificación afín de lo grueso a lo fino, combinando efectivamente una estructura global robusta con la preservación semántica a escala fina.
2. Interpretación Teórica: Interpretación de TARO como una extensión afín de la agregación temporal de producto de expertos, proporcionando interpretaciones de riesgo y gaussianas locales que explican el papel de la fuerza de guía $\gamma$.
3. Evaluación Exhaustiva: Evaluación bajo fuertes ataques adaptativos que incluyen PGD-EOT, BPDA-EOT, AutoAttack-EOT y DiffBreak. El estudio demuestra que TARO mejora la robustez $\ell_\infty$ zero-shot y aumenta aún más la robustez cuando se combina con verosimilitudes conscientes del adversario o regularización de consistencia.
4. Estudio de Protocolo de Evaluación: Un análisis crítico que muestra que la evaluación adaptativa confiable de purificadores basados en optimización requiere preservar gradientes de orden superior, corrigiendo las sobreestimaciones anteriores de robustez en el campo.

Resultados Experimentales

Los experimentos se realizaron en CIFAR-10, CIFAR-100, CIFAR-10-C e Imagenette utilizando clasificadores WRN-28-10 y WRN-70-16.

• Robustez $\ell_\infty$: TARO alcanza la robustez más avanzada entre los métodos de purificación. En CIFAR-10 con WRN-28-10 bajo PGD-EOT, TARO-3 logra una 88.57% de precisión robusta, superando a AAOpt (85.12%) y manteniendo una alta precisión limpia (~93.45%).
• Robustez $\ell_2$: TARO zero-shot crudo es más débil contra ataques $\ell_2$. Sin embargo, agregar regularización de consistencia o la verosimilitud consciente del adversario (TARO-AA) recupera significativamente el rendimiento. TARO-2 + Consistencia logra una 88.99% de precisión robusta, superando a AAOpt (86.40%).
• Ataques DiffBreak: Bajo el ataque de baja frecuencia DiffBreak, los purificadores de difusión estándar colapsan a una precisión robusta del 0.0%. TARO-2-AA mantiene una 90.10% de precisión robusta, superando significativamente a AAOpt (85.41%).
• Transferibilidad: TARO sigue siendo efectivo en el conjunto de datos Imagenette y bajo configuraciones de transferencia DiffBreak.
• Ablaciones:
  • Fuerza de Guía ($\gamma$): El $\gamma$ óptimo varía según el tipo de ataque (por ejemplo, $\gamma=1.5$ para $\ell_\infty$, $\gamma=2.0$ para $\ell_2$).
  • Flujo de Gradientes: Eliminar la operación stop-gradient reduce la robustez solo ligeramente, confirmando que las ganancias provienen de la rectificación temporal multiescala y no de gradientes rotos.
  • Independencia del Clasificador: Los resultados se mantienen a través de diferentes arquitecturas de clasificador (WRN-28-10 y WRN-70-16).

Significado y Afirmaciones

El artículo afirma que TARO proporciona una señal de rectificación zero-shot derivada directamente del modelo de difusión de imágenes limpias preentrenado, sin requerir reentrenamiento ni modelos de ataque auxiliares. Su importancia radica en:

1. Resolver la Compensación Robustez-Fidelidad: Al aprovechar una visión temporal de producto de expertos, TARO evita comprometerse con un único punto en el espectro robustez-fidelidad, equilibrando dinámicamente la corrección global con el detalle semántico.
2. Superioridad bajo Ataques Adaptativos: TARO demuestra resiliencia frente a fuertes ataques adaptativos (BPDA-EOT, DiffBreak) donde fallan los purificadores de difusión estándar, siempre que el protocolo de evaluación tenga en cuenta correctamente el bucle de optimización.
3. Modularidad: El marco es compatible con modelos de verosimilitud conscientes del adversario existentes, ofreciendo una vía para obtener mayores ganancias de robustez combinando priores temporales con modelos de residuo aprendidos.

Los autores reconocen limitaciones, incluido el aumento de la latencia de inferencia debido a la optimización multiescala y la naturaleza empírica de la defensa (falta de robustez certificada). Concluyen que TARO representa un paso hacia defensas más fiables, transparentes y cuidadosamente evaluadas para aplicaciones críticas para la seguridad.