Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

Resumen Técnico: Ataques Adversariales Dirigidos por Muestra en la Adaptación en Tiempo de Prueba

Enunciado del Problema
La adaptación en tiempo de prueba (TTA) mitiga eficazmente los desplazamientos de distribución actualizando los parámetros del modelo en línea mediante flujos de prueba sin etiquetar. Sin embargo, esta dependencia del flujo sin etiquetar crea una superficie de ataque crítica. Las amenazas adversariales existentes contra la TTA se centran principalmente en la degradación no dirigida o en ataques dirigidos por clase. Los ataques por clase, que fuerzan todas las muestras de una clase semántica específica (por ejemplo, todos los signos de "alto") hacia una etiqueta objetivo, son inherentemente poco sigilosos. Dado que la TTA opera por lotes, forzar un subconjunto de muestras hacia una etiqueta objetivo arrastra inadvertidamente muestras benignas similares, lo que resulta en una concentración conspicua y antinatural de la etiqueta objetivo en la distribución de salida. En escenarios de despliegue donde no están disponibles las etiquetas de verdad fundamental, esta anomalía distribucional sirve como una señal de detección fácil. El artículo postula que se requiere un modelo de amenaza más realista y peligroso: uno donde un adversario pueda malclasificar selectivamente solo entradas específicas mientras preserva la distribución global de etiquetas de las consultas benignas.

Metodología
Los autores proponen un marco de ataque dirigido por muestra que opera bajo un escenario de caja gris. El atacante tiene acceso a la arquitectura y los parámetros del modelo preentrenado inicial, pero carece de acceso al algoritmo de TTA del lado del servidor, a los datos de la víctima o a las etiquetas de verdad fundamental. El ataque depende de un desencadenante específico (por ejemplo, un parche o un patrón sinusoidal) inyectado en las entradas de la víctima. El objetivo es malclasificar solo las entradas que portan este desencadenante, asegurando al mismo tiempo que las entradas no desencadenadas mantengan una distribución de predicción consistente con una línea base benigna.

La generación del ataque emplea un enfoque basado en meta-aprendizaje para simular el proceso de TTA utilizando únicamente datos controlados por el atacante. La optimización involucra dos objetivos competitivos:

1. Objetivo de Ataque Principal ($L_{cls}$): Maximiza la tasa de éxito de malclasificar las entradas que portan el desencadenante hacia una etiqueta objetivo.
2. Objetivo Secundario de Sigilo ($L_{stl}$): Minimiza la divergencia en la distribución de salida del modelo sobre entradas benignas causada por la presencia de muestras adversariales en el mismo lote.

Un desafío crítico identificado es la fuerte desalineación de gradientes entre estos dos objetivos; el análisis empírico muestra que sus gradientes son antagónicos en casi todos los pasos de optimización (similitud del coseno negativa del 99,9%). Los métodos estándar de aprendizaje multitarea (MTL), que buscan compromisos simétricos de Pareto, fallan aquí porque sacrifican el éxito del ataque por ganancias marginales de sigilo.

Para resolver esto, los autores introducen una estrategia de alineación de gradientes con conciencia de prioridad formulada como un problema de región de confianza elipsoidal.

• Asimetría de Prioridad: La dirección de actualización se construye para mantenerse cerca del gradiente de ataque ($a$) mientras penaliza el movimiento hacia el gradiente de sigilo ($c$) si se desvía de $a$.
• Región de Confianza Elipsoidal: La dirección de actualización $d$ se restringe dentro de un elipsoide centrado en $a$ con una métrica $M = I + \lambda uu^\top$, donde $u$ representa la dirección de desviación hacia el gradiente de sigilo. Esta geometría reduce el tamaño de paso permitido a lo largo de la dirección de sigilo desalineada, preservando al mismo tiempo la dirección de ataque.
• Garantía Teórica: El artículo proporciona un teorema que demuestra que esta dirección alineada asegura un descenso monótono en el objetivo de ataque incluso bajo una desalineación de gradientes severa, una garantía que carecen las líneas base simétricas.

Contribuciones Clave

1. Formalización del Modelo de Amenaza: El artículo define un modelo de amenaza dirigido por muestra para la TTA, distinguiéndolo de los ataques por clase anteriores al imponer una selectividad estricta basada en desencadenantes en lugar de clases semánticas.
2. Estrategia de Optimización Novel: La propuesta de un marco de meta-aprendizaje potenciado por una alineación de gradientes con conciencia de prioridad, que maneja explícitamente la naturaleza antagónica de los objetivos de ataque y sigilo sin sacrificar el objetivo principal de ataque.
3. Análisis Teórico: Provisión de garantías teóricas que demuestran que la dirección de actualización elipsoidal propuesta asegura una optimización efectiva del objetivo de ataque incluso cuando los gradientes están desalineados.
4. Validación Empírica: Experimentos extensos que demuestran altas tasas de éxito de ataque mientras se mantiene el sigilo distribucional.

Resultados Experimentales
El método se evaluó en CIFAR-10-C, CIFAR-100-C e ImageNet-C a través de cinco protocolos de TTA (TENT, RPL, EATA, SAR, DeYO) utilizando tanto desencadenantes de parche como SIG.

• Tasa de Éxito de Ataque (ASR): El método propuesto logra una ASR significativamente mayor que las líneas base adaptadas (RTTDP, FCA). En CIFAR-10-C, la ASR oscila entre 89,59% y 95,90% a través de los métodos de TTA, en comparación con el 25–63% de las líneas base. En ImageNet-C, la ASR supera el 95% en la mayoría de las configuraciones.
• Sigilo (Consistencia Distribucional): A diferencia de los ataques por clase que inducen grandes divergencias KL (por ejemplo, >0,03) y picos de probabilidad, el método propuesto mantiene una distribución de etiquetas casi idéntica a la línea base sin ataque (KL $\approx$ 0,006).
• Robustez ante Defensas: El ataque sigue siendo efectivo contra defensas existentes, incluyendo:
  • Filtrado de Muestras: El filtrado basado en entropía falla porque el ataque minimiza la incertidumbre para asegurar el éxito, resultando en muestras adversariales de baja entropía.
  • MedBN: El ataque mantiene una ASR alta (~80%) contra la Normalización por Lotes Mediana, ya que la trayectoria adversarial optimizada sobre BN estándar se transfiere eficazmente.
  • Media Móvil Exponencial (EMA): Aunque la EMA reduce inicialmente la ASR, una simple augmentación de datos en las muestras adversariales recupera la ASR a ~41%, lo que sugiere que la defensa se elude fácilmente.

Significado y Afirmaciones
El artículo afirma revelar una vulnerabilidad crítica en los paradigmas actuales de despliegue de TTA: la capacidad de los adversarios para inyectar malclasificaciones dirigidas (fallos "silenciosos") sin activar las alarmas estándar de desplazamiento de distribución. Los autores enfatizan que los marcos de TTA existentes carecen de robustez intrínseca frente a tales amenazas centradas en la evasión. Al demostrar que se pueden ejecutar ataques de alta precisión mientras se preserva la naturalidad estadística de la distribución de salida, el trabajo destaca la necesidad de diseños conscientes de la seguridad en modelos adaptativos, particularmente para aplicaciones críticas para la seguridad como la conducción autónoma y la imagen médica. Los autores notan modestamente limitaciones, como la dependencia del agrupamiento conjunto de muestras activadas y de la víctima, y la posibilidad de que las caídas de precisión benigna sirvan como una señal de detección secundaria, pero afirman que el ataque propuesto representa un paso significativo hacia la comprensión de los riesgos de seguridad de la adaptación en línea.