TsallisPGD: Adaptive Gradient Weighting for Adversarial Attacks on Semantic Segmentation

Resumen Técnico: TsallisPGD

Enunciado del Problema
Atacar modelos de segmentación semántica es significativamente más desafiante que atacar modelos de clasificación de imágenes. Mientras que los ataques de clasificación apuntan a una única etiqueta, los ataques de segmentación deben invertir simultáneamente miles de predicciones de píxeles. Los enfoques estándar, que adaptan el Descenso de Gradiente Proyectado (PGD) utilizando la pérdida de entropía cruzada (CE) a nivel de píxel, sufren dinámicas de optimización subóptimas. Específicamente, la CE estándar tiende a sobreenfatizar los píxeles que ya están mal clasificados (donde la probabilidad predicha $p_y \to 0$). Esto provoca que el gradiente se sature en estos objetivos "fáciles", ralentizando la convergencia y conduciendo a una evaluación excesivamente optimista de la robustez del modelo, ya que el ataque no logra apuntar eficazmente a los píxeles correctamente clasificados con alta confianza.

Metodología
Los autores proponen TsallisPGD, un marco de ataque adversarial que reemplaza la entropía cruzada estándar con la entropía cruzada de Tsallis, una generalización parametrizada por un índice entrópico $q$.

• Reponderación del Gradiente: La idea teórica central es que la entropía cruzada de Tsallis induce una reponderación dependiente de la confianza del gradiente de la CE estándar. El gradiente con respecto a la probabilidad predicha $p$ se escala por un factor de $p^{1-q}$.
  • Cuando $q < 1$, el peso aumenta con $p$, enfatizando los píxeles correctamente clasificados con alta confianza (que son más difíciles de invertir).
  • Cuando $q > 1$, el peso enfatiza los píxeles con baja confianza.
• Control del Pico del Gradiente: Los autores derivan una expresión en forma cerrada para la ubicación del pico del gradiente ($p^*_y$) en términos de $q$: $p^*_y = \frac{1-q}{2-q}$. Esto permite al atacante controlar explícitamente en qué régimen de confianza se centra la optimización. Al variar $q$, el ataque puede apuntar a diferentes subconjuntos de píxeles.
• Programación Dinámica de $q$: El análisis empírico revela que ningún valor fijo único de $q$ es universalmente óptimo; el mejor $q$ varía dependiendo del conjunto de datos, la arquitectura del modelo y el presupuesto de perturbación ($\epsilon$). Para abordar esto, los autores proponen una programación dinámica de $q$ que barre $q$ durante el proceso de optimización.
  • La programación es lineal, parametrizada por un valor inicial ($q_{start}$) y un valor final ($q_{end}$).
  • La programación óptima se selecciona una vez utilizando una división de validación retenida (específicamente, un barrido desde $q=-2$ hasta $q=1$) y luego se aplica sin cambios en todas las pruebas de referencia sin un ajuste adicional.
  • Este enfoque permite que una sola ejecución del ataque atraviese múltiples regímenes de concentración de gradiente, enfocándose inicialmente en píxeles de alta confianza y recuperando gradualmente el comportamiento de la CE estándar.

Contribuciones Clave

1. TsallisPGD: Un ataque adversarial novedoso para segmentación semántica que aprovecha la entropía cruzada de Tsallis para controlar el enfoque del ataque mediante el parámetro $q$.
2. Análisis Teórico: Una demostración que muestra que la entropía cruzada de Tsallis induce una reponderación del gradiente dependiente de la confianza ($p^{1-q}$) y una derivación de la ubicación del pico del gradiente, proporcionando un mecanismo para apuntar a niveles de confianza específicos.
3. Programación Dinámica: La propuesta de una programación dinámica de $q$ que adapta el enfoque del ataque a lo largo del tiempo, motivada por la observación de que las configuraciones de $q$ fijo no son universalmente óptimas.
4. Validación Empírica: Experimentos extensos que demuestran que una sola programación dinámica seleccionada mediante validación supera a las líneas base estáticas en diversos conjuntos de datos y modelos.

Resultados Experimentales
Los autores evaluaron TsallisPGD en Cityscapes, Pascal VOC y ADE20K utilizando diversas arquitecturas (PSPNet, UPerNet, Segmenter) y tanto modelos estándar como entrenados adversarialmente (por ejemplo, DDCAT, PIR-AT). El ataque se comparó contra líneas base de última generación: CEPGD, SegPGD, CosPGD, JSPGD y MaskedPGD.

• Rendimiento: TsallisPGD logró el mejor rango promedio en todas las 21 configuraciones de evaluación (combinando conjuntos de datos, modelos y presupuestos de perturbación).
  • Para la Precisión Promedio de Píxeles (ACC), TsallisPGD alcanzó un rango promedio de 1.38, superando a la línea base más fuerte, MaskedPGD (2.43).
  • Para la Intersección sobre Unión media (mIoU), alcanzó un rango promedio de 1.57, superando a CosPGD (2.57).
• Robustez: El método mostró ganancias particularmente fuertes en modelos entrenados adversarialmente, donde la optimización es típicamente más difícil. Logró el mejor rendimiento en 16/21 configuraciones para ACC y en 13/21 para mIoU.
• Análisis de $q$ Fijo: Los experimentos con valores fijos de $q$ confirmaron que el $q$ óptimo depende altamente de la configuración experimental específica, validando la necesidad de una programación dinámica.

Significado y Afirmaciones
El artículo afirma que TsallisPGD proporciona un método simple y general para construir ataques adversariales más fuertes para la segmentación semántica mediante el control de la concentración del gradiente. El significado radica en demostrar que:

1. La entropía cruzada estándar es inadecuada para ataques de segmentación debido a su tendencia a sobreenfatizar los píxeles ya mal clasificados.
2. El parámetro $q$ en la entropía cruzada de Tsallis ofrece un mecanismo preciso para dirigir la optimización hacia píxeles en diferentes niveles de confianza.
3. Una sola programación dinámica seleccionada mediante validación puede generalizarse eficazmente a través de diferentes conjuntos de datos, arquitecturas y presupuestos de amenazas, eliminando la necesidad de ajuste de hiperparámetros por configuración.

Los autores concluyen que, aunque su enfoque actual utiliza una programación fija seleccionada mediante validación, el trabajo futuro podría explorar hacer que la elección de $q$ sea completamente adaptable en cada iteración. También planean incorporar TsallisPGD en el entrenamiento adversarial para mejorar la robustez del modelo.