Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

Resumen Técnico: ¿Están la Robustez de Clasificación y la Robustez de la Explicación Realmente Fuertemente Correlacionadas?

Planteamiento del Problema
En el despliegue de sistemas de aprendizaje automático fiables para dominios de alto riesgo (por ejemplo, diagnóstico médico, vehículos autónomos), es crítico que los modelos mantengan tanto predicciones precisas bajo ataques adversarios (robustez de clasificación) como razonamientos consistentes e interpretables (robustez de la explicación). Un supuesto prevalente en el campo postula una fuerte correlación positiva entre estas dos propiedades: que mejorar la robustez de la clasificación mejora inherentemente la robustez de la explicación. Este artículo desafía ese paradigma, investigando si los mecanismos que suavizan el paisaje de pérdida de entrada para mejorar la robustez de la clasificación se aplican de manera similar a la robustez de la explicación. Específicamente, los autores cuestionan si un paisaje de pérdida de entrada más plano con respecto a la pérdida de la explicación es una condición necesaria para una explicación robusta, y si ambas formas de robustez están intrínsecamente vinculadas.

Metodología
Los autores emplean un marco sistemático que combina el análisis del paisaje de pérdida, la evaluación basada en agrupamiento (clustering) y un nuevo algoritmo de entrenamiento para desacoplar las dos dimensiones de robustez.

1. Análisis del Paisaje de Pérdida: El estudio visualiza el paisaje de pérdida de entrada con respecto a la pérdida de la explicación ($L_e$) añadiendo ruido aleatorio a las imágenes víctimas y midiendo el cambio en la pérdida. Esto se contrasta con la observación bien establecida de que los paisajes más planos en la pérdida de clasificación ($L_{sc}$) se correlacionan con una mayor robustez de clasificación.
2. Muestreo Basado en Agrupamiento para la Evaluación: Para evaluar eficientemente la robustez de la explicación sin la inviabilidad computacional del emparejamiento cuadrático de muestras, los autores proponen un método de muestreo basado en agrupamiento para asegurar la consistencia semántica. Los conjuntos de evaluación se construyen a partir de pares intra-clúster e inter-clúster para medir la "pérdida de ataque" requerida para manipular una explicación de una imagen víctima a una imagen objetivo.
3. Marco TRADES: Los autores utilizan el marco TRADES para generar modelos con distintos niveles de robustez de clasificación (controlados por el parámetro $\alpha$) para observar cómo los cambios en la robustez de la clasificación afectan a la robustez de la explicación y al paisaje de pérdida asociado.
4. SEP (Robustez de la Explicación Separada mediante PGD): Para probar explícitamente la relación, los autores proponen un nuevo método de entrenamiento, SEP. Este método introduce un término de regularización ($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$) a la pérdida de entrenamiento, donde $\zeta$ es ruido aleatorio e $I$ es el método de explicación.
   • SEPpos ($\lambda > 0$): Guía el paisaje de pérdida para que sea más plano con respecto a la pérdida de la explicación.
   • SEPneg ($\lambda < 0$): Guía el paisaje de pérdida para que sea más agudo (sharp).
     Esto permite a los autores manipular la planitud del paisaje de pérdida de la explicación de forma independiente a la robustez de la clasificación.

Hallazgos Clave y Resultados
Los experimentos, realizados en múltiples conjuntos de datos (MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet) y arquitecturas (ConvNet, ResNet18, Wide ResNet, MobileNetV2), arrojan los siguientes resultados:

• Desacoplamiento de la Robustez: Los modelos entrenados con SEPpos y SEPneg exhiben una robustez de clasificación similar (medida por la precisión adversaria, $Acc_{adv}$) pero diferencias significativas en la robustez de la explicación (medida por la pérdida de ataque de la explicación final, $L_{end}^e$). Específicamente, SEPneg (paisaje más agudo) logra una mayor robustidad de la explicación, mientras que SEPpos (paisaje más plano) logra una menor robustez de la explicación.
• Contradicción con la Robustez de Clasificación: Contrario al comportamiento de la robustez de clasificación, donde un paisaje de pérdida más plano indica una mejor robustez, los autores encuentran que aplanar el paisaje de pérdida de entrada para la pérdida de la explicación en realidad disminuye la robustez de la explicación.
• Mecanismo de la Robustez de la Explicación: El análisis sugiere que la robustez de la explicación no es impulsada por un paisaje de pérdida plano, sino por una alta pérdida inicial ($L_{start}^e$) al comienzo de un ataque. Los modelos con mayores distancias iniciales entre las explicaciones de la víctima y el objetivo son más difíciles de atacar, independientemente de la planitud del paisaje.
• Generalización: Estos hallazgos se mantienen a través de diferentes métodos de explicación (Gradient, Guided Backpropagation, DeepLift, Integrated Gradients) y diferentes protocolos de entrenamiento adversario (Madry AT, TRADES).

Contribuciones Clave

1. Evaluación Eficiente: Introducción de un método de muestreo basado en agrupamiento para evaluar de manera eficiente y exhaustiva la robustez de la explicación.
2. Contradicción Empírica: Demostración de que aumentar la robustez de la explicación no aplana el paisaje de pérdida de entrada con respecto a la pérdida de la explicación, contradiciendo el comportamiento observado en la robustez de la clasificación.
3. Nuevo Método de Entrenamiento (SEP): Desarrollo de un algoritmo de entrenamiento que controla explícitamente la planitud del paisaje de pérdida de la explicación, demostrando que la robustez de la explicación puede manipularse independientemente de la robustez de la clasificación.
4. Perspectiva Teórica: Evidencia de que los mecanismos que gobiernan la robustez de la clasificación y la robustez de la explicación son fundamentalmente diferentes, desafiando la suposición de su correlación inherente.

Significado
El artículo concluye que la robustez de la clasificación y la robustez de la explicación no están fuertemente correlacionadas. Este hallazgo tiene implicaciones significativas para la seguridad y fiabilidad de los sistemas de IA. Sugiere que confiar en las técnicas de robustez de clasificación (como el entrenamiento adversario) para garantizar explicaciones confiables es insuficiente. En su lugar, los autores argumentan la necesidad de considerar y optimizar por separado la robustez de la explicación, particularmente en aplicaciones críticas donde se requieren tanto la precisión predictiva como la interpretabilidad bajo condiciones adversarias. El trabajo abre nuevas vías para comprender la relación entre los paisajes de pérdida y la pérdida de la explicación, yendo más allá de la suposición de que una única métrica de robustez o estrategia de entrenamiento puede garantizar ambas.