eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

Resumen Técnico: Explicar para Aprender (eX2L)

Enunciado del Problema
Los modelos estándar de aprendizaje automático se basan en la suposición de que los datos de entrenamiento y prueba están distribuidos de forma independiente e idéntica (i.i.d.). Cuando esta suposición se viola, los modelos a menudo fallan al generalizar, dependiendo en su lugar de correlaciones espurias: patrones estadísticos en los datos de entrenamiento que no son conceptualmente predictivos de las etiquetas reales. Estas violaciones se manifiestan principalmente como desplazamientos de subpoblación (cambios en las proporciones de variables demográficas o contextuales) y desafíos de generalización de dominio (aprender de dominios fuente para desempeñarse en dominios objetivo no vistos).

Los algoritmos existentes diseñados para mitigar estos desplazamientos enfrentan tres obstáculos principales:

1. Regularización Ciega: Muchos métodos de caja negra no apuntan explícitamente a las correlaciones espurias específicas que causan las caídas de rendimiento.
2. Rendimiento Inconsistente: Ningún algoritmo supera consistentemente a la Minimización del Riesgo Empírico (ERM) en todos los conjuntos de datos, lo que refleja el teorema de "no hay almuerzo gratis".
3. Falta de Interpretabilidad: Métodos sofisticados como las Redes Neuronales Adversarias de Dominio (DANN) dependen de mecanismos como la inversión de gradientes que son difíciles de explicar a las partes interesadas no técnicas, lo que obstaculiza la confianza en despliegues sensibles.

El artículo postula que la interpretabilidad no debe ser un intercambio contra la robustez predictiva. Se pregunta si penalizar la superposición espacial de explicaciones basadas en gradientes de un clasificador de etiquetas y un clasificador de confusores puede servir como un regularizador directo e interpretable para la robustez ante desplazamientos de distribución.

Metodología: Marco eX2L
Los autores proponen Explicar para Aprender (eX2L), un marco interpretable basado en explicaciones que desacopla las características de confusión de las representaciones latentes de un clasificador durante el entrenamiento. El mecanismo central implica entrenar dos modelos concurrentes:

1. Un clasificador de etiquetas primario ($f_y$) entrenado para predecir la etiqueta objetivo $Y$.
2. Un clasificador de confusor entrenado concurrentemente ($f_c$) entrenado para predecir la variable de confusión $C$ (por ejemplo, fondo, género, color).

El Mecanismo de Regularización
eX2L logra la invarianza de dominio desacoplando explícitamente el enfoque visual del modelo de etiquetas del modelo de confusor. Utiliza Grad-CAM (Mapas de Activación de Clase Ponderados por Gradiente) para generar mapas de calor que representan las regiones espaciales a las que atiende cada modelo.

• Especificidad del Objetivo: A diferencia de los métodos de gradiente de entrada (por ejemplo, SHAP, Gradientes Integrados) que pueden permanecer invariantes ante la reparametrización de la red, se elige Grad-CAM por su fidelidad a los parámetros aprendidos del modelo.
• Atención Disjunta: El marco penaliza la similitud espacial entre el mapa de calor Grad-CAM del modelo de etiquetas ($L_y$) y el del modelo de confusor ($L_c$). Si los modelos dependen de los mismos píxeles, es probable que el modelo de etiquetas esté "aprendiendo atajos" utilizando pistas de fondo espurias.
• Función de Pérdida: El objetivo total de entrenamiento $\hat{R}_{eX2L}$ combina las pérdidas de tarea para ambos clasificadores con una pérdida de similitud ($L_{sim}$):
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  Aquí, $L_{sim}$ mide la superposición espacial (por ejemplo, usando Similitud del Coseno, MAE o Soft Dice) entre los mapas de calor Grad-CAM desconectados. Los mapas de calor se desconectan (detener gradiente) para tratarlos como priores espaciales estáticos, evitando el costo computacional de derivadas de segundo orden.

Estrategia de Muestreo
El artículo enfatiza el papel crítico del Muestreo Uniforme por Grupos. A diferencia del muestreo aleatorio, que sigue la distribución de entrenamiento, el muestreo uniforme por grupos asegura que cada lote contenga representaciones equilibradas de todos los grupos etiqueta-confusor. Esto evita que el modelo aprenda las proporciones inherentes etiqueta-confusor como un atajo, obligándolo a depender de la penalización Grad-CAM para distinguir características invariantes de las espurias.

Contribuciones Clave

1. Interpretabilidad como Catalizador: eX2L desafía la suposición predominante de que los modelos más explicables son necesariamente menos precisos. Demuestra que la invarianza funcional de dominio puede lograrse desacoplando explícitamente las etiquetas y los atributos de molestia a nivel de grupo utilizando regularización basada en explicaciones.
2. Apuntado Directo a Correlaciones Espurias: A diferencia de los regularizadores "ciegos", eX2L penaliza directamente la superposición espacial de los mapas de atención, forzando al modelo de etiquetas a identificar características únicas e invariantes en lugar de depender de regiones de confusión.
3. Eficiencia en Complejidad: El método requiere solo dos clasificadores concurrentes y etiquetas de confusor (sin máscaras de segmentación de verdad fundamental), ofreciendo una tubería de entrenamiento de una sola etapa simplificada en comparación con enfoques centrados en datos de dos pasos como Just Train Twice (JTT).

Resultados Experimentales
Los autores evaluaron eX2L en benchmarks estándar de desplazamiento de subpoblación (CMNIST, Waterbirds, CelebA) y en el riguroso benchmark Spawrious para generalización de dominio (desafíos Uno-a-Uno Fácil y Muchos-a-Muchos Difícil).

• Desplazamientos de Subpoblación: En el benchmark Spawrious Muchos-a-Muchos Difícil, eX2L (específicamente la variante MAE) logró una Precisión Promedio (AA) de 82.24% ± 3.87% y una Precisión del Grupo Peor (WGA) de 66.31% ± 8.73%. Esto supera al estado actual del arte (GroupDRO) en un 5.49% en AA y un 10.90% en WGA.
• Evidencia Visual: Las visualizaciones de Grad-CAM confirman que eX2L restringe el enfoque a regiones semánticamente invariantes (por ejemplo, la oreja de un perro), mientras que las líneas base como ERM y GroupDRO difunden la atención a través de fondos de confusión (por ejemplo, textura de playa).
• Análisis del Espacio Latente: Las visualizaciones UMAP muestran que eX2L produce representaciones de etiquetas compactas y bien separadas con alta MMD (Discrepancia Media Máxima) para las etiquetas, mientras que logra una interspersión casi total de las características de confusión (baja MMD para confusores), indicando un desacoplamiento exitoso.
• Compensación de Eficiencia: Aunque eX2L incurre en aproximadamente el doble de tiempo de entrenamiento que ERM debido al cálculo de Grad-CAM, este costo genera ganancias de rendimiento significativas en configuraciones de desplazamiento de distribución difíciles donde fallan los métodos de línea base.

Significado y Afirmaciones
El artículo afirma que eX2L proporciona un mecanismo transparente para desacoplar correlaciones espurias, mitigando así los desplazamientos de distribución. Afirma que la interpretabilidad puede actuar como un catalizador para la robustez predictiva en lugar de un intercambio contra ella. El marco es particularmente significativo para entornos de despliegue de alto riesgo (por ejemplo, atención médica, sistemas autónomos) donde la auditabilidad del proceso de desviación es crucial para la responsabilidad.

Los autores notan modestamente que eX2L requiere anotaciones de confusor a nivel de imagen en el momento del entrenamiento, lo que limita su aplicabilidad en entornos exploratorios donde los atributos de molestia son desconocidos. También reconocen que la elección de la métrica de similitud (por ejemplo, MAE frente a Coseno) debe estar informada por la geometría del confusor (por ejemplo, las penalizaciones píxel a píxel funcionan bien para confusores de fondo, mientras que métricas más suaves son mejores para atributos difusos como el color del cabello). El artículo concluye que eX2L sienta las bases para la equidad algorítmica al demostrar que el desacoplamiento explícito de atributos puede conducir a una generalización superior sin sacrificar la interpretabilidad.