Resumen Técnico: Propagación de Relevancia con Salto de Gradiente para la Explicabilidad Eficiente de los Vision Transformers

1. Declaración del Problema

Los Vision Transformers (ViTs) han alcanzado un rendimiento de vanguardia en visión por computadora, pero siguen siendo difíciles de interpretar. Los métodos de explicabilidad existentes —categorizados en basados en gradientes, basados en atención y basados en perturbaciones— sufren limitaciones significativas cuando se aplican a arquitecturas de transformadores.

Los problemas centrales identificados son:

• Tratamiento Uniforme de Cabezales: La mayoría de los enfoques basados en la atención asumen que todos los cabezales de atención poseen una importancia uniforme. Sin embargo, la literatura indica que los cabezales desempeñan roles heterogéneos; algunos codifican patrones semánticos enfocados mientras que otros atienden de forma difusa. Tratar de forma uniforme diluye la explicación al mezclar señales informativas y no informativas.
• Negligencia de las Conexiones Residuales: Los métodos existentes suelen modelar las conexiones de salto como rutas de identidad o utilizan heurísticas fijas. Esto no logra distinguir entre la relevancia atribuida a las transformaciones aprendidas y la relevancia simplemente preservada a lo largo de la ruta de identidad, lo que conduce a una atribución de relevancia inexacta.
• Compromiso entre Eficiencia y Fidelidad: Los métodos basados en gradientes son computacionalmente económicos pero sufren de atribuciones inestables en transformadores profundos. Los métodos basados en perturbaciones ofrecen una alta fidelidad, pero requieren costos computacionales masivos (miles de pasadas hacia adelante). Los métodos basados en atención son eficientes pero a menudo carecen de fiabilidad causal.

2. Metodología: GradSkip

Para abordar estas limitaciones, los autores proponen GradSkip, un método de propagación de relevancia que introduce dos innovaciones conceptuales: ponderación adaptativa de cabezales y propagación consciente de las conexiones de salto.

2.1 Ponderación Adaptativa de Cabezales de Atención

En lugar de promediar todos los cabezales, GradSkip calcula pesos de importancia dinámicos y específicos para cada cabezal ($\omega^l_q$) combinando dos métricas complementarias:

1. Métrica de Flujo Basada en Gradientes ($\tilde{g}^l_q$): Esta cuantifica la influencia causal de un cabezal en la decisión del modelo midiendo la magnitud del gradiente ponderada por las puntuaciones de atención. Un mecanismo de umbral filtra los cabezales con flujo de gradiente insignificante para reducir el ruido.
2. Métrica de Dispersión Basada en Gini ($\tilde{s}^l_q$): Esta captura el enfoque semántico-espacial de un cabezal. El coeficiente de Gini se calcula sobre los valores de atención ordenados; los coeficientes de Gini altos indican patrones de atención "puntiagudos" (enfocados en regiones específicas), distinguiéndolos de las distribuciones difusas.

El peso final es una combinación convexa: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$, donde $\alpha$ equilibra la relevancia causal y la coherencia espacial.

2.2 Propagación de Relevancia Consciente de las Conexiones de Salto

GradSkip modela explícitamente la estructura residual de los bloques de transformador durante la propagación hacia atrás. En lugar de tratar la ruta de salto como una identidad fija, particiona dinámicamente la relevancia entre la ruta de transformación de atención y la ruta de conexión de salto basándose en sus contribuciones causales relativas.

La contribución de cada ruta se cuantifica utilizando magnitudes de activación ponderadas por gradientes:

• $\beta^l_{main}$: La compuerta de relevancia normalizada para la ruta principal de atención.
• $\beta^l_{skip}$: La compuerta complementaria para la conexión de salto ($1 - \beta^l_{main}$).

La relevancia en la capa $l-1$ se calcula como:
$$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$$
donde $\tilde{W}^l$ es una matriz de atención ponderada que incorpora la importancia del cabezal, las magnitudes de gradiente y las magnitudes de embedding. Esto asegura que los bloques que actúan principalmente como mapeos de identidad contribuyan mínimamente a la explicación, preservando la relevancia a través de la conexión de salto.

2.3 Detalles de Implementación

El proceso implica una sola pasada hacia adelante para capturar representaciones intermedias, gradientes y mapas de atención, seguida de una sola pasada hacia atrás para propagar la relevancia. El método incluye el reescalado de gradientes para abordar los desequilibrios de flujo y asegurar la completitud de FullGrad.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Ponderación Adaptativa de Cabezales: Un mecanismo que combina el flujo basado en gradientes y la dispersión basada en Gini para capturar la influencia causal y la selectividad de los cabezales de atención individuales, yendo más allá del tratamiento uniforme.
2. Propagación Consciente de las Conexiones de Salto: Una regla dinámica que particiona la relevancia entre las rutas de atención y residual según su contribución causal relativa, respetando la estructura residual fundamental de los transformadores.
3. Evaluación Exhaustiva: Experimentos extensos en benchmarks de clasificación (ImageNet1K, BloodMNIST) y segmentación (ADE20K-150) que demuestran fidelidad y localización de vanguardia con costos computacionales significativamente reducidos.

4. Resultados Experimentales

4.1 Rendimiento de Clasificación

Evaluado en ImageNet1K y BloodMNIST utilizando modelos ViT-Base y DeiT-Base:

• Fidelidad: GradSkip logró un rendimiento de vanguardia en la métrica Inserción-Eliminación y en la Prueba de Violación de Fidelidad. Por ejemplo, en ImageNet1K con ViT-Base, superó al segundo mejor enfoque (MUTEX) hasta en un 12.50% en las puntuaciones de Inserción-Eliminación.
• Localización: En la métrica Pointing Game, GradSkip alcanzó las puntuaciones más altas en ViT-Base (0.868) y resultados competitivos en DeiT-Base (0.831).
• Eficiencia: GradSkip requirió 69.39 GFLOPs para generar un mapa de atribución. Esto es 14.45 veces menos operaciones que MUTEX y 256.66 veces menos que TIS, manteniendo una fidelidad superior en comparación con otros métodos eficientes como las variantes de LRP.

4.2 Rendimiento de Segmentación

Evaluado en ADE20K-150 utilizando el modelo SegFormer:

• GradSkip logró la mayor Precisión de Píxel (PA) (0.815) y mIoU media (0.371).
• Superó al segundo mejor enfoque (MUTEX) por un 53.94% en mIoU.
• A diferencia de métodos como Finer-CAM, que lograron una PA alta pero un mIoU bajo debido a mapas de saliencia sobreextendidos, GradSkip demostró una capacidad superior para delinear regiones específicas de clase con precisión.
• Eficiencia: Requirió solo 28.52 GFLOPs, comparable a los métodos más eficientes basados en LRP pero con una precisión de segmentación significativamente mayor.

4.3 Ablación y Análisis

• Dispersión de Cabezales: El análisis estadístico confirmó una correlación significativa entre la dispersión de la atención (medida por el coeficiente de Gini) y las puntuaciones de fidelidad. Seleccionar solo el 25% superior de los cabezales basados en la dispersión mejoró el rendimiento, mientras que usar el 25% inferior lo degradó.
• Hiperparámetros: El equilibrio óptimo entre el flujo de gradiente y la dispersión se encontró en $\alpha = 0.50$. Depender únicamente de una métrica resultó en caídas de rendimiento de hasta un 26.67%.
• Análisis Cualitativo: Las visualizaciones mostraron que GradSkip produce mapas de calor enfocados y espacialmente precisos que aíslan correctamente las regiones discriminativas (por ejemplo, objetos pequeños como mariquitas o estructuras delgadas como astas de banderas) mientras suprimen el ruido de fondo, superando a los competidores que exhibían activaciones difusas o dispersas.

5. Significado y Reivindicaciones

El artículo afirma que GradSkip logra cerrar la brecha entre la eficiencia computacional y la fidelidad de la explicación en los Vision Transformers. Su importancia radica en:

• Conciencia Arquitectónica: Al modelar explícitamente los roles heterogéneos de los cabezales de atención y la naturaleza dinámica de las conexiones residuales, GradSkip proporciona explicaciones que reflejan mejor cómo el modelo procesa la entrada.
• Despliegue Práctico: Ofrece la alta fidelidad que típicamente se asocia con los costosos enfoques basados en perturbaciones, pero con una fracción del presupuesto computacional (comparable a LRP), lo que lo hace adecuado para aplicaciones prácticas donde los recursos son limitados.
• Robustez: El método demuestra un rendimiento consistente a través de diferentes conjuntos de datos (generales y médicos), arquitecturas de modelos (ViT, DeiT, SegFormer) y tipos de tareas (clasificación y segmentación).

Los autores señalan limitaciones, específicamente que GradSkip requiere acceso a las partes internas del modelo (gradientes y activaciones) y no puede aplicarse en entornos puramente hacia adelante y libres de gradientes. Además, la implementación actual descarta el token CLS, lo que puede limitar la aplicabilidad a los ViT estándar donde el token CLS agrega el contexto global, aunque es directamente aplicable a variantes como SegFormer que no dependen de él.