Resumen Técnico: Grad-CAM para Vision Transformers

1. Planteamiento del Problema

El Mapeo de Activación de Clase ponderado por Gradientes (Grad-CAM) es una técnica estándar para visualizar la toma de decisiones en Redes Neuronales Convolucionales (CNN), basándose en mapas de características espaciales con dimensiones claras de canal y espacio. Sin embargo, los Vision Transformers (ViT) y otras arquitecturas basadas en tokens no producen mapas de características convolucionales; en su lugar, utilizan embeddings de tokens, mecanismos de auto-atención y flujos residuales.

A pesar de este desajuste arquitectónico fundamental, Grad-CAM se aplica rutinariamente a los ViT en la literatura sin justificación, adaptación o reconocimiento de las diferencias estructurales. El artículo identifica una brecha crítica: el término "Grad-CAM en un ViT" no se refiere a un procedimiento único y bien definido. A diferencia de las CNN, donde el mapa de características es implícito, los ViT ofrecen múltiples fuentes potenciales para la atribución (por ejemplo, embeddings de tokens, matrices de atención, salidas de MLP). La literatura actual suele tratar la adaptación como una extensión trivial de la formulación de las CNN, lo que conduce a:

• Ambigüedad Metodológica: Los autores frecuentemente omiten detalles sobre la localización de la extracción de características, los objetivos de gradiente, el manejo de tokens (por ejemplo, la eliminación del token [CLS]) y las estrategias de agregación.
• Crisis de Reproducibilidad: Sin una especificación explícita, un mapa de calor reportado es uno de muchos posibles visualizaciones seleccionadas de un gran espacio de alternativas, lo que hace imposible reproducir o evaluar científicamente.
• Malinterpretación: Las visualizaciones se presentan a menudo como evidencia del comportamiento del modelo o de la fundamentación visual sin aclarar si representan activaciones de tokens, pesos de atención o interacciones cross-modales.

2. Metodología

Los autores emplean un enfoque de dos vertientes: una auditoría sistemática de la literatura y el desarrollo de una taxonomía descriptiva.

A. Auditoría Sistemática de la Literatura

• Construcción del Corpus: Los autores realizaron una búsqueda el 17 de abril de 2026, utilizando Google Scholar con consultas para "Grad-CAM" AND "Vision Transformer" (o "ViT") restringidas a artículos desde 2021 en adelante. Filtraron para artículos disponibles vía CVF, NeurIPS o IEEE Access, resultando en un grupo inicial de ~550 artículos.
• Cribado: El cribado manual identificó 175 artículos que aplicaron Grad-CAM o métodos adyacentes a Grad-CAM (por ejemplo, Grad-CAM++, LayerCAM, ScoreCAM) a ViT o arquitecturas basadas en ViT (incluyendo Swin Transformers, BEiT, CLIP y BLIP).
• Análisis: Los artículos fueron codificados por lugar de publicación, año, configuración de la tarea, tipo de arquitectura y detalle de reporte. El análisis se centró en cómo los autores justificaron la adaptación, qué representaciones de características se utilizaron y el nivel de detalle metodológico proporcionado.

B. Taxonomía Descriptiva de las Adaptaciones

Para caracterizar la brecha metodológica, los autores proponen una taxonomía que categoriza explícitamente las elecciones requeridas para adaptar Grad-CAM a los ViT. Esta taxonomía no es prescriptiva (es decir, no define un único método "correcto") sino descriptiva, haciendo explícitas las elecciones implícitas. Las dimensiones clave incluyen:

1. Localizaciones de Extracción de Características: Identificar dónde en el bloque del transformer se extrae el "mapa de características". El artículo define seis candidatos principales:

   • $F_1$: Salida de LayerNorm antes de la multi-head attention (embeddings de tokens normalizados).
   • $F_2$: Matrices de atención normalizadas por Softmax (intensidades de interacción token-a-token).
   • $F_3$: Salidas de atención (representaciones de tokens proyectadas por valor).
   • $F_4$: Salida de LayerNorm antes de la FFN (Red Feed-Forward).
   • $F_5$: Salida de la FFN.
   • $F_6$: Salida residual post-FFN.
   • Cross-Attention: En Modelos de Visión-Lenguaje (VLM), la taxonomía distingue entre representaciones del lado del contexto y mapas de cross-attention que conectan consultas de texto con llaves de imagen.

2. Objetivos de Gradiente: Definir el objetivo escalar ($y_c$) con respecto al cual se computan los gradientes. Esto varía según la tarea (por ejemplo, logit de clase para clasificación, puntuación ITM para VLMs, pérdida de segmentación).

3. Manejo de Tokens y Reconstrucción Espacial:

   • Selección de Tokens: Decidir si se usan gradientes del token [CLS], promediar gradientes sobre tokens de parches o excluir tokens no espaciales por completo.
   • Reestructuración (Reshaping): Mapear la secuencia de tokens 1D de vuelta a una cuadrícula espacial 2D ($H/P \times W/P$). Esto asume un orden de escaneo de ráfaga (raster-scan) de los parches, lo cual puede no cumplirse para todas las representaciones (especialmente aquellas fuertemente mezcladas por la auto-atención).

4. Estrategias de Agregación:

   • Combinación Lineal: Cómo combinar las dimensiones de características (por ejemplo, promediar gradientes sobre tokens espaciales frente a usar gradientes de [CLS]).
   • Agregación de Cabezales (Heads): Para la multi-head attention, determinar si se promedian los cabezales antes o después de la ReLU, o si se tratan como canales separados.

3. Resultados Clave

La auditoría de 175 artículos arrojó varios hallazgos críticos:

• Falta de Justificación: Aproximadamente el 58% (101 artículos) hizo referencia únicamente al artículo original de Grad-CAM basado en CNN o variantes que no son ViT, sin proporcionar ninguna justificación teórica para aplicar el método a los transformers.
• Detalle Metodológico Escaso: Solo el 15% (26 artículos) justificó explícitamente su adaptación o citó trabajos previos que lo hicieran. Entre ellos, se identificaron solo 13 adaptaciones distintas revisadas por pares, lo que indica que el campo no ha convergido en una convención estándar.
• Dependencia de Repositorios de Código: Alrededor del 10% (17 artículos) dependió únicamente de la librería pytorch-grad-cam, la cual implementa ViT Grad-CAM sin proporcionar una base teórica para la adaptación.
• Subespecificación: Incluso entre los artículos que afirmaban usar adaptaciones específicas, faltaban detalles críticos, tales como:
  • La capa exacta del transformer utilizada.
  • Si el token [CLS] fue incluido o excluido.
  • Cómo se agregaron los cabezales de atención.
  • El objetivo de gradiente específico (por ejemplo, logit bruto frente a probabilidad softmax).
• Variabilidad Visual: Experimentos cualitativos en un modelo estándar ViT-B/16 demostraron que diferentes elecciones (ubicación de la característica, objetivo de gradiente, estrategia de ponderación) producen mapas de calor cualitativamente diferentes para la misma entrada y clase. Algunos mapas localizaron el objeto, mientras que otros resaltaron el contexto o aparecieron invertidos.

4. Contribuciones Clave

1. Auditoría Sistemática: La primera revisión exhaustiva de la literatura que cuantifica la prevalencia y la calidad del reporte de las aplicaciones de Grad-CAM en ViTs, revelando una falta generalizada de rigor metodológico.
2. Taxonomía Descriptiva: Un marco que categoriza las elecciones metodológicas específicas (ubicación de la característica, objetivo de gradiente, manejo de tokens, agregación) necesarias para adaptar Grad-CAM a arquitecturas basadas en tokens. Esta taxonomía sirve como un vocabulario para describir las variaciones existentes en lugar de prescribir una única solución.
3. Identificación de la Ambigüedad: El artículo destaca que "Grad-CAM en un ViT" es un término subespecificado. Demuestra que, sin la especificación explícita de las elecciones de adaptación, las visualizaciones no pueden tratarse como evidencia científica reproducible.
4. Guía para el Reporte: Los autores proporcionan una lista de verificación para autores y revisores para asegurar que las visualizaciones de Grad-CAM en ViT incluyan los detalles necesarios (representación de características, objetivo de gradiente, manejo de tokens, agregación y reconstrucción espacial) para respaldar las afirmaciones sobre el comportamiento del modelo.

5. Significancia y Reivindicaciones

El artículo argumenta que la práctica actual de aplicar Grad-CAM a los ViT es a menudo un enfoque de "conectar y usar" (plug-and-play) que ignora el desajuste teórico entre los supuestos del método (mapas de características espaciales) y la arquitectura del modelo (secuencias de tokens).

• Rigor Científico: Los autores afirman que la actual falta de especificación socava la validez científica de las explicaciones en dominios de alto riesgo (por ejemplo, imágenes médicas, sistemas críticos para la seguridad). Un mapa de calor subespecificado puede ser visualmente persuasivo pero científicamente ininterpretable.
• Reproducibilidad: El estudio sostiene que la reproducibilidad es imposible sin el reporte explícito de las elecciones de adaptación. La taxonomía permite a los investigadores distinguir entre diferentes procedimientos de atribución que actualmente comparten la misma etiqueta.
• Alcance Modesto: El artículo establece explícitamente que no propone una única adaptación "correcta" de Grad-CAM para los ViT. En su lugar, busca clarificar el rango de elecciones metodológicas que se están tomando y mejorar la transparencia del reporte. El objetivo es ayudar a la comunidad a distinguir entre procedimientos de atribución reproducibles y explicaciones visualmente persuasivas pero subespecificadas.

En conclusión, el artículo hace un llamado al cambio en la comunidad de investigación: pasar de tratar el Grad-CAM en los ViT como una extensión trivial de los métodos de CNN hacia un enfoque más riguroso y consciente de la arquitectura, donde cada visualización esté acompañada de una definición precisa de sus decisiones matemáticas y de implementación subyacentes.