💻 computer science

Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI

Este artigo apresenta uma taxonomia sistemática e uma auditoria de 175 estudos para expor a ampla ambiguidade metodológica e a falta de detalhes rigorosos de implementação na adaptação do Grad-CAM para Vision Transformers, argumentando que tratar isso como uma extensão trivial de sua contraparte de CNN obscurece escolhas críticas que afetam a reprodutibilidade e a interpretação.

Autores originais: Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

Publicado 2026-08-07

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como um detetive brilhante e superveloz resolve um mistério. Nos velhos tempos, esse detetive usava um conjunto específico de ferramentas: uma lupa que observava pequenos fragmentos em forma de grade de uma cena de crime, um por um. Essa ferramenta era chamada de Grad-CAM. Ela era famosa por iluminar os pontos exatos em uma foto que ajudavam o detetive a decidir: "Aha! Isto é um gato!" ou "Isto é um carro!". Como o detetive olhava para a foto em uma grade organizada, a ferramenta podia facilmente apontar para quadrados específicos e dizer: "Vimos a orelha do gato neste quadrado".

Mas recentemente, o detetive recebeu um upgrade massivo. Em vez de olhar para uma grade, o novo detetive (chamado de Vision Transformer ou ViT) olha para a imagem inteira de uma vez, dividindo-a em uma longa lista de pequenas notas chamadas "tokens". É como ler uma história onde cada palavra é uma pista, em vez de olhar para um mapa. O problema é que a antiga lupa (Grad-CAM) foi construída para grades, não para listas. Ela não sabe como apontar para uma "palavra" em uma lista e dizer: "Esta palavra é importante!".

Assim, os cientistas começaram a tentar forçar a antiga lupa no novo conjunto de notas do detetive. Eles queriam ver por que o novo detetive tomava suas decisões. Mas aqui está o detalhe: ninguém concordava sobre como fazer isso. Algumas pessoas apontavam para a primeira nota, outras para o meio, outras para a lista inteira, e outras apenas chutavam. Este artigo é como um inspetor de detetives vindo realizar uma auditoria em todos os relatórios. Eles querem saber: "Estamos realmente usando a ferramenta corretamente ou estamos apenas fingindo que estamos?".

A Auditoria: Uma Bagunça Sistemática

Os autores deste artigo, Casey Wall e sua equipe, decidiram brincar de detetives eles mesmos. Eles realizaram uma busca massiva na literatura científica, procurando por cada artigo que tentou usar a antiga ferramenta "Grad-CAM" no novo detetive "Vision Transformer". Começaram com uma pilha enorme de mais de 550 artigos. Após um processo de triagem muito cuidadoso, reduziram o número para 175 artigos que realmente tentaram aplicar este método.

O que encontraram foi um pouco de uma bagunça. Eles descobriram que a maioria desses artigos estava tratando a lista de notas do novo detetive como se ainda fosse a antiga grade. Eles estavam usando a ferramenta sem realmente explicar como estavam fazendo o ajuste.

O artigo introduz uma "taxonomia", que é apenas uma palavra chique para uma lista de verificação detalhada ou um menu de escolhas. Os autores perceberam que, ao tentar usar o Grad-CAM em um Vision Transformer, você precisa tomar várias decisões importantes, e quase ninguém as registrava:

Onde olhar: Você olha para a primeiríssima nota que o detetive escreveu? Para a do meio? Para o resumo final?
O que medir: Você está medindo o quanto uma nota específica importa, ou o quanto o "pensamento principal" do detetive (o token [CLS]) se importa com as outras notas?
Como misturar: Se o detetive possui muitas "cabeças" diferentes (como várias perspectivas diferentes), você faz a média de todas elas ou olha para cada uma individualmente?

Os autores realizaram alguns testes para mostrar o quanto essas escolhas importam. Eles pegaram um modelo padrão e passaram a mesma imagem por ele usando diferentes configurações de sua lista de verificação. O resultado? Os "heatmaps" (as imagens brilhantes que mostram o que o modelo viu) ficaram completamente diferentes dependendo das escolhas feitas. Uma configuração pode destacar o cachorro na foto, enquanto outra pode destacar a grama, e uma terceira pode não mostrar quase nada.

O Grande Problema: "Plug-and-Play" Sem Instruções

O estudo descobriu que, dos 175 artigos analisados, impressionantes 101 artigos (cerca cerca de 58%) apenas citaram o artigo original do antigo detetive baseado em grade e não explicaram como o adaptaram para o novo detetive baseado em listas. Outros 17 artigos apenas apontaram para uma biblioteca de código (um repositório no GitHub) sem explicar a matemática. Apenas 26 artigos (cerca de 15%) realmente dedicaram tempo para explicar suas escolhas específicas ou citar um artigo que o fizesse.

Os autores argumentam que este é um problema sério. Quando um cientista diz: "Usamos o Grad-CAM para mostrar que nosso modelo é justo", mas não nos disse qual versão do Grad-CAM utilizou, não podemos confiar no resultado. É como se um chef dissesse: "Eu assei um bolo", mas não dissesse se usou farinha ou areia, ou se assou por 10 minutos ou 10 horas. O resultado pode até parecer um bolo, mas não podemos ter certeza de que é o mesmo bolo de que todos estão falando.

O Que o Artigo Realmente Diz (e O Que Não Diz)

O artigo é muito cuidadoso ao não dizer: "Aqui está a única maneira correta de fazer isso". Em vez disso, eles sugerem que ainda não existe uma única resposta "correta". Eles descobriram que a área ainda não estabeleceu um padrão para isso.

Eles descartam explicitamente a ideia de que você possa simplesmente pegar a fórmula antiga e aplicá-la ao novo modelo sem pensar. Eles mostram que fazer isso cria "ambiguidade metodológica", que é uma forma sofisticada de dizer "confusão sobre como a ferramenta funciona".

Os autores sugerem que, para o campo avançar, os pesquisadores precisam parar de tratar o Grad-CAM nesses novos modelos como um passo simples e automático. Eles precisam escrever exatamente qual "característica" escolheram, qual "gradiente" mediram e como "remodelaram" os dados de volta para uma imagem.

Por Que Isso Importa

Isso não é apenas uma questão de preciosismo acadêmico. Esses mapas de calor são usados para provar que os modelos de IA são seguros, justos e confiáveis, especialmente em funções importantes como diagnóstico médico ou carros autônomos. Se a explicação for vaga, não podemos ter certeza de que a IA está realmente olhando para a coisa certa. O artigo conclui que, até que os cientistas comecem a ser extremamente específicos sobre suas escolhas, as imagens brilhantes que vemos em artigos de pesquisa podem ser mais sobre parecerem legais do que sobre dizer a verdade.

Em resumo, o artigo sugere que precisamos parar de adivinhar e começar a escrever nossas receitas. Até lá, o "Grad-CAM" que vemos nesses novos modelos de IA é um pouco de um mistério, e não podemos ter certeza do que ele realmente está nos dizendo.

Resumo Técnico: Grad-CAM para Vision Transformers

1. Declaração do Problema

O Gradient-weighted Class Activation Mapping (Grad-CAM) é uma técnica padrão para visualizar a tomada de decisão em Redes Neurais Convolucionais (CNNs), baseando-se em mapas de características espaciais com dimensões espaciais e de canais claras. No entanto, os Vision Transformers (ViTs) e outras arquiteturas baseadas em tokens não produzem mapas de características convolucionais; em vez disso, utilizam embeddings de tokens, mecanismos de autoatenção e fluxos residuais.

Apesar dessa incompatibilidade arquitetural fundamental, o Grad-CAM é rotineiramente aplicado a ViTs na literatura sem justificativa, adaptação ou reconhecimento das diferenças estruturais. O artigo identifica uma lacuna crítica: o termo "Grad-CAM em um ViT" não se refere a um procedimento único e bem definido. Diferente das CNNs, onde o mapa de características é implícito, os ViTs oferecem múltiplas fontes potenciais para atribuição (ex: embeddings de tokens, matrizes de atenção, saídas de MLP). A literatura atual frequentemente trata a adaptação como uma extensão trivial da formulação de CNN, levando a:

Ambiguidade Metodológica: Autores frequentemente omitem detalhes sobre locais de extração de características, alvos de gradiente, manipulação de tokens (ex: remoção do token [CLS]) e estratégias de agregação.
Crise de Reprodutibilidade: Sem especificação explícita, um mapa de calor relatado é um entre muitos possíveis mapas de visualização selecionados de um vasto espaço de alternativas, tornando impossível reproduzir ou avaliar cientificamente.
Interpretação Equivocada: As visualizações são frequentemente apresentadas como evidência do comportamento do modelo ou fundamentação visual sem esclarecer se representam ativações de tokens, pesos de atenção ou interações cross-modais.

2. Metodologia

Os autores empregam uma abordagem de duas frentes: uma auditoria sistemática da literatura e o desenvolvimento de uma taxonomia descritiva.

A. Auditoria Sistemática da Literatura

Construção do Corpus: Os autores realizaram uma busca em 17 de abril de 2026, utilizando o Google Scholar com consultas para "Grad-CAM" AND "Vision Transformer" (ou "ViT") restritas a artigos de 2021 em diante. Eles filtraram por artigos disponíveis via CVF, NeurIPS ou IEEE Access, resultando em um pool inicial de ~550 artigos.
Triagem: A triagem manual identificou 175 artigos que aplicaram Grad-CAM ou métodos adjacentes ao Grad-CAM (ex: Grad-CAM++, LayerCAM, ScoreCAM) a ViTs ou arquiteturas baseadas em ViT (incluindo Swin Transformers, BEiT, CLIP e BLIP).
Análise: Os artigos foram codificados por local de publicação, ano, configuração de tarefa, tipo de arquitetura e detalhamento de relato. A análise focou em como os autores justificaram a adaptação, quais representações de características foram usadas e o nível de detalhe metodológico fornecido.

B. Taxonomia Descritiva de Adaptações

Para caracterizar a lacuna metodológica, os autores propõem uma taxonomia que categoriza explicitamente as escolhas necessárias para adaptar o Grad-CAM aos ViTs. Esta taxonomia não é prescritiva (ou seja, não define um único método "correto"), mas descritiva, tornando as escolhas implícitas explícitas. As dimensões principais incluem:

Locais de Extração de Características: Identificar onde no bloco transformer a "mapa de características" é extraído. O artigo define seis candidatos primários:
- $F_1$ : Saída da LayerNorm antes da multi-head attention (embeddings de tokens normalizados).
- $F_2$ : Matrizes de atenção normalizadas por Softmax (forças de interação token-para-token).
- $F_3$ : Saídas de atenção (representações de tokens projetadas por valor).
- $F_4$ : Saída da LayerNorm antes da Feed-Forward Network (FFN).
- $F_5$ : Saída da FFN.
- $F_6$ : Saída residual pós-FFN.
- Cross-Attention: Em Modelos de Visão-Linguagem (VLMs), a taxonomia distingue entre representações do lado do contexto e mapas de cross-attention que conectam queries de texto a chaves de imagem.
Alvos de Gradiente: Definir o objetivo escalar ( $y_c$ ) em relação ao qual os gradientes são computados. Isso varia conforme a tarefa (ex: logit de classe para classificação, pontuação ITM para VLMs, perda de segmentação).
Manipulação de Tokens e Reconstrução Espacial:
- Seleção de Tokens: Decidir se utiliza gradientes do token [CLS], média de gradientes sobre tokens de patch ou se exclui totalmente tokens não espaciais.
- Remodelagem (Reshaping): Mapear a sequência de tokens 1D de volta para uma grade espacial 2D ( $H/P \times W/P$ ). Isso assume uma ordenação de varredura raster dos patches, o que pode não se sustentar para todas as representações (especialmente aquelas fortemente misturadas por self-attention).
Estratégias de Agregação:
- Combinação Linear: Como combinar dimensões de características (ex: média de gradientes sobre tokens espaciais vs. uso de gradientes do [CLS]).
- Agregação de Heads: Para multi-head attention, determinar se as heads são médias antes ou depois do ReLU, ou se tratam as heads como canais separados.

3. Principais Resultados

A auditoria de 175 artigos revelou várias descobertas críticas:

Falta de Justificativa: Aproximadamente 58% (101 artigos) referenciaram apenas o artigo original de Grad-CAM baseado em CNN ou variantes não-ViT, fornecendo nenhuma justificativa teórica para aplicar o método a transformers.
Detalhamento Metodológico Escasso: Apenas 15% (26 artigos) justificaram explicitamente sua adaptação ou citaram trabalhos anteriores que o fizeram. Entre estes, apenas 13 adaptações distintas revisadas por pares foram identificadas, indicando que o campo não convergiu para uma convenção padrão.
Dependência de Repositórios de Código: Cerca de 10% (17 artigos) basearam-se exclusivamente na biblioteca pytorch-grad-cam, que implementa o Grad-CAM para ViT sem fornecer uma base teórica para a adaptação.
Subespecificação: Mesmo entre artigos que alegavam usar adaptações específicas, detalhes críticos eram frequentemente ausentes, tais como:
- A camada transformer exata utilizada.
- Se o token [CLS] foi incluído ou excluído.
- Como as heads de atenção foram agregadas.
- O alvo de gradiente específico (ex: logit bruto vs. probabilidade softmax).
Variabilidade Visual: Experimentos qualitativos em um modelo ViT-B/16 padrão demonstraram que diferentes escolhas (local de característica, alvo de gradiente, estratégia de peso) produzem mapas de calor qualitativamente diferentes para a mesma entrada e classe. Alguns mapas localizaram o objeto, enquanto outros destacaram o contexto ou pareceram invertidos.

4. Principais Contribuições

Auditoria Sistemática: A primeira revisão de literatura em larga escala quantificando a prevalência e a qualidade de relato das aplicações de Grad-CAM em ViTs, revelando uma ampla falta de rigor metodológico.
Taxonomia Descritiva: Um framework que categoriza as escolhas metodológicas específicas (local de característica, alvo de gradiente, manipulação de tokens, agregação) necessárias para adaptar o Grad-CAM a arquiteturas baseadas em tokens. Esta taxonomia serve como um vocabulário para descrever as variações existentes em vez de prescrever uma solução única.
Identificação de Ambiguidade: O artigo destaca que "Grad-CAM em um ViT" é um termo subespecificado. Demonstra que, sem o relato explícito das escolhas de adaptação, as visualizações não podem ser tratadas como evidência científica reproduzível.
Orientação para Relato: Os autores fornecem um checklist para autores e revisores garantirem que as visualizações de Grad-CAM em ViTs incluam os detalhes necessários (representação de característica, alvo de gradiente, manipulação de tokens, agregação e reconstrução espacial) para apoiar afirmações sobre o comportamento do modelo.

5. Significância e Alegações

O artigo argumenta que a prática atual de aplicar Grad-CAM a ViTs é frequentemente uma abordagem "plug-and-play" que ignora o descompasso teórico entre as suposições do método (mapas de características espaciais) e a arquitetura do modelo (sequências de tokens).

Rigor Científico: Os autores alegam que a atual falta de especificação compromete a validade científica das explicações em domínios de alto risco (ex: imagem médica, sistemas críticos de segurança). Um mapa de calor subespecificado pode ser visualmente persuasivo, mas cientificamente ininterpretável.
Reprodutibilidade: O estudo afirma que a reprodutibilidade é impossível sem o relato explícito das escolhas de adaptação. A taxonomia permite que pesquisadores distingam entre diferentes procedimentos de atribuição que atualmente compartilham o mesmo rótulo.
Escopo Modesto: O artigo declara explicitamente que não propõe uma única adaptação "correta" de Grad-CAM para ViTs. Em vez disso, visa esclarecer o alcance das escolhas metodológicas sendo feitas e melhorar a transparência do relato. O objetivo é ajudar a comunidade a distinguir entre procedimentos de atribuição reproduzíveis e explicações visualmente persuasivas, porém subespecificadas.

Em conclusão, o artigo clama por uma mudança na comunidade de pesquisa: mover-se de tratar o Grad-CAM em ViTs como uma extensão trivial de métodos de CNN para uma abordagem mais rigorosa e consciente da arquitetura, onde cada visualização é acompanhada por uma definição precisa de suas escolhas matemáticas e de implementação subjacentes.