Resumo Técnico: Propagação de Relevância com Salto de Gradiente para Explicabilidade Eficiente de Vision Transformers

1. Declaração do Problema

Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional, mas permanecem difíceis de interpretar. Os métodos de explicabilidade existentes — categorizados como baseados em gradiente, baseados em atenção e baseados em perturbação — sofrem de limitações significativas quando aplicados a arquiteturas transformer.

Os problemas centrais identificados são:

• Tratamento Uniforme de Cabeças: A maioria das abordagens baseadas em atenção assume que todas as cabeças de atenção possuem importância uniforme. No entanto, a literatura indica que as cabeças desempenham papéis heterogêneos; algumas codificam padrões semanticamente focados enquanto outras atendem de forma difusa. Tratá-las uniformemente dilui a explicação ao misturar sinais informativos e não informativos.
• Negligência das Conexões Residuais: Métodos existentes frequentemente modelam conexões de salto (skip connections) como caminhos de identidade ou utilizam heurísticas fixas. Isso falha em distinguir entre a relevância atribuída a transformações aprendidas e a relevância simplesmente preservada ao longo da rota de identidade, levando a uma atribuição de relevância imprecisa.
• Troca entre Eficiência e Fidelidade: Métodos baseados em gradiente são computacionalmente baratos, mas sofrem com atribuições instáveis em transformers profundos. Métodos baseados em perturbação oferecem alta fidelidade, mas exigem custos computacionais massivos (milhares de passagens de ida/forward passes). Métodos baseados em atenção são eficientes, mas muitas vezes carecem de confiabilidade causal.

2. Metodologia: GradSkip

Para abordar essas limitações, os autores propõem o GradSkip, um método de propagação de relevância que introduz duas inovações conceituais: ponderação adaptativa de cabeças e propagação consciente de conexões de salto.

2.1 Ponderação Adaptativa de Cabeças de Atenção

Em vez de tirar a média de todas as cabeças, o GradSkip calcula pesos de importância dinâmicos e específicos para cada cabeça ($\omega^l_q$) combinando duas métricas complementares:

1. Métrica de Fluxo Baseada em Gradiente ($\tilde{g}^l_q$): Esta quantifica a influência causal de uma cabeça na decisão do modelo, medindo a magnitude do gradiente ponderada pelos escores de atenção. Um mecanismo de limiar (thresholding) filtra cabeças com fluxo de gradiente negligenciável para reduzir o ruído.
2. Métrica de Esparsidade Baseada em Gini ($\tilde{s}^l_q$): Esta captura o foco espaço-semântico de uma cabeça. O coeficiente de Gini é calculado sobre os valores de atenção ordenados; altos coeficientes de Gini indicam padrões de atenção "pontuais" (focados em regiões específicas), distinguindo-os de distribuições difusas.

O peso final é uma combinação convexa: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$, onde $\alpha$ equilibra a relevância causal e a coerência espacial.

2.2 Propagação de Relevância Consciente de Conexões de Salto

O GradSkip modela explicitamente a estrutura residual dos blocos transformer durante a retropropagação (backward propagation). Em vez de tratar o caminho de salto como uma identidade fixa, ele particiona dinamicamente a relevância entre o caminho de transformação de atenção e o caminho de conexão de salto com base em suas contribuições causais relativas.

A contribuição de cada caminho é quantificada usando magnitudes de ativação ponderadas pelo gradiente:

• $\beta^l_{main}$: O portão de relevância normalizado para o caminho principal de atenção.
• $\beta^l_{skip}$: O portão complementar para a conexão de salto ($1 - \beta^l_{main}$).

A relevância em $l-1$ é computada como:
$$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$$
onde $\tilde{W}^l$ é uma matriz de atenção ponderada que incorpora a importância das cabeças, magnitudes de gradiente e magnitudes de embedding. Isso garante que blocos que atuam primariamente como mapeamentos de identidade contribuam minimamente para a explicação, preservando a relevância através da conexão de salto.

2.3 Detalhes de Implementação

O processo envolve uma única passagem de ida (forward pass) para capturar representações intermediárias, gradientes e mapas de atenção, seguida por uma única passagem de volta (backward pass) para propagar a relevância. O método inclui o redimensionamento de gradiente para lidar com desequilíbrios de fluxo e garantir a completude FullGrad.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Ponderação Adaptativa de Cabeças: Um mecanismo que combina fluxo baseado em gradiente e esparsidade baseada em Gini para capturar a influência causal e a seletividade de cabeças de atenção individuais, indo além do tratamento uniforme.
2. Propagação Consciente de Conexões de Salto: Uma regra dinâmica que particiona a relevância entre os caminhos de atenção e residual com base em sua contribuição causal relativa, respeitando a estrutura residual fundamental dos transformers.
3. Avaliação Abrangente: Experimentos extensos em benchmarks de classificação (ImageNet1K, BloodMNIST) e segmentação (ADE20K-150) demonstrando fidelidade e localização de estado da arte com custos computacionais significativamente reduzidos.

4. Resultados Experimentais

4.1 Desempenho de Classificação

Avaliado em ImageNet1K e BloodMNIST utilizando modelos ViT-Base e DeiT-Base:

• Fidelidade: O GradSkip alcançou desempenho de estado da arte na métrica Inserção-Deleção e no Teste de Violação de Fidelidade. Por exemplo, no ImageNet1K com ViT-Base, superou o segundo melhor método (MUTEX) em até 12,50% nos escores de Inserção-Deleção.
• Localização: Na métrica Pointing Game, o GradSkip alcançou os maiores escores no ViT-Base (0,868) e resultados competitivos no DeiT-Base (0,831).
• Eficiência: O GradSkip exigiu 69,39 GFLOPs para gerar um mapa de atribuição. Isso é 14,45 vezes menos operações do que o MUTEX e 256,66 vezes menos do que o TIS, mantendo uma fidelidade superior em comparação com outros métodos eficientes como variantes de LRP.

4.2 Desempenho de Segmentação

Avaliado em ADE20K-150 usando o modelo SegFormer:

• O GradSkip alcançou a maior Acurácia de Pixel (PA) (0,815) e mIoU (Interseção sobre União média) (0,371).
• Superou o segundo melhor método (MUTEX) em 53,94% em mIoU.
• Ao contrário de métodos como Finer-CAM, que alcançaram alta PA mas baixo mIoU devido a mapas de saliência excessivamente estendidos, o GradSkip demonstrou capacidade superior de delinear regiões específicas de classe com precisão.
• Eficiência: Exigiu apenas 28,52 GFLOPs, comparável aos métodos mais eficientes baseados em LRP, mas com significativamente maior acurácia de segmentação.

4.3 Ablação e Análise

• Esparsidade de Cabeça: A análise estatística confirmou uma correlação significativa entre a esparsidade de atenção (medida pelo coeficiente de Gini) e os escores de fidelidade. Selecionar apenas as 25% melhores cabeças baseadas em esparsidade melhorou o desempenho, enquanto o uso das 25% piores o degradou.
• Hiperparâmetros: O equilíbrio ideal entre fluxo de gradiente e esparsidade foi encontrado em $\alpha = 0,50$. Depender exclusivamente de uma métrica resultou em quedas de desempenho de até 26,67%.
• Análise Qualitativa: As visualizações mostraram o GradSkip produzindo mapas de calor focados e espacialmente precisos que isolavam corretamente regiões discriminativas (ex: objetos pequenos como joaninhas ou estruturas finas como mastros) enquanto suprimiam o ruído de fundo, superando competidores que exibiam ativações difusas ou dispersas.

5. Significância e Alegações

O artigo afirma que o GradSkip consegue preencher a lacuna entre eficiência computacional e fidelidade de explicação em Vision Transformers. Sua significância reside em:

• Consciência Arquitetural: Ao modelar explicitamente os papéis heterogêneos das cabeças de atenção e a natureza dinâmica das conexões residuais, o GradSkip fornece explicações que refletem melhor como o modelo processa a entrada.
• Implantação Prática: Ele entrega a alta fidelidade tipicamente associada a abordagens de perturbação custosas, mas com uma fração do orçamento computacional (comparável ao LRP), tornando-o adequado para aplicações práticas onde os recursos são limitados.
• Robustez: O método demonstra desempenho consistente através de diferentes conjuntos de dados (gerais e médicos), arquiteturas de modelo (ViT, DeiT, SegFormer) e tipos de tarefas (classificação e segmentação).

Os autores observam limitações, especificamente que o GradSkip requer acesso aos internos do modelo (gradientes e ativações) e não pode ser aplicado em configurações puramente de ida (forward), sem gradiente. Além disso, a implementação atual descarta o token CLS, o que pode limitar a aplicabilidade em ViTs padrão onde o token CLS agrega o contexto global, embora seja diretamente aplicável a variantes como o SegFormer que não dependem dele.