What Helps---and What Hurts: Bidirectional Explanations for Vision Transformers

O artigo apresenta o BiCAM, um método de mapeamento de ativação de classe bidirecional que captura tanto contribuições positivas quanto negativas para melhorar a interpretabilidade e a detecção de exemplos adversariais em Vision Transformers.

O essencial

Imagine que você tem um detetive muito inteligente, mas que nunca explica por que ele chegou a uma conclusão. Ele aponta para uma foto de um elefante e diz: "Isso é um elefante!", mas você não sabe se ele viu a tromba, as orelhas ou se apenas a cor cinza o enganou.

Esse é o problema com os Vision Transformers (ViTs), uma tecnologia de Inteligência Artificial muito poderosa que vê o mundo como nós, mas cujos "pensamentos" são uma caixa preta.

O artigo que você enviou apresenta uma nova ferramenta chamada BiCAM (um "mapa de ativação bidirecional") que funciona como uma lanterna mágica para esse detetive. Aqui está a explicação simples:

1. O Problema: A Visão de "Óculos Escuros"

Antes do BiCAM, os métodos para entender a IA funcionavam como se olhássemos apenas o que a IA gostava.

• Como era antes: Se a IA dizia "é um elefante", o mapa mostrava apenas o elefante em vermelho (positivo). Tudo o que não era elefante era ignorado ou apagado.
• A falha: A IA muitas vezes decide o que não é algo tão importante quanto o que é. Se ela vê um zebra e um elefante juntos, ela precisa "descartar" a zebra para focar no elefante. Os métodos antigos jogavam fora essa informação de "descarte".

2. A Solução: O Mapa de "Sim e Não" (BiCAM)

O BiCAM muda as regras do jogo. Ele não apaga o que a IA rejeita. Em vez disso, ele cria um mapa de duas cores:

• 🔴 Vermelho (Suporte): "Olhe aqui! Isso é um elefante." (O que a IA usa para confirmar a ideia).
• 🔵 Azul (Supressão): "Não olhe aqui! Isso é um zebra, ignore." (O que a IA usa para descartar distrações).

A Analogia do Jogo de Xadrez:
Imagine que você está jogando xadrez. Para vencer, você precisa saber onde colocar suas peças (o vermelho) E onde o seu oponente está ameaçando (o azul).

• Métodos antigos só mostravam onde você colocou suas peças.
• O BiCAM mostra o tabuleiro inteiro: onde você ataca e onde você se defende. Isso dá uma explicação muito mais completa e honesta de como a IA "pensou".

3. Como ela funciona? (A "Camada Profunda")

A IA tem várias "camadas" de pensamento, como os andares de um prédio.

• Os andares baixos (camadas iniciais) veem apenas linhas e cores (ruído).
• Os andares altos (camadas finais) entendem o significado (o objeto).

O BiCAM é esperto: ele ignora os andares barulhentos e foca apenas nos andares superiores onde a decisão final é tomada. Isso torna o processo muito mais rápido e preciso, sem precisar de cálculos pesados e demorados.

4. O "Detector de Mentiras" (PNR)

Uma das partes mais legais do artigo é o PNR (Razão Positivo/Negativo).

• A ideia: Quando a IA vê uma foto normal, ela tem um equilíbrio saudável entre o que ela aceita (vermelho) e o que ela rejeita (azul).
• O truque: Se alguém tentar enganar a IA com uma imagem manipulada (um "ataque adversarial"), esse equilíbrio quebra. A IA fica confusa, e o mapa de cores fica estranho (muito azul ou muito vermelho de forma desordenada).
• O resultado: O BiCAM consegue detectar se uma imagem foi "falsificada" ou manipulada apenas olhando para esse desequilíbrio, sem precisar reeducar a IA. É como um detector de mentiras que funciona apenas analisando a expressão facial.

5. Por que isso importa?

• Confiança: Em hospitais ou carros autônomos, precisamos saber por que a IA tomou uma decisão. O BiCAM nos diz: "Ela viu o tumor (vermelho) e descartou a sombra (azul)".
• Segurança: Ele nos ajuda a encontrar imagens falsas que tentam enganar a IA.
• Eficiência: Funciona rápido e em vários tipos de modelos de IA diferentes.

Resumo em uma frase:
O BiCAM é como dar óculos de visão noturna para a Inteligência Artificial, permitindo que ela mostre não apenas o que ela acha que é importante, mas também o que ela decidiu ignorar, tornando suas decisões mais claras, justas e seguras.

Resumo técnico

Resumo Técnico: BiCAM para Vision Transformers

1. O Problema

Os Vision Transformers (ViTs) alcançaram desempenho de ponta em tarefas de reconhecimento visual, como classificação, detecção de objetos e segmentação. No entanto, seu processo de tomada de decisão permanece uma "caixa preta", dificultando a interpretação em domínios de alto risco.
As abordagens existentes de interpretabilidade para ViTs apresentam limitações significativas:

• Métodos baseados em Atenção: Frequentemente sofrem de "suavização excessiva" (over-smoothing), tratando todos os tokens como igualmente importantes.
• Métodos baseados em Gradientes: Embora melhorem a fidelidade, muitas vezes agregam sinais de todas as camadas sem preservar contribuições negativas (supressivas).
• Métodos baseados em Shapley: São computacionalmente intensivos e exigem retreinamento específico para cada conjunto de dados.
• Falta de Sinais Negativos: A maioria dos métodos descarta valores negativos, ignorando o papel crucial das evidências que o modelo usa para rejeitar classes alternativas. Isso resulta em explicações incompletas que não capturam o contraste entre o que o modelo apoia e o que ele suprime.

2. Metodologia: BiCAM

Os autores propõem o BiCAM (Bidirectional Class Activation Mapping), um método que gera mapas de ativação de classe bidirecionais, capturando simultaneamente contribuições positivas (suporte) e negativas (supressão).

Componentes Principais:

• Agregação Estratégica de Camadas:

  • Diferente de métodos que agregam sinais de todas as camadas, o BiCAM foca seletivamente nas últimas camadas do Transformer (especificamente os últimos $2/3$das camadas, ou$\ell = 2L/3$).
  • Justificativa: Evidências teóricas e empíricas indicam que informações discriminativas de classe concentram-se nas camadas mais profundas, enquanto camadas iniciais contêm ruído estrutural de baixo nível.
  • A agregação é feita por uma soma simples das máscaras de cada camada selecionada, evitando operações recursivas complexas ou combinações ponderadas que podem distorcer os sinais.

• Mecanismo de Atribuição Bidirecional:

  • O método calcula mapas de atribuição combinando: (i) Mapas de atenção ($A$), (ii) Projeções de valor ($V$) e (iii) Gradientes da classe alvo em relação ao token [CLS] ($\partial y_c / \partial o_{cls}$).
  • Preservação de Sinais: Crucialmente, nenhum ReLU ou clipping é aplicado. Isso permite que valores negativos (que indicam direções que diminuem a pontuação da classe sob perturbações infinitesimais) sejam preservados.
  • O resultado é um mapa de calor onde cores quentes (ex: vermelho) indicam evidência de suporte e cores frias (ex: azul) indicam evidência de supressão (o que o modelo rejeita).

• Razão Positivo-Negativo (PNR - Positive-to-Negative Ratio):

  • Uma métrica derivada do BiCAM para detecção de exemplos adversariais.
  • Hipótese: Amostras limpas exibem um equilíbrio espacial estruturado entre áreas de suporte e supressão. Perturbações adversariais tendem a dispersar ou exagerar essas respostas, desequilibrando a razão.
  • Cálculo: $PNR = \frac{\sum \text{ReLU}(M_i)}{\sum \text{ReLU}(-M_i) + \epsilon}$.
  • A detecção é feita calculando a diferença ($\Delta PNR$) entre a amostra adversarial e a limpa, sem necessidade de retreinamento do modelo.

3. Contribuições Chave

1. BiCAM: Um método de atribuição de uma única passagem (forward-backward) que fornece explicações contrastivas, mostrando tanto por que uma classe é prevista quanto por que outras são rejeitadas.
2. PNR: Uma métrica leve e interpretável para detecção de ataques adversariais (como PGD, C&W, MI-FGSM) baseada na distorção do equilíbrio de atribuições.
3. Estratégia de Agregação: Uma abordagem principled que foca em camadas profundas para maximizar a informação discriminativa e minimizar o ruído.
4. Generalização: O método adapta-se a variantes de ViT (DeiT, Swin) com modificações mínimas.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados ImageNet, PASCAL VOC e COCO, utilizando arquiteturas como ViT-B/16, DeiT-B e Swin-B.

• Desempenho de Localização (IoU, F1, Precisão, Recall):
  • No ImageNet, o BiCAM alcançou os maiores índices de IoU (0.5419), F1 (0.6624) e Recall (0.9288) entre todos os métodos comparados (incluindo Attention Rollout, LRP-based e AG-CAM).
  • Em cenas multi-objeto (VOC/COCO), o BiCAM (Positivo) superou todas as baselines. O BiCAM (Negativo) também demonstrou desempenho competitivo, capturando regiões semanticamente significativas de competição, algo que métodos tradicionais não conseguem avaliar.
• Fidelidade (Faithfulness):
  • Avaliado através da remoção iterativa de patches (MIF - Mais Importante e LIF - Menos Importante). O BiCAM obteve a maior pontuação de fidelidade em todos os conjuntos de dados, indicando que a importância atribuída alinha-se melhor com o comportamento real do modelo.
• Detecção Adversarial:
  • O $\Delta PNR$ permitiu a detecção eficaz de ataques adversariais com AUROC de ~0.796 e AUPR de ~0.763 em média, sem retrainamento.
• Eficiência Computacional:
  • O BiCAM é 8,4 vezes mais rápido que métodos baseados em LRP (16ms/imagem vs 134ms/imagem) e não requer armazenamento de intermediários pesados ou retraining, sendo comparável em custo a métodos de atenção pura.

5. Significado e Conclusão

O trabalho demonstra que modelar tanto evidências de suporte quanto de supressão é fundamental para a interpretabilidade de Transformers visuais.

• Interpretabilidade Rica: Ao preservar sinais negativos, o BiCAM oferece uma visão mais completa e contrastiva da decisão do modelo, essencial para entender cenários complexos com múltiplos objetos.
• Segurança: A introdução do PNR abre uma nova via para a detecção de exemplos adversariais baseada na estrutura interna das atribuições, sendo uma ferramenta leve e eficaz.
• Impacto Futuro: Sugere que a exploração de atribuições bidirecionais é uma dimensão subexplorada e valiosa para melhorar a confiança em IA, especialmente em aplicações de alto risco.

O artigo conclui que o BiCAM avança o estado da arte em XAI (Explainable AI) para ViTs, equilibrando precisão, eficiência e profundidade interpretativa.