Resumo Técnico: DAVE – Atribuição Consciente de Distribuição via Decomposição de Gradiente de ViT

1. Definição do Problema

Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional, mas apresentam desafios significativos para a IA Explicável (XAI). Diferente das Redes Neurais Convolucionais (CNNs), os ViTs processam imagens como sequências de tokens de patches usando mecanismos de atenção. Esta arquitetura introduz artefatos específicos nos mapas de atribuição:

• Artefatos Estruturados: Explicações baseadas em gradiente e atenção frequentemente exibem padrões em forma de grade ou artefatos de "grade de patches" induzidos pela tokenização e pelo roteamento de atenção.
• Instabilidade: Métodos existentes frequentemente produzem atribuições de nível de pixel instáveis ou são forçados a depender de explicações de nível de patch mais grosseiras que carecem de evidência visual detalhada.
• Sensibilidade: Métodos padrão baseados em gradiente capturam tanto a transformação efetiva de entrada-saída quanto a variação do operador em relação à entrada. Esta última frequentemente amplifica componentes de alta frequência e localmente instáveis, levando a explicações ruidosas.

O artigo postula que obter mapas de atribuição estáveis, de alta resolução e consistentes com a classe para ViTs continua sendo um desafio em aberto, necessitando de um método que possa desvincular características semânticas verdadeiras de ruídos induzidos pela arquitetura.

2. Metodologia: DAVE

Os autores propõem o DAVE (Distribution-aware Attribution via ViT Gradient Decomposition), um framework matematicamente fundamentado que decompõe o gradiente de entrada para isolar a transformação efetiva e estável do modelo.

2.1. Decomposição Estruturada de Gradiente

A principal contribuição teórica é a decomposição da derivada da camada. Os autores modelam as camadas de ViT como mapas de operadores diferenciáveis $L(X)$ seguidos por um viés (bias). A derivada de uma camada $F(X)$ é mostrada como consistindo de dois termos distintos (Equação 3):

1. Transformação Efetiva ($L(X)$): A ação direta e condicionada à entrada da camada sobre sua entrada. Isso representa o mapeamento estável usado para a predição.
2. Variação do Operador: A derivada do operador $L(X)$ em relação à entrada. Este termo captura como os mecanismos internos mudam sob pequenas perturbações e é identificado como a fonte de instabilidade de alta frequência e artefatos.

O DAVE descarta o termo de variação do operador, retendo apenas a transformação efetiva como o sinal de atribuição base.

2.2. Filtragem Equivariante

Para abordar padrões induzidos pela arquitetura (como artefatos de grade provenientes de embeddings de patch) que são estáveis entre entradas, mas não informativos para predições específicas, o DAVE aplica um operador inspirado em Reynolds.

• Critério de Equivariância: O método assume que os mapas de atribuição devem se transformar consistentemente sob pequenas transformações espaciais (ex: rotações, deslocamentos) da entrada.
• Filtragem: Ao tirar a média da transformação efetiva sobre uma vizinhança local de transformações espaciais (amostradas de uma medida de probabilidade $\nu$), o DAVE suprime componentes que violam a equivariância local. Isso isola sinais de atribuição que variam consistentemente com o conteúdo semântico da entrada.

2.3. Estabilização de Baixa Passagem

Para suprimir ainda mais os artefatos de alta frequência, o DAVE aplica uma operação de filtragem de baixa passagem. Isso é alcançado tomando a expectativa da transformação efetiva equivariante sob pequenas perturbações Gaussianas ($\epsilon$).

• Matematicamente, isso é equivalente a convoluir a transformação equivariante com um kernel de suavização $K$ (Equação 7).
• Diferente do SmoothGrad padrão (que tira a média de gradientes brutos), o DAVE tira a média da transformação efetiva, estabilizando assim a atribuição sem reintroduzir os artefatos de variação do operador descartados.

2.4. Mapa de Atribuição Final

O mapa de atribuição final do DAVE é computado aplicando a transformação efetiva consciente da distribuição à entrada via multiplicação elemento a elemento:
$$\text{DAVE}(X) = \tilde{W}^{eq}_L(X) \odot X$$
onde $\tilde{W}^{eq}_L(X)$ é a expectativa da transformação efetiva do operador sobre transformações espaciais e ruído.

3. Principais Contribuições

1. Framework Matemático: Uma decomposição estruturada do gradiente de entrada que separa a transformação efetiva de entrada-saída da variação do operador, fornecendo uma base teórica para a atribuição estável de ViT.
2. Algoritmo DAVE: Uma implementação prática para Vision Transformers que aproveita propriedades arquiteturais para suprimir artefatos de patch e de atenção, produzindo atribuições de nível de pixel estáveis e de alta resolução.
3. Versatilidade: Demonstração de que o método funciona efetivamente tanto em modelos de fundação totalmente supervisionados (ex: DeiT, ViT) quanto autossupervisionados (ex: DINO) e arquiteturas inerentemente interpretáveis (redes B-cos).

4. Resultados Experimentais

Os autores avaliaram o DAVE no ImageNet-1k utilizando backbones de ViT padrão (ViT-B/16, DeiT-B/16, DeiT-III-B/16, DINO ViT-B/16) e modelos B-cos.

4.1. Desempenho de Localização

• Grid Pointing Game (GridPG): O DAVE superou todos os baselines (incluindo I×G, Integrated Gradients, SmoothGrad, LeGrad, AttnLRP e Chefer-LRP).
  • No DeiT-III-B/16, o DAVE alcançou 65,76%, um aumento de 11,92 pontos percentuais sobre o melhor método concorrente.
  • No DeiT-B/16, alcançou 63,52% (+8,05 p.p. de melhoria).
• Energy Pointing Game (EnergyPG): O DAVE obteve as pontuações mais altas no DeiT-B/16 (82,23%) e no DeiT-III-B/16 (82,43%), e melhorou significativamente no DINO-B/16 (83,38%).
• Modelos B-cos: O DAVE melhorou as explicações inerentes das redes B-cos, obtendo uma melhoria de +9,14 p.p. em EnergyPG no B-cos-ViT.

4.2. Fidelidade (Deleção de Pixels)

• Usando curvas de deleção de pixels (removendo pixels do menos para o mais importante), o DAVE exibiu as curvas mais planas, indicando que a confiança na predição do modelo permaneceu estável por mais tempo conforme os pixels eram removidos. Isso sugere que as atribuições do DAVE são mais consistentes com o processo real de tomada de decisão do modelo em comparação com métodos anteriores.

4.3. Análise Qualitativa

• Comparações visuais mostraram que o DAVE produz mapas mais nítidos e alinhados ao objeto, com redução de ruído de fundo.
• Ao contrário dos baselines (ex: SmoothGrad, IntGrad), que frequentemente exibiam respostas difusas ou artefatos de grade de patch, o DAVE destacou consistentemente características semanticamente significativas (ex: contornos, partes distintas) através de várias variantes de ViT.

5. Significância e Alegações

O artigo afirma que o DAVE aborda a lacuna crítica na explicabilidade de ViTs ao fornecer um mecanismo para produzir mapas de atribuição estáveis, de alta resolução e consistentes com a classe.

• Confiabilidade: Ao isolar a transformação efetiva e suprimir a variação do operador e os artefatos induzidos pela arquitetura, o DAVE oferece um mecanismo mais confiável para auditar modelos de visão de alta capacidade.
• Aplicabilidade: O método é apresentado como uma ferramenta para profissionais identificarem vieses de modelos, depurarem classificações incorretas e aumentarem a colaboração humano-IA, fornecendo evidência visual que se alinha com a percepção humana.
• Modéstia: Os autores reconhecem que o operador de média introduz um custo computacional mais elevado em comparação com métodos de gradiente bruto. Eles sugerem que trabalhos futuros poderiam focar em amostragem mais eficiente ou seleção automática de grupos de transformação para reduzir esse custo.

Em resumo, o DAVE fornece uma abordagem matematicamente rigorosa para desvincular o "sinal" da predição de um ViT do "ruído" de sua implementação arquitetônica, resultando em explicações que são tanto espacialmente precisas quanto robustas.