From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

1. Declaração do Problema

Modelos de visão modernos (CNNs e Vision Transformers) alcançam alta precisão, mas carecem de transparência. Os métodos atuais de interpretabilidade estão fragmentados em três domínios desconexos:

• Local: Explica onde um modelo olha para uma entrada específica (por exemplo, mapas de saliência), mas frequentemente falha em distinguir evidências específicas de classe ou lidar com características não localizadas.
• Global: Explica o que o modelo codifica em todo um conjunto de dados (por exemplo, descoberta de conceitos), mas luta com características "não localizadas" em Transformers, onde as ativações estão dispersas, tornando difícil o ancoramento semântico.
• Mecanístico: Explica como os cálculos internos montam evidências através das camadas, mas carece de uma unidade unificada para rastrear a evolução e interação de conceitos.

Os métodos existentes frequentemente dependem de gradientes (que podem ser ruidosos ou manipulados) ou de pós-processamento heurístico, e falham em fornecer uma unidade de análise consistente que faça a ponte entre evidências no nível de pixels e conceitos latentes abstratos.

2. Metodologia Central: O Framework Centrado no iERF

Os autores propõem um framework unificado construído em torno de uma única unidade fundamental de análise: o Vetor de Características Ponto a Ponto (PFV) emparelhado com seu Campo Receptivo Efetivo Específico da Instância (iERF).

• Vetor de Características Ponto a Ponto (PFV): O vetor de ativação multicanal em uma coordenada espacial específica em uma camada oculta. Isso trata a localização espacial como uma âncora invariante, aplicável tanto a CNNs (janelas deslizantes) quanto a Transformers (tokens).
• Campo Receptivo Efetivo Específico da Instância (iERF): Um mapa de pontuação que identifica os pixels de entrada específicos (ou patches) que impulsionam a ativação de um PFV específico para uma instância de entrada dada. Diferentemente dos campos receptivos teóricos, o iERF é dinâmico e ancorado em evidências.

O framework aborda as três dimensões de interpretabilidade usando esta unidade:

A. Explicação Local: Decomposição da Taxa de Compartilhamento (SRD)

• Objetivo: Gerar mapas de saliência de alta resolução e discriminativos de classe.
• Mecanismo: A SRD decompõe um PFV alvo em uma mistura ponderada de PFVs a montante. Ela calcula Taxas de Compartilhamento ($\mu$) com base no alinhamento direcional entre contribuições parciais e o vetor alvo, usando as transformações afins internas do modelo.
• Processo: Os iERFs são propagados recursivamente da entrada até a saída. O mapa final de saliência da classe é uma soma ponderada dos iERFs na saída do codificador, onde os pesos são ajustados para suprimir sinais agnósticos à classe.
• Vantagem: Diferentemente de métodos baseados em gradientes, a SRD depende exclusivamente de informações geradas pelo modelo, tornando-a robusta a ruídos e manipulação adversarial, e agnóstica a funções de ativação.

B. Explicação Global: Explicação de Características Ancorada em Conceitos (CAFE)

• Objetivo: Interpretar vetores latentes abstratos (por exemplo, de Autoencoders Esparsos ou tokens de Transformer) ancorando-os em evidências no nível de pixels.
• Problema: Em Transformers, a autoatenção mistura o contexto global, causando que as características sejam "não localizadas" (ativadas por pixels distantes). Métodos tradicionais de "patch mais ativado" falham aqui.
• Mecanismo: O CAFE usa o iERF como um rótulo semântico direto para cada vetor de conceito. Em vez de olhar para qual token disparou, ele rastreia quais pixels impulsionaram a ativação daquele token.
• Processo: A relevância é retropropagada de um neurônio SAE alvo através da espinha dorsal até a entrada. O iERF revela o verdadeiro motor semântico (por exemplo, "pílulas derramadas" versus um patch de fundo), resolvendo ambiguidades para características não localizadas e Tokens de Classe.

C. Explicação Mecanística: Grafo de Conceitos Intercamadas (ICG) & ICAT

• Objetivo: Rastrear como os conceitos evoluem e interagem através das camadas para formar decisões.
• Nós: Vetores de conceito extraídos por camada dos espaços PFV (usando métodos como bissecção k-means ou SAEs). Cada nó é ancorado pelo seu iERF.
• Arestas: Quantificadas via Atribuição de Conceito Intercamadas (ICAT). O ICAT mede a influência de um conceito pai na camada $a$ sobre um conceito filho na camada $b$.
• Método de Atribuição: O artigo valida que Gradientes Integrados (IG) é a instanciação mais fiel para ICAT (denominado ICAT$_{IG}$) usando um protocolo de inserção/deleção intercamadas.
• Saída: Um multigrafo direcionado mostrando o fluxo de evidências desde características de baixo nível (texturas) até conceitos de alto nível (objetos) e decisões finais.

3. Contribuições Principais

1. Unidade de Análise Unificada: Introdução do conjunto PFV–iERF como um primitivo consistente para análise local, global e mecanicista em CNNs e Transformers.
2. SRD (Local): Um método sem gradiente e robusto para gerar mapas de saliência discriminativos de classe que superam as bases de referência mais avançadas em fidelidade e robustez.
3. CAFE (Global): Uma abordagem inovadora para ancorar características não localizadas de SAEs e tokens de Transformer em evidências de pixels verificáveis, resolvendo o problema da "dimensão espacial nula" dos Tokens de Classe.
4. ICG & ICAT (Mecanístico): Um framework para rastrear a influência de conceito a conceito através das camadas, identificando os Gradientes Integrados como o método de atribuição ótimo para análise intercamadas.
5. Avaliação Abrangente: Experimentos extensivos em ResNet50, VGG16 e ViTs demonstrando desempenho superior em localização, esparsidade, fidelidade e robustez adversarial.

4. Resultados Experimentais

• Local (SRD):
  • Superou as bases de referência (Grad-CAM, LRP, Gradientes Integrados, etc.) no ImageNet-S50 em Jogo de Apontamento, Localização de Atribuição, Fidelidade e Estabilidade.
  • Demonstrou alta robustez contra ataques adversariais direcionados (preservando pistas relevantes para a classe enquanto concorrentes falhavam).
  • Mantive alta fidelidade em várias funções de ativação (ReLU, Swish, GELU, Tanh), ao contrário de métodos adaptados apenas para ReLU.
• Global (CAFE):
  • Em testes de inserção, o CAFE guiado por iERF recuperou ativações latentes significativamente mais rápido do que bases de referência ingênuas de classificação de ativação.
  • Interpretou com sucesso características não localizadas (por exemplo, conceito de contagem "Três", "Armadura de Cavaleiro") onde métodos tradicionais produziram rótulos semânticos ambíguos ou incorretos.
• Mecanístico (ICG):
  • Validou que Gradientes Integrados fornecem a queda/subida mais íngreme nas curvas de inserção/deleção, confirmando-o como o método mais fiel para ICAT.
  • Diagnosticou com sucesso modos de falha:
    • Classificação Incorreta: Revelou rotas de conceitos concorrentes (por exemplo, "cão boxeador" versus "gato tigre") causando erros.
    • Ataques Adversariais: Rastrear como perturbações reaproveitaram conceitos de baixo nível (por exemplo, "rugas") para sequestrar representações de alto nível.

5. Significado

Este artigo fornece um mapa coerente e fundamentado em evidências de pixels para conceitos e decisões. Ao ancorar todas as tarefas de interpretabilidade no iERF, o framework:

• Unifica campos de interpretabilidade dispersos (local, global, mecanicista) sob uma única lente matemática.
• Resolve os desafios específicos de arquiteturas modernas (Transformers) onde a mistura de contexto global obscurece evidências locais.
• Aumenta a Confiança: Oferece uma ferramenta robusta e resistente a manipulação para depuração de modelos, compreensão de modos de falha e verificação de que os modelos dependem de características semanticamente significativas em vez de correlações espúrias.
• Impacto Futuro: Estabelece uma base para mover a interpretabilidade da visualização post-hoc para uma análise fundamentada em conceitos que pode suportar o direcionamento e intervenção de modelos.