Learn to Rank: Visual Attribution by Learning Importance Ranking

1. Problema e Motivação

A interpretabilidade de modelos de visão computacional complexos (como Transformers de Visão - ViT) é crucial para estabelecer confiança, especialmente em domínios críticos como saúde e direção autônoma. O método padrão para isso é a geração de mapas de atribuição visual, que destacam as regiões da imagem mais relevantes para a previsão do modelo.

No entanto, os métodos existentes enfrentam um compromisso de três vias (trade-off):

1. Baseados em Propagação (ex: Grad-CAM, Attention Rollout): São eficientes computacionalmente, mas podem ser tendenciosos (bias), específicos da arquitetura e frequentemente focam em características de baixo nível (bordas) em vez de objetos semânticos.
2. Baseados em Perturbação (ex: RISE, SHAP, MDA): São causalmente fundamentados (medem o impacto real da remoção de pixels), mas são computacionalmente caros (requerem muitas avaliações do modelo) e, em ViTs, geralmente operam em nível de "patches", resultando em mapas de atribuição grosseiros e pouco precisos espacialmente após o upsampling.
3. Baseados em Aprendizado (Amortizados): São rápidos na inferência, mas geralmente otimizam objetivos substitutos (surrogate objectives) ou são supervisionados por outros métodos de atribuição, herdando seus vieses e limitações.

O objetivo deste trabalho é superar essas limitações criando um método que seja causalmente fundamentado (como os baseados em perturbação), eficiente (como os baseados em aprendizado) e capaz de gerar atribuições densas em nível de pixel (superando a granularidade de patches dos ViTs).

2. Metodologia: AHA (Amortized Hybrid Attribution)

Os autores propõem o AHA, um framework de atribuição híbrido que combina a fundamentação causal da perturbação com a eficiência de um explicador aprendido.

A. Formulação do Problema

O método visa otimizar diretamente as métricas de Deleção (Deletion) e Inserção (Insertion), que são o padrão-ouro para avaliar a qualidade da atribuição:

• Deleção: Mede o quão rápido a probabilidade da classe alvo cai quando os pixels mais importantes são removidos.
• Inserção: Mede o quão rápido a probabilidade sobe quando os pixels mais importantes são adicionados a uma imagem de referência (ex: preta ou borrada).

B. O Desafio da Diferenciabilidade

As métricas de Deleção e Inserção dependem de operações de classificação e ordenação (sorting) dos pixels por importância para criar máscaras binárias. Essas operações são não diferenciáveis, impedindo o treinamento end-to-end via retropropagação.

C. Solução: Aprendizado de Permutação com Gumbel-Sinkhorn

Para contornar a não diferenciabilidade, os autores reformulam o problema como um problema de aprendizado de permutação:

1. Relaxação Suave: Em vez de ordenar rigidamente os pixels, eles utilizam a técnica Gumbel-Sinkhorn. Isso permite criar uma aproximação diferenciável da matriz de permutação.
2. Máscaras Suaves: A ordenação rígida é substituída por "máscaras top-k suaves" (soft top-k masks), onde os pixels têm valores contínuos entre 0 e 1, indicando o grau de inclusão no conjunto de "mais importantes".
3. Otimização Direta: O modelo explicador é treinado para minimizar a Deleção AUC e maximizar a Inserção AUC diretamente, usando essas máscaras suaves para perturbar a entrada e calcular o gradiente em relação aos parâmetros do explicador.

D. Estratégias de Treinamento Eficiente e Robusto

Para tornar o treinamento viável em imagens de alta resolução e evitar overfitting em artefatos de pixels individuais:

• Permutação Baseada em Regiões: A imagem é dividida em uma grade (ex: $G \times G$). A ordenação ocorre no nível das regiões (médias dos atributos), não pixel a pixel. As máscaras resultantes são então upsampled para a resolução original.
• Amostragem de Passos de Perturbação: Em vez de calcular a curva completa de AUC (todos os $k$ passos), o método amostra aleatoriamente um subconjunto de passos durante o treinamento.
• Aumento de Grade (Grid Augmentation): O tamanho e a posição da grade são variados aleatoriamente para evitar viés espacial.
• Regularização: Penaliza picos isolados de alta importância não suportados por vizinhanças, promovendo mapas mais suaves e coerentes.

E. Refinamento no Tempo de Inferência (Opcional)

O método permite um refinamento opcional: após a geração inicial do mapa (uma única passagem forward), o explicador pode ser ajustado por alguns passos de gradiente (fine-tuning) especificamente para a imagem de teste. Isso combina a prior aprendida com sinais de propagação específicos da amostra, melhorando a qualidade da explicação quando o throughput não é a prioridade máxima.

3. Contribuições Principais

1. Framework Híbrido: Propõe uma abordagem de aprendizado que integra a fundamentação causal da perturbação com a eficiência de explicadores amortizados.
2. Otimização de Métricas Diretas: É a primeira abordagem (para ViTs) a otimizar diretamente as métricas de Deleção e Inserção, em vez de usar objetivos substitutos ou supervisão de outros métodos.
3. Formulação de Permutação Diferenciável: Utiliza a relaxação Gumbel-Sinkhorn para tornar a ordenação de importância diferenciável, permitindo o treinamento end-to-end.
4. Atribuições Densas e Precisas: Gera mapas de atribuição em nível de pixel que se alinham perfeitamente com as bordas dos objetos, superando a limitação de "blocos" (patch-level) dos métodos existentes para Transformers.
5. Eficiência e Flexibilidade: Oferece um modo rápido (passada única) e um modo de alta fidelidade (com refinamento), adaptando-se a diferentes necessidades de aplicação.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados ImageNet utilizando classificadores ViT-B/16, ViT-B/32 e ConvNeXt Small.

• Desempenho Quantitativo: O AHA superou consistentemente o estado da arte (SOTA) em métricas de fidelidade, incluindo Deleção, Inserção, Positive/Negative Perturbation e Average Drop Percentage (ADP).
  • Em ViT-B/16, o AHA (sem refinamento) já superou métodos como Grad-CAM, IG, Bi-Att e até o MDA (Metric-Driven Attribution) em várias métricas, com um custo computacional muito menor.
  • Com o refinamento de 3 passos ($T=3$), o desempenho aumentou ainda mais, alcançando os melhores resultados gerais.
• Qualidade Visual:
  • Os mapas gerados são densos e alinhados com as bordas dos objetos.
  • Em comparação com métodos baseados em patches (como TIS, ViT-CX, MDA), o AHA evita a dispersão de ativações no fundo e foca precisamente nas partes semânticas relevantes (ex: a cabeça do animal em vez de todo o corpo ou o fundo).
  • Exemplos qualitativos mostram que o AHA identifica corretamente características críticas mesmo em casos de classificação incorreta pelo modelo (ex: destacando a tampa de garrafa em uma imagem de "abridor de latas" mal classificado).
• Eficiência:
  • O tempo de inferência do AHA (sem refinamento) é comparável a métodos de propagação rápidos (como Grad-CAM, ~0.016s), enquanto métodos baseados em perturbação per-sample (como MDA) levam mais de 13 segundos.
  • O refinamento opcional aumenta o tempo, mas permanece muito mais rápido que a otimização por amostra.

5. Significado e Conclusão

O trabalho AHA representa um avanço significativo na explicabilidade de modelos de visão, especialmente para Vision Transformers. Ao conseguir otimizar diretamente as métricas de avaliação mais confiáveis (Deleção/Inserção) através de uma relaxação diferenciável inteligente, os autores conseguem:

• Eliminar a necessidade de heurísticas ou supervisão por outros métodos de atribuição.
• Resolver o problema da baixa resolução espacial inerente aos métodos baseados em patches de Transformers.
• Oferecer um equilíbrio prático entre velocidade e precisão explicativa.

A capacidade de gerar explicações densas e semanticamente alinhadas com a estrutura do objeto, mantendo a fundamentação causal da perturbação, torna o AHA uma ferramenta poderosa para a auditoria e confiança em sistemas de IA de missão crítica.