Extremal Contours: Gradient-driven contours for compact visual attribution

1. Declaração do Problema

Os métodos atuais para explicar decisões de redes neurais profundas (DNN) em visão computacional enfrentam desafios significativos relacionados à fidelidade, compactidade e estabilidade:

• Máscaras de Perturbação Densa: Métodos como Perturbações Extremais ou Máscaras Suaves otimizam máscaras densas em nível de pixel para preservar ou deletar regiões da imagem. Embora eficazes na identificação de regiões causais, essas máscaras frequentemente resultam em saídas fragmentadas, ruidosas ou multi-componentes. Elas carecem de garantias topológicas, exigindo pós-processamento pesado ou regularização para se tornarem interpretáveis.
• Saliência Baseada em Gradiente: Métodos como Gradientes Integrados ou Grad-CAM são computacionalmente eficientes, mas frequentemente produzem mapas de calor difusos e desestruturados que destacam ruído de fundo irrelevante e falham em testes de sanidade para fidelidade.
• A Lacuna Central: Há necessidade de um método de explicação que produza regiões compactas, coerentes e topologicamente simples (por exemplo, uma única forma conectada) sem sacrificar a fidelidade causal das abordagens baseadas em perturbação, ao mesmo tempo em que evita a instabilidade de aprender milhões de parâmetros de pixel.

2. Metodologia: Contornos Extremais

Os autores propõem um método livre de treinamento, impulsionado por gradiente, que substitui máscaras de pixel densas por contornos suaves e ajustáveis.

A. Representação Paramétrica

Em vez de otimizar cada pixel, o método parametriza uma região estelar-convexa usando uma série de Fourier truncada.

• Centro: Um ponto central aprendível $c \in \mathbb{R}^2$.
• Função Radial: O raio de fronteira $\hat{r}(\theta)$ no ângulo $\theta$ é definido como:
  $$\hat{r}(\theta) = r_0 + \Re\left( \sum_{k=1}^{K} w_k e^{ik\theta} \right)$$
  onde $w_k$ são coeficientes complexos.
• Geração de Máscara: Para um pixel $p$ em coordenadas polares $(\rho_p, \theta_p)$ relativo a $c$, o valor da máscara $m(p)$ é uma função sigmoid suave da diferença entre o raio do pixel e o raio do contorno:
  $$m(p) = \frac{1}{1 + \exp(\tau \cdot [\hat{r}(\theta_p) - \rho_p])}$$
  Isso reduz o número de parâmetros livres de milhões (pixels) para $2K+3$, diminuindo drasticamente a dimensionalidade.

B. Objetivo de Otimização

O contorno é otimizado para satisfazer um objetivo de perturbação extremal usando os gradientes do classificador. A perda total $L$ consiste em três termos:

1. Perda Extremal ($L_{extremal}$): Incentiva a variante "preservada" (mantendo a região, desfocando o resto) a reter o embedding original, enquanto a variante "deletada" (desfocando a região, mantendo o resto) a suprime.
   $$L_{extremal} = -\cos(e_p, e_o) + \cos(e_d, e_o)$$
   onde $e_o, e_p, e_d$ são embeddings das imagens original, preservada e deletada.
2. Regularização de Área ($\lambda_a \alpha_r$): Penaliza áreas grandes para garantir compactidade. O peso $\lambda_a$ é ajustado adaptativamente com base na fidelidade da região preservada. Se a região preservada falhar em manter o embedding, a penalidade de área é relaxada; uma vez alcançada a fidelidade, a penalidade se torna mais rígida para encontrar a menor região suficiente.
3. Regularização Espectral ($\lambda_r L_{spec}$): Penaliza oscilações de alta frequência nos coeficientes de Fourier para impor fronteiras suaves:
   $$L_{spec} = \sum_{k=1}^{K} k^2 |w_k|^2$$

C. Extensão Multi-Objeto

O framework estende-se a múltiplos objetos otimizando $N$ contornos independentes simultaneamente. A máscara final é o máximo pixel a pixel das máscaras individuais, com a perda somando as penalidades de área e espectral de todos os contornos.

3. Contribuições Principais

1. Garantias Topológicas: Por construção, o método produz máscaras suaves, únicas e simplesmente conectadas, eliminando a necessidade de pós-processamento para remover ruído ou fragmentação.
2. Redução de Dimensionalidade: Reduz os parâmetros aprendíveis em ordens de magnitude (de $H \times W$ para $\approx 2K$), levando a uma convergência mais rápida e estabilidade sem otimização em nível de conjunto de dados.
3. Robustez a Artefatos Adversariais: A restrição de baixa dimensionalidade e suave impede que o otimizador explore graus de liberdade não restritos para criar máscaras "adversariais" que satisfaçam a perda matematicamente, mas sejam semanticamente sem sentido.
4. Controle Explícito de Área: Introduz um mecanismo para gerar perfis fidelidade-área, permitindo que os usuários visualizem o compromisso entre o tamanho da explicação e a confiança do modelo.
5. Agnosticismo de Modelo: O método funciona efetivamente em modelos supervisionados (ResNet-50) e auto-supervisionados (DINO).

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados ImageNet e COCO usando modelos ResNet-50 e DINO ViT-B/16.

• Desempenho Qualitativo:
  • Produz limites de contorno únicos e limpos que envolvem firmemente o objeto de interesse.
  • Diferentemente de mapas de gradiente (difusos) ou máscaras densas (fragmentadas), os Contornos Extremais fornecem uma representação estruturada e interpretável.
• Desempenho Quantitativo:
  • Massa de Relevância e Rank: Alcança pontuações competitivas ou superiores em comparação com baselines (Smooth Mask, Grad-CAM++, Gradientes Integrados).
  • Complexidade e Esparsidade: Entrega explicações altamente esparsas com entropia menor do que métodos densos.
  • Fidelidade: Crucialmente, em modelos auto-supervisionados DINO, onde muitas baselines falham (mostrando correlações negativas de fidelidade), os Contornos Extremais mantêm correlações positivas de fidelidade e melhoram a massa de relevância em >15%.
• Robustez:
  • O método é estável através de diferentes pontos de inicialização (centro $c$).
  • É robusto ao peso da regularização espectral $\lambda_r$, convergindo consistentemente para o objeto correto independentemente de a forma resultante ser circular ou irregular.

5. Significado e Direções Futuras

• Interpretabilidade: A mudança de mapas de calor em nível de pixel para contornos geométricos oferece uma maneira mais intuitiva para humanos entenderem o raciocínio do modelo, particularmente para domínios críticos de segurança como imagem médica (TC, RM), onde clínicos precisam de limites claros e editáveis em vez de mapas de calor ruidosos.
• Eficiência vs. Fidelidade: Resolve o compromisso entre a eficiência computacional dos métodos de gradiente e a fidelidade causal dos métodos de perturbação, oferecendo o melhor dos dois mundos.
• Limitações:
  • Restrição Estelar-Convexa: O método não pode representar naturalmente objetos com concavidades profundas ou buracos (formas não estelar-convexas).
  • Natureza Binária: Produz máscaras binárias em vez de mapas de atribuição de granularidade fina, o que pode reduzir a granularidade para tarefas de classificação de granularidade fina.
  • Tempo de Execução: Requer otimização iterativa em vez de uma única passagem direta/retroativa, tornando-o mais lento do que métodos de gradiente diretos.
• Trabalho Futuro: Os autores sugerem estender a parametrização para lidar com formas não estelar-convexas, aplicar o método a tarefas de detecção e segmentação de objetos, e utilizar os contornos como ferramentas interativas para radiologistas refinarem anotações.

Em resumo, Contornos Extremais apresenta uma abordagem nova e matematicamente fundamentada para XAI que prioriza coerência geométrica e simplicidade topológica, provando que restringir o espaço de busca a contornos suaves produz explicações mais confiáveis e interpretáveis do que a otimização de pixels densos não restrita.