Resumo Técnico: SEAMS – Máscaras Suaves de Preservação de MSE para Suficiência de Saliência

Definição do Problema

Os métodos atuais de explicação visual em visão computacional dependem predominantemente de abordagens baseadas em sensibilidade (ex: atribuição de gradiente, Integrated Gradients, Propagação de Relevância por Camada). Esses métodos estimam o quão sensível é a saída de um modelo a perturbações infinitesimais na entrada. No entanto, os autores argumentam que sensibilidade e suficiência são conceitos fundamentalmente distintos. Um pixel pode ter uma pontuação de atribuição alta devido a uma alta sensibilidade (pequenas mudanças causam grandes desvios na saída), mas pode ser redundantemente codificado em outro lugar da imagem. Inversamente, pixels com gradientes baixos podem ser estritamente necessários para preservar uma predição.

Métodos baseados em perturbação existentes que tentam abordar a suficiência frequentemente sofrem de limitações específicas: podem exigir conjuntos de dados de distração auxiliares, depender de mecanismos de atribuição específicos de arquitetura ou necessitar de relaxações complexas de top-$k$ diferenciáveis e operadores de ordenação para selecionar subconjuntos discretos de pixels. O problema central abordado é como identificar o subconjunto mínimo e compacto de pixels da imagem que é suficiente para preservar uma saída específica do modelo (como uma probabilidade de classe, embedding CLS ou representação de token) sem essas dependências auxiliares.

Metodologia: SEAMS

Os autores propõem o SEAMS (Sufficiency Saliency via MSE-Preservation Soft-Masks), um framework post-hoc e agnóstico ao modelo que otimiza diretamente uma máscara suave contínua para preservar uma representação alvo.

Estrutura Central

Dado um modelo de visão diferenciável congelado $g$ e uma imagem de entrada $x$, o objetivo é encontrar uma máscara suave $M \in [0, 1]^{H \times W}$ tal que a saída do modelo computada a partir de uma imagem composta mascarada $\tilde{x}$ permaneça próxima da saída original $y^\star = g(x)$.

Componentes Principais

1. Parametrização da Máscara:
   Em vez de otimizar a máscara diretamente, o SEAMS otimiza logits não restritos $\ell$. Estes são transformados em uma máscara válida via uma parametrização de normalização e clipping:

   • $u = \text{softplus}(\ell)$ garante a não-negatividade.
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ impõe um orçamento de esparsidade aprendível $\alpha \in (0, 1]$.
   • $M = \text{clip}(\bar{u}, 0, 1)$ restringe os valores ao intervalo $[0, 1]$.
     Esta abordagem evita a seleção explícita de subconjuntos, ordenação diferenciável, amostragem Gumbel ou relaxações top-$k$. O passo de normalização cria competição entre os pixels pelo orçamento, levando naturalmente a máscara para a esparsidade (valores próximos de binários) sem mecanismos de binarização explícitos.

2. Composto de Imagem de Três Vias:
   Para avaliar a máscara, os autores constroem uma imagem composta $\tilde{x}$ usando três fontes geradas inteiramente a partir da imagem de consulta $x$:

   • Original ($x$): Regiões preservadas onde $M \approx 1$.
   • Distrator Auto-Aumentado ($x_{dist}$): Gerado via heavyAug (transformações geométricas/fotométricas fortes, swirl, mudanças de cor, cutout). As regiões onde $M \approx 0$ são substituídas por este para interromper correlações de textura fracas.
   • Contexto Borrado ($x_{blur}$): Uma versão fortemente borrada de $x$. Regiões com valores de máscara intermediários ou onde o orçamento é excedido são preenchidas com este para preservar a estrutura global da cena e reduzir artefatos de otimização.
     O composto é definido como $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$, onde os coeficientes somam 1.

3. Objetivo de Otimização:
   A máscara e o orçamento são otimizados para minimizar uma perda de preservação:
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • Termo de Preservação: Minimiza o Erro Quadrático Médio (MSE) entre a representação alvo do composto aumentado e a referência alvo fixa $y^\star$. Aumentações $\mathcal{A}$ (crops moderados, flips, jitter) são aplicadas ao composto para garantir robustez, enquanto $y^\star$ permanece fixo.
   • Termo de Esparsidade: Penaliza o orçamento $\alpha$ para incentivar máscaras compactas.

4. Alvos Modulares:
   O framework é agnóstico ao alvo $g(x)$. Ao alterar apenas a representação preservada, o mesmo pipeline gera:

   • Explicações condicionadas à classe: Preservando uma probabilidade de classe específica.
   • Máscaras de representação global: Preservando o embedding CLS.
   • Explicações de nível de token: Preservando representações densas de patch-token.

Principais Contribuições

1. Formulação Baseada em Suficiência: O artigo introduz uma formulação de saliência que otimiza diretamente a fidelidade de preservação (suficiência) em vez da sensibilidade local.
2. Framework de Otimização Simplificado: O SEAMS não requer conjuntos de dados de distração auxiliares, regras de atribuição específicas de arquitetura ou operadores de seleção de subconjunto diferenciáveis (como relaxações top-$k$). Ele depende apenas de uma otimização de máscara suave com um orçamento aprendível e distratores auto-gerados.
3. Pipeline de Multi-Alvo Unificado: Um único procedimento de otimização gera diversos tipos de explicação (nível de objeto, específico de classe, nível de token) simplesmente alterando a representação alvo preservada.
4. Insights Dependentes de Arquitetura: O método revela que diferentes arquiteturas (ex: ViT vs. ConvNeXt) frequentemente dependem de conjuntos distintos de pixels suficientes para alcançar uma similar fidelidade de preservação, uma nuance difícil de capturar com métodos baseados em sensibilidade.

Resultados Experimentais

Os autores avaliaram o SEAMS no ImageNet-1k (ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16) e em um conjunto de dados médico privado (Retinopatia da Prematuridade).

• Fidelidade (Inserção/Deleção): O SEAMS alcança pontuações de AUC de Inserção e Deleção competitivas e frequentemente superiores aos métodos baseados em gradiente (IxG, SmoothGrad, Integrated Gradients) e outros métodos baseados em perturbação (DAVE). Notavelmente, o SEAMS demonstra alta fidelidade de deleção de pixels: a probabilidade da classe alvo permanece estável até que uma grande fração de pixels (até 70-80%) seja removida, caindo abruptamente apenas quando a região suficiente compacta é ocluída. Isso indica que o método isola com sucesso um subconjunto suficiente mínimo.
• Generalização entre Arquiteturas: Quando aplicado a diferentes backbones (ViT vs. ConvNeXt) com hiperparâmetros idênticos, o SEAMS produz máscaras semanticamente significativas. No entanto, a análise quantitativa (IoU, similaridade de cosseno) mostra que os pixels específicos selecionados diferem significativamente entre as arquiteturas, confirmando que a suficiência visual é dependente da arquitetura.
• Flexibilidade de Multi-Alvo: Experimentos demonstram que mudar o alvo de probabilidade de classe para embedding CLS ou tokens de patch resulta em máscaras distintas e interpretáveis que destacam diferentes aspectos semânticos da imagem.
• Transferência para Imagens Médicas: Sem modificar os hiperparâmetros ou o pipeline de otimização, o SEAMS identificou com sucesso estruturas retinianas clinicamente relevantes (trajetória vascular, linhas de demarcação) em imagens de fundo de olho de Retinopatia da Prematuridade (ROP), demonstrando transferibilidade além de imagens naturais.
• Qualidade Qualitativa: Comparações visuais mostram que o SEAMS produz explicações mais nítidas, alinhadas ao objeto e espacialmente coerentes, com menos artefatos de grade de patches do que as técnicas anteriores. As máscaras são notavelmente mais esparsas e binárias do que os métodos concorrentes.

Significância e Alegações

O artigo afirma que o SEAMS fornece um framework geral e agnóstico ao modelo para explicação visual orientada à representação. Sua principal significância reside na mudança do paradigma de "o que muda a saída?" (sensibilidade) para "o que é suficiente para manter a saída?" (suficiência).

Os autores enfatizam que o SEAMS:

• Não requer dados externos ou modificações arquiteturais complexas.
• Gera máscaras compactas, interpretáveis e estáveis.
• Revela que diferentes arquiteturas neurais podem depender de evidências visuais distintas para chegar à mesma conclusão, um achado tornado visível através da análise de suficiência.
• É aplicável em diversas escalas (de 224px a 518px) e domínios (imagens naturais a imagens médicas).

O artigo reconhece modestamente as limitações, observando que o SEAMS é computacionalmente mais caro do que os métodos baseados em gradiente devido à otimização iterativa e que a avaliação atual foca exclusivamente em codificadores de imagem. Trabalhos futuros são sugeridos para arquiteturas de vídeo, multimodais e generativas.