Toward Faithful Segmentation Attribution via Benchmarking and Dual-Evidence Fusion

1. Problema e Motivação

O artigo aborda uma lacuna crítica na explicabilidade de modelos de segmentação semântica. Atualmente, os mapas de atribuição (que indicam quais pixels são responsáveis pela previsão do modelo) são avaliados quase exclusivamente pela sua plausibilidade visual. No entanto, o fato de um mapa parecer convincente visualmente não garante que:

1. Os pixels destacados sejam realmente a causa da previsão do modelo (fidelidade causal).
2. O crédito de atribuição permaneça estritamente dentro da região alvo, sem vazamento para áreas espaciais desconexas (vazamento fora do alvo).

A falta de protocolos de avaliação dedicados para segmentação impede a comparação justa entre métodos, especialmente porque muitos métodos baseados em gradiente (como variações de CAM) podem refletir co-ocorrência de características em vez de evidência causal.

2. Metodologia

A. Novo Benchmark de Avaliação

Os autores introduzem um benchmark reprodutível para testar a fidelidade da atribuição em segmentação, avaliando quatro eixos principais em dois conjuntos de dados (Pascal VOC e SBD) e três backbones pré-treinados:

• Fidelidade de Deleção no Alvo (Target Deletion Faithfulness): Mede se ocultar os pixels com maior atribuição dentro da máscara alvo reduz a confiança do modelo naquela região.
• Vazamento Absoluto Fora do Alvo (Absolute Off-Target Leakage): Quantifica a importância atribuída erroneamente a pixels fora da máscara alvo.
• Robustez a Perturbações: Avalia a estabilidade dos mapas sob ruído, mudanças de brilho, contraste, desfoque e inversão.
• Tempo de Execução (Runtime): Perfil de desempenho computacional.

B. Método Proposto: Atribuição de Dupla Evidência (DEA)

Para demonstrar o benchmark, os autores propõem o Dual-Evidence Attribution (DEA), uma correção leve que funde duas fontes de evidência:

1. Evidência de Gradiente (EGA): Baseada no produto elemento a elemento entre gradientes e ativações (fornecendo alta resolução espacial e detalhes finos).
2. Evidência de Intervenção (RIA): Baseada em máscaras de grade fixas que medem a queda na probabilidade da classe ao ocultar regiões (fornecendo sinal causal robusto, mas com resolução mais baixa).

Fusão:
A atribuição corrigida ($A_f$) é calculada pela fórmula:
$$A_f = \alpha A_g \odot (1 + \beta A_r) + (1 - \alpha) A_r$$
Onde:

• $A_g$ é o mapa de gradiente (EGA).
• $A_r$ é o mapa de intervenção (RIA).
• $\odot$ denota multiplicação elemento a elemento.
• O termo multiplicativo aumenta o peso onde ambas as fontes concordam.
• O termo residual ($A_r$) mantém evidência causal grosseira quando as respostas de gradiente são instáveis.

3. Principais Contribuições

1. Benchmark Reprodutível: Um protocolo de avaliação padronizado para segmentação que inclui testes de intervenção, vazamento fora do alvo e robustez, superando a dependência de avaliações puramente visuais.
2. Método DEA: Uma técnica de correção leve que combina gradientes de alta resolução com suporte causal de intervenção, melhorando a fidelidade sem sacrificar totalmente a estabilidade.
3. Reprodutibilidade Total: Todos os outputs por amostra e scripts de agregação foram liberados para verificação independente.

4. Resultados

Quantitativos

• Fidelidade: O método baseado puramente em intervenção (RIA) obteve a melhor fidelidade de deleção, mas com menor estabilidade e maior custo computacional. O método puramente baseado em gradiente (EGA) foi o mais estável e rápido.
• Desempenho do DEA: O DEA posicionou-se consistentemente entre os extremos. Em todas as execuções completas, o DEA superou as bases apenas de gradiente (EGA e GPA) na fidelidade de deleção, enquanto manteve uma robustez forte (superior à RIA pura).
• Trade-off: O DEA oferece um equilíbrio prático, melhorando a fidelidade causal em relação aos gradientes puros, mas com um custo computacional adicional devido às passagens de intervenção.

Qualitativos

• Visualmente, o DEA suprime ativações de contexto de baixa confiança que aparecem nos mapas apenas de gradiente.
• Preserva a estrutura contínua do objeto dentro da região alvo e evita o "over-smoothing" (suavização excessiva em blocos) introduzido pelas regiões de intervenção grosseiras da RIA pura.
• O termo de interação atua como um "portão", promovendo pixels apoiados por ambas as evidências e atenuando aqueles apoiados por apenas uma.

5. Significado e Conclusão

O trabalho demonstra que a avaliação visual é insuficiente para segmentação semântica e expõe um trade-off entre fidelidade e estabilidade que estava oculto sob avaliações visuais.

• Conclusão Principal: O DEA não é um método "universalmente melhor" em todos os eixos, mas atua como uma correção eficaz que desloca a atribuição baseada em gradiente em direção a comportamentos validados por intervenção.
• Aplicabilidade: É ideal para cenários onde a qualidade da explicação é prioritária sobre a latência em milissegundos. Para restrições de tempo real estritas, métodos puramente baseados em gradiente (como EGA) ainda são preferíveis devido à velocidade.
• Futuro: O artigo sugere a necessidade de testes de significância formal e esquemas de intervenção mais adaptativos para lidar com estruturas finas e bordas complexas.

Em suma, o paper fornece as ferramentas e o método para selecionar métodos de explicabilidade em segmentação de forma mais principista, focando na causalidade real em vez de apenas na aparência visual.