Resumo Técnico: Subset-Selected Counterfactual Augmentation (SS-CA)

Definição do Problema

Os modelos visuais profundos atuais frequentemente alcançam alta precisão ao confiar em um conjunto limitado de pistas visuais discriminativas ou "atalhos" (shortcuts), em vez de evidências causais robustas. Essa dependência torna os modelos frágeis diante de mudanças de distribuição (Out-of-Distribution, OOD) ou quando partes cruciais do objeto estão ocluídas. Embora métodos de atribuição fiéis possam revelar essas dependências problemáticas por meio de explicações localizadas, eles são tipicamente empregados post hoc e não são integrados ao loop de treinamento para corrigir as fronteiras de decisão do modelo. Além disso, métodos existentes de aprendizado guiado por explicação dependem de atribuições baseadas em gradientes (ex: Grad-CAM), que são conhecidos por serem fracamente fiéis e podem falhar em capturar o verdadeiro raciocínio decisório do modelo, limitando sua eficácia em guiar o treinamento.

Metodologia

O artigo propõe o Subset-Selected Counterfactual Augmentation (SS-CA), uma estratégia de treinamento que converte regiões de atribuição em feedback de treinamento contrafactual eficaz. O framework opera em um ciclo fechado consistindo de três etapas principais:

1. Seleção de Categoria Contrafactual

Na etapa de treinamento convencional, uma imagem de entrada factual é processada para obter os logits das classes. A classe real (ground-truth) é mantida, e uma "classe contrafactual" é amostrada aleatoriamente entre as $k$ classes alternativas com maior pontuação. Esta classe contrafactual serve como o alvo para a intervenção contrafactual.

2. Explicação Contrafactual (Counterfactual LIMA)

Os autores estendem o LIMA (um método de atribuição fiel baseado em seleção de subconjuntos) para o Counterfactual LIMA para atribuição em tempo de treinamento. Diferente do LIMA padrão, que identifica regiões que suportam a predição atual, o Counterfactual LIMA busca o conjunto mínimo de regiões $S$ cuja remoção direciona a predição do modelo da classe real para a classe contrafactual selecionada.

• Objetivo: O método formula isso como um problema de seleção de subconjunto submodular, utilizando um algoritmo guloso para selecionar iterativamente regiões que maximizam a função de utilidade $F(S)$.
• Função de Utilidade: $F(S)$ combina dois objetivos complementares:
  • Pontuação de Deleção (Deletion Score): Mede o aumento na confiança para a classe contrafactual e a diminuição para a classe real quando as regiões são removidas.
  • Pontuação de Inserção (Insertion Score): Garante que as regiões selecionadas, quando isoladas, ainda preservem evidência suficiente para a classe real e não suportem espuriosamente a classe contrafactual.
• Portão de Busca (Search Gate): Antes da aumentação, os subconjuntos candidatos são filtrados por dois critérios:
  1. Queda de Margem (Margin Drop): A remoção do subconjunto deve reduzir significativamente a margem de logit entre a classe real e a classe competidora mais forte.
  2. Preservação Semântica (Semantics-Preserving): A imagem atenuada deve ainda ser predita como a classe real, garantindo que a modificação não destrua o conteúdo semântico original.

3. Aumentação Guiada por Atribuição

Uma vez identificados os mapas de atribuição válidos, as regiões selecionadas são atenuadas usando uma estratégia de Combinação Adaptativa de Três Vias. Em vez de usar máscaras pretas ou fundos externos (que introduzem novas semânticas), o método substitui as regiões mascaradas por uma combinação ponderada de:

• Componentes de baixa frequência
• Conteúdo borrado (blurred)
• Valores médios de pixels
  Este preenchimento adaptativo ($Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$) enfraquece a evidência relevante para a decisão enquanto preserva a semântica global da imagem.

Otimização Conjunta

As amostras contrafactuais resultantes, que mantêm os rótulos originais (ground-truth), são alimentadas de volta no loop de treinamento. O modelo é otimizado conjuntamente usando uma função de perda que combina a entropia cruzada (cross-entropy) nas imagens originais e a entropia cruzada nas amostras aumentadas contrafactuais. Isso encoraja o modelo a explorar evidências informativas remanescentes e a deslocar sua fronteira de decisão para uma configuração mais robusta.

Principais Contribuições

1. Framework SS-CA: Os autores propõem um framework de treinamento que estende o LIMA post-hoc para um Counterfactual LIMA em tempo de treinamento. Este identifica regiões que alteram a decisão, gera amostras contrafactuais eficazes e as alimenta para impulsionar a fronteira de decisão em direção a um estado aprimorado.
2. Seleção de Máscara Próxima à Fronteira Válida: Uma estratégia é introduzida para selecionar máscaras que preservam a semântica original enquanto reduzem a lacuna de logit entre a classe real e as classes competidoras, garantindo que as amostras geradas se aproximem efetivamente da fronteira de decisão.
3. Preenchimento Adaptativo de Três Vias: Uma estratégia teórica e prática de preenchimento contrafactual que suprime a evidência selecionada sem introduzir informação semântica externa, evitando a corrupção das semânticas originais.
4. Validação Abrangente: O método é validado em cinco variantes do ImageNet (ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S) e múltiplos backbones (CLIP ViT, ViT, ResNet-101), demonstrando melhorias consistentes na precisão ID (In-Distribution), generalização OOD e robustez a perturbações.

Resultados Experimentais

O artigo reporta ganhos de desempenho significativos em vários benchmarks:

• ImageNet-1k (CLIP ViT-B/32): O SS-CA melhora a precisão In-Distribution (ID) em 5,70% (de 71,44% para 77,14%) e a precisão OOD no ImageNet-R em 18,04% (de 31,63% para 49,67%).
• TinyImageNet-200 (ResNet-101): O método alcança ganhos de 9,52% no ImageNet-R (de 11,29% para 20,81%) e 11,33% no ImageNet-S (de 11,34% para 22,67%).
• Robustez: Sob corrupção de Ruído Gaussiano, o SS-CA alcança aproximadamente 4% de melhoria sobre o treinamento convencional.
• Comparação: O SS-CA supera consistentemente o treinamento convencional e métodos recentes de debiasing (Xiao et al. [16], Chen et al. [12]) que dependem de atribuições baseadas em gradiente. Estudos de ablação confirmam que tanto o componente Counterfactual LIMA quanto a estratégia de preenchimento de Combinação Adaptativa são necessários para esses ganhos.

Significância e Alegações

O artigo afirma que acoplar a interpretabilidade contrafactual ao treinamento do modelo é um caminho promissor para modelos visuais mais confiáveis e transparentes. Ao identificar e atenuar explicitamente as causas suficientes limitadas nas quais os modelos confiam, o SS-CA força o modelo a aprender a partir de um conjunto mais amplo de evidências causais. Os autores enfatem que sua abordagem aborda a fragilidade dos modelos atuais sob mudanças de distribuição sem depender de modelos generativos externos ou introduzir artefatos semânticos espúrios. O trabalho demonstra que ir além da análise post-hoc para um treinamento ativo guiado por atribuição pode remodelar efetivamente as fronteiras de decisão para uma maior robustez.