eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

Resumo Técnico: Explicar para Aprender (eX2L)

Declaração do Problema
Os modelos padrão de aprendizado de máquina baseiam-se na premissa de que os dados de treinamento e de teste são independentes e identicamente distribuídos (i.i.d.). Quando essa premissa é violada, os modelos frequentemente falham em generalizar, dependendo em vez disso de correlações espúrias — padrões estatísticos nos dados de treinamento que não são conceitualmente preditivos dos rótulos reais. Essas violações manifestam-se principalmente como deslocamentos de subpopulação (mudanças nas proporções de variáveis demográficas ou contextuais) e desafios de generalização de domínio (aprender a partir de domínios fonte para executar em domínios alvo não vistos).

Os algoritmos existentes projetados para mitigar esses deslocamentos enfrentam três obstáculos principais:

1. Regularização Cega: Muitos métodos de caixa-preta não visam explicitamente as correlações espúrias específicas que causam quedas de desempenho.
2. Desempenho Inconsistente: Nenhum algoritmo único supera consistentemente a Minimização do Risco Empírico (ERM) em todos os conjuntos de dados, refletindo o teorema "sem almoço grátis".
3. Falta de Interpretabilidade: Métodos sofisticados, como Redes Neurais Adversariais de Domínio (DANN), dependem de mecanismos como reversão de gradiente que são difíceis de explicar para partes interessadas não técnicas, dificultando a confiança em implantações sensíveis.

O artigo postula que a interpretabilidade não deve ser um compromisso contra a robustez preditiva. Ele questiona se penalizar a sobreposição espacial de explicações baseadas em gradiente de um classificador de rótulos e de um classificador de confundidores pode servir como um regularizador direto e interpretável para robustez a deslocamentos de distribuição.

Metodologia: Framework eX2L
Os autores propõem o Explicar para Aprender (eX2L), um framework interpretável e baseado em explicações que decorrelaciona características confundidoras das representações latentes de um classificador durante o treinamento. O mecanismo central envolve treinar dois modelos concorrentes:

1. Um classificador de rótulos primário ($f_y$) treinado para prever o rótulo alvo $Y$.
2. Um classificador de confundidores treinado concurrentemente ($f_c$) treinado para prever a variável confundidora $C$ (por exemplo, fundo, gênero, cor).

O Mecanismo de Regularização
O eX2L alcança invariância de domínio ao desacoplar explicitamente o foco visual do modelo de rótulos do modelo de confundidor. Ele utiliza Grad-CAM (Mapeamento de Ativação de Classe Ponderado por Gradiente) para gerar mapas de calor que representam as regiões espaciais às quais cada modelo atende.

• Especificidade do Alvo: Diferentemente de métodos de gradiente de entrada (por exemplo, SHAP, Gradientes Integrados) que podem permanecer invariantes à reparametrização da rede, o Grad-CAM é escolhido por sua fidelidade aos parâmetros aprendidos do modelo.
• Atenção Disjunta: O framework penaliza a similaridade espacial entre o mapa de calor Grad-CAM do modelo de rótulos ($L_y$) e o do modelo de confundidor ($L_c$). Se os modelos dependem dos mesmos pixels, é provável que o modelo de rótulos esteja "aprendendo atalhos" usando pistas de fundo espúrias.
• Função de Perda: O objetivo total de treinamento $\hat{R}_{eX2L}$ combina as perdas de tarefa para ambos os classificadores com uma perda de similaridade ($L_{sim}$):
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  Aqui, $L_{sim}$ mede a sobreposição espacial (por exemplo, usando Similaridade de Cosseno, MAE ou Soft Dice) entre os mapas de calor Grad-CAM desconectados. Os mapas de calor são desconectados (stop-gradient) para tratá-los como priores espaciais estáticos, evitando o custo computacional de derivadas de segunda ordem.

Estratégia de Amostragem
O artigo enfatiza o papel crítico da Amostragem Uniforme por Grupos. Diferentemente da amostragem aleatória, que segue a distribuição de treinamento, a amostragem uniforme por grupos garante que cada lote contenha representações equilibradas de todos os grupos rótulo-confundidor. Isso impede que o modelo aprenda proporções inerentes de rótulo-confundidor como um atalho, forçando-o a depender da penalidade Grad-CAM para distinguir características invariantes das espúrias.

Contribuições Principais

1. Interpretabilidade como Catalisador: O eX2L desafia a premissa predominante de que modelos mais explicáveis são necessariamente menos precisos. Ele demonstra que a invariância de domínio funcional pode ser alcançada ao desacoplar explicitamente rótulos e atributos de incômodo no nível do grupo usando regularização baseada em explicações.
2. Alvo Direto de Correlações Espúrias: Diferentemente de regularizadores "cegos", o eX2L penaliza diretamente a sobreposição espacial dos mapas de atenção, forçando o modelo de rótulos a identificar características únicas e invariantes, em vez de depender de regiões confundidoras.
3. Eficiência em Complexidade: O método requer apenas dois classificadores concorrentes e rótulos de confundidor (sem máscaras de segmentação de verdade fundamental), oferecendo um pipeline de treinamento simplificado e de estágio único em comparação com abordagens centradas em dados de dois passos, como Just Train Twice (JTT).

Resultados Experimentais
Os autores avaliaram o eX2L em benchmarks padrão de deslocamento de subpopulação (CMNIST, Waterbirds, CelebA) e no rigoroso benchmark Spawrious para generalização de domínio (desafios Um-para-Um Fácil e Muitos-para-Muitos Difíceis).

• Deslocamentos de Subpopulação: No benchmark Spawrious Muitos-para-Muitos Difíceis, o eX2L (especificamente a variante MAE) alcançou uma Precisão Média (AA) de 82,24% ± 3,87% e uma Precisão do Pior Grupo (WGA) de 66,31% ± 8,73%. Isso supera o estado da arte atual (GroupDRO) em 5,49% em AA e 10,90% em WGA.
• Evidência Visual: As visualizações Grad-CAM confirmam que o eX2L restringe o foco a regiões semanticamente invariantes (por exemplo, a orelha de um cachorro), enquanto linhas de base como ERM e GroupDRO difundem a atenção por fundos confundidores (por exemplo, textura de praia).
• Análise do Espaço Latente: Visualizações UMAP mostram que o eX2L produz representações de rótulos compactas e bem separadas com alto MMD (Discrepância Média Máxima) para rótulos, enquanto alcança uma interspersão quase total de características de confundidor (baixo MMD para confundidores), indicando um desacoplamento bem-sucedido.
• Compensação de Eficiência: Embora o eX2L incorra em aproximadamente o dobro do tempo de treinamento do ERM devido ao cálculo do Grad-CAM, esse custo gera ganhos de desempenho significativos em configurações de deslocamento de distribuição difíceis onde os métodos de base falham.

Significado e Alegações
O artigo alega que o eX2L fornece um mecanismo transparente para desacoplar correlações espúrias, mitigando assim deslocamentos de distribuição. Ele afirma que a interpretabilidade pode atuar como um catalisador para a robustez preditiva, em vez de um compromisso contra ela. O framework é particularmente significativo para configurações de implantação de alto risco (por exemplo, saúde, sistemas autônomos), onde a auditabilidade do processo de desviés é crucial para a responsabilidade.

Os autores observam modestamente que o eX2L requer anotações de confundidor no nível da imagem no momento do treinamento, o que limita sua aplicabilidade em configurações exploratórias onde atributos de incômodo são desconhecidos. Eles também reconhecem que a escolha da métrica de similaridade (por exemplo, MAE vs. Cosseno) deve ser informada pela geometria do confundidor (por exemplo, penalidades pixel a pixel funcionam bem para confundidores de fundo, enquanto métricas mais suaves são melhores para atributos difusos como cor do cabelo). O artigo conclui que o eX2L estabelece uma base para a justiça algorítmica, demonstrando que o desacoplamento explícito de atributos pode levar a uma generalização superior sem sacrificar a interpretabilidade.