Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

Resumo Técnico: Quebrando Correlações Espúrias via Randomização Generativa e Aprendizado Auto-Supervisionado entre Variantes

Problema
Redes neurais profundas treinadas com Minimização de Risco Empírico (ERM) frequentemente exibem uma generalização pobre sob mudanças de distribuição. Essa falha é atribuída principalmente à exploração de correlações espúrias — associações preditivas, mas não causais, entre rótulos de destino e atributos visuais como fundo, textura ou contexto de cena. Por exemplo, no benchmark Waterbirds, os modelos podem aprender a associar "aves aquáticas" com "fundos de água" e "aves terrestres" com "fundos de terra", em vez de aprender características específicas das aves. Consequentemente, o desempenho degrada significamente quando essas categorias aparecem em contextos atípicos. Embora métodos anteriores como o Group Distributionally Robust Optimization (GroupDRO) tentem abordar isso reponderando grupos, eles permanecem sensíveis à qualidade da supervisão dos grupos e à dinâmica de otimização inicial. Além disso, abordagens generativas recentes que sintetizam imagens contrafatuais tipicamente as tratam como aumento de dados padrão, falhando em forçar explicitamente o codificador a manter representações consistentes do mesmo objeto em diferentes contextos.

Metodologia
Os autores propõem um framework de dois estágios que combina intervenção generativa com aprendizado de invariância ao nível da representação para aprender explicitamente representações visuais invariantes ao fundo.

1. Estágio 1: Randomização Ambiental Generativa

   • Isolamento: O pipeline utiliza uma abordagem de segmentação zero-shot. Para uma imagem $x_i$ e um rótulo $y_i$, o Grounding DINO extrai uma caixa delimitadora (bounding box), que é então processada pelo Segment Anything Model (SAM) para gerar uma máscara binária ao nível de pixel isolando o objeto causal do primeiro plano.
   • Síntese: Em vez de uma simples troca de fundo, o método emprega o FLUX.1-Fill, um modelo de inpainting de difusão que preserva a estrutura. A região do fundo (a máscara invertida) é ressintetizada usando prompts textuais distintos (ex: "lago", "montanha", "floresta") para criar um conjunto de variantes de mudança de contexto $V_i$. Este processo preserva a identidade e a estrutura de pixels do objeto enquanto altera completamente o ambiente circundante.

2. Estágio 2: Aprendizado Auto-Supervisionado (SSL) entre Variantes e Fine-Tuning

   • SSL entre Variantes: Em vez de usar as imagens geradas apenas como amostras supervisionadas, os autores introduzem uma estratégia de pré-treinamento contrastivo. Para um único objeto causal, duas variantes distintas geradas (compartilhando o mesmo primeiro plano, mas com fundos diferentes) são tratadas como um par positivo. O codificador é treinado para maximizar a similaridade entre essas visões usando a perda NT-Xent (InfoNCE). Este objetivo encoraja explicitamente o codificador a alinhar representações centradas no objeto enquanto suprime pistas específicas do fundo.
   • Fine-Tuning: O codificador pré-treinado via SSL é então ajustado para classificação. Isso envolve uma fase de warm-up de ERM (fixando os pesos dos grupos para serem uniformes) para estabilizar a cabeça do classificador, seguida pela otimização por GroupDRO. Crucialmente, os autores empregam taxas de aprendizado por camada durante esta fase para preservar as características invariantes aprendidas durante o pré-treinamento enquanto adaptam o classificador à tarefa alvo.

Principais Contribuições

• Pipeline Generativo de Alta Fidelidade: A introdução de um pipeline que isola objetos causais via segmentação zero-shot e gera variantes diversas de mudança de contexto usando difusão de preservação de estrutura.
• SSL entre Variantes: Uma nova estratégia de pré-treinamento contrastivo que alinha representações do mesmo objeto através de diferentes fundos. Isso visa diretamente a redução da dependência do fundo, distinguindo a abordagem de métodos que meramente utilizam dados gerados como amostras supervisionadas adicionais.
• Estratégia de Otimização Robusta: Um protocolo de fine-tuning combinando warm-up de ERM, taxas de aprendizado por camada e GroupDRO para otimizar o desempenho no pior grupo sem destruir as características invariantes aprendidas durante o pré-treinamento.

Resultados Experimentais
O framework foi avaliado em três benchmarks padrão caracterizados por severas mudanças de distribuição ambiental: Waterbirds, MetaShift e NICO++. O método alcançou a precisão de pior grupo (worst-group accuracy) de estado da arte, mantendo uma alta precisão média:

• Waterbirds: 92,5% de precisão de pior grupo (vs. 91,6% para GroupDRO) e 95,4% de precisão média.
• MetaShift: 81,7% de precisão de pior grupo e 82,6% de precisão média, superando todos os baselines.
• NICO++: 87,4% de precisão de pior grupo e 94,0% de precisão média.

Estudos de ablação no Waterbirds confirmaram que ignorar o estágio de SSL entre Variantes resultou em uma queda significativa na precisão de pior grupo (de 92,5% para 89,6%), validando que simplesmente adicionar dados generativos é insuficiente sem o objetivo explícito de invariância. Da mesma forma, remover o warm-up de ERM levou à degradação do desempenho devido ao overfitting em amostras minoritárias ruidosas.

Significância e Alegações
Os autores afirmam que a principal significância deste trabalho reside em demonstrar que a intervenção generativa é mais eficaz quando pareada com um objetivo de invariância ao nível da representação. Ao alinhar variantes do mesmo objeto causal através de diferentes fundos, o método proposto reduz a dependência de contextos espúrios e melhora a generalização sob mudança de distribuição. Os autores asseguram que sua abordagem alcança um forte desempenho de pior grupo em múltiplos benchmarks, sugerindo que as variantes geradas servem um papel mais crítico quando usadas para aprender representações invariantes do que meramente como amostras de treinamento supervisionadas adicionais.

Os autores reconhecem uma limitação quanto à sensibilidade de sua abordagem à qualidade e diversidade das variantes geradas, notando variância entre sementes aleatórias. Trabalhos futuros são propostos para focar em seleção de variantes mais estável e filtragem de qualidade de geração.