Resumo Técnico: Troca Automatizada de Background para Robustez contra Backgrounds Espúrios

Declaração do Problema

Redes neurais profundas (DNNs) frequentemente alcançam um desempenho de estado da arte ao explorar correlações espúrias — pistas visuais que se correlacionam com rótulos alvo nos dados de treinamento, mas carecem de relações causais. No domínio da visão, essas correlações frequentemente se manifestam em fundos (backgrounds) de imagens. Por exemplo, um classificador que distingue vacas de camelos pode depender da presença de grama versus areia em vez da morfologia do animal. Quando essas correlações de background quebram durante a inferência (ex: uma vaca na areia), o desempenho degrada-se catastroficamente.

Estratégias de mitigação existentes, como a otimização de robustez distributiva (DRO) ou a minimização de risco invariante (IRM), frequentemente assumem implicitamente o acesso a amostras de treinamento onde a correlação espúria é quebrada (ou seja, "grupos minoritários" ou exemplos contrafatuais). Na prática, coletar tais amostras é frequentemente proibitivamente caro ou inviável, particularmente quando certas combinações de alvo-background são raras ou fisicamente difíceis de obter. Este artigo aborda o desafio de treinar classificadores robustos sem exigir o acesso a essas amostras de correlação quebrada durante a fase inicial de treinamento.

Metodologia: AutoBackSwap

Os autores propõem o Automated Background Swapping (AutoBackSwap), um framework de aumento de dados projetado para desmembrar objetos de primeiro plano (foreground) de seus fundos e recombiná-los para quebrar correlações espúrias. O método consiste em três etapas primárias:

1. Desmembramento (Detecção de Foreground/Background):
   Uma rede secundária (detector) é treinada para prever uma máscara binária que separa o primeiro plano do fundo. Crucialmente, este detector é treinado em um pequeno conjunto de dados auxiliar (ex: algumas centenas de amostras) com rótulos por patch, em vez de exigir máscaras de segmentação densas para todo o conjunto de dados. O detector opera em nível de patch (ex: patches de $16 \times 16$) para equilibrar o custo de anotação e a precisão.

2. Preenchimento de Background (Infilling):
   Uma vez que o primeiro plano é mascarado, a região de background restante fica incompleta. Um modelo generativo (os autores usam AOT-GAN) realiza o inpainting da imagem para sintetizar um fundo completo. O artigo observa que, embora modelos generativos avançados produzam os melhores resultados, estratégias mais simples como scrambling de pixels ou preenchimento constante também fornecem um desempenho competitivo, sugerindo que a qualidade específica do preenchimento não é o fator dominante para a robustez.

3. Recomposição Estocástica:
   O método cria novas amostras de treinamento colando um primeiro plano de uma imagem sobre um fundo preenchido de outra. Para quebrar a correlação entre o rótulo alvo ($y$) e o atributo espúrio ($a$), o fundo é amostrado aleatoriamente do conjunto de todos os fundos disponíveis (ou daqueles associados a um atributo específico, se disponível), independentemente do rótulo original do primeiro plano. Este processo gera um conjunto de dados onde o primeiro plano determina a classe, e o fundo é desacoplado do rótulo.

O classificador final é treinado neste conjunto de dados aumentado usando a Minimização de Risco Empírico (ERM) padrão.

Principais Contribuições

• Aumento de Dados Escalável: O AutoBackSwap oferece uma abordagem escalável para reduzir a dependência de fundos espúrios sem exigir máscaras de segmentação de verdade fundamental (ground-truth) para todo o conjunto de dados ou acesso a amostras contrafatuais.
• Baixo Overhead de Anotação: O método demonstra que o treinamento do detector auxiliar requer apenas algumas centenas de amostras rotuladas por patch (aproximadamente 5% do tamanho dos dados de treinamento em alguns benchmarks), tornando-o prático para domínios onde a anotação densa é custosa.
• Robustez em Cenários Desafiadores: Ao contrário de muitos métodos anteriores que falham quando grupos minoritários estão ausentes dos dados de treinamento, o AutoBackSwap permanece eficaz mesmo quando o conjunto de treinamento contém apenas grupos majoritários (onde a correlação espúria é perfeita).
• Avaliação Abrangente: Os autores avaliam o método através de diversos benchmarks (Waterbirds, Spurious e um novo dataset de Spurious Vehicles) e configurações (correlações um-para-um e muitos-para-muitos), comparando-o com baselines de estado da arte, incluindo GroupDRO, CORAL e modelos de fundação.

Resultados Experimentais

O artigo relata experimentos extensos em três datasets:

1. Waterbirds: Um dataset sintético onde aves são colocadas em fundos de terra ou água.

   • Com Grupos Minoritários: O AutoBackSwap alcançou a maior Acurácia de Pior Grupo (WGA) de 93,0%, superando o próximo melhor baseline (DFR com 90,7%) e superando significativamente o baseline padrão de ERM.
   • Sem Grupos Minoritários: No cenário mais desafiador, onde apenas grupos majoritários estão disponíveis para treinamento, o AutoBackSwap alcançou 92,2% de WGA, superando drasticamente todos os outros baselines (o segundo melhor, Chang et al., caiu para 79,1%). Isso destaca a capacidade do método de generalizar sem ver correlações quebradas durante o treinamento.

2. Spurious: Um dataset de raças de cães em vários ambientes com configurações de correlação um-para-um e muitos-para-muitos.

   • O AutoBackSwap alcançou o melhor desempenho em 9 de 12 condições experimentais.
   • Superou consistentemente métodos como GroupDRO e CORAL, particularmente no cenário "muitos-para-muitos", onde as correlações permanecem intactas, um regime onde esses métodos tipicamente enfrentam dificuldades.

3. Spurious Vehicles: Um novo benchmark sintético para reconhecimento de veículos em diferentes contextos.

   • Baselines padrão (ERM, GroupDRO, CORAL) falharam quase completamente (WGA próximo de 0-10%).
   • O AutoBackSwap alcançou uma WGA de 87,2% usando um detector leve aprendido e 90,1% ao usar segmentações de verdade fundamental, demonstrando sua eficácia mesmo em cenários altamente desafiadores.

Os autores também observam que aumentos de dados pesados (Mixup, CutMix) frequentemente falharam em melhorar a robustez e às vezes degradaram o desempenho, reforçando a necessidade de estratégias de aumento direcionadas como o AutoBackSwap.

Significância e Alegações

O artigo afirma que o AutoBackSwap fornece uma solução prática e eficaz para mitigar a dependência de fundos espúrios em sistemas de reconhecimento visual. Sua principal significância reside na capacidade de:

• Desacoplar requisitos de treinamento da disponibilidade de dados: Ele remove a necessidade de datasets contrafatuais caros que quebrem as correlações espúrias, um gargalo comum para métodos de robustez existentes.
• Operar com supervisão mínima: Ao alavancar um pequeno dataset auxiliar para o detector, ele reduz a barreira de entrada para implantar classificadores robustos em cenários do mundo real onde dados balanceados não estão disponíveis.
• Generalizar através de arquiteturas: O método mostra-se eficaz tanto com backbones ResNet quanto Vision Transformer (ViT).

Os autores reconhecem modestamente as limitações, observando que o método visa especificamente correlações espúrias baseadas em background e não aborda vieses de entanglement de foreground ou outros modos de falha como viés de textura. Eles também alertam que o processo de recomposição pode criar imagens semanticamente implausíveis, embora experimentos sugiram que isso não prejudica a acurácia média. O trabalho posiciona o AutoBackSwap não como uma cura universal para mudança de distribuição, mas como uma ferramenta especializada para melhorar a robustez contra correlações espúrias induzidas pelo background.