Resumo Técnico: Pássaros da Mesma Espécie Reúnem-se Juntos

Declaração do Problema

Modelos visão-linguagem (VLMs) como CLIP e SigLIP 2 são amplamente adotados para classificação de imagens e como extratores de características. No entanto, seus codificadores de visão permanecem vulneráveis a vieses sistemáticos, particularmente correlações espúrias de fundo. Nessas situações, os modelos dependem de ligações acidentais entre objetos de primeiro plano e seus fundos (por exemplo, associar "aves aquáticas" a fundos de "água") em vez de aprender características robustas dos objetos. Isso leva a uma generalização pobre e a falhas catastróficas em grupos de pior caso, especialmente quando exemplos de grupos minoritários (por exemplo, aves aquáticas em terra) estão ausentes dos dados de treinamento (correlação espúria de 100%). Estratégias de mitigação existentes frequentemente exigem acesso a dados do mundo real desviados ou re-otimização para cada tarefa downstream específica, limitando sua praticidade.

Metodologia: Pré-treinamento de Âncora Invariante ao Fundo (BAP)

Os autores propõem o Pré-treinamento de Âncora Invariante ao Fundo (BAP), uma abordagem de pré-treinamento em duas etapas que aproveita a alta aditividade linear observada nos espaços de incorporação de VLMs. A hipótese central é que as representações de cena de VLMs comportam-se como uma superposição linear de componentes de primeiro plano e de fundo ($z \approx v_{fg} + v_{bg}$).

Fase 1: Extração de Vetores Âncora

O método constrói um dicionário de vetores âncora apenas de primeiro plano usando um modelo professor congelado, pré-treinado contrastivamente ($f^*_\theta$):

1. Composição: Uma instância específica de objeto de primeiro plano ($x_{fg}$) é sobreposta a $K$ imagens de fundo diversas, amostradas aleatoriamente ($b_k$).
2. Média: As incorporações dessas $K$ composições são médias para criar um vetor médio $\bar{z}$.
3. Normalização: O vetor âncora $a$ é derivado normalizando $\bar{z}$.
   • Justificativa Teórica: Pela Lei dos Grandes Números, à medida que $K$ aumenta, o componente de fundo média-se para um deslocamento agnóstico à classe ($\mu_{bg}$), enquanto o sinal de primeiro plano ($v_{fg}$) é preservado. Este processo suprime efetivamente sinais discriminativos de fundo, mantendo a estrutura semântica do objeto.

Fase 2: Pré-treinamento de Alinhamento Robusto

Um modelo estudante ($f_\theta$) é otimizado para alinhar suas representações com as âncoras pré-calculadas:

1. Geração de Entrada: Cada instância de primeiro plano é composta em $M$ novos fundos randomizados para gerar $M$ entradas distintas.
2. Objetivo: O modelo minimiza a distância cosseno entre a incorporação de cada entrada randomizada e seu vetor âncora invariante correspondente $a$.
   • Mecanismo: Isso impõe um mapeamento muitos-para-um estrito, atuando como um gargalo representacional (análogo a um $\beta$-VAE). O codificador é forçado a descartar características de alta variância e não compartilhadas (fundos) e codificar apenas os fatores compartilhados e salientes (objetos de primeiro plano).

Contribuições Principais

1. Abordagem de Pré-treinamento Novel: Introdução do BAP, que explora a aditividade linear das incorporações de VLMs para destilar representações invariantes ao fundo usando dados sintéticos, antes da exposição a distribuições downstream alvo.
2. Robustez Estado da Arte: Alcanço de precisão do grupo de pior caso (WGA) superior a 90% no benchmark Waterbirds sob correlação espúria perfeita (100%), onde não existem exemplos de grupos minoritários nos conjuntos de treinamento ou validação. Isso representa um novo estado da arte.
3. Generalização de Superclasse: Demonstração de que a robustez induzida pelo BAP generaliza no nível de superclasse (por exemplo, "Veículos"). O método é aplicado uma vez por superclasse, e o extrator de características resultante pode ser reutilizado para múltiplas tarefas binárias downstream (por exemplo, Carro vs. Caminhão, Bicicleta vs. Moto) sem re-otimização.
4. Praticidade e Eficiência:
   • O método alcança robustez próxima ao pico com tão poucos quanto 50 itens de primeiro plano segmentados.
   • Permanece resiliente a máscaras de segmentação imperfeitas (por exemplo, ruidosas, erodidas ou caixas delimitadoras grosseiras).
   • Não requer acesso a dados do mundo real desviados, confiando exclusivamente em composições sintéticas.

Resultados

Os autores avaliaram o BAP nas arquiteturas CLIP (baseada em Softmax) e SigLIP 2 (baseada em Sigmoid) em múltiplos benchmarks:

• Waterbirds (Sintético): O BAP alcançou uma WGA de 92,1% (CLIP) e 92,7% (SigLIP 2) sob correlação espúria de 100%, superando significativamente baselines como DFR, AFR e ERM, que frequentemente falham completamente na ausência de grupos minoritários.
• Classificação de Gênero COCO: O BAP manteve desempenho estável nos regimes de correlação espúria de 95% e 100%, enquanto outros métodos mostraram degradação significativa ao passar de 95% para 100% de correlação.
• CounterAnimal (Sim-to-Real do Mundo Real): O BAP transferiu com sucesso a robustez para imagens naturais, melhorando a WGA em mais de 10 pontos percentuais em comparação com codificadores pré-treinados nativos em tarefas envolvendo animais em contextos contrários.
• NICO++ (Veículos do Mundo Real): O BAP demonstrou desempenho dominante em tarefas de classificação de veículos, alcançando margens de WGA de dois dígitos. Notavelmente, melhorou o desempenho em "Carro vs. Caminhão" em 30 pontos percentuais, apesar de instâncias de "caminhão" terem sido excluídas do pool de objetos de pré-treinamento, confirmando a invariância no nível de superclasse.
• Estudos de Ablação:
  • Qualidade de Segmentação: O BAP manteve alta WGA mesmo com máscaras "Ruidosas" (dilatadas) ou "Arruinadas" (erodidas), e mostrou ganhos mesmo com caixas delimitadoras grosseiras.
  • Escassez de Dados: O desempenho recuperou-se para níveis próximos ao pico com apenas 50 itens de primeiro plano distintos se o número de contextos aleatórios ($M$) fosse suficientemente alto.
  • Necessidade de Âncora: Remover a extração de âncora semântica (Fase 1) e usar alvos ortogonais aleatórios preservou a robustez in-distribution, mas causou falha catastrófica em tarefas out-of-distribution (OOD), validando a necessidade das âncoras semânticas destiladas pelo professor.

Significado e Limitações

O artigo afirma que o BAP oferece uma solução altamente prática para implantação em domínios de alto risco (por exemplo, imagem médica) onde artefatos de fundo podem levar a má classificação. Ao garantir robustez no nível de representação antes do ajuste fino, elimina a necessidade de anotações de grupos minoritários durante o treinamento.

No entanto, os autores reconhecem explicitamente uma compensação: o BAP sacrifica intencionalmente as capacidades de reconhecimento de fundo de mundo aberto do backbone para alcançar robustez de primeiro plano. Avaliações zero-shot em classificação de cena (Places365) mostraram um "colapso catastrófico" na capacidade de classificar fundos ou objetos onde o contexto é vital (por exemplo, direção autônoma). Portanto, os autores posicionam o BAP como uma ferramenta especializada mais adequada para cenários onde isolar o objeto alvo de seus arredores é o objetivo principal, em vez de uma solução de propósito geral para todas as tarefas de visão.