Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

Resumo Técnico: Tradução Sensível à Densidade de Correlações Espúrias em VLMs Zero-Shot

Declaração do Problema
Modelos de Visão-Linguagem (VLMs), como o CLIP, demonstraram poderosas capacidades de classificação zero-shot ao alinhar embeddings de imagem e texto em um espaço latente compartilhado. No entanto, esses modelos permanecem altamente suscetíveis a correlações espúrias, onde as previsões dependem de pistas contextuais frequentes, mas semanticamente irrelevantes (ex: fundo), em vez de conteúdo significativo.

O artigo identifica uma causa raiz geométrica para essa falha: os embeddings do CLIP exibem uma estrutura anisotrópica e elipsoidal no espaço de características. Padrões comuns (frequentemente correlacionados com atributos espúrios) agrupam-se próximos à média da distribuição, enquanto padrões raros, porém semanticamente significativos, situam-se em regiões periféricas mais esparsas. Essa geometria cria um alinhamento desigual onde:

1. As correlações espúrias são amplificadas porque amostras frequentes se alinham de forma próxima ao vetor médio da modalidade.
2. Pistas semanticamente significativas, mas raras, são marginalizadas, recebendo pontuações de similaridade menores do que amostras alinhadas espuramente.
3. A similaridade de cosseno padrão, que assume distribuições isotrópicas, falha ao não considerar essa variação de densidade, levando a um viés sistemático contra grupos sub-representados.

Estratégias de mitigação existentes frequentemente dependem de ajuste fino (subestimando a generalização zero-shot), engenharia de prompts (propensa a alucinações e desalinhamento) ou descoberta de conceitos supervisionada (exigindo rótulos de atributos espúrios).

Metodologia: Tradução Sensível à Densidade (DAT)
Os autores propõem a Tradução Sensível à Densidade (DAT - Density-Aware Translation), um mecanismo de calibração zero-shot que refina as pontuações de similaridade imagem-texto usando um termo de densidade geométrica local derivado de conjuntos de referência de grupos. O método opera sem atualizar os parâmetros do modelo ou exigir acesso a rótulos de atributos espúrios no momento do teste.

Os componentes principais do DAT são:

1. Construção de Referência de Grupo: Um pequeno conjunto equilibrado de amostras de referência é construído para cada grupo (definido pela classe $y$ e atributo espúrio $a$) usando um procedimento de amostragem. Para garantir estabilidade, utiliza-se o herding de exemplares determinístico no espaço de características para selecionar embeddings cuja média móvel corresponda à média do grupo.
2. Estimativa de Densidade: Para uma imagem de consulta, a densidade local relativa ao conjunto de referência de um grupo é estimada usando o Fator de Outlier Local Simplificado (SLOF). Um valor de SLOF mais alto indica que a amostra reside em uma região esparsa (menos representativa), enquanto um valor mais baixo indica uma região densa.
3. Tradução de Densidade: As pontuações de similaridade bruta entre a imagem e os prompts do grupo são reescalonadas com base na densidade estimada. Especificamente, as pontuações para amostras em regiões difusas (esparsas) são suprimidas, enquanto as pontuações para amostras em regiões densas e semanticamente consistentes são preservadas. A tradução é formulada como:
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   onde $s_{y,a}$ é a similaridade bruta, $D_{y,a}$ é o proxy de densidade, $\lambda$ controla a força da tradução e $\epsilon$ garante a estabilidade.
4. Agregação de Previsão: As previsões finais são feitas maximizando tanto as pontuações corrigidas pelo grupo quanto uma pontuação marginal de classe (média de atributos), garantindo robustez através de diferentes estratégias de agregação.

Uma variante, DAT*, é introduzida para cenários onde os rótulos de atributos espúrios não estão disponíveis. Ela infere a pertinência ao grupo de forma zero-shot selecionando o prompt de atributo que maximiza a similaridade com o embedding da imagem.

Análise Teórica
O artigo fornece uma justificativa teórica para o DAT ao modelar as distribuições de grupo usando a distribuição de Kent (Fisher-Bingham), que captura a natureza anisotrópica dos embeddings do CLIP.

• Viés na Similaridade de Cosseno: Os autores provam que a similaridade de cosseno bruta desvia sistematicamente das fronteiras de decisão Bayes-ótimas em espaços anisotrópicos. Ela recupera o termo axial linear do log-densidade, mas ignora o termo de anisotropia quadrática.
• Alinhamento Bayesiano: Sob a suposição de que o log do proxy de densidade (SLOF) é fiel ao log-negativo da densidade, os autores mostram que o DAT restabelece os termos de log-verossimilhança ausentes que são sensíveis à anisotropia. Consequentemente, o discriminante do DAT alinha-se com regras de pontuação Bayes-ótimas, corrigindo o viés inerente à pontuação pura de cosseno.

Principais Contribuições

1. Mecanismo DAT: Introdução de um mecanismo zero-shot que reescala similaridades imagem-texto usando densidades de referência de grupo, sem exigir ajuste fino, engenharia de prompts ou acesso a rótulos de atributos espúrios no momento do teste.
2. Correção Teórica: Uma análise teórica demonstrando que o DAT corrige o viés da similaridade de cosseno sob embeddings anisotrópicos, restabelecendo termos de log-verossimilhança ausentes e alinhando-se com regras de decisão Bayes-ótimas.
3. Validação Empírica: Experimentos abrangentes em múltiplos benchmarks de correlação espúria (Waterbirds, CelebA, COVID-19, FMoW) e diversos backbones de VLM (variantes do CLIP, ALIGN, AltCLIP), mostrando melhorias consistentes em acurácia de Pior-Grupo (WG) e Média.

Resultos Experimentais
Os autores avaliaram o DAT em benchmarks padrão de correlação espúria:

• Waterbirds: O DAT alcançou a maior acurácia de Pior-Grupo (WG) em todos os backbones do CLIP, superando a base mais forte anterior (TIE) em aproximadamente 4–14%, dependendo do backbone. Por exemplo, com o CLIP ViT-L/14, o DAT atingiu 83,33% de acurácia WG comparado aos 78,82% do TIE.
• CelebA: O DAT e o DAT* alcançaram o desempenho mais forte na maioria das métricas, particularmente na acurácia WG, frequentemente superando métodos de estado da arte como TIE e ROBOSHOT.
• Domínios Médicos e Multilabel: No conjunto de dados COVID-19 (usando BiomedCLIP), o DAT melhorou a acurácia WG em mais de 20% em comparação com as bases mais recentes. No complexo conjunto de dados FMoW, o DAT obteve a maior acurácia WG e Média, reduzindo significativamente a lacuna entre elas.
• Generalização: O método demonstrou robustez através de diferentes VLMs, incluindo ALIGN e AltCLIP, superando consistentemente abordagens de debiasing anteriores.

Significância e Alegações
O artigo afirma que o DAT oferece um mecanismo de calibração simples e eficaz para classificação zero-shot confiável. Sua significância reside em abordar as limitações geométricas dos VLMs sem comprometer o regime zero-shot. Ao modelar explicitamente a anisotropia e a densidade local, o DAT mitiga a amplificação de correlações espúrias que assolam a inferência baseada em similaridade padrão.

Os autores posicionam o DAT não como um substituto para o debiasing baseado em treinamento, mas como uma correção pós-hoc necessária para os vieses geométricos inerentes aos embeddings multimodais pré-treinados. Eles concluem que trabalhos futuros devem explorar abordagens multimodais adaptativas para estimativa de densidade que sejam menos sensíveis à seleção de referência e ao design de prompts, mas enfatizam que o método atual fornece uma base forte e livre de parâmetros para melhorar a robustez de grupo.