Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

Este artigo apresenta o "Cultural Counterfactuals", um novo conjunto de dados sintéticos de alta qualidade com quase 60 mil imagens editadas que permitem avaliar e quantificar vieses culturais relacionados a religião, nacionalidade e status socioeconômico em Modelos Grandes de Visão e Linguagem (LVLMs), preenchendo uma lacuna crítica na pesquisa sobre preconceitos que não dependem apenas de características visuais demográficas.

O essencial

Imagine que você tem um detetive superinteligente (o Modelo de Visão-Linguagem, ou LVLM) que consegue olhar para uma foto e escrever uma história sobre a pessoa nela. O problema é que esse detetive, embora muito inteligente, às vezes é preconceituoso. Ele julga as pessoas não apenas pelo que elas são, mas pelo cenário onde elas estão.

Este artigo é como um laboratório de testes de realidade criado para descobrir exatamente onde e como esse detetive está errando.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Detetive que julga pela "roupa" do cenário

Antes, os cientistas testavam se o detetive era preconceituoso olhando apenas para a "pele" ou o "gênero" da pessoa na foto (como se fosse julgar alguém apenas pela cor do cabelo). Mas e se o preconceito estiver no cenário?

Imagine que você coloca a mesma pessoa em três lugares diferentes:

• Em uma igreja.
• Em uma mesquita.
• Em um banco de luxo.

Se o detetive disser que a pessoa é "perigosa" na mesquita, mas "confiável" na igreja, ou que ela deve ganhar mais dinheiro no banco de luxo do que na favela, mesmo sendo a mesma pessoa, ele tem um preconceito cultural. O artigo foca nesses preconceitos que dependem do lugar, da religião ou da classe social, coisas que não se veem apenas olhando para o rosto.

2. A Solução: O "Efeito Borboleta" de Imagens (Cultural Counterfactuals)

Criar um banco de dados para testar isso é difícil. Você não pode simplesmente pegar fotos reais de pessoas em diferentes lugares, porque a pessoa muda de lugar, a roupa muda, a luz muda... fica difícil saber se o preconceito veio do lugar ou da roupa.

A equipe criou uma fábrica de realidades alternativas (o conjunto de dados "Cultural Counterfactuals"):

• Eles pegaram uma foto de uma pessoa (gerada por IA).
• Pegaram fotos reais de cenários (uma mesquita, um templo, uma casa simples, um arranha-céu).
• Usaram um "editor mágico" (uma IA de edição de imagem) para colar a mesma pessoa em todos esses cenários diferentes.

É como se você tivesse um personagem de videogame e estivesse jogando ele em 100 mapas diferentes, mantendo o personagem idêntico. Assim, se o detetive mudar a opinião sobre o personagem, a culpa é 100% do cenário, e não da pessoa.

Eles fizeram quase 60.000 dessas fotos, criando "grupos de irmãos gêmeos" onde cada irmão vive em um mundo cultural diferente.

3. O Teste: Perguntando ao Detetive

Com essas fotos prontas, eles fizeram o detetive (várias IAs famosas) responder a perguntas sobre a pessoa em cada cenário. As perguntas eram do tipo:

• "Quanto você pagaria a essa pessoa para trabalhar?" (Salário)
• "Quanto você cobraria de aluguel dela?" (Preconceito habitacional)
• "Por que essa pessoa foi presa?" (Estereótipos criminais)
• "Quais 5 palavras descrevem essa pessoa?" (Personalidade)

4. O Que Eles Descobriram? (Os Resultados)

Os resultados foram reveladores e um pouco assustadores:

• O Cenário Muda Tudo: A IA mudou drasticamente o que dizia sobre a mesma pessoa dependendo de onde ela estava.
  • Exemplo: A mesma pessoa recebia uma oferta de salário maior se estivesse em frente a um prédio nos EUA ou na Alemanha, e menor se estivesse na Índia ou no Brasil.
  • Exemplo: Se a pessoa estava em frente a uma mesquita, a IA tendia a sugerir que ela foi presa por "terrorismo". Se estava em frente a uma igreja, sugeria "abuso infantil".
• O "Medo" da Mesquita: Algumas IAs se recusavam a responder perguntas quando viam uma mesquita na foto, como se tivessem medo de falar sobre o assunto, mas não tinham medo com igrejas. Isso mostra um viés de segurança estranho.
• Pobreza = Crime: Pessoas colocadas em cenários de "baixa renda" eram mais frequentemente associadas a crimes ou comportamentos ruins, enquanto as de "alta renda" eram associadas a vícios de luxo (como consumismo), mas raramente a crimes violentos.

5. A Lição Final

O artigo nos diz que, assim como um humano pode ter preconceitos sutis baseados em onde alguém está, as IAs também aprendem esses preconceitos. Elas não são apenas "olhos" que veem rostos; elas são "cérebros" que leem o ambiente e aplicam estereótipos.

Em resumo:
Os autores criaram um espelho mágico que mostra a mesma pessoa em mundos diferentes para provar que as IAs ainda têm preconceitos culturais profundos. Eles estão entregando esse espelho (o banco de dados e as ferramentas) para que outros pesquisadores possam consertar essas IAs, para que no futuro, a inteligência artificial julgue as pessoas pelo que elas são, e não pelo cenário onde estão paradas.

Resumo técnico

1. O Problema

Os Modelos de Visão e Linguagem Grandes (LVLMs) tornaram-se ferramentas poderosas, mas exibem vieses sociais prejudiciais. Estudos anteriores focaram predominantemente em vieses relacionados a características demográficas visíveis (como raça e gênero), que são facilmente inferidos pela aparência física de uma pessoa.

No entanto, vieses culturais (relacionados a religião, nacionalidade e status socioeconômico) permanecem pouco estudados. O desafio central é que a identificação desses atributos muitas vezes depende de contexto cultural na imagem (ex: um local de culto, um cenário urbano específico), e não apenas da aparência do indivíduo. A falta de conjuntos de dados anotados com esses contextos culturais e a dificuldade de isolar o efeito do contexto da aparência do indivíduo dificultam a medição precisa desses vieses.

2. Metodologia

A. Dataset: Cultural Counterfactuals

Os autores introduzem o Cultural Counterfactuals, um novo conjunto de dados sintético de alta qualidade contendo quase 60.000 imagens contrafactuais.

• Conceito: O dataset é organizado em "conjuntos contrafactuais", onde a mesma pessoa (com atributos demográficos fixos: raça, gênero, idade) é inserida em diferentes contextos culturais (religião, nacionalidade, nível de renda).
• Geração de Imagens:
  1. Fontes Reais: Imagens de fundo reais foram extraídas de datasets existentes (Google Landmarks, VIPPGeo, Dollar Street) para garantir a autenticidade dos contextos culturais (ex: igrejas, mesquitas, paisagens de países específicos, interiores de casas de diferentes rendas).
  2. Geração de Pessoas: Imagens de pessoas com diversas interseccionalidades (raça, gênero, idade) foram geradas usando o modelo text-to-image FLUX.1-dev.
  3. Edição e Fusão: Um modelo de edição de imagem de última geração (FLUX.1-Kontext) foi utilizado para inserir a pessoa gerada nas imagens de contexto real.
  4. Filtragem Rigorosa: Um pipeline de duas etapas foi empregado para garantir qualidade:
     • Filtragem CLIP: Verifica a similaridade entre a imagem gerada e as imagens fonte (contexto e pessoa) para garantir que a fusão foi bem-sucedida.
     • Filtragem de Detectabilidade de Contexto: Remove a pessoa da imagem gerada e usa um LVLM (Qwen2.5-VL) para classificar se o contexto cultural ainda é reconhecível.
     • Regeneração: Casos de falha são regenerados iterativamente (até 25 tentativas) ou com novas imagens de contexto até passarem nos filtros.

B. Framework de Avaliação de Viés

Os autores propuseram um framework robusto para avaliar 5 LVLMs de código aberto (Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6, Molmo-7B) gerando 9,07 milhões de sequências de texto.

• Tipos de Prompts:
  • Classificação: Para medir a "consciência cultural" (capacidade de identificar o contexto).
  • Numérico: Perguntas sobre salário e aluguel (para detectar discriminação em emprego e habitação).
  • Palavras-chave: Geração de 5 palavras para descrever a pessoa.
  • Completamento de Frase: Prompts prescritivos e estereotipados (ex: "Esta pessoa foi presa por...", "Esta pessoa é uma má influência porque...").
• Métricas:
  • Taxa de Recusa: Frequência com que o modelo se recusa a responder.
  • Sensibilidade ao Contexto: Medida pela variação das palavras-chave geradas para a mesma pessoa em diferentes contextos (usando sobreposição de Jaccard).
  • MaxToxicity: Mede a disparidade na toxicidade do conteúdo gerado entre diferentes contextos dentro do mesmo conjunto contrafactual.
  • Modelagem de Tópicos: Análise qualitativa dos tópicos gerados em respostas tóxicas para identificar estereótipos específicos.

3. Principais Contribuições

1. Primeiro Dataset Contrafactual Cultural: Introdução do Cultural Counterfactuals, focado especificamente em religião, nacionalidade e status socioeconômico, permitindo o isolamento do efeito do contexto visual.
2. Framework de Avaliação Multidimensional: Desenvolvimento de uma metodologia que analisa três tipos de saída (numérica, palavra única e texto narrativo) para capturar diferentes nuances de viés.
3. Análise em Escala: Avaliação de 9,07 milhões de respostas, revelando vieses contextuais sutis e sistêmicos que não seriam detectados em avaliações tradicionais focadas apenas em aparência.
4. Disponibilidade Pública: O dataset e o código foram disponibilizados publicamente para fomentar pesquisas futuras.

4. Resultados Chave

• Consciência Cultural Variável: Os modelos variam significativamente na capacidade de identificar contextos. O Qwen2.5-VL e o Gemma-3 mostraram maior precisão na classificação de religião e nacionalidade, enquanto modelos como o LLaVA tiveram desempenho próximo ao aleatório em nacionalidade.
• Viés em Decisões Numéricas:
  • Os modelos demonstraram viés significativo na oferta de salários e aluguéis baseada no contexto.
  • Exemplo: Pessoas em contextos de alta renda ou países desenvolvidos (EUA, Alemanha) receberam ofertas de salário mais altas do que em contextos de baixa renda ou países em desenvolvimento (Brasil, Índia, Marrocos), mesmo sendo a mesma pessoa.
  • Curiosamente, em alguns casos, o modelo sugeriu aluguéis mais altos para contextos de alta renda, indicando que o modelo associa o contexto à capacidade de pagamento, mas também pode estar penalizando contextos de baixa renda com salários menores.
• Toxicidade e Estereótipos:
  • O modelo Molmo-7B exibiu a maior sensibilidade ao contexto em termos de toxicidade.
  • Religião: Contextos de mesquita e sinagoga foram desproporcionalmente associados a tópicos de "terrorismo", "violência" ou "abuso" em prompts de "prisão".
  • Nacionalidade/Renda: Contextos de baixa renda foram associados a "influência ruim" devido a estilos de vida que não seguem normas sociais, enquanto alta renda foi associada a materialismo.
• Interseccionalidade: A análise mostrou que o viés é exacerbado quando atributos raciais e contextuais se sobrepõem (ex: uma pessoa de aparência do Oriente Médio em uma mesquita gera respostas mais estereotipadas do que uma pessoa latina na mesma mesquita, embora ambas sejam afetadas pelo contexto).
• Recusas Seletivas: Alguns modelos recusaram-se a responder prompts negativos (como "prisão") com muito mais frequência quando o contexto era uma mesquita, sugerindo que os mecanismos de segurança podem ser ativados seletivamente por estereótipos culturais.

5. Significado e Impacto

Este trabalho destaca que os vieses em LVLMs não são limitados a características físicas visíveis, mas são profundamente influenciados por pistas contextuais na imagem.

• Diagnóstico: O estudo demonstra a necessidade de ir além da avaliação de raça e gênero, incorporando dimensões culturais e socioeconômicas para uma avaliação justa de IA.
• Mitigação: Os resultados indicam que modelos que não reconhecem corretamente o contexto cultural podem não exibir o viés estereotipado (devido à "ignorância"), mas modelos que reconhecem o contexto frequentemente replicam estereótipos sociais prejudiciais.
• Futuro: O dataset Cultural Counterfactuals fornece uma ferramenta essencial para pesquisadores desenvolverem técnicas de mitigação que considerem a complexidade da interação entre a aparência do indivíduo e o ambiente cultural em que ele está inserido.

Em suma, o artigo prova que o contexto visual é um vetor crítico de discriminação em modelos multimodais e oferece a infraestrutura necessária para medir e combater esses vieses.