Cross-Cultural Value Awareness in Large Vision-Language Models

1. Problema

A adoção rápida de Grandes Modelos Visuais-Linguísticos (LVLMs) trouxe preocupações crescentes sobre justiça e equidade, especialmente devido à sua propensão a reforçar estereótipos sociais nocivos. Embora a literatura existente tenha focado extensivamente em vieses relacionados a características demográficas físicas (como raça, gênero e idade), há uma lacuna significativa no entendimento de como esses modelos lidam com contextos culturais (religião, nacionalidade e status socioeconômico).

O desafio central é que a cultura não pode ser determinada apenas pela aparência física de um indivíduo; ela requer a interpretação do contexto em que a pessoa aparece. A falta de estudos sobre como LVLMs julgam os valores morais, éticos e políticos de pessoas baseando-se nesses contextos culturais limita a compreensão de vieses sutis e potencialmente prejudiciais na geração de conteúdo multimodal.

2. Metodologia

Os autores propõem um framework de avaliação multidimensional para diagnosticar a consciência de diferenças de valores culturais em LVLMs. O estudo utiliza os seguintes componentes principais:

• Dataset de Contrafactuais Culturais: O estudo utiliza o dataset Cultural Counterfactuals, que contém conjuntos de imagens onde a mesma pessoa é retratada em diferentes contextos culturais (ex: uma igreja cristã, uma mesquita, um templo hindu, ou diferentes níveis de renda). Isso permite isolar o contexto cultural como a única variável, mantendo a aparência do indivíduo constante.
• Geração de Respostas: Foram solicitados a cinco LVLMs populares (Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6 e Molmo-7B) que gerassem listas de valores morais, éticos e políticos para as pessoas nas imagens. O total de respostas analisadas foi de 2,69 milhões.
• Análise Baseada na Teoria dos Fundamentos Morais (MFT):
  • Os valores gerados foram mapeados para as seis fundações da MFT: Cuidado/Dano, Justiça/Trapaça, Lealdade/Traição, Autoridade/Subversão, Santidade/Degradação e Liberdade/Opressão.
  • Utilizou-se um modelo LLM (GPT-5.4) como "juiz" para classificar os valores únicos de cada contexto cultural nessas categorias.
  • O foco foi identificar valores que aparecem exclusivamente em um contexto cultural específico, mitigando fatores de confusão.
• Análise de Sensibilidade de Valores:
  • Mediu-se a variação nos valores gerados quando o mesmo indivíduo é colocado em diferentes contextos.
  • Utilizou-se a Sobreposição de Jaccard para quantificar a sensibilidade: uma baixa sobreposição (alta sensibilidade) indica que o modelo altera significativamente seus julgamentos de valor dependendo do contexto cultural.
• Análise Lexical (Modelo de Conteúdo de Estereótipos - SCM):
  • Avaliou-se a polaridade semântica dos valores gerados em termos de Afeição/Calor (sociabilidade/moralidade) e Competência (agência/habilidade), para detectar estereótipos sociais.

3. Principais Contribuições

1. Primeiro Estudo em Grande Escala: É o primeiro trabalho a investigar sistematicamente como contextos culturais (religião, nacionalidade, classe social) influenciam os julgamentos de valor de LVLMs sobre indivíduos.
2. Framework de Avaliação Multidimensional: Introduz uma metodologia robusta que combina MFT, análise de sensibilidade via Jaccard e análise lexical para dissecar vieses culturais, superando as limitações de avaliações baseadas apenas em características físicas.
3. Dataset e Métricas: Validação e aplicação do dataset Cultural Counterfactuals para medir a consciência cultural, fornecendo métricas quantitativas para a "sensibilidade" do modelo a nuances culturais.

4. Resultados Chave

• Variabilidade nos Fundamentos Morais (MFT):
  • Modelos como Qwen2.5-VL, Gemma-3 e InternVL3 demonstraram variabilidade significativa nas categorias MFT dependendo do contexto religioso (ex: contextos cristãos geraram mais valores de Cuidado, enquanto templos hindus e santuários xintoístas geraram mais Lealdade e Santidade).
  • Em contraste, Molmo-7B e LLaVA-v1.6 exibiram quase nenhuma variabilidade nas categorias MFT entre diferentes contextos religiosos, nacionais ou socioeconômicos. Isso sugere uma falta de raciocínio sobre diferenças culturais, mesmo quando o modelo consegue classificar o contexto com alguma precisão.
• Sensibilidade de Valores:
  • O LLaVA-v1.6 mostrou a maior sensibilidade (mudança nos valores entre contextos), mas como sua precisão na classificação do contexto era baixa, essa sensibilidade pode ser atribuída a ruído ou aleatoriedade, e não a uma verdadeira consciência cultural.
  • Modelos como InternVL3-8B e Gemma-3-12b apresentaram o melhor equilíbrio: alta precisão na classificação do contexto, alta sensibilidade de valores e variabilidade consistente nas categorias MFT, indicando uma melhor compreensão das diferenças culturais.
• Vieses Socioeconômicos e Religiosos:
  • Observou-se que, para alguns modelos, a frequência de palavras associadas a "Calor" (warmth) diminuía progressivamente de imagens de alta renda para baixa renda, refletindo estereótipos culturais aprendidos.
  • O modelo Qwen2.5-VL produziu consistentemente os menores escores de "Calor" para o contexto de uma Sinagoga em comparação com Igrejas Cristãs e Mesquitas.
• Taxas de Recusa:
  • Modelos como InternVL3-8B e LLaVA-v1.6 apresentaram taxas de recusa significativas (até 22% e 8,2% respectivamente), especialmente quando solicitados sobre valores políticos. A recusa variou dependendo do contexto cultural (ex: taxas mais altas para igrejas cristãs e templos xintoístas em comparação com mesquitas), sugerindo que os modelos podem ser mais propensos a fazer suposições sobre certos grupos culturais do que outros.

5. Significância e Conclusão

O estudo demonstra que os LVLMs atuais possuem níveis variados e, muitas vezes, inadequados de consciência sobre diferenças de valores transculturais.

• Implicações para a Segurança: A incapacidade de distinguir nuances morais entre culturas pode levar a estereótipos prejudiciais e a uma representação enviesada de grupos minoritários ou religiosos em aplicações de produção.
• Direção Futura: O trabalho estabelece uma base para pesquisas futuras e destaca a necessidade urgente de incorporar conhecimento sobre diferenças de valores culturais nos processos de treinamento e alinhamento (RLHF) dos LVLMs.
• Conclusão Técnica: A simples capacidade de reconhecer um contexto visual (classificação de imagem) não garante que o modelo compreenda as implicações morais e éticas associadas a esse contexto. A avaliação deve ir além da precisão de classificação para medir a sensibilidade semântica e a variabilidade dos valores gerados.