ValueGround: Evaluating Culture-Conditioned Visual Value Grounding in MLLMs

1. Problema e Motivação

O trabalho aborda uma lacuna crítica na avaliação de Modelos de Linguagem Multimodal (MLLMs): a maioria das avaliações de valores culturais é baseada exclusivamente em texto. Embora os valores culturais se manifestem tanto em linguagem quanto em cenas visuais e práticas sociais, não está claro se os modelos conseguem manter julgamentos consistentes quando as opções de resposta são apresentadas visualmente em vez de verbalmente.

O problema central é a instabilidade de julgamento: um modelo pode prever corretamente uma tendência cultural baseada em texto, mas reverter essa previsão quando as mesmas opções são substituídas por pares de imagens. O artigo questiona se os MLLMs conseguem "ancorar" (ground) julgamentos de valor condicionados a culturas específicas em evidências visuais, mantendo a consistência com o contexto textual.

2. Metodologia: O Benchmark VALUEGROUND

Os autores introduzem o VALUEGROUND, um benchmark projetado para avaliar o "ancoramento visual de valores condicionados à cultura".

Construção do Benchmark

• Fonte de Dados: As perguntas são derivadas do World Values Survey (WVS), focando em questões atitudinais sobre normas sociais e preferências.
• Redução Binária: Cada pergunta é reduzida a um par de opções contrastantes (A e B).
• Geração de Imagens Controlada: O núcleo da metodologia é um pipeline de construção de imagens em pares minimamente contrastivos. Para evitar que o modelo use "atalhos" (como texto visível, bandeiras ou ícones óbvios), o sistema gera pares de imagens onde:
  1. Alinhamento Semântico: Cada imagem representa fielmente o significado da opção correspondente.
  2. Contraste Mínimo: As duas imagens compartilham a mesma cena base, personagens, enquadramento e estilo visual. A diferença reside apenas nos atributos que definem a opção (ex: uma ação específica ou interação).
  3. Supressão de Atalhos: Eliminação de qualquer texto legível, símbolos de UI ou pistas superficiais que revelem a resposta.

Pipeline Agente

A construção das imagens utiliza um framework agêntico com três agentes coordenados e um gerador de base:

1. Agente Planejador (Planner): Define a cena base compartilhada e os atributos fixos vs. editáveis.
2. Gerador de Base: Cria a imagem neutra inicial.
3. Agente Editor: Aplica edições controladas para transformar a imagem base nas duas variantes (A e B).
4. Agente Crítico (Critic): Avalia o par gerado quanto aos critérios de alinhamento, contraste e supressão de atalhos, decidindo se aceita, revisa ou regenera a imagem.

Configuração da Tarefa

O modelo recebe:

• Um país ($c$).
• Uma pergunta ($q$).
• Um par de imagens ($I_A, I_B$).
• Restrição: O texto das opções de resposta original é ocultado.
• Objetivo: O modelo deve escolher qual imagem melhor corresponde à tendência de valor daquele país específico.

3. Contribuições Principais

1. Formulação do Problema: Define o "ancoramento visual de valores condicionados à cultura" como um problema de avaliação multimodal controlado, onde apenas as opções de resposta são visualizadas.
2. Pipeline de Construção: Propõe um framework agêntico inovador para criar pares de imagens minimamente contrastivos, validados por humanos, derivados de dados de pesquisa social.
3. Benchmark VALUEGROUND: Lança um conjunto de dados com 224 perguntas validadas cobrindo 13 países (incluindo Brasil, EUA, China, Alemanha, etc.).
4. Análise de Falhas: Demonstra que, embora os modelos sejam bons em alinhar texto e imagem, eles falham em integrar o contexto cultural com a evidência visual, levando a reversões de previsão.

4. Resultados Experimentais

Os autores avaliaram 6 MLLMs de ponta (incluindo GPT-5 Mini, Gemini 3 Flash, Claude Haiku 4.5, Qwen3-VL, etc.) em três configurações:

1. Apenas Texto: País + Pergunta + Opções Textuais.
2. Alinhamento Opção-Imagem: Pergunta + Opções + Imagens (sem contexto de país).
3. Tarefa Principal (VALUEGROUND): País + Pergunta + Imagens (sem texto das opções).

Principais Descobertas:

• Queda de Desempenho: A acurácia média caiu de 72,8% (apenas texto) para 65,8% na tarefa principal com imagens.
• Alinhamento Visual é Fácil: Os modelos obtiveram 92,8% de acurácia na tarefa de alinhamento (reconhecer qual imagem corresponde a qual opção), indicando que a geração de imagens contrastivas foi bem-sucedida e que os modelos conseguem ver a diferença.
• O Gargalo é a Integração: A queda de desempenho ocorre não porque o modelo não entende a imagem ou não conhece a cultura textualmente, mas porque falha em integrar o contexto do país com a evidência visual para tomar uma decisão coerente.
• Reversões de Previsão: Ocorreram frequentes reversões onde um modelo acertava na versão textual, mas errava na versão visual (e vice-versa). Em média, as reversões "prejudiciais" (corrigir um erro textual para um erro visual) foram mais comuns que as "benéficas".
• Robustez Variável: Modelos mais fortes (como Gemini 3 Flash e GPT-5 Mini) foram mais robustos, mas ainda sofreram quedas significativas. Países como Rússia e México apresentaram maior dificuldade, enquanto Reino Unido e EUA foram mais fáceis.

5. Significado e Conclusão

O VALUEGROUND revela que a capacidade dos MLLMs de refletir valores culturais não é estável entre modalidades. A simples existência de conhecimento textual sobre uma cultura não garante que o modelo possa aplicar esse conhecimento quando confrontado com evidências visuais sutis.

Implicações:

• Limitações de Grounding: Os modelos têm dificuldade em realizar "grounding" (ancoragem) robusto de julgamentos de valor em cenários visuais complexos e culturalmente condicionados.
• Necessidade de Avaliação Multimodal: Avaliações puramente textuais de viés e alinhamento cultural são insuficientes; é necessário testar a estabilidade das decisões em cenários multimodais.
• Direção Futura: O benchmark serve como um "campo de testes controlado" para estudar a transferência cross-modal de julgamentos de valor, apontando para a necessidade de melhorar a integração contextual profunda em MLLMs, indo além da simples associação texto-imagem.

Em suma, o trabalho demonstra que, embora os modelos sejam capazes de "ver" a diferença entre as imagens e "ler" sobre a cultura, a síntese desses dois mundos para formar um julgamento culturalmente consistente permanece um desafio significativo.