Resumo Técnico: Jurado em Serviço: Falhas de Calibração e Orientação em MLLM-como-Juiz sob Ambiguidade Cultural

Declaração do Problema

Os paradigmas "LLM-como-Juiz" e "MLLM-como-Juízes" são cada vez mais utilizados para avaliar tarefas de geração aberta onde métricas baseadas em referência são insuficientes. Esses sistemas são convencionalmente validados medindo sua concordância com anotações humanas. No entanto, essa abordagem de validação contém uma falha crítica: ela não especifica de quem são os julgamentos que o modelo aproxima. Em domínios sensíveis à preferência (ex: plausibilidade, adequação, desejabilidade), os julgamentos humanos não são monolíticos, mas sim culturalmente situados. Quando um modelo juiz é avaliado contra um grupo heterogêneo de cultura, o "escore de concordância" resultante condiciona-se silenciosamente à composição cultural específica desse grupo.

Trabalhos anteriores documentaram vieses culturais na geração de modelos (ex: representação incorreta em sistemas de texto-para-imagem), mas menos atenção foi dada a como os vieses culturais moldam a avaliação do modelo. Isso é estruturalmente consequente porque os outputs do juiz frequentemente servem como sinais de treinamento para Aprendizado por Reforço com Feedback de IA (RLAIF) ou como verdade fundamental (ground truth) para rankings (leaderboards). Se um juiz possui um viés cultural não relatado, ele propaga esse vio para ciclos de treinamento e métricas de avaliação futuros.

Metodologia: O Benchmark VOIR DIRE

Para investigar isso, os autores introduzem o VOIR DIRE, um benchmark multimodal projetado para quantificar a divergência entre o alinhamento do MLLM-como-Juiz e grupos de referência humanos culturalmente distintos sob ambiguidade sensível à preferência.

Construção do Benchmark

• Composição do Dataset: O VOIR DIRE consiste em 626 itens emparelhados de imagem–prompt culturalmente. Cada item emparelha um conceito alinhado aos EUA com um conceito alinhado à China continental compartilhando o mesmo referente (ex: uma refeição comemorativa em ambos os contextos).
• Categorias: Os itens abrangem três categorias: Alimentos e Bebidas, Moda e Características Humanas, e Arquitetura e Símbolos.
• Obtenção de Imagens: As imagens foram geradas usando o Gemini 3 Pro Image com parâmetros correspondentes (proporção, iluminação, composição) para garantir que as diferenças visuais sejam estritamente pistas culturais e não variações estéticas ou composicionais. Um subconjunto de 30 pares de fotos naturalistas também foi criado para verificar se os achados não são artefatos de imagens sintéticas.
• Design de Prompts: Os prompts foram elaborados por anotadores especialistas biculturais para elicitar julgamentos avaliativos (não buscas fatuais) que sejam plausivelmente contestáveis entre culturas.
• Anotação Humana: Dez anotadores fluentes em contextos biculturais (cinco dos EUA, cinco da China continental) avaliaram os itens em quatro dimensões:
  1. Q1 (Resposta Avaliativa): Uma escala ordinal de 5 pontos classificando a imagem em relação ao prompt.
  2. Q2 (Alinhamento Cultural): Classificação do item em uma escala de 5 pontos de Chinês para Americano.
  3. Q3 (Subjetividade): Classificação da subjetividade do prompt.
  4. Q4 (Reconhecimento Transcultural): Classificação de quão provável é que alguém da outra cultura entenda a lógica.

Configuração Experimental

Os autores avaliaram seis MLLMs (três de origem dos EUA: Claude Opus 4.7, GPT-5.5, Llama 4 Scout; três de origem chinesa: GLM-5, Kimi K2.6, Qwen-3-VL-Flash) sob dez condições de prompt:

• Duas condições neutras (Inglês e Chinês Simplificado).
• Oito condições de persona cruzando detalhe de persona (básico vs. avançado), cultura da persona (Americana vs. Chinesa) e idioma do prompt.

Adicionalmente, quatro condições de Aprendizado em Contexto (ICL) foram testadas, variando a fonte dos exemplos de demonstração (anotadores dos EUA vs. chineses) e a fonte das imagens de demonstração (americanas vs. chinesas).

Validação da Ambiguidade Cultural

O benchmark valida que os itens são confiáveis dentro do grupo (Krippendorff's $\alpha$ = 0,86 para EUA, 0,74 para China), mas divergentes entre grupos (Pearson $r$ = -0,12 entre o consenso dos EUA e da China sobre Q1). Crucialmente, o desacordo é sobre a avaliação (Q1), não sobre o reconhecimento (Q2), confirmando que os grupos concordam com o conteúdo, mas discordam sobre seu valor normativo.

Resultados Principais

1. Falha de Calibração do Piso de Positividade

Os modelos exibem um "piso de positividade", raramente produzindo classificações de 1 ou 2 (apenas 6–16% das células). Em itens onde o consenso dos EUA é baixo (≤2), os modelos falam em atribuir classificações baixas, agrupando-se em torno de um piso de ~3.

• Mecanismo: Este piso valida mecanicamente a leitura cultural mais permissiva. Neste corpus, o grupo chinês é mais permissivo em itens contestados; assim, a incapacidade do modelo de usar a extremidade inferior da escala resulta em um alinhamento sistemático com o consenso chinês em imagens chinesas.
• Assimetria: O viés é localizado. Em imagens americanas, os modelos mostram uma leve inclinação para os EUA. Em imagens chinesas, o viés inverte e aumenta, mostrando uma forte inclinação para humanos chineses.

2. Falha de Orientação (O Resíduo)

Mesmo quando a calibração é parcialmente recuperada (ex: via prompting de persona), um resíduo de orientação cultural persiste.

• Prompts de Persona: Embora os prompts de persona (ex: "Você é um americano") desloquem a inclinação do juiz na direção esperada, eles não corrigem totalmente a falha de calibação. Em imagens chinesas, cinco de seis modelos permanecem abaixo do ponto médio do eixo cultural mesmo sob condições de persona americana.
• Demonstrações de ICL: Demonstrações de grupos de referência não restauram a calibração. Em vez disso, elas ampliam a janela de classificação para cima (aumentando os 5s) sem restaurar o uso da extremidade baixa (1s e 2s). Além disso, o ICL aprofunda o resíduo de orientação em vez de corrigi-lo; adicionar demonstrações torna o juiz mais alinhado com a norma cultural do grupo de demonstração, trocando o alinhamento com um grupo pelo desalinhamento com o outro.

3. Origem do Modelo como Covariável

A origem do modelo (EUA vs. China) adiciona uma inclinação aditiva pequena ($\sim$0,10 MAE) que é aproximadamente invariante sob demonstração.

• Não é Pura Competência: Uma hipótese de "competência" (que modelos de origem chinesa simplesmente conhecem melhor a cultura chinesa) preveria simetria (modelos CN alinham-se com humanos CN, modelos US com US). Os dados não mostram tal simetria: todos os seis sistemas inclinam-se para humanos chineses em imagens chinesas, independentemente da origem.
• Hierarquia de Influência: A variância no comportamento do juiz é dominada pelo item ($R^2$ = 0,57), seguido pela configuração de persona, com a origem do modelo contribuindo o menos.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Benchmark VOIR DIRE: Um benchmark multimodal de 626 itens pareados culturalmente que estabelece a ambiguidade cultural como uma propriedade dos itens, validada por confiabilidade dentro do grupo e divergência entre grupos.
2. Decomposição de Viés: A identificação de dois modos distintos de falha em MLLM-como-Juiz:
   • Falha de Calibração: A incapacidade de produzir classificações de extremidade baixa (piso de positividade).
   • Falha de Orientação: O padrão para uma norma cultural específica que persiste mesmo após tentativas de calibração.
3. Recomendações Metodológicas:
   • R1 (Relato de Multi-grupo): O alinhamento deve ser relatado contra cada grupo de referência separadamente. Um único escore de "concordância com humanos" é um erro de categoria em ambientes culturalmente heterogêneos. A divergência entre grupos deve ser tratada como uma propriedade do modelo juiz, não como ruído.
   • R2 (Origem como Covariável): A origem do modelo deve ser relatada junto com a identidade do modelo nas avaliações, pois introduz uma inclinação cultural sistemática, embora pequena.

Conclusão

O estudo conclui que os atuais sistemas MLLM-como-Juiz falham em capturar o espectro total da preferência humana sob ambiguidade cultural devido a uma falha de calibração de piso de positividade e uma falha de orientação persistente. Nem o prompting de persona nem as demonstrações em contexto conseguem resolver totalmente essas questões; inclusive, as demonstrações frequentemente exacerbam o resíduo de orientação. Os autores argumentam que as estruturas de avaliação devem mudar de buscar um único escore de "melhor" alinhamento para relatar um perfil de alinhamento através de múltiplos grupos de referência culturais, tratando a divergência como uma característica fundamental do modelo juiz.