Resumo Técnico: CULTURESCORE: Avaliando a Fidelidade Cultural em Modelos de Geração de Vídeo

Declaração do Problema

À medida que os modelos de geração de vídeo (ex: Veo 3.1, LTX-2, Sora) avançam na simulação do mundo físico, sua capacidade de representar com precisão diversas culturas globais permanece uma fronteira crítica e subestudada. As métricas de avaliação atuais, como VideoScore e UnifiedReward, focam em qualidade visual, consistência temporal e fundamentação factual, mas falham em avaliar a fidelidade cultural. Essas métricas holísticas podem ser enganosas; por exemplo, um modelo que substitui uma saudação culturalmente específica (ex: Namaste ou Salam) por um aperto de mão ocidental genérico pode receber a mesma pontuação alta que um que gera o gesto correto.

Benchmarks existentes para representação cultural (ex: CulturalFrames, CuRE, CUBE) focaram primordialmente em modelos estáticos de texto-para-imagem (T2I). No entanto, a cultura é frequentemente expressa através de ações sequenciais, gestos e ritmos que quadros estáticos não conseguem capturar. Consequentemente, há uma falta de frameworks capazes de raciocinar sobre sequências de movimento para avaliar se os vídeos gerados aderem a normas culturais específicas em relação à identidade, comportamento e contexto.

Metodologia: O Framework CULTURESCORE

Os autores propõem o CULTURESCORE, um framework de avaliação composicional que decompõe a fidelidade cultural em três dimensões granulares:

1. Identidade: Quem está sendo representado e como? Isso abrange aparência física, vestimenta e marcadores demográficos (ex: roupas tradicionais específicas ou normas de trajes profissionais).
2. Comportamento: O que as pessoas estão fazendo? Isso foca em gestos, prosódia e expressividade culturalmente normativos, exigindo a avaliação de sequências específicas de movimento e postura (ex: o ritmo de uma reverência ou o posicionamento das mãos em uma saudação).
3. Contexto: O cenário culturalmente localizado. Isso inclui ambientes físicos, detalhes ambientais (ex: caligrafia islâmica, tapetes persas) e convenções sociais (ex: arranjos de assentos).

Curadoria de Dados e Pipeline de Avaliação

O framework é operacionalizado através de um conjunto de dados baseado no CulturalFrames, adaptado para geração de vídeo:

• Prompts: Os autores construíram um conjunto de avaliação de 2.943 prompts culturalmente validados abrangendo 10 países e 5 domínios sociocultural.
• Aumento de Prompt (Prompt Augmentation): Para sondar o comportamento do modelo, os prompts foram expandidos em três variantes:
  • Base Prompt: Prompt original culturalmente validado.
  • Extended Prompt: Aumentado com descrições explícitas de Identidade, Comportamento e Contexto derivadas de definições de dicionário.
  • Geographical Constraint Removed: Nomes de países são removidos (ex: "Família indiana muçulmana" $\to$ "Família muçulmana") para testar se os modelos dependem de tokens geográficos explícitos ou se internalizaram conceitos culturais.
• Geração de Vídeo: Três modelos de última geração foram avaliados: Veo 3.1 Fast (Google DeepMind), LTX-2 e Wan 2.2.
• Pontuação Automatizada (VLM-as-Judge):
  • Geração de Perguntas: Usando Gemini-3-Flash, o sistema gerou 9.289 pares de pergunta-resposta (QA) culturalmente fundamentados para cada vídeo, incorporando detalhes visuais e temporais específicos para evitar a dependência de conhecimento implícito.
  • Avaliação: Um Modelo de Linguagem de Visão (Qwen3-VL-235B) analisou os vídeos gerados contra esses pares de QA para determinar a precisão binária para cada dimensão.
  • Pontuação: O CULTURESCORE final é a média da precisão entre as dimensões de Identidade, Comportamento e Contexto.

Avaliação Humana

Para validar as métricas automatizadas, os autores realizaram um estudo com N=45 residentes nativos (5 por país em 9 nações) no Prolific. Os participantes realizaram:

1. Relevância da Pergunta: Julgar se os pares de QA gerados eram sondagens significativas.
2. Precisão Perceptiva: Responder aos pares de QA baseando-se estritamente em evidências visuais.
3. Ranking de Preferência: Classificar os três modelos com base na fidelidade cultural geral.

Principais Resultados

1. Falha Sistemática dos Modelos Atuais

Nenhum modelo atual atinge alta fidelidade cultural. O modelo com melhor desempenho, Wan 2.2, alcançou um CULTURESCORE geral de apenas 56,8%.

• O Comportamento é a dimensão mais desafiadora: Em todos os modelos, as pontuações de Comportamento permaneceram abaixo de 52% (Wan 2.2: 49,8%, LTX-2: 47,0%, Veo 3.1: 51,9%).
• O Contexto performa melhor: As pontuações de Contexto foram as mais altas, com o Wan 2.2 atingindo 69,3%.

2. Correlação Inversa com Métricas Perceptivas

Uma descoberta impressionante é a relação inversa entre as métricas padrão de qualidade de vídeo e a fidelidade cultural:

• LTX-2 obteve o maior VideoScore (média de 3,34, percebido como o mais "cinematográfico"), mas ficou em segundo último lugar em CULTURESCORE (51,4%).
• Wan 2.2 obteve o maior CULTURESCORE (56,8%), mas recebeu o menor VideoScore (2,72).
• Isso sugere que otimizar para qualidade perceptiva (suavidade de movimento, fidelidade visual) não se traduz em precisão cultural e pode até ser inversamente correlacionado.

3. Sensibilidade ao Prompt e Dependência Geográfica

• Extended Prompts: Fornecer orientação cultural explícita (Extended Prompts) melhorou as pontuações em todas as dimensões, particularmente para Contexto (ganhos de +18% a +25%). No entanto, o Comportamento permaneceu obstinadamente baixo, indicando que o enriquecimento de prompts sozinho não consegue resolver falhas de movimento temporal.
• Gatilhos Geográficos: Remover nomes de países dos prompts causou uma queda substancial na precisão (ex: a precisão de Contexto do LTX-2 caiu de 62,1% para 28,6%). Isso indica que os modelos dependem fortemente de tokens geográficos explícitos para ativar associações culturais, em vez de possuírem conceitos culturais internalizados como conhecimento de mundo aberto.

4. Alinhamento com a Preferência Humana

Os rankings de preferência humana alinharam-se direcionais com o CULTURESCORE, mas foram invertidos em relação ao VideoScore:

• Avaliadores nativos classificaram o Veo 3.1 Fast como o mais preferido (rank médio 1,66), seguido pelo Wan 2.2, com o LTX-2 sendo o último.
• O VideoScore favoreceu incorretamente o LTX-2.
• O CULTURESCORE identificou corretamente o Wan 2.2 como o mais fiel culturalmente entre os principais concorrentes, validando sua utilidade como ferramenta de diagnóstico.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Proposta de Framework: Introdução do CULTURESCORE, um framework composicional que decompõe a fidelidade cultural em Identidade, Comportamento e Contexto, permitindo um diagnóstico detalhado das falhas do modelo.
2. Lançamento de Benchmark: Construção e lançamento público de um conjunto de avaliação culturalmente fundamentado contendo 2.943 prompts, 6.180 vídeos gerados e 9.289 pares de raciocínio/QA em 10 países.
3. Análise Empírica: Uma análise abrangente revelando que os modelos atuais de geração de vídeo exibem modos de falha cultural sistemáticos, especificamente uma correlação inversa entre qualidade perceptiva e fidelidade cultural.

Significância:
Os autores argumentam que a fidelidade cultural é um critério essencial para o acesso equitativo à IA generativa, com implicações para educação, mídia e políticas públicas. O estudo demonstra que as métricas existentes podem "enganar ativamente" a seleção de modelos quando a precisão cultural é a prioridade. Ao fornecer uma ferramenta de diagnóstico que expõe onde e como os modelos divergem da representação autêntica (ex: cenário correto, mas gesto errado), o CULTURESCORE oferece uma base para auditar e melhorar a representação cultural em sistemas de vídeo generativo.

Limitações e Ética

Os autores reconhecem várias limitações:

• Cobertura Assimétrica: Devido aos custos de API, o Veo 3.1 foi avaliado em uma amostra estratificada (294 vídeos) em vez do conjunto completo.
• Escopo Geográfico: A avaliação humana excluiu o Irã devido a restrições geopolíticas.
• Viés de VLM: A pontuação automatizada depende de VLMs (Qwen3-VL, Gemini), que podem carregar seus próprios vieses culturais.
• Definição de Identidade: A operacionalização de "Identidade" baseia-se em marcadores visuais (vestimenta, aparência), o que corre o risco de reforçar estereótipos e não pode capturar plenamente conceitos complexos como experiência vivida ou história.

Os autores posicionam o CULTURESCORE como uma métrica complementar ao julgamento humano, não como uma verdade absoluta isolada, e enfatizam que o conjunto de dados deve ser usado para permitir replicação e extensão, e não como uma conta definitiva de qualquer cultura.