Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations

Título: Autenticidade Cultural: Comparando Representações Culturais de LLMs com Expectativas Humanas Nativas

1. Problema e Motivação

A avaliação atual da representação cultural em Grandes Modelos de Linguagem (LLMs) baseia-se predominantemente em métricas de diversidade cultural e precisão factual. No entanto, existe uma lacuna crítica: a falta de avaliação da alinhamento cultural (cultural alignment). O alinhamento não se trata apenas de saber fatos sobre uma cultura, mas de refletir como as populações nativas percebem, priorizam e hierarquizam seus próprios aspectos culturais.

O artigo argumenta que os modelos atuais frequentemente operam sob uma "lente externa" (especialmente ocidental), priorizando marcadores turísticos ou estereotipados em detrimento das prioridades internas e valores profundos das comunidades locais. Isso resulta em uma falta de autenticidade cultural, onde a "agência representacional" (o poder de uma comunidade definir sua própria identidade) é comprometida.

2. Metodologia

Os autores propõem um framework centrado no ser humano, dividido em dois estudos complementares para quantificar a discrepância entre o que as pessoas valorizam e o que os modelos geram.

Estudo 1: Estabelecimento da Linha de Base Humana (Expectativa)

• Dados: Utilização de respostas abertas de uma pesquisa global conduzida em 9 países (Brasil, França, Alemanha, Índia, Indonésia, Itália, Japão, México, Coreia do Sul) com 5.629 participantes.
• Pergunta Chave: "Quando você pensa na sua cultura, quais tipos de artefatos, práticas ou outros atributos você considera mais importantes?"
• Processamento: As respostas textuais foram mapeadas para uma taxonomia estruturada de 11 Facetas Culturais (ex: Arquitetura, Culinária, Rituais Religiosos, Práticas Sociais, Valores/Normas, etc.) usando uma API de classificação automatizada (Gemini 2.5 Flash) e validação manual.
• Saída: Criação dos Vetores de Importância Cultural (Cultural Importance Vectors - $v_c$) para cada país. Estes vetores representam a distribuição de probabilidade das facetas que os nativos consideram mais relevantes, servindo como "ground truth" (verdade fundamental).

Estudo 2: Avaliação dos Modelos (Observação)

• Modelos Testados: Gemini 2.5 Pro, GPT-4o e Claude 3.5 Haiku.
• Prompting: Geração de um conjunto diversificado de 85 prompts sintáticos para cada país, cobrindo diferentes usos (busca de informação, geração de conteúdo) e variações linguísticas, resultando em 425 respostas por modelo por país.
• Análise: Um "autorater" (modelo de IA) analisou as respostas dos LLMs para detectar a presença das mesmas 11 facetas culturais.
• Saída: Criação dos Vetores de Representação Cultural (Cultural Representation Vectors - $\hat{v}_{c,M}$) para cada modelo, representando a hierarquia de informações que o modelo prioriza ao descrever uma cultura.

Métricas de Avaliação:
Para comparar os vetores humanos ($v_c$) e dos modelos ($\hat{v}_{c,M}$), foram utilizados:

1. Coeficiente de Correlação de Pearson ($\rho$): Para medir a relação linear na priorização das facetas.
2. Semelhança Cosseno ($S_C$): Para medir a similaridade direcional na hierarquia das facetas.
3. Erro Quadrático Médio (MSE): Para penalizar discrepâncias grandes em facetas críticas.

3. Principais Contribuições

1. Mudança de Paradigma de Avaliação: Propõe a transição da avaliação baseada em "precisão factual" para "autenticidade representacional", focando na fidelidade da hierarquia de prioridades culturais.
2. Linha de Base Centrada no Humano: Introduz os Cultural Importance Vectors derivados de dados empíricos de nativos, em vez de taxonomias acadêmicas pré-definidas (como as dimensões de Hofstede).
3. Framework de Análise de Viés Sistêmico: Desenvolve uma metodologia para detectar se erros de representação são aleatórios ou sistêmicos entre diferentes modelos de ponta.

4. Resultados Chave

• RQ1: Proximidade Ocidental Impacta a Ordem de Importância:

  • Existe uma disparidade geográfica clara. Modelos como GPT-4o e Claude 3.5 Haiku mostram uma tendência negativa: o alinhamento diminui à medida que a distância cultural do país em relação aos EUA aumenta (medida pelo Cultural Fixation Index).
  • O Gemini 2.5 Pro apresentou desempenho mais estável entre as regiões, mas ainda assim com limitações.
  • Isso sugere que os modelos estão melhor calibrados para culturas semelhantes à norma ocidental/estadunidense.

• RQ2: Desalinhamento Sistêmico de Facetas:

  • Os modelos tendem a produzir uma visão "saturada" e enciclopédica da cultura, cobrindo todas as facetas de forma equilibrada, mas falhando em capturar a hierarquia de prioridades humana.
  • Há uma sub-representação consistente de facetas profundas como Valores, Normas, Crenças e Moralidade (VNBM) e Práticas Sociais, enquanto marcadores superficiais (como arquitetura e eventos) são super-representados.

• RQ3: Erros Sistêmicos e Viés de Dados:

  • Descobriu-se uma correlação extremamente alta ($\rho > 0.97$) nos padrões de erro entre os três modelos distintos (Gemini, GPT, Claude).
  • Isso indica que o desalinhamento não é um defeito específico de uma arquitetura, mas um viés sistêmico herdado dos paradigmas de treinamento e dos dados de corpora da web (que refletem uma "Mediascape" homogeneizada e frequentemente ocidental).
  • Os modelos compartilham assinaturas de erro quase idênticas, sugerindo que trocar de modelo de ponta não resolve o problema de má representação cultural.

5. Significado e Conclusão

O artigo conclui que os LLMs atuais sofrem de um fenômeno análogo ao "Olhar Turístico" (Tourist Gaze) de John Urry: eles fixam-se em marcadores exóticos, visíveis e facilmente consumíveis ("Front Stage"), ignorando as nuances internas, privadas e profundas ("Back Stage") que definem a identidade de uma comunidade.

A alta correlação de erros entre modelos sugere que a tecnologia atual, sem intervenções direcionadas, perpetua a erosão da agência cultural das populações do Sul Global. A pesquisa enfatiza que a verdadeira "alinhamento cultural" exige que os modelos não apenas conheçam fatos, mas respeitem e reproduzam as hierarquias de importância definidas pelos próprios membros da cultura, movendo-se de uma representação factual para uma representação autêntica.

Limitações: O estudo utiliza fronteiras nacionais como proxy para culturas (simplificação necessária, mas que ignora subgrupos) e trata a detecção de facetas como uma tarefa binária, podendo perder nuances retóricas ou de peso narrativo.