💬 NLP

Carefully Considering Culture: Analyzing LLM Alignment in Single- and Multi-Cultural Settings using Cultural Consensus Theory

Este artigo aplica a Teoria do Consenso Cultural ao World Values Survey para revelar que os grandes modelos de linguagem frequentemente deturpam estruturas culturais ao falhar em capturar o consenso coeso de um grupo ou ao sobre-regularizá-lo, oferecendo, assim, um novo quadro diagnóstico para distinguir entre a genuína diversidade humana e a homogeneização algorítmica.

Autores originais: Krishna Pothugunta, John P. Lalor

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Krishna Pothugunta, John P. Lalor

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca gigante e barulhenta onde um novo tipo de bibliotecário acaba de chegar: um robô superinteligente que lê todos os livros já escritos e pode responder a qualquer pergunta que você fizer. Este robô é um Grande Modelo de Linguagem (LLM). Mas a parte complicada é que a biblioteca não é apenas uma sala; é um edifício massivo com milhares de diferentes bairros, cada um com seus próprios costumes, piadas e formas de ver o mundo. Chamamos esses bairros de "culturas".

Por muito tempo, cientistas tentaram ensinar esses robôs bibliotecários a serem educados e precisos em cada bairro. Eles fizeram isso principalmente perguntando ao robô: "O que as pessoas no País X pensam?" e, então, fazendo a média das respostas. É como perguntar a cem pessoas qual é o seu sabor de sorvete favorito, contar os votos e dizer ao robô: "O grupo gosta de Baunilha". Mas e se o grupo não concordar de fato? E se metade amar Baunilha e metade odiar, mas a média diga "Baunila" de qualquer maneira? É aí que o verdadeiro problema começa. Para consertar isso, pesquisadores estão pegando emprestada uma ferramenta do mundo da antropologia chamada "Teoria do Consenso Cultural". Pense nisso como uma lupa especial que não apenas conta votos; ela verifica o quanto as pessoas em um grupo realmente concordam entre si e o quanto elas discordam. Isso nos ajuda a ver se um grupo é verdadeiramente unido em seu pensamento ou se é apenas uma coleção bagunçada de diferentes opiniões.

Agora, imagine que você tem um robô bibliotecário que deveria entender esses bairros. Uma equipe de pesquisadores da Universidade de Notre Dame decidiu testar este robô usando uma pesquisa gigante e real chamada World Values Survey, que faz perguntas a pessoas de 10 países diferentes sobre 12 tópicos distintos, como felicidade, corrupção e ciência. Eles não apenas fizeram uma pergunta ao robô; eles pediram para ele fingir ser uma pessoa de cada um desses países. Então, eles usaram sua "lupa de concordância especial" (Teoria do Consenso Cultural) para comparar as respostas do robô contra as respostas reais de humanos de verdade.

O que eles descobriram foi um pouco surpreendente e um pouco engraçado. O robô não estava apenas "errado" ou "certo"; ele estava se comportando de três maneiras muito estranhas, dependendo do tópico.

Primeiro, em algumas áreas, como o que as pessoas sentem sobre corrupção ou religião, o robô era muito bom em adivinhar a direção geral da opinião humana. Mas aqui está a pegadinha: o rob em era confiante demais de si mesmo. Ele agia como se todos no país pensassem exatamente a mesma coisa, com zero discordância. Os pesquisadores chamam isso de "Inflação de Consenso". É como se o robô olhasse para uma sala cheia de pessoas discutindo coberturas de pizza e dissesse: "Oh, todos claramente concordam com pepperoni!", quando na realidade, metade da sala está gritando por abacaxi. O robô suavizou todas as diferenças humanas reais e bagunçadas em um acordo perfeito e falso.

Segundo, em outras áreas, como felicidade e bem-estar, o robô falhou completamente em encontrar qualquer concordância. Era como se o robô estivesse gritando respostas aleatórias que não correspondiam a ninguém na sala. Os humanos tinham um padrão claro do que acreditavam, mas o robô não conseguia encontrar, deixando um "Hiato de Consenso". Era como se o robô estivesse tentando dançar ao som de uma música que não conseguia ouvir.

Terceiro, e talvez o mais interessante, foi o "Hiato de Heterogeneidade". Em tópicos como ciência e tecnologia, o robô na verdade concordava consigo mesmo muito fortemente. Ele tinha uma opinião muito coesa e unificada. Mas essa opinião não correspondia aos humanos de jeito nenhum! Os humanos estavam espalhados por toda parte, com alguns amando a ciência e outros temendo-a, mas o robô estava dizendo confiantemente: "Todos pensamos a mesma coisa!", e então estava errado sobre o que era essa coisa.

Os pesquisadores também notaram que o robô se comportava de forma diferente dependendo de se estava fingindo ser de um país com uma cultura principal ou de um país com muitas culturas mistas. Nos países de cultura mista, o robô às vezes ficava um pouco melhor em imitar a bagunça do desacordo humano, mas ainda lutava para acertar os detalhes.

O que tudo isso significa? Isso sugere que, embora esses robôs superinteligentes estejam ficando melhores em falar como humanos, eles ainda são terríveis em entender a bagunça da cultura humana. Eles tendem a inventar um acordo falso e perfeito onde não existe nenhum, ou se perdem quando as pessoas realmente discordam. O artigo não diz que os robôs estão quebrados para sempre, mas nos alerta que, se apenas olharmos para a resposta "média", podemos perder a parte mais importante: o fato de que as pessoas reais são diversas, complicadas e frequentemente não concordam. O robô precisa aprender a apreciar o caos, não apenas a ordem.

Resumo Técnico: Analisando o Alinhamento de LLMs em Ambientes Uniculturais e Multiculturais usando a Teoria do Consenso Cultural

Declaração do Problema

Pesquisas recentes em Processamento de Linguagem Natural (PLN) começaram a investigar os Grandes Modelos de Linguagem (LLMs) quanto ao seu entendimento de normas culturais em diferentes países. No entanto, as abordagens existentes baseiam-se predominantemente em padrões distributivos e na agregação padrão de nível de grupo (por exemplo, a média das respostas). Esta metodologia negligencia duas dimensões críticas:

Heterogeneidade intra-grupo: Falha em contabilizar opiniões divergentes ou a variância dentro da população de um país específico.
Ambientes multiculturais: Frequentemente trata países como blocos culturais monolíticos, ignorando a complexidade de sociedades multiculturais.

Como observado por Durmus et al. (2024), a média das respostas possui limitações, particularmente quando "pessoas dentro de um país têm opiniões divergentes". Consequentemente, as avaliações atuais lutam para distinguir entre modelos que refletem genuinamente a diversidade cultural humana e aqueles que exibem uma "homogeneização algorítmica" — onde os modelos colapsam diversas visões humanas em um consenso rígido e artificial.

Metodologia

Para abordar essas limitações, os autores aplicam a Teoria do Consenso Cultural (CCT), um framework da antropologia cultural (Romney et al., 198ء6), para modelar a nuance cultural multidimensional. A CCT trata a cultura como uma distribuição de significados compartilhados e mede a "competência cultural" individual com base no acordo com um consenso compartilhado.

Configuração Experimental

Fonte de Dados: O estudo utiliza o World Values Survey (WVS) Wave 7, cobrindo 10 países e 12 domínios culturais (ex: Felicidade e Bem-Estar, Percepções de Corrupção, Valores Religiosos).
Seleção de Países: Os países foram categorizados em grupos de "cultura única" (baixo Índice de Fracionalização Étnica, ex: Japão, Alemanha) e "multiculturais" (alto EFI, ex: EUA, Malásia).
Ensemble de Modelos: As respostas foram geradas por 10 LLMs (incluindo GPT-4o, Llama3.1, variantes do Qwen e Phi-3) usando 6 variações de prompts diferentes por país para simular respondentes humanos.
Métricas de CCT:
1. Competência Cultural ( $c_n$ ): Estimada via autodecomposição da matriz de concordância, normalizada para [0,1], representando o quão bem um respondente (humano ou modelo) se alinha com o modelo cultural compartilhado.
2. Variância Explicada (VE): A proporção de variância nas respostas explicada pelo primeiro componente principal (consenso).
3. Consistência de Consenso (CC): O grau de correspondência entre a resposta de consenso do LLM e a resposta de consenso Humana (tratada como verdade fundamental/ground truth).
4. Diferença de Variância ( $\Delta VE$ ): A diferença entre a força do consenso interno do ensemble de LLM e a população humana ( $\Delta VE = VE_L - VE_H$ ).

Principais Contribuições

O artigo introduz um framework de diagnóstico refinado que vai além da simples acurácia para avaliar a rigidez estrutural do consenso do modelo. Ao modelar explicitamente a variância intra-grupo, os autores fornecem um método para detectar quando os modelos refletem a verdadeira diversidade humana versus a homogeneização algorítmica.

Resultados

A análise revela três regimes distintos de comportamento do modelo através dos 12 domínios:

Inflação de Consenso: Em domínios como Percepções de Corrupção (POC) e Valores Religiosos (RV), os modelos alcançam alta Consistência de Consenso (CC $\ge$ 0,8) mas exibem $\Delta VE > 0$ . Isso indica que, embora os modelos correspondam à direção do consenso humano, eles amplificam artificialmente sua força, colapsando a diversidade humana em um consenso mais rígido e confiante do que o existente na realidade.
Lacuna de Consenso: Em domínios como Felicidade e Bem-Estar (HWB), particularmente em configurações de cultura única, os modelos mostram baixo CC e $\Delta VE < 0$ . Aqui, os modelos falham em formar um alinhamento cultural coeso, exibindo um consenso mais fraco ou fragmentado em comparação com a população humana.
Lacuna de Heterogeneidade: Em domínios como Percepções de Ciência e Tecnologia (POST) e Valores Econômicos (EV), os modelos mostram baixa competência e baixo CC ( $\le$ 0,5), mas $\Delta VE$ positivo. Isso sugere que os modelos convergem internamente para um consenso artificial que não corresponde à heterogeneidade real das opiniões humanas.

Descobertas de Contexto Cultural:

Dependência de Domínio: O desempenho do modelo é altamente dependente do domínio. Por exemplo, o Qwen2.5vl:72B mostrou alta competência em Valores Econômicos, enquanto o GPT-OSS:120B teve bom desempenho em Percepções de Corrupção.
Single vs. Multi-Cultura: O ajuste estrutural dos modelos varia conforme o cenário cultural. Por exemplo, no domínio HWB, a lacuna no ajuste de consenso estrutural ( $\Delta VE$ ) melhorou significativamente (tornou-se menos negativa) ao passar de configurações de cultura única para multiculturais, sugerindo que os modelos lidam com a complexidade da variância multicultural de forma diferente da variância de cultura única.
Escala do Modelo: Modelos maiores geralmente alcançaram maior $\Delta VE$ e um consenso mais forte em configurações multiculturais, enquanto modelos menores (ex: Qwen 7B, Phi-3) frequentemente demonstraram o ajuste estrutural mais fraco.

Significância e Alegações

Os autores alegam que a Teoria do Consenso Cultural oferece uma abordagem teoricamente fundamentada para quantificar a força e a fragmentação do consenso, preenchendo a lacuna entre a distribuição de nível populacional e a personalização de nível de usuário.

A principal significância deste trabalho reside em sua capacidade de fornecer diagnósticos acionáveis:

Identifica modos de falha específicos, distinguindo entre "lacunas" (onde os modelos falam em alinhar) e "inflação" (onde os modelos sobre-regularizam a diversidade humana).
Destaca que métricas de agregação padrão podem mascarar desalinhamentos estruturais subjacentes, como a "monocultura algorítmica" alertada por Zhang et al. (2025).

O artigo conclui que, embora os LLMs possam corresponder às direções do consenso humano, eles frequentemente falham em replicar a variância natural das populações humanas. Os autores defendem a integração da CCT na seleção de prompts e na calibração pós-treinamento para mitigar a inflação de consenso e o colapso da heterogeneidade, instando a comunidade de pesquisa a ir além das avaliações culturais generalistas em direção a avaliações mais sutis e específicas de domínio.

Limitações

Os autores reconhecem que a interpretabilidade da CCT é limitada por padrões de resposta extremos (homogeneidade perfeita ou divergência total), onde o modelo não consegue estimar significativamente a variância individual. Além disso, o estudo exclui métricas agregadas como as Dimensões Culturais de Hofstede, focando estritamente em dados de respondentes de nível individual. A métrica de Consistência de Consenso depende de uma abordagem de arredondamento heurística em vez de um modelo ordinal de Thurston formal.