Resumo Técnico: Pessoas Não São Apenas Seus Países

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam fontes primárias de informação e aconselhamento, compreender o seu alinhamento de valores com as populações humanas torna-se crítico. A literatura existente sobre o alinhamento de valores de LLMs baseia-se predominantemente em grandes inquéritos (ex: World Values Survey) e foca-se em comparações transnacionais ou transculturais. Esta abordagem trata frequentemente os países como unidades monolíticas, negligenciando o papel das divisões sociodemográficas (como educação, rendimento e religião) na criação de disparidades de alinhamento de valores. Além disso, o uso repetido de inquéritos estabelecidos como o World Values Survey (WVS) levanta preocupações relativas à contaminação de dados, uma vez que os LLMs podem ter memorizado estes conjuntos de dados específicos. Há uma falta de investigação que desmembre as contribuições do país de residência versus a demografia individual para explicar os padrões de alinhamento de valores, particularmente num contexto europeu.

Metodologia

O estudo aborda estas lacunas aproveitando a 11ª vaga do European Social Survey (ESS), realizada entre 2023 e 2024 em 29 países europeus e Israel.

• Fonte de Dados: A análise utiliza 50.116 respondentes do ESS, incorporando 47 questões relacionadas com valores (excluindo itens específicos de cada país). Um subconjunto de 21 questões corresponde ao Portrait Value Questionnaire (PVQ) baseado na teoria dos valores humanos básicos de Schwartz.
• Modelos: O estudo avalia 10 proeminentes LLMs comerciais de quatro fornecedores: OpenAI (variantes GPT-5), Anthropic (variantes Claude Opus/Sonnet), Mistral (diversos esforços de raciocínio) e DeepSeek (V3/V4).
• Estratégia de Prompting: Os modelos foram instigados (prompted) 20 vezes por questão em inglês utilizando um esquema padronizado. As respostas foram mapeadas para categorias de escala de Likert. Para garantir a robustez, as respostas foram agregadas via voto de maioria entre as chamadas do modelo.
• Definição de Pontuação de Alinhamento: Uma pontuação de alinhamento ($A_{p,m,q}$) é calculada para cada pessoa $p$ e modelo $m$ sobre a questão $q$ como a distância normalizada entre a resposta humana e o voto de maioria do modelo na escala de Likert, variando de 0 a 1.
• Abordagem Analítica:
  1. Desvio Agregado: Cálculo de desvios médios entre modelos ($d_{G,M,Q}$) para grupos sociodemográficos e países em relação à média da população.
  2. Ponderação de Propensão Inversa (IPW): Reponderação das amostras nacionais para coincidir com a distribuição sociodemográfica agregada do ESS para testar se as diferenças ao nível do país são meros artefactos da composição demográfica.
  3. Decomposição de Variância: Utilização de Mínimos Quadrados Ordinários (OLS) e Modelos de Gradiente Impulsionado (XGBoost) para prever pontuações de alinhamento individuais. O estudo compara o $R^2$ da variância explicada por: (i) residência no país apenas, (ii) sociodemografia apenas, e (iii) a combinação de ambos.

Resultados Principais

1. Disparidades Sociodemográficas

Os LLMs exibem um alinhamento desigual entre grupos sociodemográficos. A análise revela que o alinhamento é significativamente maior para grupos com:

• Status Socioeconómico Mais Elevado: Indivíduos com níveis de educação mais elevados, decis de rendimento mais altos e aqueles em ocupações de colarinho branco apresentam um melhor alinhamento.
• Origens Ocidentais: Respondentes com origens de migração ocidental alinham-se melhor do que aqueles com origens não ocidentais.
• Secularismo: Indivíduos não religiosos e aqueles com pontuações de religiosidade mais baixas alinham-se melhor do que indivíduos religiosos, particularmente muçulmanos e ortodoxos orientais, que apresentam os desvios mais negativos.
• Interesse Político: O maior interesse político correlaciona-se com um maior alinhamento.
• Tendências Geracionais: Emerge um padrão em forma de "U", onde as coortes mais jovens e as mais velhas alinham-se menos bem do que os grupos de meia-idade, embora isto varie conforme o modelo.

2. Efeitos ao Nível do País

• Variação Geográfica: Existem disparidades significativas entre países. Os países escandinavos e da Europa Central apresentam o maior alinhamento, enquanto os países dos Balcãs e do Báltico apresentam o menor. A diferença entre os países com maior e menor alinhamento (Suécia vs. Bulgária) é de 0,0896, excedendo a variação encontrada em qualquer fator sociodemográfico individual.
• Independência da Composição: A análise de Ponderação de Propensão Inversa demonstra que a reponderação dos países para terem composições sociodemográficas idênticas não reduz significativamente a variância nas pontuações de alinhamento ao nível do país. Isto indica que o país de residência explica as disparidades de alinhamento independentemente da composição sociodemográfica da população.

3. Decomposição de Variância

• Fatores Complementares: Tanto o país de residência como a sociodemografia são complementares na explicação do alinhamento de valores. A combinação de ambos os fatores produz o maior poder explicativo.
• Peso Relativo: Para o conjunto total de questões, o país de residência sozinho explica uma quantidade substancial de variância (variando entre ~7% a ~28% dependendo do modelo), o que é comparável ao conjunto completo de 15 variáveis sociodemográficas.
• Sensibilidade do Conjunto de Questões: O poder explicativo do país de residência varia conforme o tipo de questão. Para o conjunto de questões mais amplo ($Q$), o país é um forte preditor. No entanto, para as questões mais abstratas do PVQ, a variância explicada pelo país diminui notavelmente para a maioria dos modelos, sugerindo que valores abstratos são mais impulsionados por demografia individual, enquanto posições mais amplas são mais influenciadas pelo contexto nacional (clima político/media).

Significância e Contribuições

O artigo reivindica três contribuições principais:

1. Primeira Avaliação Transnacional Sociodemográfica: Proporciona a primeira avaliação do alinhamento de valores através de sociodemografia utilizando o ESS, oferecendo uma alternativa ao potencialmente contaminado WVS.
2. Evidência de Reprodução WEIRD: O estudo confirma que os LLMs reproduzem padrões globais de alinhamento para populações "WEIRD" (Ocidentais, Educadas, Industrializadas, Ricas e Democráticas). Especificamente, dentro da Europa, os LLMs alinham-se melhor com indivíduos mais ricos, mais educados e mais ocidentais, potencialmente reforçando os valores das populações já privilegiadas.
3. Desmembramento de Geografia e Demografia: A investigação estabelece que o país de residência é uma variável distinta e crítica na investigação de alinhamento. Não pode ser substituído apenas pela sociodemografia, nem pode ser totalmente explicado por ela. Os dois fatores são complementares, com o seu peso relativo a mudar conforme a definição específica de "valores" que está a ser medida (abstratos vs. práticos).

Os autores concluem que, embora a sociodemografia seja crucial, ignorar o papel específico do contexto nacional leva a uma compreensão incompleta das disparidades de alinhamento de valores. Eles enfatizam a necessidade de um design sensível aos valores que considere estas camadas interseccionais de desigualdade.