💬 NLP

PLURAL: A Global Dataset for Value Alignment

O artigo apresenta o PLURAL, um conjunto de dados de grande escala derivado do Integrated Values Survey em 92 países que gera tripletos de preferências sintéticas para melhorar o alinhamento de grandes modelos de linguagem com diversos valores culturais não ocidentais, demonstrando melhorias significativas tanto em métricas automatizadas quanto em avaliações humanas.

Autores originais: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um robô chef super inteligente que consegue cozinhar um milhão de receitas diferentes. Mas há um porém: este chef foi treinado quase inteiramente por um pequeno grupo de pessoas de um bairro específico do Ocidente. Como resultado, o robô pensa que todos querem que sua comida seja servida com uma dose de valores ocidentais, mesmo quando um cliente de Tóquio, Mumbai ou Rio de Janeiro pede algo diferente. O robô pode ser fluente em japonês ou português, mas sua "alma" ainda parece muito americana. É como um convidado fluente, mas estrangeiro, que fala sua língua perfeitamente, mas não entende suas tradições familiares.

Apresentamos o PLURAL, um novo projeto de pesquisadores da Universidade Cornell que tenta corrigir esses pontos cegos culturais do robô.

A Grande Ideia: Um Teste de Gosto Global

Os pesquisadores perceberam que, para ensinar um robô a respeitar diferentes culturas, não podiam apenas perguntar a pessoas aleatórias na internet do que elas gostam. Em vez disso, eles foram à fonte: uma pesquisa massiva e cientificamente rigorosa chamada Integrated Values Survey (IVS). Esta pesquisa já perguntou a mais de 156.658 pessoas em 92 países sobre suas crenças mais profundas — o que elas consideram certo, errado, importante ou bobo.

Pense no IVS como um gigante "teste de gosto" global, onde pessoas de todos os cantos do mundo avaliaram seus sabores favoritos da vida. Mas aqui está o problema: você não pode alimentar um robô com uma planilha de respostas de pesquisa. Robôs precisam de histórias e conversas, não apenas de caixas de seleção "Sim/Não".

O Pipeline Mágico: Transformando Pesquisas em Histórias

Assim, a equipe construiu uma "máquina de tradução" de dois estágios para transformar essas respostas secas de pesquisa em 500.000 cenários de conversas realistas (chamados de "tríplices de preferência").

Estágio Um (O Tradutor): Eles pegaram as respostas de pesquisa de uma pessoa real — digamos, um homem de 66 anos do Japão que valoriza o dever familiar acima do lazer — e pediram a uma IA para imaginar uma situação da vida real onde essa pessoa enfrentaria uma escolha difícil. A IA gerou um comando como: "Meu amigo quer jogar golfe, mas minha filha precisa de uma babá. O que eu faço?"
Estágio Dois (O Contador de Histórias): A IA então escreveu duas respostas. Uma resposta (a "preferida") refletia os valores reais daquele homem japonês (priorizando o dever familiar). A outra resposta (a "não preferida") refletia um ponto de vista diferente e plausível (priorizando o lazer).

Eles fizeram isso para 20 países diversos, criando uma biblioteca massiva de cenários de "o que uma pessoa real deste país realmente diria?". Eles até garantiram a escolha de pessoas da pesquisa que representassem a mistura real de idades, gêneros e níveis de escolaridade daqueles países, para que os dados não fossem apenas sobre o mesmo tipo de pessoa repetidamente.

Funcionou? Os Resultados do Teste de Gosto

Os pesquisadores não apenas esperaram que funcionasse; eles colocaram à prova de três maneiras:

O Check de "É Real?": Eles verificaram se as novas histórias realmente mantinham o sabor único de cada país. Descobriram que os dados ainda preservavam as diferenças distintas entre, por exemplo, Brasil e Japão, e até mantinham a variedade de opiniões dentro de cada país. Não era apenas um monte de estereótipos; era um reflexo rico e complexo da diversidade humana real.
O Treinamento do Robô: Eles pegaram um modelo de linguagem padrão e o treinaram com esses novos dados do PLURAL. Testaram o robô usando um conjunto diferente de perguntas culturais (a estrutura GLOBE) que o robô nunca tinha visto antes. O resultado? O robô treinado com o PLURAL tornou-se 27,7% melhor em corresponder ao perfil cultural de países como a Índia, comparado a outros métodos fortes. Ele não estava apenas adivinhando; ele estava aprendendo o "clima" específico da cultura alvo.
O Veredito Humano: Eles pediram a 176 pessoas reais da Índia, Brasil e Japão para lerem as respostas do novo robô e do robio antigo. Os humanos escolheram esmagadoramente as respostas do robô treinado pelo PLURAL como sendo mais "típicas" de seus próprios valores nacionais. Alguém até chamou uma resposta de "quintessencialmente indiana", notando como ela capturava a maneira específica como as famílias usam o WhatsApp para se manterem conectadas.

O Que NÃO É (A Armadilha do "Fluente mas Estrangeiro")

O artigo é muito claro sobre o que isso não faz. Ele argumenta contra a ideia de que simplesmente fazer um robô falar uma língua local (como hindi ou árabe) seja suficiente. Tentativas anteriores criaram modelos "fluentes mas estrangeiros" que podiam conversar em línguas locais, mas ainda impunham valores ocidentais. O PLURAL mostra que você precisa treinar o modelo nos valores em si, não apenas nas palavras.

Além disso, o artigo descarta explicitamente a ideia de que você possa apenas "instruir" (prompt) um robô para ser culturalmente consciente dizendo-lhe: "Você é do Brasil". Embora isso ajude um pouco, não é nem de longe tão eficaz quanto realmente treinar o robô em milhares de exemplos reais fundamentados em valores.

O Problema: O Robô Ainda Fica um Pouco "Achatado"

Aqui está a parte em que os pesquisadores são honestos sobre os limites. Embora o robô tenha ficado muito melhor em entender diferentes culturas, o próprio processo de treinamento pareceu "achatar" um pouco as diferenças.

Imagine os perfis culturais de diferentes países como pontos espalhados por um campo amplo. Os países reais estão distantes uns dos outros. Após o treinamento, os novos "pontos culturais" do robô moveram-se na direção certa, mas acabaram agrupados mais próximos uns dos outros do que os países reais são. O robô capturou cerca de 18% da diversidade original. Os pesquisadores sugerem que isso não é porque os dados eram ruins, mas porque os métodos de treinamento atuais (uma técnica chamada DPO) tendem a suavizar demais as coisas. É como um filtro de foto que faz todos parecerem um pouco mais parecidos, mesmo que ainda sejam claramente diferentes.

A Conclusão

O PLURAL é uma enorme biblioteca aberta de 500.000 histórias focadas em valores, baseadas em pesquisas reais de 20 países (e pronta para se expandir para 92). Ele prova que podemos ensinar robôs a respeitar uma gama mais ampla de valores humanos, afastando-os de uma perspectiva ocidental única. É um grande passo em direção a um futuro onde nossos assistentes digitais não apenas falem nossa língua, mas compreendam verdadeiramente nossos corações e lares.

Resumo Técnico: PLURAL: Um Conjunto de Dados Global para Alinhamento de Valores

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atualmente refletem desproporcionalmente os valores ocidentais e anglófonos, levando a danos de representação para usuários internacionais, como a homogeneização dos valores culturais no texto gerado. Embora esforços recentes tenham se concentrado em modelos de linguagem "soberanos" para idiomas específicos, esses modelos frequentemente permanecem "fluentes, mas estrangeiros", dominando a sintaxe local enquanto retêm sistemas de valores culturais americanos. Os conjuntos de dados de alinhamento existentes (ex: PRISM, Community Alignment) sofrem de duas limitações primárias: (1) Alcance: carecem de dados nacionalmente representativos através de uma ampla gama de países, muitas vezes pendendo fortemente para demografias ocidentais ou altamente instruídas; e (2) Usabilidade: capturam preferências sobre respostas de assistentes genéricos em vez de isolar os valores normativos subjacentes que moldam essas preferências. O desafio central é criar um recurso escalável que capture diversos valores humanos através das culturas, produzindo simultaneamente dados adequados para o pós-treinamento de alinhamento.

Metodologia

Os autores introduzem o PLURAL (Preference Library for Multi-Region Alignment), um conjunto de dados de preferência sintética de larga escala fundamentado no Integrated Values Survey (IVS), uma pesquisa nacionalmente representativa cobrindo 92 países com mais de 156.000 participantes.

Pipeline de Construção de Dados

A construção do PLURAL envolve um pipeline de geração em dois estágios projetado para transformar respostas de pesquisa breves e de escolha fixa em tripletos de preferência realistas $(prompt, resposta\_preferida, resposta\_despreferida)$ :

Fundamentação e Filtragem:
- Os autores utilizam o IVS (combinando dados do World Values Survey e European Values Study).
- Eles reconstroem 59 grupos originais de perguntas de pesquisa para preservar a estrutura da pesquisa.
- Utilizando a hierarquia de crenças de Milton Rokeach, eles filtram esses grupos para reter apenas crenças prescritivas (valores normativos sobre o que as pessoas deveriam fazer), excluindo crenças descritivas (percepções da realidade) e primitivas (verdades baseadas na fé). Isso resulta em 41 grupos de perguntas focadas em valores.
Amostragem Estratificada:
- Para garantir a representatividade, os autores empregam amostragem proporcional estratificada baseada em sexo, idade (quatro faixas) e educação (três níveis).
- Um lançamento inicial cobre 20 países culturalmente diversos com 100 participantes representativos por país ( $N=2.000$ ), gerando aproximadamente 500.000 tripletos de preferência.
Geração Sintética (Dois Estágios):
- Estágio 1 (Geração de Tripletos): Para cada participante e grupo de perguntas, um LLM recebe o perfil demográfico do participante e suas respostas de pesquisa. O modelo gera um cenário realista (prompt) e duas respostas: uma alinhada com os valores do participante (preferida) e outra refletindo uma postura contrastante (despreferida). Cinco tripletos são gerados por grupo para garantir a diversidade de cenários.
- Estágio 2 (Expansão de Resposta): Uma segunda passagem de LLM expande as respostas breves do Estágio 1 em respostas de assistente naturais e conversacionais, mantendo estritamente a postura de valor subjacente.
- Controle de Qualidade: A geração é realizada em inglês para isolar os valores da variação linguística. O pipeline utiliza um pool de LLMs de fronteira (GPT-5 Mini, Mistral Large 3, DeepSeek-v3.2) com decodificação estocástica para reduzir o viés específico do modelo. A verificação manual confirma que os dados são fiéis às respostas do IVS e evitam estereótipos genéricos.

Estrutura de Avaliação

Os autores avaliam o PLURAL usando três métodos complementares em cinco países alvo (Índia, Brasil, Japão, Malásia, Zimbabwe):

Validação ao Nível do Conjunto de Dados: Verificar se os dados sintéticos preservam as diferenças de valores entre países e a diversidade dentro dos países observadas no IVS original. Isso envolve treinar classificadores para prever o país a partir de embeddings de valores e comparar distribuições de distância de pares.
Avaliação Automatizada: Realizar o ajuste fino (fine-tuning) de modelos ajustados por instrução (especificamente o llama-3.1-8b-instruct) no PLURAL usando Otimização de Preferência Direta (DPO). Os modelos resultantes são avaliados contra o benchmark LLM-GLOBE, que investiga o alinhamento cultural através de nove dimensões (ex: Evitação de Incerteza, Orientação para Desempenho) usando dilemas de questões abertas. O desempenho é medido pelo Erro Médio Absoluto (MAE) em relação aos scores de país do GLOBE reais.
Avaliação Humana: Uma avaliação pareada cega com 176 avaliadores na Índia, Brasil e Japão, perguntando-lhes para julgar qual resposta do modelo é mais típica de seus valores nacionais.

Principais Resultados

1. Validade do Conjunto de Dados

Diferenças entre Países: Um classificador treinado em embeddings do PLURAL alcançou 78,0% de precisão na previsão do país de um respondente (chance = 20%), demonstrando que sinais de valores significativos e específicos de cada país são preservados após a geração sintética.
Diversidade Intra-país: A distribuição das distâncias de cosseno entre pares de respondentes no PLURAL corresponde de perto aos dados originais do IVS (distância de Wasserstein média de 0,051), indicando que não houve "colapso de template", onde indivíduos diversos são mapeados para cenários idênticos.

2. Desempenho de Alinhamento Automatizado

Melhoria no Alinhamento: Modelos ajustados no PLURAL superaram consistentemente bases fortes (Vanilla, Prompting Demográfico, Prompting Agregado e DPO de Alinhamento Comunitário).
Redução de Erro: O treinamento no PLURAL reduziu o Erro Médio Absoluto (MAE) em relação aos perfis GLOBE do país alvo em 15,7% (Japão) a 27,7% (Índia).
Ganhos Dimensionais: Melhorias foram observadas em 7 das 9 dimensões do GLOBE, particularmente em Hierarquia, Ambição e Coordenação Social. Dimensões como Igualdade de Gênero mostraram mudanças mínimas, provavelmente devido a conflitos com normas de segurança existentes nos modelos base.
Generalização: O sinal de valor transferiu-se entre famílias de modelos, mostrando melhorias nos modelos qwen-2.5-7b e qwen-2.5-14b.

3. Avaliação Humana

Preferência: Os avaliadores preferiram o modelo alinhado com PLURAL em relação à base Vanilla em 66% dos casos no geral. Ganhos significativos foram observados na Índia (72%) e no Japão (71%).
Feedback Qualitativo: Os avaliadores descreveram as respostas alinhadas com PLURAL como "quintessencialmente indianas" ou alinhadas com "virtudes tradicionais japonesas", notando a captura de artefatos culturais específicos (ex: uso do WhatsApp para coordenação familiar na Índia).

4. Comparações com Baselines

Vs. Prompting: O prompting demográfico e agregado rendeu ganhos negligenciáveis ou inconsistentes em comparação ao ajuste fino em dados fundamentados.
Vs. Conjuntos de Dados Existentes: O PLURAL superou o conjunto de dados de Alinhamento Comunitário (que cobre menos países) e mostrou resultados superiores em comparação a uma base sintética fundamentada em personas diversas (PersonaHub) em vez de dados reais de pesquisa.
Preservação de Capacidade: O ajuste fino no PLURAL não degradou as capacidades gerais; os escores MMLU permaneceram estáveis ou ligeiramente melhores.

Significância e Alegações

O artigo alega que o PLURAL fornece um sinal escalável e aprendível para o direcionamento de valores, demonstrando que é possível alinhar LLMs com as distribuições de valores de diversas populações usando dados de pesquisas nacionalmente representativas.

Alinhamento Pluralista: O trabalho avança a agenda do alinhamento pluralista ao ir além de modelos "fluentes, mas estrangeiros" para modelos que podem engajar com a pluralidade dos valores humanos.
Fundamentação na Realidade: Ao fundamentar os dados sintéticos no IVS, os autores mostram que as respostas reais de pesquisas fornecem um sinal de alinhamento de valores mais forte do que a geração puramente condicionada por personas.
Limitações e Trabalho Futuro: Os autores observam modestamente que, embora o PLURAL contenha o sinal, os métodos atuais de pós-treinamento (especificamente o DPO) comprimem a diversidade entre países, retendo apenas cerca de 18% da variação presente nos perfis reais. Eles destacam que a tensão entre representação cultural e normas de segurança (ex: Igualdade de Gênero) continua sendo um desafio em aberto. Eles posicionam o PLURAL não como uma solução final, mas como um recurso que permite aos pesquisadores estudar empiricamente como navegar em valores conflitantes e preservar a pluralidade em futuros sistemas de alinhamento.