Resumo Técnico: Personalização, Personas e Previsão no Alinhamento de Valores

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo implementados de forma crescente em diversos contextos culturais, o que exige uma compreensão de como as respostas dos modelos refletem valores humanos e como essas respostas mudam quando condicionadas à identidade humana. Embora pesquisas anteriores tenham estudado de forma independente a personalização de LLMs (adaptação a um usuário), personas (encenação de um perfil demográfico) e previsão (predição da resposta de um grupo demográfico), permanece incerto se esses enquadramentos são intercambiáveis. Tratá-los como equivalentes corre o risco de obscurecer diferenças críticas no comportamento do modelo e no alinhamento cultural. Este artigo investiga se essas três modalidades produzem julgamentos de valor consistentes quando avaliadas contra dados humanos reais.

Metodologia

O estudo utiliza o World Values Survey (WVS) (onda 2017–2022), o maior estudo transnacional não comercial de crenças humanas, como um parâmetro de referência de verdade fundamental (ground-truth). O framework de avaliação envolve:

• Modelos: Quatro modelos de fronteira foram testados: GPT-5.4, Claude Sonso 4.6, Gemini 2.5 Flash e Qwen3-235B.
• Escopo de Dados: 101 perguntas curadas manualmente a partir do WVS foram avaliadas em 13 fatias de idioma-país (abrangendo Árabe, Inglês, Espanhol, Francês, Hindi, Russo e Chinês). Isso resultou em 20.008 linhas de respostas de modelos.
• Condições de Prompt: Quatro estratégias de prompting distintas foram comparadas:
  1. Apenas Idioma (Vanilla): Perguntas traduzidas para o idioma alvo sem pistas de identidade.
  2. País do Usuário: O prompt afirma que o usuário é de um país específico (procurando representar a personalização).
  3. Persona-país: O modelo é solicitado a responder como se fosse uma pessoa daquele país (procurando representar a encenação de papel/role-play).
  4. Terceira pessoa: O modelo é solicitado a prever como uma pessoa daquele país responderia (procurando representar a previsão/forecasting).
• Métricas: As respostas foram pontuadas usando distâncias normalizadas (Wasserstein para ordinais, Variação Total para não ordenados) contra distribuições de respostas humanas correspondentes. As métricas principais incluíram:
  • Alinhamento Direcional: A redução na distância entre a resposta do modelo e o alvo humano em comparação com a linha de base.
  • Magnitude do Deslocamento: A distância absoluta que o modelo se moveu de sua linha de base, independentemente da direção.
  • Eixos Semânticos: Análise através de dez eixos (ex: religiosidade, igualdade de gênero, confiança institucional) para determinar a direção dos deslocamentos de valores.

Resultados Principais

1. O Enquadramento do Prompt é um Determinante de Primeira Ordem

O estudo descobre que o enquadramento do prompt altera significativamente o comportamento do modelo e o alinhamento cultural medido. As três modalidades não são intercambiáveis.

• Previsão em terceira pessoa produz consistentemente o alinhamento direcional mais forte em direção às distribuições de resposta humana para três dos quatro modelos (GPT-5.4, Gemini 2.5 Flash e Qwen3-235B).
• Personalização (País do Usuário) e Encenação de Papel (Persona-país) produzem ganhos de alinhamento mais fracos ou menos estáveis.
• Magnitude do Deslocamento: Pistas de país geralmente induzem deslocamentos maiores do que prompts apenas de idioma, mas esses deslocamentos nem sempre se movem em direção ao alvo humano.

2. Ganhos de Alinhamento Específicos por Domínio

As melhorias de alinhamento não são uniformes em todas as dimensões de valor:

• Alto Alinhamento: Os ganhos concentram-se em dimensões de valor "socialmente legíveis", como religiosidade, papéis de gênero, trocas de segurança e valores materiais orientados ao trabalho. Os modelos recuperam com sucesso esquemas culturais grosseiros para esses tópicos.
• Baixo Alinhamento: Confiança institucional, questões relacionadas à democracia e problemas de governança permanecem difíceis. Os modelos têm dificuldade em capturar nuances institucionais refinadas, muitas vezes falhando em distinguir entre países com perfis culturais semelhantes (ex: Grã-Bretanha, Canadá e EUA) ou representando incorretamente níveis específicos de confiança institucional (ex: superestimando a confiança na Índia).

3. Variações de Modelo e Geográficas

• Diferenças de Modelos: Embora a tendência geral (Terceira pessoa > Persona > Usuário) se mantenha, as forças específicas variam. Por exemplo, o GPT-5.4 mostra uma forte reorientação sobre intervencionismo econômico, enquanto o Gemini 2.5 Flash se destaca em materialismo produtivista.
• Consistência Geográfica: Países com perfis culturais distintos (ex: Jordânia, Egito, Índia, China) mostram os ganhos de alinhamento mais fortes. Por outro lado, as fatias anglófonas e do Atlântico Norte (Reino Unido, EUA, Canadá) são "casos difíceis", onde o condicionamento de prompt frequentemente gera alinhamento negativo ou negligenciável, sugerindo que os modelos lutam para fazer distinções finas entre grupos culturalmente similares.
• Modelos Localizados: Modelos estreitos e localizados (ex: Jais para Árabe, YandexGPT para Russo) geralmente apresentam desempenho inferior aos modelos de fronteira em previsão de terceira pessoa, com exceção do Airavata para Hindi, que permanece competitivo com modelos de fronteira de nível médio.

Significância e Alegações

O artigo conclui que o enquadramento do prompt não é uma escolha cosmética na elicitação de valores culturais; ele altera fundamentalmente tanto o comportamento do modelo quanto o alinhamento medido resultante.

• Implicação Científica: Tratar personalização, personas e previsão como intercambiáveis obscurece importantes diferenças comportamentais. Pesquisadores que avaliam vieses de LLMs ou modelagem cultural devem reconhecer explicitamente essas discrepâncias e selecionar a modalidade mais apropriada para seu cenário específico.
• Implicação Prática: Para aplicações que exigem a simulação precisa de valores populacionais (ex: previsão de políticas), a previsão em terceira pessoa é a modalidade superior. No entanto, para tarefas que exigem adaptação a um usuário específico, os prompts de personalização podem gerar resultados diferentes e potencialmente menos precisos culturalmente.
• Limitações: Os autores observam que pontuações de alto alinhamento são descritivas, não necessariamente normativas; um modelo que se alinha com uma distribuição cultural específica não implica inerentemente que essa distribuição seja "correta" ou desejável. Além disso, a dificuldade em modelar a confiança institucional sugere que os LLMs atuais carecem da profundidade de conhecimento necessária para a modelagem política e social refinada.