Resumo Técnico: "Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models"

Problema

Os modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados em contextos de tomada de decisão social, onde devem equilibrar normas culturais coletivas com preferências pessoais individuais. As pesquisas existentes geralmente estudam o alinhamento cultural (se os modelos reconhecem as normas) e a personalização (se os modelos se adaptam às preferências do usuário) de forma isolada. Essa separação deixa uma lacuna crítica: não está claro como os LLMs resolvem tensões quando a preferência pessoal de um usuário entra em conflito com uma norma cultural local. Sem compreender esse equilíbrio, os modelos correm o risco de sobre-culturalização (imposição de normas generalizadas enquanto ignoram a variação individual) ou sobre-personalização (priorização de preferências declaradas enquanto ignoram contextos normativos locais). Além disso, as avaliações atuais frequentemente dependem do acordo de escolha majoritária, o que pode mascarar a discordância distributiva e a incerteza inerentes ao julgamento social humano.

Metodologia: O Framework PACT

Para abordar essas lacunas, os autores introduzem o PACT (Personal-Preference and Cultural-Norm Trade-off - Troca entre Preferência Pessoal e Norma Cultural), um framework e benchmark projetado para avaliar como os LLMs priorizam a cultura versus a preferência pessoal em cenários de conflito.

1. Construção do Benchmark

O conjunto de dados PACT é construído a partir de dois conjuntos de dados de origem: NormAd-ETI (75 países, focado em etiqueta) e CultureAtlas (149 países, conhecimento cultural mais amplo). O pipeline de construção envolve três estágios:

• Geração de Cenário e Preferência: Situações sociais e normas culturais são extraídas. Uma preferência pessoal é gerada (usando GPT-4o) para criar uma tensão comportamental com a norma. As preferências são categorizadas como baseadas em conveniência, baseadas em hábito ou baseadas em valores/estilo.
• Díades Ator-Receptor: Os cenários são instanciados com um ator e um receptor. Demografias (idade, gênero) e relações entre países (mesmo país, país próximo, país distante) são variadas ortogonalmente para analisar efeitos contextuais.
• Design de Configuração: Cada instância apresenta uma escolha binária: FOLLOW-CULTURE (Seguir a Cultura) ou ALLOW-PREFERENCE (Permitir a Preferência). Três configurações testam diferentes dinâmicas de conflito:
  • C1: O ator prefere a opção pessoal; o receptor prefere a norma cultural.
  • C2: O ator prefere a norma cultural; o receptor prefere a opção pessoal.
  • C3: Ambos preferem a opção pessoal (testando se os modelos ainda impõem a cultura).

O benchmark final contém 318.720 instâncias de 75 países, validadas por anotadores humanos quanto à plausibilidade e clareza, e filtradas adicionalmente por um juiz LLM.

2. Avaliação de Modelos

O estudo avalia um conjunto diversificado de modelos de instrução de código aberto e fechado (Llama-3.1, Qwen-3, OLMo-2, Mistral-7B, DeepSeek-7B, GPT-5.4-mini). Os modelos são instigados a escolher entre as duas opções em vários contextos demográficos e de país. O estudo também compara modelos base com versões ajustadas por instrução (instruct-tuned) para avaliar o impacto do pós-treinamento.

3. Estudo Humano e Alinhamento

Para estabelecer uma referência para o comportamento humano, os autores realizaram um estudo com 200 participantes de cinco países (Brasil, Índia, África do Sul, Reino Unido, EUA). Os participantes responderam a duas perguntas por cenário:

1. Escolha Pessoal: O que eles fariam?
2. Julgamento de Norma: O que é socialmente apropriado?

Este design permite que os autores meçam o "hiato norma-pessoal" e as distribuições de resposta humana, em vez de uma única verdade fundamental (ground truth). O alinhamento é avaliado usando quatro métricas:

• Alinhamento de escolha majoritária: O modelo escolhe a opção majoritária humana?
• Alinhamento de Taxa (MAE): O modelo corresponde à taxa humana de permissividade de preferência?
• Hiato de taxa de preferência assinado: Direcionalidade do descompasso (sobre-culturalização vs. sobre-personalização).
• Alinhamento de Incerteza: A variabilidade do modelo através de execuções condicionadas por persona corresponde aos níveis de discordância humana?

Resultados Principais

1. Heterogeneidade de Modelos em Trocas Cultura-Preferência

Os modelos exibem "hierarquias de preferência" distintas:

• Permissivos à Preferência: Llama e GPT frequentemente permitem que preferências pessoais sobreponham as normas culturais.
• Dominantes na Norma: Mistral, DeepSeek e Qwen impõem rigidamente as normas culturais, com o Mistral mostrando a menor flexibilidade.
• Mistos: O OLMo ocupa uma posição intermediária.
  Essas diferenças são específicas da família do modelo e não são determinadas apenas pela escala do modelo.

2. Impacto do Ajuste de Instrução (Instruction Tuning)

O ajuste de instrução altera o comportamento dos modelos de forma não uniforme:

• Llama e Qwen tornaram-se mais permissivos à preferência após o ajuste.
• DeepSeek e Mistral tornaram-se mais seguidores da cultura.
  Isso sugere que os objetivos de pós-treinamento (ex: utilidade vs. segurança/adequação) amplificam diferentes prioridades sociais dependendo da família do modelo.

3. Drivers Contextuais: País vs. Demografia

• Contexto de País: O país do cenário é o preditor mais forte do comportamento do modelo. Os modelos são mais permissivos à preferência em ambientes ocidentais/anglófonos e latino-americanos, e mais seguidores da cultura em ambientes do Leste/Sudeste Asiático, Sul da Ásia e MENA (Oriente Médio e Norte da África).
• Demografia: Efeitos de idade e gênero existem, mas são significativamente mais fracos que os efeitos de país. Os modelos são ligeiramente mais permissivos em relação a atores jovens e demografias femininas, mas essas mudanças são marginais comparadas ao contexto cultural.
• Distância entre Países: Os modelos têm menos probabilidade de permitir preferências pessoais quando o ator e o receptor são do mesmo país (implicando maior obrigação às normas locais) e são mais permissivos quando são culturalmente distantes.

4. Limitações de Alinhamento Humano-LLM

• Maioria vs. Distribuição: Embora os modelos possam corresponder à escolha majoritária humana (melhor correlação de incerteza ~0.24), eles falham em capturar a distribuição das respostas humanas e a incerteza.
• Descompasso de Incerteza: Mesmo com condicionamento de persona, os modelos não rastreiam de forma confiável quais cenários os humanos consideram contestados. A melhor correlação de incerteza atingiu apenas 0.24, indicando que os modelos são excessivamente decisivos em situações sociais ambíguas.
• Hiatos Norma-Pessoal: Humanos apresentam lacunas significativas entre o que fariam pessoalmente e o que percebem como socialmente apropriado. Os modelos frequentemente falham em replicar essa nuance, seja reforçando excessivamente as normas ou ignorando a tensão por completo.

Significância e Contribuições

O artigo apresenta três contribuições principais:

1. Framework & Benchmark: Introduz o PACT, um benchmark de larga escala que modela explicitamente a tensão entre normas culturais e preferências pessoais, fundamentado em conjuntos de dados de ciências sociais.
2. Achados Empíricos sobre Comportamento de Modelos: Demonstra que os LLMs codificam diferentes hierarquias de cultura-preferência que são altamente dependentes do modelo e sensíveis ao ajuste de instrução. Estabelece que o contexto do país é um driver de comportamento mais forte do que pistas demográficas como idade ou gênero.
3. Avaliação Além da Maioria: Através de estudos humanos, mostra que o alinhamento cultural é um problema distributivo, não binário. Os autores argumentam que as métricas de avaliação atuais (acordo majoritário) são insuficientes porque ocultam a discordância e a incerteza humana.

Alegações e Limitações

Os autores alegam modestamente que seus achados motivam uma mudança nas avaliações de alinhamento para capturar o pluralismo cultural e a discordância, em vez de buscar um rótulo único "correto". Eles enfatizam que:

• O comportamento do modelo reflete associações aprendidas de dados de treinamento e prioridades de alinhamento, não necessariamente verdades culturais factuais.
• A escolha binária no PACT simplifica decisões sociais do mundo real, que frequentemente envolvem negociação ou compromisso.
• O país é usado como um proxy para cultura, o que pode achatar a diversidade interna.
• O estudo não fornece um "melhor" modelo definitivo para todos os contextos, mas sim um diagnóstico de como diferentes modelos lidam com essas trocas.

O artigo conclui que construir LLMs culturalmente conscientes requer raciocinar não apenas sobre qual é uma norma, mas sobre quando ela é negociável, e que as avaliações futuras devem considerar a incerteza e a discordância inerentes ao julgamento social.