💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

Este artigo apresenta os Modelos de Linguagem Alinhados à População (PALMs), um conjunto de modelos alinhados a populações nacionais específicas ao alavancar justificativas fundamentadas em múltiplos construtos para o ajuste de preferência, o que supera significativamente os basais existentes na simulação de diversos valores culturais, crenças e raciocínio social sem exigir supervisão específica para tarefas.

Autores originais: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender as pessoas. No momento, a maioria dos robôs é como chefs generalistas que já provaram um pouco de tudo, mas não sabem realmente cozinhar a comida favorita de uma família específica. Eles podem saber o que é "comida", mas não entendem bem por que uma avó na Itália pode preferir um ragù cozido lentamente ou por que um adolescente no Brasil pode desejar uma feijoada apimentada. Este é o mundo dos Grandes Modelos de Linguagem (LLMs) — programas de computador superinteligentes que podem escrever, conversar e resolver problemas. Mas aqui está a parte complicada: esses robôs costam agir como se fossem uma única pessoa média. Eles perdem as regras profundas e invisíveis que fazem diferentes grupos de pessoas pensarem e sentirem de maneiras diferentes.

Para consertar isso, os cientistas buscam as "preferências" — o que as pessoas gostam, acreditam e valorizam. Eles sabem que nossas escolhas não são apenas aleatórias; elas são moldadas pelas nossas personalidades (somos aventureiros ou cautelosos?), nossa cultura (valorizamos o grupo ou o indivíduo?) e nossa bússola moral (o que parece justo ou correto?). A grande questão que os pesquisadores estão fazendo é: Como ensinamos um robô a parar de agir como um "humano médio" genérico e começar a agir como uma pessoa específica de um lugar específico, com todas as suas peculiaridades e contexto cultural únicos? Se conseguirmos fazer isso, esses robôs poderão ser muito melhores em nos ajudar, nos entender e até em simular como pessoas reais poderiam reagir a novas ideias.

É aqui que uma nova equipe de pesquisadores entra com uma solução inteligente chamada PALMs (Modelos de Linguagem Alinhados à População). Pense em um robô padrão como um aluno que tenta memorizar as respostas de uma prova apenas olhando para a nota final. Ele pode conseguir a resposta certa, mas não entende realmente por que ela está certa. Os pesquisadores por trás dos PALMs perceberam que, para entender verdadeiramente uma população, o robô precisa aprender o "ingrediente secreto" por trás das respostas. Eles não apenas alimentaram o robô com dados sobre o que as pessoas disseram; eles o ensinaram a escrever um "diário de raciocínio" antes de dar uma resposta.

Foi assim que eles fizeram: Criaram cinco versões especiais de robôs, uma para cada um de cinco países: EUA, Índia, Brasil, França e Itália. Mas em vez de apenas dizer ao robô, "Você é americano", deram a ele um kit de ferramentas muito mais profundo. Ensinaram o robô a pensar usando cinco lentes específicas, como um par de óculos especiais que mudam a visão:

Personalidade: A pessoa é aberta a novas ideias ou gosta de rotina?
Cultura: Eles valorizam a independência ou a união do grupo?
Valores: O que os move? É a liberdade, a segurança ou ajudar os outros?
Crenças de Mundo: Eles veem o mundo como um lugar seguro e emocionante ou um lugar perigoso e caótico?
Moralidade: O que eles consideram justo ou sagrado?

O robô foi treinado para escrever uma pequena história usando essas cinco lentes para explicar por que uma pessoa daquele país escolheria uma determinada resposta. Por exemplo, se um brasileiro prefere um certo tipo de música, o robô não diz apenas "Ele gosta". Ele escreve uma pequena nota dizendo: "Porque esta pessoa valoriza a comunidade e o prazer sensorial (Cultura e Valores), e vê o mundo como um lugar cheio de oportunidades divertidas (Crenças de Mundo), esta música parece certa". O robô praticou isso repetidamente, aprendendo a esconder essas "notas de raciocínio" dentro de seu cérebro para que pudesse usá-las automaticamente mais tarde.

Os resultados foram surpreendentemente bons. Quando os pesquisadores testaram esses novos robôs, descobriram que os PALMs eram muito melhores em entender as pessoas do que os antigos robôs genéricos. De fato, em todos os cinco países, os novos modelos melhoraram sua precisão em uma média de 8,59% em comparação com os melhores métodos anteriores. Isso sugere que fundamentar o aprendizado de um robô em teorias psicológicas e culturais profundas funciona muito melhor do que apenas mostrar dados superficiais ou rótulos demográficos simples como "idade" ou "gênero".

O artigo também verificou se esses robôs poderiam fazer outras coisas, como atuar como um "modelo de recompensa personalizado" (decidir o que uma pessoa específica gostaria) ou simular como um grupo poderia reagir a uma nova política. Nesses testes, os PALMs novamente superaram a competição, mostrando melhorias de 5,19% em recompensas personalizadas e 6,34% em simulações de população. Mesmo quando solicitados a resolver enigmas sociais sobre emoções e intenções humanas (uma tarefa chamada Social IQA), os robôs melhoraram, atingindo 80,23% de precisão no teste.

No entanto, os pesquisadores tomam cuidado para notar que isso não é uma solução mágica para tudo. Eles descobriram que simplesmente alimentar o robô com mais dados de pesquisas sem essa abordagem de "diário de raciocínio" na verdade piorou as coisas em alguns casos, fazendo com que o robô perdesse sua capacidade de ver diferentes perspectivas. Eles também admitem que tratar um país inteiro como um único grupo é uma simplificação; dentro de cada país, existem muitas regiões e culturas diferentes que seu modelo ainda não captura totalmente. Mas a principal lição é clara: se você quer que um robô realmente entenda um grupo de pessoas, você tem que ensiná-lo a pensar como elas, não apenas a falar como elas. Ao dar ao robô uma maneira estruturada de raciocinar através da personalidade e da cultura, obtemos uma imagem muito mais clara do diversificado mundo humano.

Resumo Técnico: Modelos de Linguagem Alinhados à População (PALMs)

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para simular o comportamento de usuários individuais, mas enfrentam dificuldades para representar fielmente a variação sistemática nos valores, crenças e normas culturais que distinguem uma população de outra. As abordagens existentes geralmente dependem de prompts demográficos superficiais (ex: "aja como um brasileiro de 30 anos") ou de ajuste fino direto em dados de pesquisas comportamentais. O artigo argumenta que esses métodos falham porque otimizam distribuições de respostas de nível superficial, em vez de capturar os construtos psicológicos e culturais subjacentes que moldam conjuntamente o julgamento humano. Consequentemente, os modelos frequentemente sobre-representam pontos de vista majoritários ou colapsam em representações genéricas quando ajustados diretamente em respostas observadas, falhando em preservar a rica estrutura composicional das preferências humanas.

Metodologia

Os autores introduzem os Modelos de Linguagem Alinhados à População (PALMs), um framework que alinha LLMs a populações específicas ao fundamentar o aprendizado de preferências em justificativas baseadas em múltiplos construtos. A metodologia opera sob a premissa de que as preferências humanas emergem da interação entre a psicologia de nível individual e a variação cultural de nível grupal.

1. Espaço de Construtos

A abordagem utiliza cinco famílias estabelecidas de teoria das ciências sociais para formar um espaço latente de raciocínio:

Personalidade (OCEAN): Traços individuais (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo).
Dimensões Culturais (Hofstede): Tendências de nível grupal (ex: Individualismo vs. Coletivismo, Distância do Poder).
Valores Humanos (Schwartz): Prioridades motivacionais (ex: Autodireção, Segurança, Benevolência).
Crenças Primitivas sobre o Mundo (Clifton): Pressuposições individuais sobre o mundo (ex: Seguro vs. Perigoso, Atraente vs. Tedioso).
Fundamentos Morais (Haidt): Intuições éticas (ex: Cuidado/Dano, Justiça/Injustiça, Lealdade/Traição).

2. Pipeline de Treinamento

Os PALMs são treinados usando um processo de duas etapas no dataset de Alinhamento Comunitário, cobrindo cinco países: EUA, Índia, Brasil, França e Itália.

Estágio 1: Ajuste Fino Supervisionado (SFT): Um modelo base (Llama-3.1-8B-Instruct) é ajustado via fine-tuning em instâncias de preferência condicionadas por persona $(p, q, a^+)$ para inicializar a previsão de preferência.
Estágio 2: Otimização de Preferência com Supervisão Latente: A inovação central envolve a Otimização de Preferência Direta (DPO) aumentada com justificativas fundamentadas em construtos.
- Para cada par de preferência, justificativas sintéticas são geradas por um LLM externo (Qwen2.5-7B-Instruct). Essas justificativas decompõem a decisão de preferência através das cinco famílias de construtos, explicando por que um perfil demográfico específico preferiria $a^+$ em vez de $a^-$ .
- Durante o DPO, essas justificativas são inseridas no contexto do prompt, mas são mascaradas da função de perda (loss function). O modelo não é treinado para gerar explicitamente os tokens da justificativa; em vez disso, as justificativas servem como um viés indutivo estruturado e latente para moldar as representações internas de preferência do modelo.
- Isso contrasta com justificativas "genéricas" (sem fundamentação em construtos) ou ajuste fino comportamental direto, que os autores argumentam carecer do sinal estrutural necessário.

3. Inferência

No momento da inferência, o modelo é estimulado com uma persona de usuário e uma consulta. Ele gera internamente uma justificativa fundamentada em construtos (antes de produzir a saída final) para guiar sua decisão de preferência. Os tokens da justificativa não são necessários como entrada durante a inferência, permitindo que o modelo generalize sem necessidade de anotação externa.

Principais Contribuições

Framework PALMs: A introdução de um conjunto de modelos alinhados a populações específicas usando justificativas de múltiplos construtos fundamentadas em teoria psicológica e cultural como supervisão latente.
Superioridade das Justificativas Fundamentadas em Construtos: Evidência empírica demonstrando que fundamentar o aprendizado de preferência em construtos psicológicos e culturais supera tanto o prompting demográfico quanto o ajuste fino comportamental (incluindo modelos especializados em cultura como o CultureLLM).
Generalização para Tarefas de Jusante (Downstream): Demonstração de que os PALMs generalizam para aplicações de jusante — modelagem de recompensa personalizada, simulação de população e raciocínio social — sem supervisão específica da tarefa, sugerindo que as representações fundamentadas em construtos capturam estruturas latentes transferíveis da diversidade humana.

Resultados

Os autores avaliaram os PALMs em quatro dimensões: personalidade, valores/crenças, normas culturais e moralidade, utilizando distribuições humanas reais das populações alvo.

Alinhamento In-Domain: Os PALMs superaram consistentemente todos os baselines (incluindo Llama-3.1-8B-Instruct zero-shot, Gemini-2.5-Flash e CultureLLM) em todas as cinco populações. O modelo PALM completo alcançou uma melhoria relativa média de 8,59% sobre o melhor baseline. Notavelmente, a configuração "SFT + DPO + Genérico" (usando justificativas sem fundamentação em construtos) teve um desempenho melhor que o DPO padrão, mas inferior aos PALMs, isolando a contribuição específica dos construtos psicológicos.
Desempenho em Tarefas de Jusante:
- Modelagem de Recompensa Personalizada: Os PALMs melhoraram a precisão em 5,19% no PersonalizedRewardBench e no PRISM em comparação aos baselines, com ganhos significativos em tópicos relacionados à sociedade (religião, lei, política).
- Simulação de População: No SIMBENCH, os PALMs alcançaram o melhor alinhamento em 15 de 17 datasets, com ganhos particularmente grandes (até ~20%) em tarefas alinhadas com as famílias de construtos (ex: OpinionQA, OSPsychMACH).
- Raciocínio Social: Em um estudo de caso no SOCIALIQA, os PALMs alcançaram 80,23% de precisão no conjunto de teste, superando o forte baseline Gemini-2.5-Flash (79,72%), apesar de ser um modelo menor de 8B, com os maiores ganhos no raciocínio sobre motivações humanas.

Significância e Alegações

O artigo afirma que racionalizar através de construtos psicológicos e culturais estabelecidos fornece um sinal indutivo mais rico para o aprendizado de preferência do que o condicionamento demográfico ou os dados de treinamento baseados em pesquisas isoladamente.

Os autores argumentam que ajustar diretamente os modelos aos outputs comportamentais observados frequentemente leva a um colapso da diversidade representacional, enquanto fundamentar o processo de aprendizado em construtos latentes permite que o modelo internalize o "porquê" por trás das preferências. Esta abordagem permite a criação de modelos específicos de populações que não são meros imitadores estatísticos de dados de pesquisa, mas que estão estruturalmente alinhados com os mecanismos psicológicos que impulsionam o julgamento humano. O trabalho defende a adoção mais ampla da ciência social como um viés indutivo estruturado na pesquisa de alinhamento, oferecendo uma base principiológica para modelar populações de maneira multilíngue e detalhada.

Os autores reconhecem limitações, incluindo o uso da abstração de nível de país como um proxy para populações (o que achata a variação dentro do país), a natureza não exaustiva das famílias de construtos selecionadas e a dependência atual de dados de treinamento exclusivamente em inglês. Eles postulam que trabalhos futuros devem explorar definições de população mais granulares e modelagem multilíngue nativa.