Resumo Técnico: O que Ajuda os Modelos de Linguagem a Prever Crenças Humanas: Demografia ou Posturas Prévias?

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam onipresentes, sua capacidade de compreender e raciocinar sobre crenças humanas tem implicações significativas para a privacidade, persuasão personalizada e estereotipagem. Embora as crenças formem redes complexas e inter-relacionadas moldadas por dependências lógicas e processos sociais, permanece incerto como os LLMs prontos para uso (off-the-shelf) capturam essa estrutura correlacional. Especificamente, ao prever a postura de um indivíduo sobre uma nova proposição, não se sabe se as informações demográficas (quem eles são) ou as posturas expressas anteriormente (o que mais eles acreditam) fornecem maior valor preditivo, ou se uma combinação de ambos é o ideal. Os benchmarks existentes frequentemente focam em contextos sociopolíticos estreitos ou dependem de ajuste fino (fine-tuning), deixando uma lacuna na compreensão de como os modelos base aproveitam a informação social sem adaptação específica para a tarefa.

Metodologia

O estudo avalia as capacidades de previsão de crenças de nove LLMs de pesos abertos (variando de 3B a 14B de parâmetros) utilizando um conjunto de dados derivado do Debate.org (DDO), abrangendo de outubro de 2007 a setembro de 2018.

Construção dos Dados

• Fonte: O conjunto de dados DDO fornece a demografia do usuário, tópicos de debate com argumentos opostos e votos de postura do usuário ("concordar" ou "discordar").
• Extração de Crenças: Os votos de postura foram combinados com títulos de debates para gerar declarações de crença estruturadas (ex: "Eu concordo com o seguinte: [Tópico]"). O GPT-4 foi utilizado para filtrar títulos que não pudessem ser interpretados como crenças humanas coerentes.
• Pré-processamento: Usuários com menos de cinco declarações de crença totais foram excluídos. Os dados foram divididos cronologicamente para cada usuário: os 80% mais antigos serviram como crenças de contexto (treinamento) e os 20% restantes serviram como crenças de teste. Para evitar vazamento de dados (data leakage), crenças de contexto com similaridade de cosseno >0,8 em relação às crenças de teste (via Sentence-BERT) foram removidas.
• Conjunto de Dados Final: 119.118 declarações de crença únicas de 5.775 usuários únicos.

Desenho Experimental

A tarefa foi estruturada como classificação binária (prever "concordar" ou "discordar") sob quatro condições informacionais distintas:

1. Cego (Blind): Sem informação do usuário (baseando-se apenas em priors de nível populacional).
2. Apenas Demografia: Atributos do usuário (idade, gênero, etnia, renda, ideologia política/religiosa, etc.).
3. Apenas Crenças de Contexto: As posturas expressas anteriormente pelo usuário.
4. Combinado: Tanto demografia quanto crenças de contexto.

Implementação

• Modelos: Nove modelos de pesos abertos foram avaliados, incluindo variantes do DeepSeek R1 Distill, Gemma 3, Llama 3.1/3.2, Mistral, Phi-4 e Qwen3.
• Prompting: O estudo utilizou DSPy para engenharia de prompt estruturada, incorporando raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) para gerar etapas intermediárias antes da previsão binária final.
• Avaliação: O desempenho foi medido usando pontuações Macro F1. Os resultados foram agregados via dois métodos: a média das pontuações individuais dos modelos e um voto majoritário (ensemble) entre todos os modelos.

Principais Resultados

O estudo revela que, embora tanto a demografia quanto as crenças prévias melhorem a previsão em relação à linha de base cega, a utilidade relativa delas varia significativamente entre domínios de crença. Os resultados categorizam os domínios de crença em três grupos distintos baseados na condição de entrada ideal:

1. Grupo 1 (Demografia + Crenças): Categorias como Religião, Política e Sociedade apresentam melhor desempenho quando ambos os tipos de informação são fornecidos. Para esses domínios ligados à identidade, o desempenho geralmente melhora na ordem: Cego → Demografia → Contexto de Crença → Combinado.
2. Grupo 2 (Apenas Crenças de Contexto): Domínios idiossincráticos como Esportes, Entretenimento, Carros e Lugares/Viagens atingem o pico de desempenho apenas com as crenças de contexto. Nestas categorias, adicionar informações demográficas muitas vezes degrada o desempenho em comparação ao uso apenas das crenções prévias, embora a demografia ainda supere a linha de base cega.
3. Grupo 3 (Apenas Demografia): Um conjunto menor de categorias apresenta melhor desempenho apenas com demografia, embora a ordenação das outras condições varie.

Achados Quantitativos:

• Desempenho Geral: A condição combinada yielded a maior pontuação Macro F1 para 8 de 9 modelos. O melhor modelo, Phi-4, alcançou uma pontuação de 63,5% na condição combinada.
• Ganhos Relativos: Em média, a demografia melhorou a linha de base cega em 6 pontos percentuais, as crenças de contexto em 6,5 pontos e a condição combinada em 7,8 pontos.
• Não Monotonicidade: Adicionar uma segunda fonte de informação nem sempre melhora a precisão. Em alguns casos (ex: "Engraçado" ou "Música"), a demografia teve desempenho pior do que a linha de base cega, e adicionar demografia às crenças de contexto reduziu a precisão em domínios específicos.
• Desempenho do Ensemble: A agregação por voto majoritário superou consistentemente a agregação pela média, sugerindo que diferentes modelos cometem erros complementares.

Significância e Alegações

O artigo afirma avançar o entendimento de como LLMs prontos para uso raciocinam sobre crenças humanas sem ajuste fino específico para a tarefa. As principais contribuições e implicações incluem:

• Raciocínio Específico de Domínio: Os achados sugerem que os LLMs utilizam diferentes tipos de informação social dependendo da natureza da crença. Crenças fortemente acopladas à identidade social (Política, Religião) dependem fortemente de priors demográficos, enquanto preferências idiossincráticas (Esportes, Entretenimento) dependem mais do histórico individual (posturas prévias).
• Sistemas de Crença Coerentes: A variação na precisão apoia o conceito teórico de sistemas de crenças coerentes. Os LLMs performam melhor em domínios onde as crenças formam redes densamente interconectadas e mutuamente reforçadoras (ex: Religião, Ciência) e enfrentam mais dificuldades onde as associações são mais frouxas.
• Limitações dos Modelos Atuais: Apesar das melhorias, a precisão absoluta permanece moderada. O artigo atribui esse teto ao ruído nos dados dos usuários (inconsistência entre posturas registradas e crenças reais), lacunas temporais no conjunto de dados (2007–2018) e vieses inerentes nos corpora de treinamento que podem privilegiar pontos de vista majoritários.
• Considerações Éticas: A capacidade de inferir atitudes a partir de pistas limitadas traz riscos relativos à privacidade e estereotipagem. Os autores alertam que inferências excessivamente confiantes podem representar incorretamente os indivíduos, enfatizando a necessidade de transparência sobre a incerteza e restrições claras para a implementação de ferramentas de previsão de crenças.

O estudo conclui que, embora os LLMs possam efetivamente utilizar informações sociais para prever crenças, seu desempenho não é uniforme e é profundamente influenciado pela coerência estrutural do domínio da crença e pelo tipo específico de pista social fornecida. Trabalhos futuros são necessários para estabelecer linhas de base humanas e explorar a direcionalidade da inferência de crenças através de diferentes domínios.