Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions

Título: Ajuste Fino de Modelos de Linguagem em Dados de Pesquisa Escalonados para Prever Distribuições de Opinião Pública

1. Problema e Motivação

As pesquisas de opinião pública são ferramentas essenciais para entender as atitudes sociais, mas são caras, demoradas e suscetíveis a vieses de amostragem. Modelos de Linguagem de Grande Porte (LLMs) surgiram como uma ferramenta promissora para simular respostas de pesquisas, permitindo testes piloto e a identificação de subgrupos demográficos antes da execução de pesquisas reais.

No entanto, métodos anteriores baseados apenas em engenharia de prompts (instruções textuais para direcionar o LLM) falharam em prever com precisão a distribuição das respostas humanas. Os LLMs tendem a:

• Refletir as opiniões de subgrupos privilegiados (ricos e educados) em vez de subgrupos sub-representados.
• Produzir previsões estereotipadas ou enviesadas.
• Falhar em capturar a variância interna de uma subpopulação (tratando a opinião como um único ponto, em vez de uma distribuição de probabilidades).

O objetivo deste trabalho é superar essas limitações ajustando finamente (fine-tuning) os LLMs diretamente em dados estruturados de pesquisas para aprender a prever a distribuição completa das respostas de diversos subgrupos demográficos, socioeconômicos e ideológicos.

2. Metodologia

2.1. O Dataset SubPOP

Para viabilizar o ajuste fino em escala, os autores criaram e lançaram o SubPOP (Subpopulation-level Public Opinion Prediction).

• Escala: Contém 3.362 perguntas e 70.000 pares de subpopulação-resposta, sendo 6,5 vezes maior que datasets anteriores (como o OpinionQA).
• Fontes:
  • SubPOP-Train: Dados do American Trends Panel (ATP) da Pew Research Center (ondas 61 a 132), excluindo as usadas no OpinionQA.
  • SubPOP-Eval: Dados do General Social Survey (GSS) do NORC, servindo como um conjunto de teste fora da distribuição (out-of-distribution) para avaliar a generalização entre famílias de pesquisas diferentes.
• Estrutura: Cada amostra consiste em um triplo: (Pergunta da Pesquisa, Informação da Subpopulação, Distribuição Empírica das Respostas Humanas).

2.2. Abordagem de Ajuste Fino (Fine-Tuning)

Diferente de métodos que tentam prever apenas a resposta mais provável (one-hot), o modelo é treinado para prever a distribuição de probabilidade sobre todas as opções de resposta.

• Entrada: A prompt concatenada contém a pergunta e a descrição da subpopulação-alvo (ex: "Mulheres, hispânicas, com ensino superior").
• Saída: O LLM gera log-probabilidades para cada opção de resposta (A, B, C, D, E).
• Função de Perda: Utiliza-se a Divergência de Kullback-Leibler (KL) Direta (Forward KL).
  • Objetivo: Minimizar $D_{KL}(p_H || p_\theta)$, onde $p_H$ é a distribuição humana observada e $p_\theta$ é a distribuição prevista pelo modelo.
  • Justificativa: A KL direta penaliza o modelo se ele atribuir baixa probabilidade a uma resposta que é frequente nos dados humanos, forçando-o a cobrir toda a distribuição real, e não apenas o pico.
• Técnica: Utilização de LoRA (Low-Rank Adaptation) para eficiência no ajuste fino de modelos como Llama-2, Mistral e Llama-3.

2.3. Métricas de Avaliação

• Distância de Wasserstein (WD): A métrica principal. Diferente da acurácia "one-hot", a WD considera a ordem das respostas (ex: "Muito provável" vs. "Pouco provável") e mede o "custo" de mover a massa de probabilidade da previsão para a realidade. É mais sensível a erros que mantêm a estrutura da distribuição, mas deslocam os picos.

3. Contribuições Principais

1. Evidência de Ajuste Fino Superior: Demonstração de que o ajuste fino em dados de distribuição de pesquisas supera drasticamente métodos de prompting (zero-shot e few-shot) e abordagens de pluralismo modular.
2. Dataset SubPOP: A liberação do maior dataset de opinião pública estruturada para subpopulações, permitindo treinamento escalável.
3. Generalização Robusta: O modelo ajustado generaliza bem para:
   • Temas não vistos: Perguntas sobre tópicos que não estavam no conjunto de treinamento.
   • Famílias de pesquisas diferentes: Treinado em ATP (Pew) e testado em GSS (NORC).
   • Subpopulações não vistas: Grupos demográficos que não estavam presentes no conjunto de treinamento (ex: faixas etárias específicas).

4. Resultados Experimentais

• Desempenho Geral: O modelo ajustado (SubPOP-FT) reduziu a Distância de Wasserstein em 32% a 46% em comparação com as melhores baselines (como Modular Pluralism e Prompting zero-shot) no conjunto OpinionQA. No conjunto SubPOP-Eval (GSS), a redução foi de 39% a 42%.
• Consistência entre Subgrupos: A melhoria foi consistente em todos os 22 subgrupos analisados (raça, gênero, educação, religião, etc.), com uma melhoria relativa média de 46,7%.
• Generalização para Grupos Não Vistos: Mesmo para subpopulações não incluídas no treinamento (ex: faixas etárias de 18-29 ou 65+), o modelo alcançou uma melhoria relativa de 44,7%, demonstrando capacidade de "direcionamento" (steerability) baseado em descrições demográficas.
• Padrões de Desacordo Intergrupal: O modelo ajustado conseguiu replicar o padrão de desacordo observado entre humanos (ex: grupos com níveis de educação mais próximos têm opiniões mais similares), algo que o prompting zero-shot não conseguiu fazer.
• Escalabilidade de Dados: A análise de escala mostrou que o desempenho continua a melhorar à medida que o tamanho do dataset de treinamento aumenta, seguindo uma relação de lei de potência, sugerindo que a coleta de mais dados de alta qualidade é crucial.

5. Significado e Impacto

Este trabalho representa um avanço significativo na aplicação de IA para ciências sociais:

• Validação de Método: Prova que o ajuste fino supervisionado em dados estruturados de pesquisas é superior ao prompting para tarefas de previsão de distribuição de opinião.
• Ferramenta para Pesquisadores: Oferece uma ferramenta para que pesquisadores realizem testes piloto mais baratos, identifiquem viéses potenciais e otimizem o desenho de pesquisas antes de coletar dados humanos reais.
• Limitações e Futuro: Os autores destacam que, embora a generalização seja forte, questões sobre a capacidade do modelo de capturar interseccionalidades complexas e mudanças de opinião ao longo do tempo permanecem abertas. O trabalho enfatiza a necessidade de colaboração interdisciplinar para integrar LLMs de forma responsável na pesquisa de opinião pública.

Em resumo, o artigo estabelece um novo padrão para a previsão de opinião pública com IA, demonstrando que, com dados suficientes e o objetivo de aprendizado correto (distribuição vs. ponto único), os LLMs podem se tornar simuladores fiéis da diversidade de opiniões humanas.