Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

Resumo Técnico: Prompts to Proxies (P2P)

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados como proxies para sujeitos humanos em pesquisas de ciências sociais para simular respostas de questionários e modelar dinâmicas comunitárias. No entanto, a validade externa desses agentes sintéticos é comprometida por um desafio fundamental de alinhamento: garantir que as preferências agregadas de um ensemble sintético reflam faithfully a heterogeneidade de uma população humana alvo. As abordagens existentes enfrentam trade-offs significativos. O Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço com Feedback Humano (RLHF) frequentemente colapsam em direção a tendências centrais, obscurecendo a diversidade de preferências. Por outro lado, métodos de condicionamento demográfico exigem dados pessoais sensíveis e construção de perfis que demanda muita mão de obra, mas ainda assim falham em garantir a fidelidade distributiva. Além disso, muitos pesquisadores carecem dos recursos computacionais ou do acesso a dados necessários para essas abordagens de alto peso.

Metodologia: Teoria da Reconstrução de Preferências
O artigo introduz a Teoria da Reconstrução de Preferências, que formaliza o alinhamento de preferências populacionais como um problema de aprendizado de representação inspirado na teoria da preferência revelada da economia. O insight central é que as preferências em nível populacional podem ser reconstruídas não encontrando um único "agente representativo", mas construindo uma base funcional de agentes proxy diversos e recuperando as preferências da população através de agregação ponderada.

Os autores operacionalizam essa teoria via Prompts to Proxies (P2P), um sistema modular de inferência em dois estágios que não requer ajuste fino (fine-tuning) nem acesso a dados demográficos sensíveis:

1. Estágio 1: Geração de Dotação Ativa (Construção de um Pool de Agentes Diversos)

   • Prompting Estruturado: O sistema utiliza um "banco de atributos" hierárquico contendo fatores interpretáveis (ex: ideologia, traços de personalidade, disposições econômicas) derivados das disciplinas de ciências sociais.
   • Amostragem Adaptativa: Em vez de enumeração exaustiva, o P2P emprega uma estratégia de amostragem adaptativa baseada em entropia. Ele monitora a "entropia da questão" (variabilidade de resposta) através de diferentes modos de atributos.
   • Patching de Questões: Para abordar questões de baixa diversidade, o sistema infere dinamicamente novos atributos específicos para questões de baixa entropia e gera "modos mistos" para injetar diversidade.
   • Objetivo: Construir um pool diversificado de agentes (dotações) que abranja o espaço latente de preferências do domínio do tópico, maximizando a variabilidade de resposta.

2. Estágio 2: Agregação Baseada em Regressão (Seleção de Ensemble Compacto)

   • Seleção de Variáveis: Dado o pool diversificado de agentes, o sistema utiliza regressão com regularização L1 (Lasso Restrito) para selecionar um subconjunto compacto de agentes.
   • Otimização: O algoritmo resolve um problema de otimização restrita para encontrar pesos para os agentes selecionados, de modo que suas distribuições de resposta agregadas minimizem a perda contra os dados de ground-truth observados (conjunto de treinamento).
   • Generalização: O ensemble selecionado é validado em um conjunto de teste retido para garantir que os pesos aprendidos se generalizem para questões não vistas, evitando o overfitting.

Principais Contribuições

• Formulação do Problema: O artigo formaliza o alinhamento de preferências populacionais como um problema de aprendizado de representação, introduzindo o conceito de que preferências populacionais aprendíveis podem ser representadas por uma base funcional de agentes proxy com pesos de agregação apropriados.
• Sistema de Alinhamento Modular (P2P): Um sistema de dois estágios que combina amostragem adaptativa guiada por entropia para geração de agentes e Lasso restrito para seleção de ensemble. Opera sem necessidade de ajuste fino, dados demográficos ou recursos computacionais significativos.
• Validação Empírica: Os autores validam o P2P através de 14 ondas do American Trends Panel (ATP) e do World Values Survey (WVS), demonstrando desempenho robusto em diversos tópicos e localidades.

Resultos

• Desempenho no ATP: Através de 14 ondas de pesquisa, o P2P alcançou um Erro Quadrático Médio (MSE) de teste médio de 0,014, superando tanto o baseline de prompting "Vanilla" (0,026) quanto o baseline "PERSONA" condicionado por demografia (0,029). Isso representa uma melhoria de 43% sobre o melhor baseline.
• Diversidade e Custo: O pool de agentes do P2P exibiu uma entropia média mais alta (0,53) comparado aos baselines (0,43–0,45), confirmando que a diversidade de resposta apoia a reconstrução de preferências. O custo por pesquisa foi de aproximadamente US$ 0,80, comparável ao baseline Vanilla e significativamente mais barato que o PERSONA (US$ 1,30+).
• Generalização Cross-Locale: Ao ser testado no World Values Survey (EUA, Grã-Bretanha, Hong Kong), o P2P alcançou desempenho comparável aos resultados dos EUA em localidades ocidentais (MSE ~0,014–0,015). O desempenho em Hong Kong foi inferior (MSE ~0,024), o que os autores atribuem ao viés de treinamento dos LLMs para populações ocidentais. A análise de erro mostrou que, embora a transferência cross-locale aproveite a diversidade, a geração específica de cada localidade captura preferências culturalmente distintas que uma base estrangeira não consegue reconstruir totalmente.
• Teste de Estresse: Em um teste de estresse contra um modelo SFT calibrado por distribuição treinado com dados agrupados de 46 países, o P2P alcançou divergência de Jensen-Shannon (1-JSD) e acurácia de predição de classe majoritária (MCPA) competitivas usando menos de 3% dos dados de treinamento e sem ajuste fino.

Significância e Alegações
O artigo afirma oferecer uma plataforma prática e eficiente em recursos para pesquisa interdisciplinar em simulação de ciências sociais. Ao tratar o alinhamento como um problema de reconstrução, em vez de uma tarefa de otimização de agente único, o P2P aborda a "barreira do recurso invisível" enfrentada por instituições acadêmicas e pesquisadores independentes. Os autores posicionam o trabalho como um passo em direção ao alinhamento pluralista, demonstrando que agentes sintéticos podem reproduzir fielmente a heterogeneidade populacional sem depender de dados individuais sensíveis ou retreinamento caro de modelos. O estudo sugere que, embora os LLMs possuam vieses inerentes, uma base funcional adequadamente construída pode mitigar esses problemas para emular padrões de escolha humana de forma eficaz. Os autores observam modestamente que trabalhos futuros são necessários para abordar preferências não estacionárias ao longo do tempo, estender o framework para saídas de texto livre e investigar mais profundamente a generalização entre diferentes designs de pesquisa para evitar o "aprendizado de atalhos" (shortcut learning).