Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

Resumo Técnico: Além da Média: Fidelidade de Três Eixos para o Alinhamento de Simuladores de Pesquisa Baseados em LLM a partir de Pequenas Amostras Piloto

1. Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados como substitutos para respondentes humanos em pesquisas de ciências sociais, variando de "amostras de silício" de eleitores a modelos ajustados para prever resultados experimentais. No entanto, auditorias existentes revelam patologias sistemáticas nas respostas de pesquisas geradas por LLMs:

• Distorção Marginal: As saídas frequentemente aproximam as distribuições marginais, mas achatam a variância.
• Atenuação Estrutural: As relações entre preditor e resultado são frequentemente enfraquecidas, com a inversão do sinal do efeito ocorrendo em aproximadamente um terço dos casos.
• Homogeneização: Grupos minoritários são frequentemente estruturalmente distorcidos ou homogeneizados.
• Sensibilidade: As saídas são altamente sensíveis a perturbações no prompt e exibem alta flexibilidade analítica.

A questão central de pesquisa é: Dado uma pequena amostra piloto de respostas humanas ($D_p$), um LLM consegue recuperar as características estatísticas da população mais ampla retida ($D \setminus D_p$)? Os autores argumentam que os LLMs não devem ser tratados como substitutos diretos (drop-in replacements), mas como modelos generativos condicionais que exigem avaliação rigorosa contra dados de verdade fundamental (ground-truth).

2. Metodologia

Dados e Configuração
O estudo utiliza uma pesquisa sobre desinformação relacionada à COVID-19 realizada na Coreia do Sul ($N=1.466$). Cada respondente fornece um perfil ($X_i$) incluindo demografia e escalas psicométricas, e responde a 36 itens de crença (18 afirmações falsas, 18 afirmações verdadeiras) em uma escala Likert de 4 pontos.

• Piloto: Uma amostra fixa de 5% ($n=74$) é utilizada para calibração.
• Avaliação: Os 1.392 respondentes restantes servem como a verdade fundamental retida.
• Métricas: Três resumos escalares por respondente são derivados: Média de desinformação ($m_i$), Média de informação verdadeira ($t_i$) e um Score de Discernimento ($d_i = t_i - m_i$).

Pipelines de Calibração
Os autores comparam quatro famílias de abordagens:

1. Zero-Shot (ZS): Prompting do perfil do respondente ($X_i$) para prever as respostas ($Y_i$). Variantes incluem prompting em lote (batch prompting - todos os 36 itens de uma vez) e prompting por item.
2. Few-Shot (FS): Injeção de cinco linhas do piloto $D_p$ como exemplos de contexto no prompt.
3. Ajuste Fino de Parâmetros Eficientes (PEFT): Ajuste fino do Qwen3-8B no piloto $D_p$ usando duas configurações:
   • LoRA: Geração de tokens autorregressiva.
   • LoRA + MLP: Adaptadores LoRA combinados com uma cabeça de classificação MLP treinada de 5 vias (4 classes Likert + "Não visualizado").
4. Retificação PPI: Aplicação de Inferência Impulsionada por Predição (PPI) para corrigir as médias populacionais por item dos simuladores baseados em prompt usando a amostra piloto.

Avaliação de Fidelidade de Três Eixos
A recuperação é decomposta em três eixos distintos, cada um com métricas específicas:

• Fidelidade Estrutural: As relações preditor-resultado coincidem?
  • Métrica: Coeficiente de Correlação de Concordância de Lin (CCC) em correlações bivariadas e coeficientes OLS padronizados entre 12 preditores e o score de discernimento ($d_i$).
  • Decomposição: Taxa de concordância de sinal e razão de magnitude ($|x_{sim}|/|x_{GT}|$).
• Fidelidade Marginal: As distribuições marginais simuladas coincidem com as humanas?
  • Métrica: Distância de Terra Móvel (EMD) entre respondentes nas distribuições de $d_i$, $m_i$ e $t_i$.
• Fidelidade Individual: Cada respondente simulado acompanha seu correspondente humano?
  • Métricas: Concordância relativa (Pearson $r_d$ entre o discernimento simulado e o real) e concordância absoluta (Erro Médio Absoluto, $MAE_d$).

3. Resultados Principais

Fidelidade Estrutural

• LoRA + MLP alcançou a maior fidelidade estrutural (CCC = 0,85 para correlações bivariadas, 0,78 para coeficientes OLS).
• ZS-perItem (Zero-Shot, por item) foi o competidor mais forte apenas de prompting (CCC = 0,80), superando o prompting padrão de Few-Shot.
• Decomposição: Um alto CCC requer tanto concordância direcional quanto magnitude correspondente. O LoRA sozinho comprimiu severamente as inclinações (atenuação), enquanto o LoRA + MLP e o FS-perItem mostraram alta concordância de sinal, mas o LoRA + MLP inflou levemente as magnitudes.

Fidelidade Marginal

• LoRA + MLP alcançou o menor EMD em todos os três resumos escalares, indicando a correspondência mais próxima com as distribuições populacionais de verdade fundamental.
• Retificação PPI: O PPI corrigiu efetivamente os simuladores mais enviesados (ex: Zero-Shot), mas foi algebricamente degenerado para modelos ajustados (fine-tuned). Quando um modelo memoriza perfeitamente o piloto (erro de treinamento $\to$ 0), o termo de correção PPI colapsa, reduzindo o método ao valor médio bruto do simulador retido.

Fidelidade Individual

• LoRA + MLP liderou em concordância relativa ($r_d = 0,37$), significando que melhor preservou o ranking dos respondentes por discernimento.
• ZS-perItem e FS-perItem alcançaram o menor erro absoluto ($MAE_d = 0,58$), significando que seus valores previstos estavam mais próximos da verdade fundamental em média, embora classifiquem os respondentes com menos precisão.
• Limitação: Mesmo o melhor método explicou apenas ~14% da variância inter-respondente no discernimento, sugerindo que os LLMs são atualmente inadequados como substitutos diretos para a medição de nível individual de participantes.

Fidelidade de Subgrupo (Alinhamento Pluralista)

• A fidelidade não foi uniforme entre subgrupos demográficos. Para o melhor modelo (LoRA + MLP), a fidelidade estrutural (CCC) caiu significamente para subgrupos específicos (ex: de 0,85 geral para 0,40 para conservadores). Isso indica que a fidelidade agregada alta pode mascarar uma distorção estrutural ou homogeneização de grupos de identidade específicos.

4. Principais Contribuições

1. Reenquadramento: Definiu a simulação de pesquisa via LLM como uma tarefa de recuperabilidade, decompondo o sucesso nos eixos de fidelidade Estrutural, Marginal e Individual.
2. Protocolo de Avaliação: Introduziu um protocolo calibrado mapeando cada eixo para métricas específicas (Lin's CCC, EMD, $r_d$/MAE pareados) para detectar diferentes modos de falha.
3. Benchmark Empírico: Realizou uma comparação direta entre prompting, retificação PPI e ajuste fino (fine-tuning) em uma pesquisa real de desinformação, demonstrando que o ajuste fino em pequenos pilotos oferece uma abordagem equilibrada para alcançar múltiplas formas de fidelidade.
4. Auditoria de Subgrupo: Destacou que a recuperação estatística degrada para certos subgrupos de identidade, levantando preocupações para o alinhamento pluralista.

5. Significância e Alegações

O artigo afirma que as simulações de pesquisa baseadas em LLM não devem ser tratadas como "substitutos diretos" para respondentes humanos. Em vez disso, devem ser avaliadas como modelos generativos condicionais.

• Insight Metodológico: A escolha da cabeça de saída (autorregressiva vs. classificação) impacta significativamente a fidelidade; uma mudança arquitetônica simples (adicionar uma cabeça MLP) melhorou drasticamente o desempenho em relação ao LoRA padrão.
• Limitação da Retificação: O PPI é uma ferramenta condicional que beneficia simuladores enviesados, mas falha para modelos ajustados devido à memorização do conjunto de treinamento.
• Risco Pluralista: A alta fidelidade agregada pode mascarar falhas sistemáticas em subgrupos minoritários, necessitando de auditorias específicas por subgrupo.
• Lacuna de Fidelidade Individual: Existe uma lacuna significativa na precisão da previsão ao nível individual, sugerindo que os LLMs são atualmente melhores para estimar estatísticas de nível populacional do que perfis psicométricos individuais.

Os autores concluem que, embora o ajuste fino em pequenos pilotos seja promissor, o campo deve avançar em direção a uma avaliação rigorosa de múltiplos eixos para garantir que os dados sintéticos não amplifiquem vieses pré-existentes ou distorçam perspectivas de minorias no design de políticas ou intervenções.