More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

Resumo Técnico: Mais Parâmetros do que Populações

Definição do Problema
A pesquisa de levantamento (survey), tradicionalmente um campo de força humana, está passando por uma mudança significativa devido à rápida integração dos Grandes Modelos de Linguagem (LLMs). Embora a pesquisa de levantamento tenha um histórico de adoção de ferramentas tecnológicas para coleta e análise de dados, as propriedades únicas e os riscos dos LLMs exigem um exame estruturado de sua aplicação atual. O campo está transitando da idealização conceitual para a implementação prática, mas há uma necessidade de avaliar sistematicamente como os LLMs estão sendo utilizados atualmente em todo o fluxo de pesquisa de levantamento, identificar potenciais armadilhas e compreender a relação recíproca onde a pesquisa de levantamento pode melhorar o desenvolvimento dos LLMs.

Metodologia
Os autores realizaram uma revisão sistemática da literatura seguindo as diretrizes PRISMA 2020. O processo envolveu:

• Recuperação de Dados: Buscas por palavras-chave foram realizadas em três bases de dados de grande escala (arXiv, Semantic Scholar e Web of Science) utilizando 10 palavras-chave específicas de LLM e 62 relacionadas a levantamentos.
• Critérios de Seleção: A busca inicial resultou em 1.766 publicações candidatas. Após a deduplicação, restaram 1.099 artigos únicos. Os artigos foram excluídos se não estivessem em inglês ou se estivessem fora da janela de publicação de seis anos (janeiro de 2019 – janeiro de 2025), deixando 965 artigos para revisão de resumo.
• Corpus Final: Após a revisão de resumos pela equipe de pesquisa, 1 Man 161 artigos foram considerados elegíveis. Adicionais 28 artigos foram identificados através de análise de rede de citações (artigos que citavam ou eram citados e não estavam no conjunto inicial), resultando em um corpus final de 189 artigos.
• Análise: Um autor realizou a revisão desses 189 artigos, classificando-os com base na fase do processo de levantamento (pré-coleta de dados, coleta de dados, pós-coleta de dados) e na aplicação específica do LLM.

Principais Contribuições e Resultados
O artigo sintetiza as descobertas mapeando as aplicações de LLM nas três amplas fases do processo de pesquisa de levantamento:

1. Pré-Coleta de Dados: Esta fase abrange a redação de questionários, geração de itens, tradução, desenhos de amostragem e recrutamento.
   • Descobertas: As aplicações empíricas estão concentradas aqui. Por exemplo, Adhikari et al. (2025) demonstraram o uso de LLMs para simular entrevistas cognitivas para testes prévios de questionários transculturais, adaptando itens dos EUA para populações sul-africanas.
2. Coleta de Dados: Esta fase inclui entrevistas assistidas por IA e "amostragem de silício" (geração de dados via modelos em vez de respondentes humanos).
   • Descobertas: A pesquisa inclui a criação de modelos "doppelgänger" (Cho et al., 2024) que realizam o ajuste fino (fine-tuning) de LLMs em dados conversacionais individuais para prever respostas de pesquisas. No entanto, os autores observam descobertas cautelosas de Bisbee et al. (2024) e Mellon et al. (2024) relativas ao risco de os LLMs alucinarem respostas ou classificarem incorretamente opiniões políticas matizadas, levantando preocupações sobre a precisão representativa e a validade de construto em amostras de silício.
3. Pós-Coleta de Dados: Esta fase engloba processamento de dados, ponderação, imputação, sumarização, geração de relatórios e curadoria de conjuntos de dados.
   • Descobertas: LLMs estão sendo implantados para classificação de dados de texto aberto, como Li et al. (2024) extraindo sentimento de acessibilidade de avaliações do Google Maps para informar o design urbano.

Temas e Ferramentas Emergentes
A revisão identificou um subconjunto menor de artigos focados em ferramentas e métodos em desenvolvimento, em vez de aplicações totalmente realizadas. Estes incluem:

• Detecção de Fraude: Métodos para identificar saídas geradas por LLM para auxiliar na detecção de respondentes fraudulentos (Nathanson et al., 2024).
• Dados Sintéticos: Novos frameworks para gerar amostras e dados sintéticos usando LLMs (ex: Balog et al., 2024).
• Melhoria Recíproca: A revisão também notou artigos excluídos que sugerem como a pesquisa de levantamento pode melhorar os LLMs, especificamente através da curadoria de dados de treinamento/benchmark (Xie et al., 2024) e usando pesquisas para entender percepções da indústria sobre LLMs (Gasparini et al., 2024; Johnson et al., 2024).

Significância e Perspectiva Futura
O artigo afirma que o estado atual da aplicação de LLM na pesquisa de levantamento é desigual. Enquanto tarefas de pré-coleta de dados (como redação de itens e tradução) são bem exploradas, práticas centrais como entrevistas ao vivo, recrutamento e adaptação translinguística permanecem subinvestigadas, apesar das capacidades dos LLMs como processadores multimodais e multilíngues.

Os autores enfatizam que poucos estudos avaliam sistematicamente os LLMs através de múltiplas populações, idiomas ou tópicos, deixando questões sobre generalizabilidade. A significância deste trabalho reside em destacar que a pesquisa de levantamento, com sua longa experiência em avaliar fontes de erro e garantir a qualidade dos dados, está posicionada de forma única para guiar a integração responsável e eficaz dos LLMs em fluxos de trabalho científicos.

Próximos Passos
Os autores delineiam planos para implementar a dupla codificação no corpus de 189 artigos, combinando codificação manual com abordagens baseadas em IA. A codificação futura classificará os artigos por status teórico vs. empírico, LLMs específicos utilizados, populações/idiomas cobertos, domínios substantivos e condições para o sucesso. Esta análise mais profunda visa revelar como os dados de treinamento, a arquitetura do modelo e os desenhos de pesquisa dos LLMs apresentam desafios para o aumento da pesquisa de levantamento.