More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

Technische Samenvatting: Meer Parameters dan Populaties

Probleemstelling
Enquêterechend onderzoek, traditioneel een door mensen aangedreven veld, ondergaat momenteel een significante verschuiving door de snelle integratie van Large Language Models (LLM's). Hoewel enquêterechend onderzoek een geschiedenis heeft van het adopteren van technologische hulpmiddeling voor gegevensverzameling en -analyse, vereisen de unieke mogelijkheden en risico's van LLM's een gestructureerde examinering van hun huidige toepassing. Het vakgebied bevindt zich in de overgang van conceptuele ideatie naar praktische implementatie, maar er is een behoefte aan een systematische beoordeling van hoe LLM's momenteel worden ingezet binnen de gehele enquête-pipeline, het identificeren van potentiële valkuilen, en het begrijpen van de wederkerige relatie waarbij enquêterechend onderzoek de ontwikkeling van LLM's kan verbeteren.

Methodologie
De auteurs hebben een systematisch literatuuronderzoek uitgevoerd volgens de PRISMA 2020-richtlijnen. Het proces omvatte:

• Gegevensretrieval: Zoekopdrachten met trefwoorden werden uitgevoerd in drie grootschalige databases (arXiv, Semantic Scholar en Web of Science) met behulp van 10 LLM-specifieke en 62 enquerespecifieke trefwoorden.
• Selectiecriteria: De initiële zoekopdracht leverde 1.766 kandidaat-publicaties op. Na deduplicatie bleven er 1.099 unieke papers over. Papers werden uitgesloten als ze niet in het Engels waren of buiten de zesjarige publicatieperiode (januari 2019 – januari 2025) vielen, wat resulteerde in 965 papers voor abstractbeoordeling.
• Definitieve Corpus: Na abstractbeoordeling door het onderzoeksteam werden 161 papers als in aanmerking komend beschouwd. Aanvullend werden 28 papers geïdentificeerd via de citatienetwerkanalyse (geciteerde of citerende papers die niet in de initiële set zaten), wat resulteerde in een definitieve corpus van 189 papers.
• Analyse: Eén auteur voerde een review uit van deze 189 papers, waarbij ze werden geclassificeerd op basis van de fase van het enquêteproces (pre-dataverzameling, dataverzameling, post-dataverzameling) en de specifieke toepassing van de LLM.

Belangrijkste Bijdragen en Resultaten
Het artikel synthetiseert de bevindingen door LLM-toepassingen in kaart te brengen over drie brede fasen van het enquêterechend proces:

1. Pre-Dataverzameling: Deze fase omvat vragenlijstformulering, itemgeneratie, vertaling, steekproefontwerpen en werving.
   • Bevindingen: Empirische toepassingen zijn hier geconcentreerd. Zo toonden Adhikari et al. (2025) bijvoorbeeld aan dat LLM's gebruikt kunnen worden voor het simuleren van cognitieve interviews voor het testen van cross-culturele vragenlijsten, waarbij Amerikaanse items werden aangepast aan Zuid-Afrikaanse populaties.
2. Dataverzameling: Deze fase omvat AI-ondersteunde interviews en "silicon sampling" (het genereren van data via modellen in plaats van menselijke respondenten).
   • Bevindingen: Onderzoek omvat de creatie van "doppelgänger"-modellen (Cho et al., 2024) die LLM's finetunen op individuele conversationele data om enquête-responsen te voorspellen. De auteurs merken echter waarschuwingen op van Bisbee et al. (2024) en Mellon et al. (2024) met betrekking tot het risico dat LLM's antwoorden hallucineren of genuanceerde politieke meningen verkeerd classificeren, wat zorgen oproept over de representatieve nauwkeurigheid en constructvaliditeit in silicon samples.
3. Post-Dataverzameling: Deze fase omvat gegevensverwerking, weging, imputatie, samenvatting, rapportgeneratie en datasetcuratie.
   • Bevindingen: LLM's worden ingezet voor de classificatie van open tekstgegevens, zoals Li et al. (2024) die toegankelijkheidssentiment extraheren uit Google Maps-reviews om stedelijk ontwerp te informeren.

Opkomende Thema's en Tools
De review identificeerde een kleinere subset van papers die zich richt op tools en methoden in ontwikkeling in plaats van volledig gerealiseerde toepassingen. Deze omvatten:

• Fraudedetectie: Methoden om LLM-gegenereerde output te identificeren om te assisteren bij het detecteren van frauduleuze respondenten (Nathanson et al., 2024).
• Synthetische Data: Nieuwe kaders voor het genereren van synthetische samples en data met behulp van LLM's (bijv. Balog et al., 2024).
• Wederkerige Verbetering: De review merkte ook uitgesloten papers op die suggereren hoe enquêterechend onderzoek LLM's kan verbeteren, specifiek door de curatie van trainings-/benchmarkdata (Xie et al., 2024) en het gebruik van enquêtes om de perceptie van de industrie over LLM's te begrijpen (Gasparini et al., 2024; Johnson et al., 2024).

Significantie en Toekomstperspectief
Het artikel stelt dat de huidige staat van LLM-toepassing in enquêterechend onderzoek ongelijkmatig is. Terwijl taken in de pre-dataverzamelfase (zoals itemformulering en vertaling) goed verkend zijn, blijven kernpraktijken zoals live interviewen, werving en cross-linguale adaptatie onderbelicht, ondanks de capaciteiten van LLM's als multi-modale en multi-linguale verwerkers.

De auteurs benadrukken dat weinig studies systematisch de LLM's beoordelen over meerdere populaties, talen of onderwerpen, wat vragen oproept over generaliseerbaarheid. De significantie van dit werk ligt in het feit dat het benadrukt dat de enquêterechend onderzoek, met zijn langdurige expertise in het beoordelen van foutbronnen en het waarborgen van datakwaliteit, uniek gepositioneerd is om de verantwoorde en effectieve integratie van LLM's in wetenschappelijke workflows te begeleiden.

Volgende Stappen
De auteurs schetsen plannen om dubbele codering uit te voeren op de 189-paper corpus, waarbij handmatige codering wordt gecombineerd met AI-gebaseerde benaderingen. Toekomstige codering zal papers classificeren op basis van theoretische versus empirische status, specifieke gebruikte LLM's, gedekte populaties/talen, substantiële domeinen en succescondities. Deze diepere analyse beoogt te onthullen hoe de trainingsdata van LLM's, modelarchitectuur en onderzoeksontwerpen uitdagingen vormen voor het aanvullen van enquêterechend onderzoek.