More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

Technisches Resümee: Mehr Parameter als Populationen

Problemstellung
Die Umfrageforschung, traditionell ein von Menschen geprägtes Feld, durchläuft derzeit einen signifikanten Wandel aufgrund der rasanten Integration von Large Language Models (LLMs). Während die Umfrageforschung eine Geschichte der Einführung technologischer Werkzeuge zur Datenerhebung und -analyse hat, erfordern die einzigartigen Vorzüge und Risiken von LLMs eine strukturierte Untersuchung ihrer aktuellen Anwendung. Das Feld befindet sich im Übergang von der konzeptionellen Ideengenerierung zur praktischen Implementierung, doch besteht die Notwendigkeit, systematisch zu bewerten, wie LLMs derzeit über die gesamte Pipeline der Umfrageforschung hinweg genutzt werden, potenzielle Fallstricke zu identifizieren und die wechselseitige Beziehung zu verstehen, in der die Umfrageforschung die LLM-Entwicklung verbessern könnte.

Methodik
Die Autoren führten eine systematische Literaturrecherche gemäß den PRISMA-2020-Richtlinien durch. Der Prozess umfasste:

• Datenabruf: Es wurden Schlagwortsuchen in drei groß angelegten Datenbanken (arXiv, Semantic Scholar und Web of Science) unter Verwendung von 10 LLM-spezifischen und 62 umfragebezogenen Schlüsselwörtern durchgeführt.
• Selektionskriterien: Die initiale Suche ergab 1.766 Kandidatenpublikationen. Nach der Dublettenprüfung verblieben 1.099 eindeutige Arbeiten. Arbeiten wurden ausgeschlossen, wenn sie nicht auf Englisch verfasst waren oder außerhalb des sechsjährigen Publikationszeitraums (Januar 2019–Januar 2025) lagen, was 965 Arbeiten für die Abstract-Überprüfung hinterließ.
• Finaler Korpus: Nach der Abstract-Überprüfung durch das Forschungsteam wurden 161 Arbeiten als geeignet eingestuft. Weitere 28 Arbeiten wurden durch eine Zitationsnetzwerkanalyse identifiziert (zitierte oder zitierende Arbeiten, die nicht im ursprünglichen Satz enthalten waren), was zu einem finalen Korpus von 189 Arbeiten führte.
• Analyse: Ein Autor führte eine Überprüfung dieser 189 Arbeiten durch und klassifizierte sie basierend auf der Phase des Umfrageprozesses (vor der Datenerhebung, während der Datenerhebung, nach der Datenerhebung) und der spezifischen Anwendung des LLM.

Wesentliche Beiträge und Ergebnisse
Die Arbeit synthetisiert die Ergebnisse, indem sie LLM-Anwendungen auf drei breite Phasen des Umfrageforschungsprozesses abbildet:

1. Vor der Datenerhebung: Diese Phase umfasst das Schreiben von Fragebögen, die Item-Generierung, Übersetzung, Stichprobendesign und Rekrutierung.
   • Ergebnisse: Empirische Anwendungen sind hier konzentriert. Beispielsweise demonstrierten Adhikari et al. (2025) die Nutzung von LLMs zur Simulation kognitiver Interviews für das Pretesting kulturübergreifender Fragebögen, um US-Items an südafrikanische Populationen anzupassen.
2. Datenerhebung: Diese Phase beinhaltet KI-gestützte Interviews und „Silicon Sampling“ (Generierung von Daten via Modellen statt durch menschliche Respondenten).
   • Ergebnisse: Die Forschung umfasst die Erstellung von „Doppelgänger“-Modellen (Cho et al., 2024), die LLMs auf individuellen Konversationsdaten feinabstimmen, um Umfrageantworten vorherzusagen. Die Autoren weisen jedoch auf vorsichtige Befunde von Bisbee et al. (2024) und Mellon et al. (2024) hin, die vor dem Risiko warnen, dass LLMs Antworten halluzinieren oder nuancierte politische Meinungen falsch klassifizieren, was Bedenken hinsichtlich der Repräsentationsgenauigkeit und Konstruktvalidität in Silicon-Samples aufwirft.
3. Nach der Datenerhebung: Diese Phase umfasst Datenverarbeitung, Gewichtung, Imputation, Zusammenfassung, Berichterstellung und Datensatz-Kuration.
   • Ergebnisse: LLMs werden für die Klassifizierung von Freitextdaten eingesetzt, wie etwa Li et al. (2024), die Sentiment-Analysen zur Barrierefreiheit aus Google Maps-Bewertungen extrahierten, um das Stadtdesign zu informieren.

Emergente Themen und Werkzeuge
Die Rezension identifizierte eine kleinere Teilmenge von Papern, die sich auf in Entwicklung befindliche Tools und Methoden statt auf voll realisierte Anwendungen konzentrieren. Dazu gehören:

• Betrugserkennung: Methoden zur Identifizierung von LLM-generierten Outputs, um bei der Erkennung betrügerischer Respondenten zu unterstützen (Nathanson et al., 2024).
• Synthetische Daten: Neue Frameworks zur Generierung synthetischer Stichproben und Daten unter Verwendung von LLMs (z. B. Balog et al., 2024).
• Reziproke Verbesserung: Die Rezension stellte auch ausgeschlossene Arbeiten fest, die vorschlagen, wie die Umfrageforschung LLMs verbessern kann, insbesondere durch die Kuratierung von Trainings-/Benchmark-Daten (Xie et al., 2024) und die Nutzung von Umfragen, um die Wahrnehmung der Industrie gegenüber LLMs zu verstehen (Gasparini et al., 2024; Johnson et al., 2024).

Bedeutung und Zukunftsausblick
Die Arbeit behauptet, dass der aktuelle Stand der LLM-Anwendung in der Umfrageforschung ungleichmäßig ist. Während Aufgaben vor der Datenerhebung (wie Item-Writing und Übersetzung) gut erforscht sind, bleiben Kernpraktiken wie Live-Interviews, Rekrutierung und die kulturübergreifende Anpassung unteruntersucht, trotz der Fähigkeiten von LLMs als multimodale und multilinguale Prozessoren.

Die Autoren betonen, dass nur wenige Studien LLMs systematisch über mehrere Populationen, Sprachen oder Themen hinweg bewerten, was Fragen zur Generalisierbarkeit aufwirft. Die Bedeutung dieser Arbeit liegt darin, dass die Umfrageforschung mit ihrer langjährigen Expertise bei der Bewertung von Fehlerquellen und der Sicherstellung der Datenqualität in einer einzigartigen Position ist, um die verantwortungsvolle und effektive Integration von LLMs in wissenschaftliche Arbeitsabläufe zu leiten.

Nächste Schritte
Die Autoren skizzieren Pläne zur Implementierung eines Double-Coding des 189-Paper-Korpus, wobei manuelle Kodierung mit KI-basierten Ansätzen kombiniert wird. Die zukünftige Kodierung wird Arbeiten nach dem theoretischen vs. empirischen Status, den spezifisch verwendeten LLMs, den abgedeckten Populationen/Sprachen, den substanziellen Domänen und den Erfolgsbedingungen klassifizieren. Diese tiefere Analyse zielt darauf ab, aufzuzeigen, wie LLM-Trainingsdaten, Modellarchitektur und Forschungsdesigns Herausforderungen für die Augmentierung der Umfrageforschung darstellen.