More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

기술 요약: 인구보다 많은 매개변수 (More Parameters Than Populations)

문제 제기
전통적으로 인간의 힘에 의존해 온 설문 조사 연구는 현재 대규모 언어 모델(LLM)의 급격한 통합으로 인해 중대한 변화를 겪고 있습니다. 설문 연구는 데이터 수집 및 분석을 위한 기술적 도구를 채택해 온 역사가 있지만, LLM이 가진 독특한 기능과 위험성은 이들의 현재 적용 방식에 대한 구조적인 검토를 필요로 합니다. 이 분야는 개념적 구상 단계에서 실질적인 구현 단계로 전환되고 있으나, LLM이 설문 연구 파이프라인 전반에 걸쳐 어떻게 활용되고 있는지 체계적으로 평가하고, 잠재적인 함정을 식별하며, 설문 연구가 LLM 발전을 개선할 수 있는 상호 관계를 이해할 필요가 있습니다.

방법론
저자들은 PRISMA 2020 가이드라인을 따라 체계적 문헌 고찰을 수행했습니다. 과정은 다음과 같습니다:

• 데이터 검색: 10개의 LLM 관련 키워드와 62개의 설문 관련 키워드를 사용하여 세 개의 대규모 데이터베이스(arXiv, Semantic Scholar, Web of Science)에서 키워드 검색을 수행했습니다.
• 선정 기준: 초기 검색 결과 1,766개의 후보 논문이 도출되었습니다. 중복 제거 후 1,099개의 고유 논문이 남았습니다. 영어가 아니거나 6년의 출판 기간(2019년 1월~2025년 1월)을 벗어나는 논문은 제외되었으며, 초록 검토를 위해 965개의 논문이 남았습니다.
• 최종 코퍼스: 연구팀의 초록 검토를 거쳐 161개의 논문이 적격 판정을 받았습니다. 인용 네트워크 분석(초기 세트에 포함되지 않은 인용 또는 피인용 논문)을 통해 28개의 논문을 추가로 식별하여, 최종 코퍼스는 189개의 논문으로 구성되었습니다.
• 분석: 한 명의 저자가 이 189개의 논문을 검토하여, 설문 과정의 단계(데이터 수집 전, 데이터 수집, 데이터 수집 후)와 LLM의 구체적인 적용 방식에 따라 분류했습니다.

주요 기여 및 결과
본 논문은 LLM 적용 사례를 설문 연구 프로세스의 세 가지 광범ere한 단계로 매핑하여 연구 결과를 종합합니다:

1. 데이터 수집 전 (Pre-Data Collection): 이 단계는 설문지 작성, 문항 생성, 번역, 표본 설계 및 모집을 포함합니다.
   • 결과: 경험적 적용이 이 단계에 집중되어 있습니다. 예를 들어, Adhikari 등(2025)은 미국 문항을 남아프리카 인구에 맞게 조정하는 교차 문화적 설문지의 사전 테스트를 위해 인지 면접을 시뮬레이션하는 데 LLM을 사용하는 것을 입증했습니다.
2. 데이터 수집 (Data Collection): 이 단계는 AI 보조 인터뷰와 "실리콘 샘플링(인간 응답자 대신 모델을 통해 데이터를 생성하는 것)"을 포함합니다.
   • 결야: 연구에는 개인의 대화 데이터에 미세 조정(fine-tuning)하여 설문 응답을 예측하는 "도플갱어" 모델(Cho et al., 2024) 생성이 포함됩니다. 그러나 저자들은 LLM이 응답을 환각하거나(hallucinating) 미묘한 정치적 견해를 잘못 분류할 위험(Bisbee et al., 2024; Mellon et al., 2024)에 대해 주의를 기울이며, 이는 실리콘 샘플의 대표성 정확도와 구성 타당도에 대한 우려를 제기합니다.
3. 데이터 수집 후 (Post-Data Collection): 이 단계는 데이터 처리, 가중치 부여, 대체(imputation), 요약, 보고서 생성 및 데이터 세트 큐레이션을 포괄합니다.
   • 결과: LLM은 도시 설계를 위해 Google Maps 리뷰에서 접근성 감성을 추출하는 Li 등(2024)의 사례와 같이 개방형 텍스트 데이터 분류에 배치되고 있습니다.

신흥 테마 및 도구
본 검토는 완전히 실현된 응용 프로그램보다는 개발 중인 도구 및 방법에 초점을 맞춘 더 작은 하위 집합의 논문들을 식별했습니다. 여기에는 다음이 포함됩니다:

• 부정 행위 탐지: LLM 생성 출력을 식별하여 부정 응답자 탐지를 돕는 방법(Nathanson et al., 2024).
• 합성 데이터: LLM을 사용하여 합성 표본 및 데이터를 생성하기 위한 새로운 프레임워크(예: Balog et al., 2024).
• 상호적 개선: 본 검토는 훈련/벤치마크 데이터의 큐레이션(Xie et al., 2024)과 LLM에 대한 산업계의 인식을 이해하기 위해 설문을 사용하는 것(Gasparini et al., 2024; Johnson et al., 2024)을 통해 설문 연구가 어떻게 LLM을 개선할 수 있는지 제안하는 제외된 논문들도 언급했습니다.

의의 및 향후 전망
본 논문은 설문 연구에서 LLM 적용의 현재 상태가 불균형하다고 주장합니다. 데이터 수집 전 작업(문항 작성 및 번역 등)은 잘 탐구되어 있는 반면, 실시간 인터뷰, 모집, 교차 언어 적응과 같은 핵심 관행은 LLM의 다중 모드 및 다국어 처리 능력에도 불구하고 여전히 조사 부족 상태로 남아 있습니다.

저자들은 여러 인구 집단, 언어 또는 주제에 걸쳐 LLM을 체계적으로 평가하는 연구가 거의 없다는 점을 강조하며, 이는 일반화 가능성에 대한 의문을 남깁니다. 이 연구의 의의는 오류 원인을 평가하고 데이터 품질을 보장하는 데 있어 오랜 전문성을 가진 설문 연구가 과학적 워크플로에 LLM을 책임감 있고 효과적으로 통합하도록 안내할 수 있는 독보적인 위치에 있다는 점을 밝히는 데 있습니다.

다음 단계
저자들은 189개의 논문 코퍼스에 대해 수동 코딩과 AI 기반 접근 방식을 결합한 이중 코딩(double-coding)을 구현할 계획을 설명합니다. 향후 코딩은 이론적 vs 경험적 상태, 사용된 특정 LLM, 대상 인구/언어, 실질적 영역, 그리고 성공 조건별로 분류될 것입니다. 이러한 심층 분석은 LLM 훈련 데이터, 모델 아키텍처 및 연구 설계가 설문 연구를 증강하는 데 어떤 과제를 제기하는지 밝히는 것을 목표로 합니다.