Generation of Synthetic Data in Health Surveys Using Large Language Models

기술 요약: 대규모 언어 모델을 이용한 보건 설문조사의 합성 데이터 생성

문제 정의
고품질의 익명화된 보건 설문 데이터를 확보하는 것은 특히 저소득 및 중소득 국가에서 개인정보 보호 문제, 윤리적 제약, 물류적 장벽으로 인해 제한되는 경우가 많다. 인공지능(AI)을 이용한 합성 데이터 생성은 비용을 절감하고 데이터 접근성을 확대할 수 있는 해결책을 제시하지만, 기존 방식(예: 변이형 오토인코더(VAE), 생성적 적대 신경망(GAN))은 복잡한 보건 설문에 요구되는 맥락적 일관성과 심리측정적 타당성을 유지하는 데 어려움을 겪는 경우가 많다. 또한, 대규모 언어 모델(LLM)이 우울증 및 불안 척도와 같은 잠재 변수의 통계적 특성을 보존하면서 국가 보건 설문에 대해 그럴듯하고 대표성 있는 합성 응답을 생성할 수 있는지에 대한 체계적인 평가가 부족한 실정이다.

연구 방법론
본 연구는 2016년 페루 국립 건강 만족도 조사(ENSUSALUD)의 이차 데이터를 활용하여 외래 의료 서비스 이용자를 대상으로 하는 단면 연구 설계를 채택하였다.

• 데이터 소스 및 페르소나 구축: 연구진은 원본 데이터셋에서 사회인구학적 및 임상적 변수(성별, 연령, 만성 질환 유무)를 추출하여 서사적 "사용자 페르소나"를 구축하였다. 이 프로필들은 AI를 위한 그라운드 트루스(ground truth) 역할을 하도록 CSV 파일로 체계화되었다.
• 모델 아키텍처: 본 연구는 200억 개의 파라미터를 가진 오픈 액세스 LLM인 GPT-OSS-20B를 사용하였다. 모델은 결정론적 출력을 보장하기 위해 온도(temperature)를 0.0으로 설정하여 Ollama 프레임워크를 통해 로컬 서버에서 실행되었다. 미세 조정(fine-tuning)이나 검색 증강 생성(RAG)은 적용되지 않았으며, 모델은 오직 사전 학습된 지식과 제공된 프롬프트에만 의존하였다.
• 프롬프트 엔지니어링: 실험 설계는 두 단계의 상호작용을 사용하였다: 사용자 페르소나를 정의하는 시스템 메시지(예: "45세 여성, 고혈압 환자로 시뮬레이션하라")와 특정 설문 문항을 포함하는 사용자 메시지. 시스템은 범주형 응답이 사전 정의된 옵션과 일치하도록 하고, 수치형 응답이 논리적 범위 내에 있도록 엄격한 제약을 부과하였다. 유효하지 않은 출력은 자동 재시도를 유발하였으며, 지속적인 실패는 결측값(missing data)으로 분류되었다.
• 생성된 변수: 연구에서는 다음 변수들에 대한 응답을 생성하였다:
  • 일관성 변수: 성별, 연령, 만성 질환 유무(고혈압, 당뇨병, 비만, 우울증).
  • 잠재 변수: 원본 ENSUSALUD 데이터셋에는 완전히 포함되어 있지 않았던 환자 건강 설문지(PHQ-9, PHQ-8, PHQ-2) 및 일반 불안 장애 척도(GAD-7, GAD-2)의 전체 버전.
  • 수치/범주형 변수: 키, 몸무게, IQ, 수면 시간.
• 평가 지표:
  • 일관성: 생성된 응답과 페르소나 프로필 간의 정렬을 측정하기 위해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score 및 AUC를 계산하였다.
  • 심리측정적 타당성: WLSMV(Weighted Least Squares Mean and Variance Adjusted) 추정치와 폴리코릭 행렬을 사용하는 확인적 요인 분석(CFA)을 통해 PHQ-9, PHQ-8, GAD-7의 구조적 타당성을 평가하였다. 내부 일관성은 Cronbach's $\alpha$와 McDonald's $\omega$를 통해 측정되었다.
  • 분포 및 안정성: 정규성은 Jarque–Bera 테스트를 통해 검증되었다. 안정성은 합성 측정치와 원본 데이터셋의 실제 PHQ-2 및 EQ-5D 점수 간의 상관관계를 통해 평가되었다.

주요 결과

• 프로필 일관성: LLM은 사용자 페르소나와 매우 높은 일관성을 보였다. 성별, 연령, 만성 질환 상태에 대한 정확도, 정밀도, 재현율 및 F1-score는 1.00에 근접하였다. 구체적으로 성별과 만성 질환 상태는 100%의 일관성을 달だけで, 비만과 고혈압은 약간의 편차(각각 98.6% 및 97.3% 일관성)를 보였다. 전체 사례의 95.9%가 모든 변수에서 완전한 일관성을 나타냈다.
• 심리측정적 특성: 합성 데이터(PHQ-9, PHQ-8, GAD-7)는 최적의 모델 적합 지수(CFI 및 TLI > 0.99; SRMR < 0.02; RMSEA < 0.04)와 높은 내부 일관성($\alpha$ 및 $\omega$ > 0.93)을 나타냈다.
• 실제 데이터와의 상관관계: 합성 측정치는 실제 PHQ-2 점수와 강하고 유의미한 양의 상관관계를 보였으며(예: 합성 PHQ-9 vs 실제 PHQ-2: $r = 0.806$), EQ-5D 삶의 질 점수와는 음의 상관관계를 보여 예상되는 임상적 패턴을 반영하였다.
• 분포적 이상 현상: 몸무게는 모수적 분포를 따랐으나, 키는 기대했던 정규 분포를 보이지 않았다. 또한, 단일 항목 증상 점수는 뚜렷한 중앙 집중적 정점을 가진 비현실적인 분포를 나타냈다. 특히, PHQ-9의 9번 문항(자살 충동)은 다른 문항에 비해 높은 결측률(30.1%)을 보였다.
• 편향 탐지: 민감도 분석 결과, 합성 그룹에서 비만 유병률이 과대평가됨($p = 0.012$)이 발견되었는데, 저자들은 이를 모델이 프로필을 엄격히 준수하기보다 동반 질환(예: 당뇨병과 비만을 연결)을 가정했기 때문이라고 설명하였다.

의의 및 주장
저자들은 본 연구가 국가 보건 설문을 시뮬레이션하고 LLM에 의해 생성된 데이터의 심리측정적 특성을 평가한 첫 번째 연구라고 주장한다. 주요 의의는 현실적인 사용자 페르소나를 조건으로 할 때, LLM이 인구통계학적 및 임상적 특성과 높은 일관성을 유지하면서도 우울증 및 불안 척도에 대한 적절한 심리측정적 특성을 보존하는 합성 데이터를 생성할 수 있음을 입증했다는 데 있다.

본 논문은 이 접근 방식이 다음과 같은 전략으로서 유효하다고 제언한다:

1. 도구 개발: 현장 실시 전 설문지의 문구(예: 혼란스러운 표현 식별)를 시범 운영하고 정교화함.
2. 데이터 접근성: 실제 설문과 유사한 익명화된 데이터셋을 생성하여, 데이터 접근이 제한된 환경에서의 연구를 용이하게 함.
3. 비용 및 시간 효율성: 예비 연구 및 가설 검증에 필요한 자원을 절감함.

한계 및 주의사항
저자들은 추론 목적의 활용 가능성에 대해 신중한 입장을 유지한다. 이들은 다음과 같은 점을 명시적으로 언급하였다:

• 본 연구는 복잡한 설문 설계 가중치(층화, 군집화)를 포함하지 않고, 시뮬레이션된 사례가 균등하게 분포한다고 가정하였다.
• 모델은 특정 페루 맥락에 맞춰 미세 조정되지 않았으며, 대신 일반적인 사전 학습에 의존하였다.
• 분포의 편차(예: 키, 비만 과대평가)와 민감한 항목(자살 충동)에서의 결측값은 이 데이터가 현실의 완벽한 복제본이 아님을 나타낸다.
  저자들은 이 방법이 설문 설계 및 계획 수립에는 유망하지만, 이러한 합성 데이터를 공공 정책이나 임상적 추론에 사용하기 전에는 엄격한 검증과 편향 제어가 필수적이라고 결론지었다. 즉, 이 데이터는 실증적 수집을 대체하는 것이 아니라 이를 보완하는 용도로 사용되어야 한다.