Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

기술 요약: 응용 보건 의료 서비스 연구에서의 대규모, 엄격한 질적 분석을 위한 대규모 언어 모델(LLM)

문제 제기
질적 접근 방식은 케어 전달을 형성하는 맥락적 및 대인 관계적 요인을 이해하기 위해 보건 의료 서비스 연구에서 필수적이다. 그러나 대규모의 응용 연구는 종종 시간과 자원의 제약에 직면하며, 실무자들에게 유의미한 결과를 적시에 제공해야 하는 과제를 안고 있다. 대규모 언어 모델(LLM)은 분석 효율성을 높일 수 있는 잠재력을 제공하지만, 이를 엄격한 질적 연구 워크플로에 통합하는 방법론적 가이드는 여전히 부족한 상태이다. 기존 문헌은 피상적이고 맥락을 간과하는 분류, 방법론적 투명성 저해, 그리고 LLM이 실제 연구 결과에 어떤 영향을 미치는지에 대한 증거 부족 등의 위험성을 강조한다. 또한, 현재의 도구들은 응용 보건 연구의 특정한 맥락 의존적 요구를 충족하지 못하는 경우가 많으며, 상용 플랫폼은 고위험 의료 데이터에 필요한 보안이나 투명성이 결여되어 있는 경우가 잦다.

방법론
저자들은 다수의 지역 사회 보건 센터(FQHC) 내 당뇨병 케어에 관한 다기관 연구에 적용 가능한, 모델 및 태스크 불가지론적(model- and task-agnostic)인 인간-LLM 질적 분석 설계 프레임워크를 제안한다. 이 연구에는 12개의 FQHC, 167개의 인터뷰, 4개의 연구팀이 참여하였다. 이 프레임워크는 다음의 4단계 반복 과정으로 구성된다:

1. 태스크 정의 (Define Task): 목표를 명확히 하고, 출력 형식을 확정하며, 인간 연구자의 친숙함이 필요한 구성 요소를 식별하기 위해 소규모 샘플에서 태스크를 수동으로 수행한다.
2. 인간-LLM 방법 설계 (Design Human-LLM Method): 태스크를 분해하여 인간의 암묵적 지식(예: 맥락 의존적 판단)이 필요한 작업과 자동화에 적합한 작업을 구분한다.
3. 소규모 규모에서의 평가 (Evaluate at Small-Scale): 정량적 지표인 검사자 간 신뢰도(inter-rater reliability) 대신, 질적 엄격성 기준(예: 데이터에 근거한 타당성, 연구 질문과의 일치성) 및 태스크별 목표를 기준으로 소규모 데이터셋에서 인간 전용 출력과 인간-LLM 출력을 비교한다.
4. 적용 및 평가 (Apply and Evaluate): 검증된 방법을 전체 데이터셋에 적용하고, 효율성 및 연구 목표에 미치는 영향을 평가한다.

연구팀은 이 프레임워크를 테스트하기 위해 두 가지 구별된 태스크를 활용하였다:

• 태스크 1 (질적 합성): 연구자가 생성한 사이트별 요약본(~31,200 단어)을 바탕으로 FQHC별 비교 요약 보고서를 생성한다. 연구팀은 사이트 요약의 주제적 조직화를 위해 OpenAI의 ChatGPT-4o를 사용하였고, 교차 사이트 합성을 위해 o1 모델을 사용하였다.
• 태스크 2 (연역적 코딩): 실천 변화 중재(practice-transformation intervention)를 정교화하기 위해 19개의 사전 정의된 코드를 바탕으로 167개의 인터뷰 전사본(~1.3백만 단어)을 코딩한다. 컨텍스트 윈도우(context window)의 제한과 의미론적 검색의 필요성 때문에, 연구팀은 임베딩 기반 검색(OpenAI의 text-embedding-3-large)과 Qdrant 벡터 데이터베이스를 사용하는 검색 증강 생성(RAG) 기술을 구현하였다. "예시 편향(example bias)"과 "긍정 편향(positivity bias)"을 완화하기 위해, 연구팀은 예시를 포함하거나 제외한 채 하위 질문을 던지는 전략을 채택하였으며, 장벽에 대한 역설적 관점(counter-perspectives)을 질문과 결합하였다.

보안 및 인프라는 고위험 의료 데이터 표준을 준수하면서 API를 통해 상용 LLM(ChatGPT-4o, o1, Gemini, Claude, DeepSeek)에 접근할 수 있도록 Stanford SecureGPT를 통해 관리되었다.

주요 결과

• 태스크 1 결과: LLM은 사이트 수준의 데이터를 주제별로 조직화하는 데 성공하였으며, 이는 인간의 그룹화 방식과 밀접하게 일치하였다. 그러나 LLM은 통찰의 참신함이나 실행 가능성을 판단하는 미묘한 차이를 포착하지 못했으며, 종종 무관한 데이터를 포함하거나 정렬되지 않은 입력을 걸러내는 데 실패하였다. 최종적인 인간-LLM 워크플로는 LLM이 데이터를 조직하면 연구자가 이를 최종 합성본으로 정교화하는 방식이었다. 이 접근법은 분석의 질을 서로 다른 관점을 가진 두 명의 인간 연구자와 대등한 수준으로 유지하면서도 분석 시간을 30~55% 단축하였다.
• 태스크 2 결과: RAG 기반의 인간-LLM 방법은 대규모 데이터셋에서 관련 발췌문을 성공적으로 식별하였다. 그러나 LLM은 빈번하게 결과를 일반화하고, 관점이 결여되었으며, 파편화되고 맥락이 제거된 발췌본으로 인해 맥락을 놓치는 경향을 보였다. 인간의 분석은 더 상세한 설명과 대인 관계 역학을 식별한 반면, LLM은 구조와 프로세스에 집중하였다. 연구팀은 LLM 출력물에 상당한 수준의 연구자 검증과 맥락화가 필요함을 발견하였다.
• 효율성 이득: LLM 없이 전체 데이터셋(12개 사이트, 19개 코드)을 코딩하는 데는 약 2년의 풀타임 근무가 필요할 것으로 추정되었다. 인간-LLM 접근법은 9개월의 기한 내에 167개의 전사본 전체를 중재안 정교화 과정에 반영하는 것을 가능하게 하였다.

의의 및 주장
본 논문은 엄격한 방법론적 타당성을 유지하면서 효율성을 높이기 위해 보건 의료 서비스 연구에 LLM을 어떻게 통합할 수 있는지 보여준다고 주장한다. 저자들은 자신들의 프레임워크가 LLM의 범용성을 공식화된 태스크 특정적 방법론으로 활용하기 위한 필수적인 지침을 제공한다고 단언한다. 주요 기여는 다음과 같다:

• 방법론적 지침: LLM이 가치를 더하는 지점(조직화, 고차원적 분석 단계)과 인간의 해석적 통제가 필수적인 지점(이론 개발, 최종 통찰 생성)을 결정하기 위한 구조화된 접근 방식을 제공한다.
• 학제 간 협력: 본 연구는 오프더셸프(off-the-shelf) 솔루션이 불충분하기 때문에, 특정 분석 병목 현상을 해결할 수 있는 맞춤형의 보안 및 투명한 도구를 개발하기 위해 질적 연구자와 컴퓨터 과학 연구자 간의 협력이 필수적임을 강조한다.
• 실제 적용: 본 연구는 응용 보건 연구의 전형적인 특징인 대규모의 이질적인 데이터셋을 분석하는 데 있어 LLM의 유용성에 대한 증거를 제시하며, 이를 통해 실무자에게 적시의 피드백을 제공하고 향후 이행을 위한 당뇨병 케어 중재안을 정교화하였다.

저자들은 현재의 LLM이 전체 데이터셋에 대한 장기 문맥 추론(long-context reasoning) 능력이 부족하며, 투명성과 신뢰성을 확보하기 위해 인간 연구자가 해석적 통제권을 유지해야 한다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지하였다. 그들은 향후 장기 문맥 추론 및 도메인 지식 전이 기술의 발전이 이 분야에서 LLM의 역량을 더욱 향상시킬 수 있을 것이라고 제언하였다.