Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design

논문 요약: 약물역학 연구 설계 지원을 위한 일반 목적 및 생물의학 대규모 언어 모델 (LLM) 의 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 약물역학 (Pharmacoepidemiology) 분야에서 증거 생성의 신속한 요구가 증가함에 따라, 연구 설계 및 데이터 품질 관리에 인공지능 (AI) 과 대규모 언어 모델 (LLM) 의 활용이 주목받고 있습니다. FDA 와 EMA 와 같은 규제 기관들도 LLM 을 문서 분석 및 독성 평가 등에 활용하는 방안을 모색 중입니다.
• 문제점:
  • 기존 오프 - 더 - 선 (off-the-shelf) 일반 목적 LLM 들은 약물역학 연구 설계와 같은 복잡한 방법론적 작업에서 정확성 부족과 오류를 보였습니다.
  • 반면, 생물의학 데이터로 미세 조정 (fine-tuning) 된 생물의학 특화 LLM이 일반 목적 모델보다 이 분야에서 더 우수한 성능을 보이는지에 대한 체계적인 비교 연구는 부족했습니다.
  • 연구 설계는 시간적 평가 창, 포함/제외 기준, 노출 정의, 그리고 표준 용어 (Ontology) 코드 매핑 등 여러 상호 연관된 요소를 정확하게 식별하고 구성해야 하므로, 단순한 지식 검색을 넘어선 논리적 추론이 필요합니다.

2. 연구 방법론 (Methodology)

• 데이터 소스: 2018 년부터 2024 년까지의 46 개 약물역학 프로토콜을 분석 대상으로 사용했습니다.
  • HMA-EMA 카탈로그 (DARWIN EU® 프로토콜 16 개, 비-DARWIN 전문가 개발 프로토콜 15 개)
  • Sentinel System (15 개)
• 평가 모델:
  • 일반 목적 LLM: GPT-4o, DeepSeek-R1
  • 생물의학 특화 LLM (미세 조정 모델): Bio-Medical-Llama-3-8B, DeepSeek-r1-Medical-Mini, gemma-medical_qa-Finetune, qwen2-1.5B-medical_qa-Finetune 등 4 개 모델.
• 프롬프트 엔지니어링 전략: 7 가지 전략 (기본 프롬프트, 합성 프롬프트, Active Prompting, Plan-and-Solve, Least-to-Most (LTM), Tree-of-Thought, 분해 프롬프트) 을 적용하여 42 가지 모델 - 프롬프트 조합을 사전 평가 후, 상위 5 개 조합을 선정하여 본 분석을 수행했습니다.
  • 주요 선정 조합: GPT-4o (LTM), GPT-4o (Active Prompt), DeepSeek-R1 (LTM), Bio-Llama-3 (LTM), Qwen-medical (LTM).
• 평가 지표 (Gold Standard): 인간 전문가 (2 명) 가 추출한 정답을 기준으로 다음을 평가했습니다.
  1. 관련성 (Relevance): 5 점 리커트 척도 (1=부정확, 5=매우 정확).
  2. 논리적 정당성 (Logic of Justification): 추론의 일관성과 방법론적 엄격성 평가 (5 점 척도).
  3. 용어 - 코드 일치도 (Ontology-Code Agreement): 노출 및 결과 변수에 대한 ICD, SNOMED, ATC, RxNorm 등 표준 코드 매핑 정확도.
  4. 오류 패턴: 자동 생성된 무관한 질문, 정당성 부재, 알고리즘 불이행 등 정성적 분석.

3. 주요 결과 (Key Results)

• 모델 성능 비교:
  • 일반 목적 LLM 의 우세: GPT-4o 와 DeepSeek-R1 이 Least-to-Most (LTM) 프롬프트 전략과 결합되었을 때, 관련성과 논리적 정당성 측면에서 생물의학 특화 LLM 보다 일관되게 우수한 성능을 보였습니다.
  • 특히 HMA-EMA 프로토콜의 경우 GPT-4o-LTM 은 9 개 질문 중 8 개에서 중앙값 4 점 (높은 정확도) 을 기록하며 가장 안정적인 성능을 입증했습니다.
  • 생물의학 LLM 은 전반적으로 관련성이 낮았으며, 종종 추론이 부족하거나 불충분한 정당성을 제공했습니다.
• 프롬프트 전략의 영향:
  • LTM (Least-to-Most) 전략이 Active Prompting 등 다른 전략보다 복잡한 약물역학 추론 작업 (연구 설계, 노출 정의 등) 에서 더 높은 점수와 좁은 점수 분포를 보였습니다. 이는 복잡한 작업을 하위 작업으로 분해하여 순차적으로 해결하게 함으로써 추론 체인의 완성도를 높였기 때문입니다.
  • 다만, LTM 은 초기 단계의 오류가 후속 단계로 전파될 수 있는 위험 (outlier 발생) 을 내포하고 있음이 확인되었습니다.
• 프로토콜 소스의 영향:
  • 프로토콜의 구조와 명확성이 모델 성능에 큰 영향을 미쳤습니다. HMA-EMA 프로토콜이 가장 일관된 높은 점수를 낸 반면, DARWIN EU® 프로토콜은 상대적으로 낮은 점수와 큰 변동을 보였습니다. 이는 모델이 입력된 텍스트의 구조와 보고 스타일에 민감하게 반응함을 시사합니다.
• 용어 - 코드 매핑의 한계:
  • 모든 LLM 에서 **Ontology-Code 매핑 (ICD, SNOMED, RxNorm 등)**은 narrative(서술형) 설계 작업에 비해 성능이 현저히 낮았습니다.
  • ATC 코드 등 일부 시스템에서는 어느 정도 성과가 있었으나, 복잡한 코드 시스템에서는 일치도가 매우 낮았으며, 이는 LLM 이 자유 텍스트 추론만으로는 정확한 코딩을 수행하기 어렵다는 것을 의미합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 도메인 특화 모델에 대한 통찰: 생물의학 분야에 특화된 미세 조정 모델이 반드시 일반 목적 모델보다 복잡한 방법론적 추론 (연구 설계) 에서 우월한 것은 아님을 증명했습니다. 오히려 광범위한 의미 이해와 지시 따르기 (instruction-following) 능력이 중요한 이 작업에서는 일반 목적 모델이 더 효과적이었습니다.
• 프롬프트 엔지니어링의 중요성: 단순한 모델 선택보다 **프롬프트 전략 (특히 LTM)**이 성능을 결정하는 핵심 요소임을 강조했습니다. 복잡한 약물역학 연구 설계는 단계별 추론이 필수적임을 보여줍니다.
• 실무적 함의:
  • LLM 은 연구 설계의 초안 작성이나 논리적 정당성 검토에는 유용할 수 있으나, 표준 용어 (Ontology) 코딩 작업에는 여전히 인간 전문가의 검증이나 규칙 기반 시스템이 필수적임을 강조했습니다.
  • 규제 기관 (EMA, FDA 등) 이 LLM 을 활용하기 위해서는 프로토콜의 표준화와 구조화가 모델 성능 향상에 필수적임을 시사합니다.
• 공개 데이터: 연구에 사용된 모든 프로토콜, 추출 데이터, LLM 출력, 평가 코드 및 프롬프트는 GitHub 를 통해 공개되어 재현성을 보장합니다.

5. 결론

이 연구는 오프 - 더 - 선 일반 목적 LLM (GPT-4o, DeepSeek-R1) 이 생물의학 특화 LLM 보다 약물역학 연구 설계 지원에 더 효과적일 수 있음을 보여주었습니다. 특히 Least-to-Most 프롬프트 전략은 모델의 추론 능력을 극대화하는 데 중요한 역할을 했습니다. 그러나 용어 코딩과 같은 기술적 정확성이 요구되는 영역에서는 여전히 한계가 존재하므로, LLM 을 보조 도구로 활용하되 인간 전문가의 감수 (oversight) 와 규칙 기반 검증이 병행되어야 함을 결론지었습니다.