Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

논문 요약: FHIR 데이터 직렬화 전략이 LLM 기반 약물 조정에 미치는 영향

1. 문제 제기 (Problem)

• 배경: 임상적 이관 (전환, 퇴원) 시 약물 조정 (Medication Reconciliation) 은 오류가 발생하기 쉽고 치명적인 결과를 초래할 수 있는 고위험 작업입니다. 최근 대규모 언어 모델 (LLM) 이 FHIR(Fast Healthcare Interoperability Resources) 기반의 전자 건강 기록 (EHR) 을 활용하여 이 작업을 보조하는 방안이 제안되고 있습니다.
• 핵심 문제: FHIR R4 표준은 RxNorm, SNOMED 등의 수치적 온톨로지 코드를 기반으로 한 심층 중첩 JSON 형식입니다. 한 환자의 전체 FHIR 번들은 80 만 줄 이상의 JSON 코드를 포함할 수 있어 현재 LLM 의 컨텍스트 윈도우를 초과합니다.
• 연구 질문: 모델에 입력되기 전 FHIR 데이터를 어떻게 직렬화 (Serialization) 하느냐 (예: 원본 JSON, 마크다운 테이블, 임상 서술, 시간순 타임라인) 가 모델의 성능에 어떤 영향을 미치는지에 대한 체계적인 연구는 부재했습니다. 대부분의 파이프라인은 편의성이나 관례에 따라 형식을 선택할 뿐, 어떤 형식이 최적인지에 대한 실증적 근거가 부족했습니다.

2. 방법론 (Methodology)

이 연구는 통제된 벤치마크를 통해 4 가지 직렬화 전략과 5 가지 오픈 가중치 모델을 비교했습니다.

• 데이터셋:
  • Synthea(오픈 소스 환자 시뮬레이터) 를 사용하여 생성된 200 명의 합성 환자 데이터.
  • 각 환자는 10 년 이상의 약물 기록을 가지며, 활성 (Active) 약물의 수는 1 개에서 16 개 (중앙값 5 개) 까지 다양함.
  • Ground Truth 는 MedicationRequest 리소스 중 상태가 "active"인 약물의 고유 이름 집합으로 정의됨.
• 직렬화 전략 (4 가지):
  1. Raw JSON (A): 중첩된 FHIR JSON 형식 (활성 약물을 우선시하여 100 개 리소스로 제한).
  2. Markdown Table (B): 약물, 코드, 상태, 날짜, 용량 등을 열로 가진 마크다운 테이블.
  3. Clinical Narrative (C): 활성 약물을 먼저 명시하고 과거 약물을 구분하여 자연어 문장 형태로 서술.
  4. Chronological Timeline (D): 상태와 무관하게 날짜순으로 정렬된 파이프 (|) 구분 타임라인.
• 평가 모델 (5 가지):
  • Phi-3.5-mini (3.8B), Mistral-7B, BioMistral-7B (도메인 사전 학습만 수행), Llama-3.1-8B, Llama-3.3-70B.
  • 모든 모델은 Ollama 를 통해 로컬 (AWS g6e.xlarge, NVIDIA L40S) 에서 4-bit 양자화로 실행됨.
• 평가 지표:
  • 정밀도 (Precision), 재현율 (Recall), F1 점수.
  • 엄격한 정확한 문자열 일치 (Exact String Match) 기준 적용 (약물 이름의 미세한 차이도 오답으로 간주).
  • 총 4,000 회 추론 실행 (200 환자 × 4 전략 × 5 모델).

3. 주요 기여 (Key Contributions)

1. 체계적 벤치마크: 200 명의 합성 환자에 대해 4 가지 전략과 5 가지 모델을 조합한 4,000 회 추론 실행을 통해 정밀도, 재현율, F1 점수를 측정했습니다.
2. 모델 크기에 따른 최적 전략 발견: 직렬화 전략의 효과가 모델 크기에 따라 통계적으로 유의미하게 달라진다는 것을 입증했습니다.
   • 8B 이하 모델: '임상 서술 (Clinical Narrative)' 형식이 가장 우수함.
   • 70B 모델: '원본 JSON (Raw JSON)' 형식이 가장 우수함.
3. 오류 패턴 분석: 모든 모델과 전략 조합에서 재현율 (Recall) 보다 정밀도 (Precision) 가 더 높음을 발견했습니다. 즉, 모델이 약물을 임의로 생성 (할루시네이션) 하는 것보다 실제 활성 약물을 누락 (Omission) 하는 경향이 훨씬 강합니다.
4. 작은 모델의 용량 한계 (Capacity Ceiling): 8B 이하 모델은 활성 약물이 7~10 개를 초과하는 복잡한 환자 (다약제 복용) 에서는 성능이 급격히 저하됨을 확인했습니다.
5. 도메인 학습의 한계: 지시 튜닝 (Instruction Tuning) 없이 PubMed Central 데이터로만 추가 학습된 BioMistral-7B 는 모든 전략에서 0 점의 성능을 보였으며, 구조화된 추출 작업에 도메인 학습만으로는 부족함을 증명했습니다.

4. 주요 결과 (Results)

• 직렬화 전략의 영향:
  • 8B 이하 모델 (Mistral-7B, Llama-3.1-8B 등): 'Clinical Narrative (C)'가 'Raw JSON (A)'보다 월등히 우수했습니다. 특히 Mistral-7B 의 경우 F1 점수가 0.7247(A) 에서 0.9149(C) 로 약 19 포인트 향상되었습니다.
  • 70B 모델 (Llama-3.3-70B): 역전 현상이 발생하여 'Raw JSON (A)'이 가장 높은 F1 점수 (0.9956) 를 기록했습니다. 'Clinical Narrative (C)'도 0.9850 으로 높았으나, 'Chronological Timeline (D)'은 0.8742 로 성능이 떨어졌습니다.
• 오류 유형 (누락 vs 할루시네이션):
  • 모든 20 가지 조합에서 평균 정밀도가 평균 재현율보다 높았습니다.
  • 임상적 함의: 모델은 거짓 약물을 생성하기보다 실제 약물을 놓치는 경향이 있으므로, 임상적 안전 감사 (Auditing) 는 "모델이 무엇을 놓쳤는가 (완전성 확인)"에 초점을 맞춰야 합니다.
• 다약제 복용 환자 (Polypharmacy) 에 대한 한계:
  • 8B 이하 모델은 활성 약물이 7~10 개를 넘으면 재현율이 급격히 떨어집니다 (Mistral-7B 의 경우 11 개 약물 시 재현율 0.24).
  • 반면 70B 모델은 16 개 약물까지 거의 완벽한 재현율을 유지합니다. 이는 작은 모델이 긴 기록 자체를 처리하지 못하는 것이 아니라, 출력 생성 능력 (Output Generation Capacity) 에 한계가 있기 때문임을 시사합니다.
• BioMistral-7B 의 실패:
  • 도메인 지식은 풍부하지만 지시 튜닝이 없는 BioMistral-7B 는 모든 전략에서 F1=0.0000 을 기록했습니다. 지시 따르기 (Instruction Following) 능력이 소실되어 구조화된 JSON 출력을 전혀 생성하지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 배포 전략의 명확한 가이드라인:
  • 7B~8B 모델 사용 시: 전처리 단계로 Clinical Narrative 형식을 사용하는 것이 비용 증가 없이 성능을 극대화하는 최적의 전략입니다.
  • 70B 이상 모델 사용 시: Raw JSON이 더 간단하면서도 미세하게 더 나은 성능을 보입니다.
• 안전 감사의 재정의: LLM 기반 약물 조정 시스템의 주요 위험은 '거짓 약물 생성'이 아니라 '실제 약물 누락'입니다. 따라서 임상가는 모델이 생성한 목록의 정확성을 검증하기보다, 누락된 약물이 없는지 확인하는 데 주력해야 합니다.
• 모델 크기의 중요성: 복잡한 다약제 환자를 다루는 경우, 직렬화 전략의 선택보다 **모델의 규모 (Scale)**가 성능을 결정하는 더 중요한 요소일 수 있습니다.
• 도메인 학습의 한계: 의료 전문 지식을 가진 모델이라도 **지시 튜닝 (Instruction Tuning)**이 없으면 구조화된 데이터 추출 작업에서 쓸모없는 결과를 낳을 수 있음을 경고합니다.

이 연구는 임상 LLM 배포 시 데이터 포맷이 단순한 기술적 선택이 아니라, 환자 안전과 직접적으로 연결된 성능 변수임을 실증적으로 입증했습니다.