Enhancing Medical Knowledge in Large Language Models via Supervised Continued Pretraining on Clinical Notes

이 논문은 50 만 건의 익명화된 임상 기록을 기반으로 Qwen3-4B 모델을 지도 학습으로 계속 사전 학습 (Supervised Continued Pretraining) 하여, 의료 전문 지식을 습득하면서도 일반 도메인 능력을 유지하고 다양한 임상 태스크에서 더 큰 규모의 비전공 모델보다 우수한 성능을 보임을 입증했습니다.

핵심

🏥 배경: AI 는 왜 의사가 못 될까?

지금까지의 대형 AI(거대 언어 모델) 는 인터넷에 떠도는 모든 글을 읽으며 배웠습니다. 하지만 실제 병원에서 쓰이는 '진료 기록 (임상 노트)'은 환자 비밀 보호 때문에 AI 가 접근할 수 없습니다.

비유: 마치 요리 학교를 나온 요리사가 있다고 칩시다. 그는 이론책과 인터넷 레시피는 다 외웠지만, 실제 부엌에서 일어난 실전 경험 (불 조절, 재료 상태, 고객 취향 등) 은 전혀 해본 적이 없습니다. 그래서 이론적으로는 훌륭하지만, 실제 응급 상황에서는 당황할 수밖에 없죠.

이 연구는 바로 그 **'실전 경험 (진료 기록)'**을 AI 에게 가르쳐주려는 시도입니다.

---

🛠️ 방법: 어떻게 가르쳤을까?

연구진은 시더스 - 사이나이 의료센터의 50 만 건이 넘는 익명화된 진료 기록을 모았습니다. 그리고 AI 모델 (Qwen3-4B) 에게 다음과 같은 과제를 주었습니다.

1. 입력: "환자가 어떤 증상을 호소하고, 어떤 검사를 받았는지" (환자 상황).
2. 과제: "의사라면 이 상황에서 어떤 **의사 결정 (진단 및 치료 계획)**을 내렸을까?"를 써내라.
3. 학습: AI 가 쓴 내용과 실제 의사가 쓴 내용을 비교하며, 틀린 부분을 수정하고 다시 학습했습니다.

비유: AI 를 인턴 의사로 고용하고, 선배 의사들의 진료 일지를 50 만 권이나 읽게 한 뒤, "너도 이걸 보고 똑같이 써봐"라고 시킨 것입니다.

---

📊 결과: AI 는 어떻게 변했을까?

연구진은 이 AI 를 여러 가지 시험에 붙여보았습니다.

1. 진료 기록 쓰기 (MDM 생성)

• 결과: AI 가 쓴 글이 실제 의사가 쓴 글과 스타일이 매우 비슷해졌습니다.
• 비유: 이제 AI 는 이론책만 읽던 요리사가 아니라, 실제 부엌에서 일한 요리사처럼 간결하고 핵심을 찌르는 메뉴판을 작성합니다. 다만, 가끔은 너무 짧게 적거나 중요한 설명을 빼먹는 '인턴 특유의 실수'도 있었습니다.

2. 진단 예측 (환자 증상을 보고 병 이름 맞추기)

• 결과: AI 는 기존의 일반 AI 보다 훨씬 정확하게 병을 진단했습니다. 심지어 320 억 개, 4050 억 개나 되는 거대 모델들보다도 이 특정 작업에서는 더 잘했습니다.
• 비유: 이론만 아는 거대 로봇보다, 실전 경험을 쌓은 작은 로봇이 환자를 더 잘 진단한 것입니다.

3. 심장 정지 감지 (다른 업무도 잘할까?)

• 결과: 처음에는 "심장 정지"라는 단어가 없는 글에서도 "심장 정지다!"라고 잘못 말하며 **혼란 (라벨 붕괴)**을 겪었습니다. 하지만 이 부분만 따로 조금 더 훈련시키니, 모든 경쟁 모델을 제치고 1 등이 되었습니다.
• 비유: 처음엔 "모든 환자가 심장 마비일 거야"라고 막무가내로 말하다가, 한 번만 가르치니 "아, 심장 정지 환자는 따로 있구나"라고 깨달은 것입니다.

4. 일반 지식은 잊어버렸을까? (안전성 확인)

• 결과: 의사가 되느라 수학이나 일반 상식을 잊어버릴까 봐 걱정했지만, 대부분의 일반 지식은 그대로 유지되었습니다.
• 비유: 외과 전문의가 되더라도, 여전히 일반 상식과 대화 능력은 잃지 않았습니다. 다만, 복잡한 추론이 필요한 문제에서는 조금 둔해지기도 했습니다.

---

⚠️ 주의할 점: 아직 완벽하지는 않아요

이 연구는 AI 가 의사가 될 수 있는 가능성을 보였지만, 몇 가지 한계도 지적했습니다.

1. 생각의 과정이 사라짐: AI 가 "왜 이렇게 진단했는지" 그 **추리 과정 (Chain of Thought)**을 생략하고 결론만 빠르게 내는 경향이 생겼습니다.
   • 비유: "정답은 A 야!"라고 외치지만, 어떻게 A 가 됐는지 설명을 못 하는 학생이 된 것입니다.
2. 숫자 정보 부족: 환자 기록에서 중요한 '수치 (혈압, 혈당 등)'가 익명화 과정에서 지워져서, AI 가 중요한 단서를 놓쳤습니다.
3. 과도한 단순화: AI 가 의사의 스타일을 너무 잘 따라 하다 보니, 중요한 설명을 생략하고 너무 짧게 적는 경우가 있었습니다.

---

💡 결론: 무엇을 의미할까?

이 연구는 **"실제 병원의 진료 기록을 AI 에게 가르치면, AI 는 의료 현장에서 훨씬 더 유용한 도구가 될 수 있다"**는 것을 증명했습니다.

하지만 AI 가 바로 의사를 대신할 수는 없습니다. AI 는 이제 '실전 경험'을 쌓기 시작했을 뿐이며, 앞으로는 추리 과정을 명확히 하고, 더 많은 데이터를 바탕으로 학습해야만 실제 환자를 치료하는 데 안전하게 쓰일 수 있을 것입니다.

한 줄 요약:
"이론만 알던 AI 에게 실제 병원 기록을 가르쳤더니, 실전 감각이 살아난 똑똑한 인턴 의사가 되었습니다. 아직은 완벽하지 않지만, 의료 AI 의 미래를 여는 중요한 첫걸음입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 의료 지식의 부재: 현재 오픈 소스 대규모 언어 모델 (LLM) 은 공개된 일반 텍스트로 학습되었기 때문에 전문적인 의료 지식이 부족합니다.
• 데이터 접근성 제한: 환자 프라이버시 보호 (HIPAA 등) 로 인해 실제 임상 기록 (EHR) 에 대한 대규모 접근이 제한되어, 의료 특화 LLM 개발에 필요한 고품질 데이터 확보가 어렵습니다.
• 현실적 임상 태스크와의 괴리: 기존 의료 LLM 벤치마크 (MedQA 등) 는 주로 면허 시험 형식의 합성 질문에 집중되어 있어, 실제 임상 현장의 모호성, 불완전한 정보, 그리고 장기적인 환자 기록을 다루는 복잡한 의사결정 과정을 제대로 평가하지 못합니다.
• 기존 연구의 한계: 기존 연구들은 소규모 데이터셋 (예: MIMIC) 에 의존하거나, 계산 자원이 많이 드는 '처음부터 학습 (training from scratch)' 방식을 사용하여 재현성이 낮았습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 전처리

• 데이터 소스: Cedars-Sinai 의료 시스템의 500 만 건 이상의 응급실 (ED) 의사 노트에서 50 만 건의 비식별화 (de-identified) 임상 노트를 추출했습니다.
• 비식별화: 모든 개인 식별 정보 (PHI) 를 {phi} 토큰으로 대체하고, 모든 숫자를 {#}로 치환했습니다.
• 데이터 구성:
  • 입력: 환자의 증상, 신체 검사, 진단 검사 결과 (Patient Presentation).
  • 목표 (Target): 의사가 작성한 의료 의사결정 (MDM, Medical Decision Making) 섹션 및 할당된 진단 코드 (ICD).
  • 데이터 분할: 학습 (510,327 건), 검증 (250 건), 테스트 (500 건) 로 분할되었습니다.

2.2 모델 아키텍처 및 학습 전략

• 기저 모델: 추론 능력에 특화된 Qwen3-4B Instruct 모델을 선택했습니다.
• 학습 방식: 지도형 전체 파인튜닝 (Supervised Full Fine-tuning, SFT) 을 적용했습니다.
  • 목표: 환자 제시 정보 (Presentation) 를 기반으로 MDM 문단을 생성하는 것.
  • 손실 함수: 생성된 MDM 과 실제 의사가 작성한 MDM 간의 토큰 수준 교차 엔트로피 손실 (Cross-entropy loss) 을 최소화.
• 기억 상실 (Catastrophic Forgetting) 방지 전략:
  • 학습 데이터의 10% 를 일반 도메인 데이터 (Databricks Dolly 15K, Super-NaturalInstructions, LMSYS-Chat-1M) 로 보강하여 일반 언어 능력을 유지하도록 설계했습니다.
  • 학습률 (Learning Rate) 을 낮게 설정 (1e-5) 하고, 각 예시를 한 번만 학습 (1 epoch) 하도록 조절했습니다.
  • 학습 환경: 8 개의 A100 GPU 를 갖춘 단일 노드에서 172 시간 학습.

2.3 평가 체계

1. 전문가 평가 (Qualitative): 두 명의 인증받은 응급의사가 생성된 MDM 의 품질을 PDQI-9 척도 (정확성, 완전성, 유용성, 일관성, 이해 가능성) 로 평가.
2. 임상 태스크 평가 (Quantitative):
   • 진단 예측 (Diagnosis Prediction): 환자 정보로부터 할당된 ICD 코드를 예측하는 작업 (MDM 생성과 밀접한 관련).
   • 입원 중 심장 정지 탐지 (In-Hospital Cardiac Arrest Detection): 임상 노트에서 심장 정지 사건을 탐지하는 작업 (MDM 과 거리가 먼 태스크).
3. 일반 및 의료 벤치마크: HELM-Lite 및 MedHELM 을 사용하여 일반 지식 및 의료 지식의 유지 여부를 확인.

3. 주요 기여 (Key Contributions)

1. 실제 임상 데이터 기반 학습: 대규모 학술 의료 시스템 (Cedars-Sinai) 의 50 만 건 이상의 실제 ED 노트를 활용하여, 단순 요약이 아닌 실제 임상적 의사결정 과정 (MDM) 을 모델링했습니다.
2. 종합적인 평가 프레임워크: MDM 생성, 진단 예측, 심장 정지 탐지 등 다양한 도메인 내/외부 태스크와 일반/의료 벤치마크를 모두 포함하여 파인튜닝이 모델의 전반적인 능력에 미치는 영향을 체계적으로 평가했습니다.
3. 재현 가능한 프레임워크 제안: 컴팩트한 오픈 소스 모델 (4B 파라미터) 과 확장 가능한 학습 파이프라인을 제시하여, 유사한 데이터 자원을 가진 의료 기관에서도 임상 기반 LLM 을 개발하고 검증할 수 있는 실용적인 방법을 제시했습니다.

4. 결과 (Results)

4.1 임상적 품질 (전문가 평가)

• 파인튜닝된 모델은 베이스 모델보다 유용성 (Usefulness) 과 이해 가능성 (Comprehensibility) 에서 더 높은 점수를 받았습니다.
• 실제 의사가 작성한 노트와 유사한 간결하고 전문적인 스타일을 학습했으나, 완전성 (Completeness) 측면에서는 감별진단 (Differential Diagnosis) 을 충분히 서술하지 않는 경향이 있었습니다.
• 의사는 파인튜닝된 모델이 생성한 MDM 을 베이스 모델보다 선호했으며, 때로는 실제 의사가 작성한 노트보다 일관된 스타일을 보였습니다.

4.2 태스크 수행 성능

• 진단 예측: 파인튜닝된 모델은 베이스 모델 대비 Micro-strict F1 점수가 3.9 포인트, Micro-overlapping F1 점수가 16 포인트 향상되었습니다. 또한, 32B 및 405B 파라미터 규모의 더 큰 모델들보다 우수한 성능을 보였습니다.
• 심장 정지 탐지:
  • 초기에는 라벨 붕괴 (Label Collapse, 모든 노트를 심장 정지로 예측) 현상이 발생했으나, 작업별 파인튜닝 (Task-specific SFT) 을 거친 후 모든 경쟁 모델 (Llama-3.1-405B 포함) 을 능가하는 성능 (F1 0.89) 을 달성했습니다.
  • 이는 MDM 생성 학습이 다른 임상 태스크로의 지식 전이 (Transfer) 에 효과적임을 시사합니다.

4.3 일반 능력 유지 (Benchmark)

• 지식 유지: 일반 도메인 및 의료 도메인 벤치마크에서 모델의 성능이 크게 저하되지 않았으며, 일부 태스크에서는 베이스 모델보다 성능이 향상되었습니다.
• 한계점: 다단계 추론이 필요한 태스크 (GSM8K, MedQA 등) 에서 성능이 하락했습니다. 이는 학습 데이터에 생각의 사슬 (Chain-of-Thought, CoT) 태그가 포함되어 있지 않아, 모델이 추론 과정을 생략하고 직접 답변을 생성하도록 학습되었기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 임상 지원 가능성: 실제 임상 노트를 기반으로 한 지도형 파인튜닝은 LLM 이 의료 지식을 습득하고 이를 새로운 임상 태스크에 전이할 수 있게 하며, 동시에 일반 언어 능력을 유지할 수 있음을 입증했습니다.
• 모델 붕괴 (Collapse) 문제 제기: 단순한 지도 학습만으로는 라벨 붕괴 (Label Collapse) 나 추론 능력의 퇴화 (Reasoning Collapse) 와 같은 위험이 발생할 수 있음을 발견했습니다. 이는 임상 특화 모델 개발 시 더 정교한 정렬 (Alignment) 전략 (예: 인간 피드백을 통한 강화 학습, CoT 데이터 포함) 이 필요함을 시사합니다.
• 미래 방향: 더 큰 규모의 모델 (14B 이상) 로 확장하고, 비식별화 과정에서 생체 신호 등 수치 데이터를 보존하며, 명시적인 추론 과정을 포함하는 학습 전략을 통해 임상적 신뢰성을 높이는 것이 향후 과제로 제시되었습니다.

이 연구는 제한된 리소스와 데이터 접근성 하에서도 고품질의 임상 기반 LLM 을 개발할 수 있는 가능성을 보여주었으며, 실제 의료 현장에서의 의사결정 지원 도구로서의 LLM 발전에 중요한 이정표가 되었습니다.