Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

이 비교 평가는 미세 조정된 범용 대규모 언어 모델이 구조화된 전자의무기록 질병 위험 예측에서 전문화된 임상 기반 모델보다 일반적으로 낮은 성능을 보이지만, 대규모 언어 모델이 생성한 임베딩과 경량 분류기를 결합하면 AUROC 및 AUPRC 지표 모두에서 더 우수한 성능을 달성할 수 있음을 보여줍니다.

핵심

미래에 누가 아플지 예측하기 위해 환자의 병력을 살펴본다고 상상해 보세요. 수년 동안 의사와 데이터 과학자들은 이를 수행하기 위해 전문적인 '전문가'들을 활용해 왔습니다. 이러한 전문가들을 **임상 기초 모델 (CFM)**이라고 생각하세요. 이들은 실험실 코드, 진단 번호, 약물 목록과 같은 구조화된 재료만을 사용해 평생 요리해 온 마스터 셰프와 같습니다. 그들은 심부전이나 췌장암과 같은 결과를 예측하기 위해 이러한 특정 재료를 어떻게 섞어야 하는지 정확히 알고 있습니다.

최근 새로운 유형의 AI 가 등장했습니다: **대규모 언어 모델 (LLM)**입니다. 이들은 일반적 천재와 같습니다. 책, 뉴스, 코드, 대화 등 인터넷상의 거의 모든 것을 읽어 왔습니다. 언어와 문맥을 이해하는 데는 놀라울 정도로 뛰어나지만, 의료 기록을 전문적으로 연구한 적은 없습니다.

이 논문이 제기하는 큰 질문은 다음과 같습니다: 이러한 일반적 천재들이 구조화된 의료 데이터를 이용해 질병 위험을 예측하는 데 있어 전문적인 마스터 셰프들을 이길 수 있을까요?

연구자들이 발견한 내용을 간단히 정리해 보면 다음과 같습니다:

1. '파인튜닝' 레이스: 전문화 대 일반화

연구자들은 두 가지 유형의 모델을 모두 가져와 특정 작업인 당뇨병 환자에게서 심부전을 예측하고 다른 환자들에게서 췌장암을 예측하는 과제를 부여했습니다. 그리고 모델을 '파인튜닝'했는데, 이는 모델에게 게임의 특정 규칙에 대한 집중 교육을 시키는 것과 같습니다.

• 결과: 대규모 데이터셋 (수천 명의 환자) 에서 **전문 셰프 (CFM)**가 여전히 승리했지만, 그 차이는 거의 보이지 않을 정도로 미미했습니다.
  • 비유: 포뮬러 1 자동차 (CFM) 와 매우 빠른 스포츠카 (LLM) 간의 경주를 상상해 보세요. F1 자동차가 1 위를 했지만, 불과 몇 분의 1 초 차이로 승리했습니다.
  • 주의점: F1 자동차 (CFM) 는 훨씬 저렴하고 빠르게 훈련되었습니다. 스포츠카 (LLM) 는 준비하는 데 훨씬 더 많은 연료 (컴퓨팅 파워) 와 시간이 필요했지만, 간신히 패배했습니다.

2. '임베딩' 트릭: 가장 큰 놀라움

연구자들은 세 번째 접근법을 시도했습니다. LLM 들이 게임 규칙을 배우게 (파인튜닝) 하는 대신, LLM 들에게 환자의 병력을 읽고 요약문을 작성하도록 요청했습니다 (이를 '임베딩' 생성이라고 합니다). 그런 다음, 그 요약문을 매우 간단하고 기본적인 계산기 ('가벼운 분류기') 에 넘겨 최종 예측을 내리게 했습니다.

• 결과: 이 조합은 압도적인 차이로 경주를 승리했습니다.
  • 비유: 천재를 의사로 훈련시키는 대신, 그에게 환자의 완벽하고 간결한 전기 (생애사) 를 쓰게 했습니다. 그런 다음 그 전기를 간단한 체크리스트를 가진 똑똑한 인턴에게 넘겼습니다. 천재의 완벽한 요약본을 무기로 무장한 인턴은 전문 셰프나 파인튜닝된 천재들보다 더 나은 예측을 했습니다.
  • 구체적 사항: 요약을 작성하기 위해 Qwen3라는 모델을 사용하고, 이를 읽기 위해 간단한 계산기를 사용했을 때, 그들은 가장 높은 정확도 점수 (경우에 따라 90% 이상) 를 달성했습니다.

3. '작은' 전문가

그들은 또한 일부 의학 서적을 읽은 일반적 천재인 '임상 LLM(Me-LLaMA)'도 테스트했습니다.

• 결과: 이 모델은 훨씬 더 작았음에도 불구하고 거대한 일반 모델만큼 잘 수행되었습니다. 올바른 의학 훈련을 받으면 일을 처리하기 위해 항상 가장 큰 두뇌가 필요한 것은 아니라는 것을 증명했습니다.

4. 트레이드오프

이 논문은 주요 트레이드오프를 강조합니다:

• 전문 모델 (CFM): 훈련이 빠르고, 실행 비용이 저렴하며, 매우 신뢰할 수 있습니다. 이들은 진료소의 '일꾼'입니다.
• 일반 모델 (LLM): 전문가들을 따라잡거나 심지어 이길 수 있지만, 훈련 비용이 많이 들고 느립니다. 그러나 완전히 훈련시키는 대신 데이터를 '요약'하는 데만 사용한다면 (임베딩 트릭), 그들은 놀라울 정도로 강력하고 효율적이 됩니다.

결론

이 논문은 일반적 AI 모델이 질병 위험 예측을 위해 전문 의료 모델과 확실히 경쟁할 수 있다고 결론 내립니다. 실제로 일반 모델을 단순히 데이터를 '요약'하여 간단한 계산기에 제공하는 것이 가장 성공적인 방법이었습니다.

그러나 저자들은 일반 모델이 훈련 비용이 매우 비싸고 성능이 다소 '흔들릴' 수 있다는 점 (때로는 훌륭하고 때로는 그렇지 않음) 을 경고하며, 아직 전문 모델을 완전히 버려서는 안 된다고 경고합니다. 가장 좋은 미래는 일반 모델의 이해 및 요약 능력과 전문 모델의 효율성을 결합한 팀워크일 것입니다.

간단히 말해: 일반 AI 는 의학 시험에서 만점을 받을 수 있는 천재 학생이지만, 전문 AI 는 더 빠르고 저렴하게 그곳에 도달하는 베테랑 의사입니다. 가장 현명한 선택은 무엇일까요? 학생이 노트를 작성하게 하고, 간단한 도구로 그 노트를 채점하게 하는 것입니다.

기술 요약

구조화된 전자의무기록 (EHR) 데이터를 활용한 질병 위험 예측: 일반적 대규모 언어 모델이 전문 임상 기반 모델과 경쟁할 수 있는가? 미세 조정 (Fine-Tuning) 을 통한 비교 평가"에 대한 상세 기술 요약입니다.

1. 문제 제기

의료 산업은 임상 의사결정 지원을 위해 구조화된 전자의무기록 (EHR) 을 활용한 예측 모델에 점점 더 의존하고 있습니다. 두 가지 뚜렷한 AI 모델 클래스가 등장했습니다:

• 임상 기반 모델 (CFMs): 방대하고 이질적인 구조화된 EHR 데이터셋으로 사전 훈련된 전문 모델 (예: Med-BERT, CLMBR) 입니다. 환자 궤적 모델링에 최적화되어 있으며 질병 예측에서 우수한 성능을 보여왔습니다.
• 일반적 대규모 언어 모델 (LLMs): 광범위하고 다양한 텍스트 데이터로 사전 훈련된 모델 (예: LLaMA, Mistral) 입니다. 적응력이 높지만, 구조화된 EHR 데이터를 질병 위험 예측에 적용할 때 전문 CFMs 를 능가하거나 이에 필적할 수 있는지, 특히 계산 비용과 데이터 표현의 어려움이 존재하는 상황에서 여전히 불분명합니다.

본 연구는 실제 세계의 다기관 EHR 및 청구 데이터에서 이러한 두 모델 클래스 간의 직접적이고 정면적인 비교에 존재하는 격차를 해소합니다.

2. 방법론

데이터셋 및 작업

본 연구는 두 가지 이진 분류 작업에서 성능을 평가했습니다:

1. 당뇨병성 심부전 (DHF): 당뇨병 환자의 심부전 위험 예측.
2. 췌장암 (PaCa): 췌장암 진단 예측.

견고성과 재현성을 보장하기 위해 네 가지 데이터셋을 활용했습니다:

• DHF-EHR 및 PaCa-EHR: 미국 의료 시스템의 다기관 구조화된 EHR 데이터.
• PaCa-Claims: 환자 단위 청구 데이터.
• PaCa-EHRSHOT: 오픈 소스 단일 기관 벤치마크 데이터셋 (3,810 명 환자).

데이터는 세 가지 세분화 수준에서 처리되었습니다:

• D: 진단 코드만 포함.
• DMP: 진단, 약물, 시술 코드 포함.
• ALL: 인구통계, 생체 징후, 검사실 결과 등 사용 가능한 모든 구조화된 데이터 포함.

평가된 모델

본 연구는 세 가지 범주의 모델을 비교했습니다:

1. 임상 기반 모델 (CFMs):
   • Med-BERT (v2): 인코더 기반, 5 천만 명 이상의 환자 궤적 (진단, 약물, 시술) 으로 사전 훈련됨.
   • CLMBR: 디코더-트랜스포머 기반, 257 만 명 환자로 사전 훈련됨.
2. 일반적 및 임상 LLM (미세 조정됨):
   • 일반적: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • 임상 LLM: Me-LLaMA (임상 텍스트로 미세 조정됨).
   • 기법: 모든 LLM 은 파라미터 효율적 미세 조정 (PEFT/LoRA) 과 양자화를 사용하여 미세 조정되었습니다.
3. LLM 임베딩 접근법 (미세 조정 없음):
   • LLM (DeepSeek, Qwen3, GPT-OSS, MedGemma 등) 을 환자 궤적 임베딩을 생성하는 인코더로만 사용하고, 경량 분류기 (로지스틱 회귀, MLP) 를 후속 처리하는 방식.

데이터 전처리 및 입력

• CFMs: 구조화된 코드는 각 모델의 특정 사전 훈련 파이프라인에 따라 재포맷팅되었습니다.
• LLMs: 구조화된 EHR 데이터는 텍스트 프롬프트로 직렬화되었습니다. 두 가지 형식 (CPLLM 및 LLaMA2-EHR) 이 테스트되었으며, 후자 (사건 빈도 포함) 가 더 나은 결과를 낳았습니다.
• 임베딩: 미세 조정되지 않은 접근법의 경우, 환자 기록의 처음 4,096 토큰을 사용하여 임베딩을 생성했습니다.

평가 지표

• AUROC: 수신자 조작 특성 곡선 아래 면적 (주요 지표).
• AUPRC: 정밀도 - 재현율 곡선 아래 면적 (불균형 데이터셋에 중요).
• 효율성: 미세 조정 시간 및 계산 자원.

3. 주요 기여

1. 최초 대규모 비교: 질병 위험 예측을 위해 수천만 명 규모로 사전 훈련된 CFMs 에 대해 오픈 가중치 LLM 을 정면으로 비교한 최초의 벤치마크를 제공했습니다.
2. 직렬화 전략 분석: 구조화된 EHR 데이터를 텍스트로 변환하는 영향을 평가하여, 진단 빈도를 포함한 LLaMA2-EHR 형식이 다른 형식보다 우수함을 발견했습니다.
3. 새로운 임베딩 패러다임: LLM 을 고정된 인코더로 사용하여 환자 표현을 생성하고 간단한 분류기와 결합하는 방식이 특정 시나리오에서 미세 조정된 LLM 과 미세 조정된 CFMs 모두를 능가함을 입증했습니다.
4. 재현성 프레임워크: 향후 벤치마킹을 지원하기 위해 포괄적인 코드베이스 (LLM2Predict) 와 평가 프레임워크를 공개했습니다.

4. 주요 결과

미세 조정 성능 (대규모 코호트 >3 만 명 환자)

• CFMs vs. 미세 조정된 LLM: 대규모 EHR 및 청구 코호트에서 미세 조정된 CFMs(Med-BERT) 는 AUROC 에서 <1% 차이로 미세 조정된 LLM 보다 약간이지만 통계적으로 유의하게 우세했습니다.
  • 예시 (DHF-EHR): Med-BERT + Bi-GRU (85.39%) 대 LLaMA-3.1-70B (84.73%).
• 임상 LLM: Me-LLaMA 는 훨씬 더 큰 일반적 LLM(예: LLaMA-3.1-70B) 과 유사한 성능을 보였으며, 이는 소규모 파라미터 수로도 도메인 특화 사전 훈련이 효과적임을 시사합니다.
• 효율성: CFMs 는 LLM(모델 크기에 따라 4~190 시간) 에 비해 미세 조정이 훨씬 빨랐습니다 (<1 시간).

오픈 소스 코호트 (PaCa-EHRSHOT)

• AUROC: 미세 조정된 LLM(LLaMA-3.1-70B) 이 CFMs 보다 약간 더 높은 AUROC 를 달성했으나, 통계적으로 유의한 차이는 아니었습니다 (86.1% 대 85.3%, p=0.27).
• AUPRC: CFMs 가 LLM 보다 AUPRC 에서 현저히 우세하여 클래스 불균형 처리 능력이 더 뛰어났습니다.
  • Med-BERT v2: 55.9% AUPRC.
  • LLaMA-3.1-70B: 41.1% AUPRC.

"임베딩 + 분류기" 접근법 (전체적으로 최상)

• 놀라운 발견: LLM 을 미세 조정하지 않고도 전체적으로 가장 좋은 성능을 달성했습니다.
• 방법: LLM(특히 Qwen3 및 GPT-OSS) 을 사용하여 환자 궤적 임베딩을 생성한 후 간단한 로지스틱 회귀 또는 MLP 를 적용하는 방식.
• 성능:
  • AUROC: 90% 초과 (Qwen3 8B 임베딩 + 텍스트: 90.8%).
  • AUPRC: 66% 도달 (GPT-OSS 20B: 66.1%).
• 이 접근법은 EHRSHOT 데이터셋에서 미세 조정된 CFMs 와 미세 조정된 LLM 모두를 능가했습니다.

5. 의의 및 결론

• 일반적 vs. 전문적: 전문 CFMs 는 대규모 구조화된 데이터셋에 대한 미세 조정 시 여전히 매우 경쟁력 있고 효율적이지만, 일반적 LLM 은 특히 생성 모델이 아닌 특징 추출기 (인코더) 로 사용될 때 이를 능가하거나 필적할 잠재력을 가지고 있습니다.
• 계산적 트레이드오프: LLM 미세 조정은 계산 비용이 매우 높습니다 (CFM 보다 40 배 더 오래 소요). 또한 AUROC 에서 CFM 대비 미미한 향상만 제공하며, 종종 더 낮은 AUPRC 라는 대가를 치릅니다.
• 최적 전략: 본 연구는 구조화된 EHR 위험 예측을 위해 현대적 LLM 을 고품질 환자 임베딩 생성에 사용하고 이를 경량 분류기에 입력하는 것이 가장 효과적이고 효율적인 전략일 수 있음을 시사합니다. 이는 LLM 의 사전 훈련된 지식을 활용하면서 미세 조정의 막대한 비용을 피합니다.
• 향후 방향: 저자들은 두 접근법의 강점을 결합하기 위해 LLM 생성 임베딩을 CFM 훈련 파이프라인에 통합할 것을 권장합니다. 또한 다중 클래스 작업, 비구조화 데이터 (임상 메모), 하이브리드 아키텍처에 대한 추가 연구의 필요성을 강조합니다.

한계: 본 연구는 이진 분류에 초점을 맞췄으며, 결과가 회귀 또는 다중 클래스 작업으로 일반화될 수 있는지 여부는 불분명합니다. 또한 평가가 구조화된 데이터로 제한되어 비구조화된 임상 메모에 대한 성능은 탐구되지 않았습니다.