Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

이 논문은 LURIC 코호트 데이터를 기반으로 전통적 회귀 모델과 의료용 대규모 언어 모델 (MedLLM) 의 심혈관 질환 및 사망률 예측 성능을 비교 분석한 결과, 최적화된 프롬프트나 파인튜닝을 적용한 MedLLM 이 기존 회귀 기법 및 최신 의료 예측 모델과 경쟁력 있는 성능을 보였으나 과대 예측 경향이 있어 보정 기법이 필요함을 규명했습니다.

핵심

1. 배경: 왜 이 연구가 필요한가요?

심장병은 전 세계적으로 가장 큰 사망 원인 중 하나입니다. 의사는 환자의 혈액 검사 수치, 나이, 생활 습관 등을 보고 "이 환자가 1 년 안에 위험할까?"를 예측해야 합니다.

• 기존의 의사 (전통적 통계 모델): 과거부터 써온 '규칙 기반' 의사입니다. "나이 60 세, 콜레스테롤 높음 = 위험도 30%"처럼 숫자만 보고 선형적인 공식으로 계산합니다. 빠르고 정확하지만, 복잡한 상황을 유연하게 이해하는 데는 한계가 있습니다.
• 새로운 의사 (의료용 LLM): 최신 AI 기술인 '대형 언어 모델'입니다. 방대한 의학 책을 읽고 학습했기 때문에, 단순히 숫자만 보는 게 아니라 "이 환자는 나이가 많고, 염증 수치도 높고, 당뇨도 있어서..."라고 문맥을 이해하며 판단합니다.

이 연구는 "단순한 숫자 계산기 (기존 모델)"와 "지식豊富な AI (최신 LLM)" 중 누가 심장병 환자의 사망 위험을 더 잘 예측하는지 검증한 것입니다.

2. 실험 방법: 어떤 데이터를 썼나요?

연구진은 독일의 'LURIC'라는 대규모 심장병 환자 데이터 (약 3,300 명) 를 사용했습니다.

• 입력 자료: 환자의 **혈액 검사 수치 (콜레스테롤, 혈당 등)**와 기저질환 (당뇨, 고혈압 등) 정보를 사용했습니다.
  • 비유: 환자가 입원할 때 쓰는 긴 '퇴원 기록지' 대신, 누구나 쉽게 구할 수 있는 **'간단한 혈액 검사지'**만 보고 판단하도록 했습니다. (기록지는 비싸고 구하기 어렵지만, 혈액 검사지는 흔하니까요.)
• 비교 대상:
  1. 전통적 모델: 회귀 분석, 랜덤 포레스트, XGBoost 등 (숫자 계산에 특화된 모델).
  2. 최신 AI (LLM): MedGemma, MedLlama, 그리고 상용 AI (Gemini, Claude, ChatGPT) 등.

3. AI 가 어떻게 판단했나요? (두 가지 방식)

연구진은 AI 에게 두 가지 방식으로 질문했습니다.

1. 지시만 내리기 (Zero-shot): "이 환자의 혈액 수치는 이러이러합니다. 사망 위험은 몇 % 입니까?"라고만 물었습니다. (AI 가 스스로 학습한 지식만으로 판단)
2. 예시 보여주기 (Few-shot): "이런 환자는 18% 위험, 저런 환자는 6% 위험입니다. 그럼 이 환자는?"이라고 유사한 사례 3 개를 먼저 보여주고 물었습니다. (AI 가 패턴을 더 잘 파악하도록 유도)

4. 놀라운 결과: AI 가 이겼습니다!

결과는 매우 흥미로웠습니다.

• 기존의 통계 모델 (CatBoost 등): 약 **85%**의 정확도 (AUROC) 를 보였습니다. 여전히 매우 강력합니다.
• 최신 AI (LLM):
  • 상용 AI (Gemini 등): 몇 가지 예시만 보여주고 질문하자, **82~85%**의 정확도로 기존 모델과 비등비등한 성능을 냈습니다.
  • 작은 AI (8B 모델): 원래는 큰 모델이 더 잘할 것 같지만, 이 데이터를 가지고 **추가 학습 (파인튜닝)**을 시키자, 거대한 모델이나 상용 AI 를 이기는 경우도 있었습니다.

핵심 메시지: "AI 가 이제 단순한 숫자 계산기만큼이나, 심장병 위험을 잘 예측할 수 있게 되었습니다."

5. 문제점과 해결책: AI 는 '과장'을 합니다

하지만 AI 는 완벽하지 않았습니다.

• 문제: AI 는 사망 위험을 실제보다 조금 더 높게 (과대평가) 예측하는 경향이 있었습니다. 마치 "비 올 확률 30% 인데, 비가 올 것 같으니 우산 꼭 챙기세요"라고 너무 걱정하게 만드는 것과 비슷합니다.
• 해결: 연구진은 **'보정 (Calibration)'**이라는 기술을 적용했습니다. 이는 AI 의 답변을 다시 한 번 다듬어 실제 통계에 맞게 조정하는 과정입니다. 이 과정을 거치니 AI 의 오차가 60~90% 줄어든 것으로 나타났습니다.

6. 결론: 앞으로의 전망

이 연구는 **"병원에서 구하기 쉬운 혈액 검사지 하나만으로도, 최신 AI 가 기존 의사의 판단만큼이나 정확한 심장병 위험 예측을 할 수 있다"**는 것을 증명했습니다.

• 의미: 앞으로 AI 는 의사를 대체하는 게 아니라, 의사가 환자를 더 빠르고 정확하게 선별할 수 있도록 돕는 **'똑똑한 보조 도구'**가 될 것입니다.
• 장점: 비싼 퇴원 기록지가 없어도, 일반적인 검사 데이터만으로도 AI 가 환자를 잘 분석할 수 있어, 의료 접근성이 높아질 것입니다.

한 줄 요약:

"과거의 계산기보다 똑똑해진 AI 가, 간단한 혈액 검사만으로도 심장병 환자의 위험을 거의 완벽하게 예측할 수 있게 되었고, 이제 의사와 함께 환자를 지키는 든든한 파트너가 될 준비가 되었습니다."

기술 요약

논문 요약: 심혈관 질환 (CVD) 및 사망률 위험 예측을 위한 회귀 모델과 의료용 대규모 언어 모델 (MedLLM) 의 비교 연구

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 심혈관 질환 (CVD) 은 전 세계적으로 주요 사망 원인이며, 조기 발견과 예방적 개입을 위한 강력한 예측 도구가 필요합니다.
• 기존 접근법의 한계: 전통적인 회귀 기반 모델 (선형/로지스틱 회귀, 의사결정나무, SVM 등) 은 CVD 위험 추정에 널리 사용되어 왔으나, 선형 관계를 가정하거나 인구 집단 간 효과의 동질성을 전제하는 등 제한적인 예측 능력을 가집니다.
• LLM 의 도입과 과제: 최근 생성형 AI 와 대규모 언어 모델 (LLM) 이 의료 분야에 도입되고 있으나, 대부분의 연구는 **텍스트 기반의 퇴원 기록 (Discharge Summaries)**에 의존합니다. 이는 데이터 수집 비용이 높고 일관성이 부족하여 확장성에 제약이 있습니다. 또한, 기존 연구들은 구조화된 생체 표지자 (Biomarkers) 를 활용한 LLM 의 성능을 체계적으로 평가하지 못했습니다.
• 핵심 질문: 텍스트가 아닌 **일상적으로 수집된 구조화된 생체 표지자 (Biomarkers)**를 입력으로 사용할 때, 의료용 LLM(MedLLM) 은 전통적인 기계 학습 (ML) 및 최신 부스팅 (Boosting) 기법과 비교하여 CVD 및 사망률 예측에서 경쟁력 있는 성능을 발휘할 수 있는가?

2. 연구 방법론 (Methodology)

연구는 독일 루트비히스하펜 (LURIC) 심혈관 건강 연구 데이터를 기반으로 3,316 명의 환자를 대상으로 수행되었습니다.

• 데이터 및 코호트:
  • 전체 코호트: 3,316 명 (1997-2000 년 코로니얼 혈관조영술 시행 환자).
  • 서브 코호트: 2,112 명 (추적 조사 데이터가 있는 CVD 환자).
  • 목표 변수: 1 년 내 모든 원인의 사망 (1-Year All-Cause Mortality, 1YM).
• 입력 특징 (Biomarkers):
  • 비용 효율적인 구조화된 데이터를 활용하기 위해 5 가지 biomarker 세트를 구성했습니다:
    1. Risk-12: RiskyCAD 프로젝트 기반 12 개 위험 표지자.
    2. Core-20: 의료 전문가가 선정한 20 개 핵심 임상 표지자.
    3. Lit-21: 관련 문헌에서 추출한 21 개 표지자.
    4. Ext-64: 확장된 문헌 검토를 통해 추가된 64 개 표지자.
    5. Comp-94: 위 4 가지 세트를 합친 94 개 포괄적 표지자.
• 비교 대상 모델:
  • 전통적 ML 및 Tabular Foundation Models: SVM, LinearBoost, CatBoost, XGBoost, RealMLP (Tabular Foundation Model).
  • Medical LLMs (MedLLMs):
    • 오픈 소스: MedGemma, Med42, MMed, MedLlama, Meditron, OpenBioLLM 등 (8B~70B 파라미터).
    • 상용 모델: Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2.
• 실험 설계:
  1. Zero-shot & Few-shot Prompting: 표 형식 데이터를 텍스트 프롬프트로 변환하여 LLM 에게 1 년 사망률 확률 (0-100%) 을 예측하도록 유도. (Few-shot 시 3 개의 예시 포함).
  2. Supervised Fine-Tuning (SFT): 사전 훈련된 MedLLM 을 1YM 레이블로 직접 분류 작업에 맞게 미세 조정 (LoRA 어댑터 사용).
  3. 모델 보정 (Calibration): LLM 의 체계적인 오예측을 보정하기 위해 Platt Scaling 적용.

3. 주요 기여 (Key Contributions)

1. 비용 효율적인 데이터 소스 활용: 고비용의 퇴원 기록 대신, 일상적으로 수집 가능한 구조화된 생체 표지자를 LLM 입력으로 활용하는 새로운 패러다임을 제시했습니다.
2. 통합 프롬프팅 프레임워크: 표 형식 환자 기록을 LLM 이 이해할 수 있는 Zero-shot 및 Few-shot 프롬프팅 방식으로 변환하는 통일된 방법을 제안했습니다.
3. 포괄적 비교 연구: 최신 부스팅 기반 회귀 기법 (CatBoost 등) 과 Tabular Foundation Models 를 상용 및 오픈 소스 MedLLM 과 직접 비교한 가장 포괄적인 연구 중 하나입니다.
4. 모델 보정 및 계층화 분석: LLM 의 사망률 과대/과소 예측 문제를 식별하고, Platt Scaling 을 통해 보정 효율성을 입증했습니다.

4. 주요 결과 (Results)

• 성능 비교 (AUROC):
  • 최고 성능: CatBoost(부스팅 기반) 와 상용 모델 Gemini-3-Flash(Few-shot 프롬프팅) 가 0.849~0.850의 AUROC 를 기록하여 가장 우수한 성능을 보였습니다.
  • MedLLM 의 경쟁력: 대규모 사전 훈련된 MedLLM(70B) 은 최적화된 Few-shot 프롬프팅으로 0.82까지의 AUROC 를 달성하여, 최신 회귀 기법 및 CoroPredict, SMART, SCORE2 같은 의료 문헌의 SOTA 방법론과 경쟁 가능한 수준임을 입증했습니다.
  • 소규모 모델의 미세 조정: 8B 파라미터 규모의 모델 (예: Meditron-8B) 을 Supervised Fine-Tuning 하면, 더 큰 70B 모델이나 상용 모델 (Claude, ChatGPT) 을 능가하거나 동등한 성능 (AUROC > 0.82) 을 달성할 수 있었습니다.
• 보정 (Calibration) 분석:
  • MedLLM 은 사망률을 체계적으로 과대 예측하는 경향 (ECE: 0.05~0.10) 을 보였습니다.
  • Platt Scaling을 적용한 보정 후, 오보정 (Miscalibration) 이 60~90% 감소하여 임상적 신뢰도가 크게 향상되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: MedLLM 은 텍스트 데이터뿐만 아니라 구조화된 생체 표지자만으로도 CVD 및 사망률 예측에 있어 전통적인 ML 모델과 대등하거나 더 나은 성능을 발휘할 수 있음을 입증했습니다. 이는 EHR(전자 건강 기록) 의 텍스트 데이터가 부족한 환경에서도 LLM 을 활용할 수 있는 가능성을 열었습니다.
• 기술적 시사점:
  • Few-shot 프롬프팅만으로도 상용 LLM 이 SOTA 성능을 낼 수 있음을 보여줌.
  • 소규모 모델의 미세 조정이 비용 효율적인 대안이 될 수 있음을 증명.
  • 모델 보정의 중요성을 강조하여, LLM 을 임상 의사결정 지원 도구로 사용할 때 신뢰할 수 있는 확률 추정이 가능함을 시사.
• 향후 과제: Reinforcement Learning from Human Feedback (RLHF) 기반 미세 조정 및 예산 제약 하의 최적 생체 표지자 선정 연구가 필요함.

이 연구는 의료용 LLM 이 단순한 텍스트 생성 도구를 넘어, 구조화된 임상 데이터를 기반으로 한 정량적 위험 예측 도구로서도 유효함을 입증한 중요한 이정표입니다.