Integrating Machine Learning Ensembles and Large Language Models for Heart Disease Prediction Using Voting Fusion

이 논문은 기계학습 앙상블 모델과 대규모 언어 모델 (LLM) 을 결합한 투표 융합 기법이 단일 모델보다 높은 정확도 (96.62%) 와 AUC(0.97) 를 달성하여 심혈관 질환 예측을 위한 임상 의사결정 지원 시스템의 신뢰성을 향상시킬 수 있음을 입증했습니다.

핵심

🏥 연구의 배경: 심장병 예측은 왜 어려울까?

심장병은 전 세계적으로 가장 큰 사망 원인 중 하나입니다. 환자를 구하기 위해서는 아직 병이 없어도 위험 신호를 미리 포착해야 합니다.

기존에는 의사가 환자의 나이, 혈압, 콜레스테롤 수치 같은 숫자 데이터를 보고 판단했습니다. 하지만 이 데이터는 숫자가 많고 복잡해서, 단순한 계산기로는 정확한 판단을 내리기 어렵습니다.

🤖 두 가지 주역: "베테랑 팀" vs "신입 천재"

이 연구는 두 가지 서로 다른 접근 방식을 비교했습니다.

1. 기계 학습 앙상블 (Machine Learning Ensemble) = "베테랑 의사 팀"

• 비유: 경험 많은 의사 5 명이 모여서 회의하는 상황입니다.
• 특징: Random Forest, XGBoost 같은 기존 알고리즘들은 수만 건의 환자 데이터를 학습해서 숫자 패턴을 아주 잘 파악합니다.
• 결과: 이 팀은 혼자서도 **95.78%**라는 매우 높은 정확도로 심장병을 예측했습니다. 마치 베테랑 의사들이 서로 의견을 조율하면 거의 실수가 없는 것과 같습니다.

2. 대형 언어 모델 (LLM) = "신입 천재"

• 비유: 최신 AI 챗봇 (예: Gemini, GPT 등) 입니다. 이 친구들은 책도 많이 읽고, 논리도 뛰어나지만, 숫자 데이터만 주어지면 조금 당황합니다.
• 특징: 질문을 던지면 (Zero-shot) 대답을 잘하지만, 숫자 표를 보고 "이 환자는 심장병인가요?"라고 물으면 78.9% 정도의 정확도만 냅니다. 숫자보다는 글자 (문맥) 를 이해하는 데 더 특화되어 있기 때문입니다.
• 문제점: 혼자서 판단하면 베테랑 팀보다 실수가 더 많았습니다.

🤝 혁신적인 아이디어: "투표 융합 (Voting Fusion)"

연구자들은 **"왜 둘 중 하나만 고르냐? 둘을 합쳐보자!"**라고 생각했습니다.

• 방법: 베테랑 의사 팀 (ML) 이 "위험하다"고 하고, 신입 천재 (LLM) 가 "아니야"라고 해도, **베테랑 팀의 의견에 더 높은 점수 (가중치)**를 주었습니다.
• 비유: 마치 전문가 5 명과 똑똑한 학생 5 명이 함께 토론을 하되, 전문가의 의견에 더 무게를 두어 최종 결론을 내리는 것과 같습니다.
• 결과: 이 '하이브리드' 방식은 **96.62%**라는 새로운 최고 기록을 달성했습니다.

💡 핵심 교훈: 1+1 이 2 가 된 순간

이 연구에서 얻은 가장 중요한 교훈은 다음과 같습니다.

1. 숫자 데이터에는 '베테랑'이 최고다: 환자의 나이, 혈압 같은 숫자 데이터만 있다면, 기존 기계 학습 (ML) 모델이 가장 정확합니다.
2. LLM 은 '보조 역할'이 제격이다: LLM 은 숫자만 보고 판단하면 약하지만, 불확실한 상황이나 모호한 경우에 인간의 논리처럼 추론을 더해주면 전체 시스템의 신뢰도가 올라갑니다.
3. 최고의 조합: "숫자 분석의 정확성 (ML)" + "문맥 이해의 유연성 (LLM)"을 섞으면, 기존에 없던 더 안전한 진단 시스템을 만들 수 있습니다.

🚀 결론: 앞으로는 어떻게 될까?

이 연구는 **"AI 가 의사를 완전히 대체하는 게 아니라, 의사를 도와주는 최고의 파트너가 되는 법"**을 보여주었습니다.

• 현재: 기계 학습 모델이 심장병 예측의 '주력'입니다.
• 미래: 이 모델들에 LLM 을 섞어서, "이 환자는 데이터상으로는 위험하지만, 다른 증상들을 고려하면 괜찮을 수도 있다"는 식의 더 섬세한 판단을 도와주는 시스템이 될 것입니다.

즉, 베테랑 팀의 실력에 신입 천재의 아이디어를 더해서, 환자들을 더 잘 구해내는 것이 이 연구의 목표였습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 심장병의 심각성: 심혈관 질환 (CVD) 은 전 세계 사망의 주된 원인으로, 조기 발견과 정확한 위험 분류가 필수적입니다.
• 기존 방법의 한계:
  • 구조화된 데이터의 불균형: 임상 데이터는 질병이 없는 클래스에 비해 질병이 있는 클래스의 비율이 낮아 (불균형) 모델의 민감도가 떨어지는 문제가 있습니다.
  • ML 모델의 한계: 랜덤 포레스트, XGBoost 등 앙상블 모델은 탁월한 성능을 보이지만, 불확실성이 높거나 모호한 임상 데이터에 대한 추론 능력과 보정 (calibration) 측면에서 한계가 있을 수 있습니다.
  • LLM 의 한계: 대규모 언어 모델 (LLM) 은 제로샷 (zero-shot) 및 퓨샷 (few-shot) 추론 능력을 갖췄으나, 수치 기반의 불균형 테이블 데이터 (Tabular Data) 에서는 일관되지 않은 성능을 보이며 지도 학습 기반 ML 프레임워크보다 예측 신뢰도가 낮습니다.
• 연구 목적: 기존 통계적 정확도가 높은 ML 앙상블과 LLM 의 추론 능력을 결합하여, 불확실한 상황에서도 견고하고 해석 가능한 임상 의사결정 지원 시스템을 구축하는 것입니다.

2. 방법론 (Methodology)

A. 데이터 전처리

• 데이터셋: 1988 년 Cleveland, Hungarian, Switzerland, Long Beach VA, Statlog Heart 등 5 개 저장소에서 통합된 1,190 건의 환자 기록 사용.
• 특성: 76 개 원본 특성 중 11 개 입력 특성 (나이, 성별, 흉통 유형, 혈압, 콜레스테롤 등) 과 1 개 출력 특성 (심장병 유무) 사용.
• 전처리: 범주형 변수 인코딩, 연속형 변수 MinMaxScaler 정규화, SMOTE를 활용한 클래스 불균형 해결, 데이터 누수 방지를 위해 학습 세트에만 피팅.

B. 머신러닝 (ML) 앙상블 구축

• 모델: CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting, SVM, Logistic Regression, MLP, Naive Bayes 등 9 개 모델 평가.
• 최고 성능 모델: CatBoost (92.44%), Random Forest (92.02%) 등이 단일 모델 중 가장 높은 성능을 보임.
• Voting Fusion: 상위 5 개 모델 (Gradient Boosting, RF, XGBoost, LightGBM, CatBoost) 을 Soft Voting 및 Hard Voting 방식으로 결합한 앙상블 모델 생성.

C. 대규모 언어 모델 (LLM) 평가

• 모델: OpenRouter API 를 통해 Qwen3, Grok, GLM, LLaMA, Kimi 등 10 개 최신 LLM 평가.
• 평가 방식:
  • Zero-shot: 추가 학습 없이 프롬프트만으로 예측.
  • Few-shot: 소수의 레이블된 예시를 프롬프트에 포함하여 예측.
• LLM 앙상블: 상위 5 개 LLM 의 예측 결과를 가중치 Soft Voting 및 Hard Voting 으로 통합.

D. 제안된 하이브리드 ML-LLM 퓨전 프레임워크

• 구조: ML 앙상블 (통계적 정확도) 과 LLM (추론 및 맥락 이해) 의 예측을 결합.
• 동작 원리:
  1. ML 앙상블이 높은 정확도로 초기 예측 수행.
  2. LLM 이 (Gemini 2.5 Flash 등) 메타 추론 계층으로 작용하여 ML 모델의 예측이 불확실한 경우나 모호한 사례를 재검토.
  3. 두 시스템의 출력을 가중치 (모델 정확도 기반) 로 통합하여 최종 위험 점수 및 진단 결정.

3. 주요 결과 (Key Results)

접근 방식	정확도 (Accuracy)	ROC-AUC	비고
단일 ML 모델	92.44% (CatBoost)	-	최상위 단일 모델
ML 앙상블 (Soft Voting)	95.78%	0.96	기존 ML 기반 최적 성능
LLM (Zero-shot Voting)	78.9%	0.804	퓨샷보다 성능이 우수
LLM (Few-shot Voting)	72.6%	0.727	Zero-shot 보다 성능 저하
제안된 ML-LLM 퓨전	96.62%	0.97	최고 성능 달성

• ML 의 우위: 구조화된 테이블 데이터에서는 ML 앙상블이 LLM 단독 사용보다 훨씬 우월한 성능을 보임.
• 퓨전의 효과: ML 앙상블과 LLM 을 결합한 하이브리드 방식은 기존 ML 앙상블 (95.78%) 대비 정확도를 **96.62%**로, AUC 를 0.97로 향상시킴.
• 오류 분석: ML 모델이 대부분의 희귀 질병 사례를 잘 식별하지만, LLM 은 경계선 사례나 모호한 경우에서 추가적인 추론을 통해 오분류율을 낮추는 데 기여함.

4. 주요 기여 (Key Contributions)

1. 최초의 통합 프레임워크: 심장병 예측을 위해 통계적 ML 앙상블과 LLM 추론을 결합한 최초의 하이브리드 아키텍처 제안.
2. 불확실성 해결: ML 모델이 불확실한 경우를 LLM 의 추론 능력으로 보완하여, 임상적 신뢰도를 높이는 의사결정 지원 도구 개발.
3. 성능 입증: LLM 이 단독으로는 테이블 데이터에서 부진하지만, ML 과 결합될 때 예측 정확도와 AUC 를 유의미하게 향상시킨다는 실증적 증거 제시.
4. 해석 가능성: 단순한 블랙박스 예측을 넘어, LLM 을 통해 제공되는 해석 가능한 추론 (Reasoning) 을 통해 임상적 투명성 확보.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 임상 현장에서 ML 모델의 높은 정확도와 LLM 의 유연한 추론 능력을 결합하여, 더 안전하고 신뢰할 수 있는 심장병 진단 시스템을 구축할 수 있음을 보여줌.
  • "ML 이 구조화 데이터의 핵심, LLM 은 보조적 추론 계층"이라는 새로운 패러다임을 제시.
• 한계 및 향후 과제:
  • 데이터 규모: 1,190 건의 소규모 데이터셋으로, 결과의 일반화 (Extrapolation) 에 제한이 있음.
  • 평가 지표: 정확도와 AUC 위주이며, 확률 보정 (Calibration) 및 비용 민감도 분석이 부족함.
  • LLM 변동성: LLM 의 반복 질문 시 성능 변동성이 관찰됨.
  • 향후 연구: 더 크고 다양한 데이터셋으로 확장, 임상 안전성 및 형평성 고려한 평가 절차 도입, 하이브리드 방법론 고도화 필요.

결론

이 연구는 ML 앙상블이 구조화된 의료 데이터 예측의 표준임을 재확인하면서도, LLM 을 통합함으로써 예측의 신뢰성과 해석 가능성을 한 단계 높일 수 있음을 입증했습니다. 제안된 하이브리드 퓨전 방식은 임상 의사결정 지원 시스템의 발전에 중요한 방향성을 제시합니다.