LLMs for Cardiovascular Risk Prediction from Structured Clinical Data

기술 요약: 구조화된 임상 데이터를 활용한 심혈관 위험 예측을 위한 대규모 언어 모델(LLM)

문제 정의
관상동맥 질환(CAD)은 여전히 전 세계 사망의 주요 원인으로 남아 있으며, 조기 진단을 위한 신뢰할 수 있는 예측 시스템이 필수적이다. 전통적인 머신러닝(ML) 모델은 구조화된 수치형 임상 데이터(예: 연령, 혈압, 콜레스테롤)에 대해서는 효과적으로 작동하지만, 전자 건강 기록(EHR), 의사 소견서, 진단 보고서 등에 존재하는 풍부한 비정형 자연어는 제대로 활용하지 못하는 경우가 많다. 이는 표준 ML 알고리즘의 입력 요구 사항과 실제 임상 문서의 서술적 형식 사이의 간극을 만든다. 본 연구는 구조화된 데이터와 자연어를 결합하여 CAD 위험 평가를 개선하고, 임상 예측 작업에서 대규모 언로 모델(LLM)의 실행 가능성을 탐색함으로써 이 문제를 해결하고자 한다.

방법론
저자들은 구조화된 임상 데이터, 합성 내러티브 생성, 그리고 전통적인 ML 및 LLM 기반 분류를 통합하는 하이브리드 프레임워크를 제안한다. 방법론은 다음 네 가지 주요 단계로 진행된다:

1. 데이터셋 구축 및 특징 공학(Feature Engineering):
   본 연구는 11개의 임상 속성(연령, 성별, 흉통 유형, 휴식 시 혈압, 콜레스테롤, 공복 혈당, ECG 결과, 최대 심박수, 운동 유발 협심증, ST 저하, ST 기울기 포함)을 가진 공개된 CAD 데이터셋 1,190건의 환자 기록를 활용한다. 코딩된 변수들은 해석 가능한 특징 문자열을 만들기 위해 인간이 읽을 수 있는 임상 범주로 매핑된다(예: 이진 성별 지표를 "남성"/"여성"으로 변환하고, ECG 결과를 기술적인 용어로 변환).

2. 합성 임상 내러티브 생성:
   LLM(구체적으로 GPT 및 Gemini)을 사용하여 구조화된 특징 문자열을 두 가지 별도의 텍스트 형식으로 변환한다:

• 구조화된 요약(Structured Summaries): 쉼표로 구분된 특징-값 쌍.
• 자유 텍스트 내러티브(Free-Text Narratives): 환자의 상태를 완전한 문장으로 설명하는, 의사의 소견서 스타일로 작성된 상세한 임상 보고서.
  생성 과정에서는 데이터 조작 없이 의료적 정확성을 보장하기 위해 특정 온도(Temperature) 설정(결정론적 구조 출력을 위한 0, 다양한 내러티브 흐름을 위한 0.3)을 사용한다.

3. 내러티브 검증 및 품질 보증:
   엄격한 검증 파이프라인을 통해 합성 데이터의 충실도를 보장한다. LLM은 의료 데이터 검증자 역할을 수행하여 생성된 내러티브 내의 모순이나 누락된 값을 식별한다. 그 후, "역 추출(Reverse Extraction)" 프로세스를 통해 LLM이 자유 텍스트 내러티브로부터 임상 값을 다시 구조화된 형식으로 추출하도록 유도한다. 추출된 값과 원래의 실제 기록(Ground-truth)을 비교하여 일관성 점수를 계산한다. 범주형 필드는 정확히 일치해야 하며, 수치형 필드는 텍스트 반올림을 고려하여 오차 범위(<0.5)를 허용한다.

4. 예측 모델링:

• 전통적 ML: 네 가지 알고리즘(로지스틱 회귀, 랜덤 포레스트, 서포트 벡터 머신, XGBoost)을 원래의 구조화된 데이터로 학습시킨다. 데이터는 80/20(층화 추출)으로 분할되고 표준화되며, 정확도, 정밀도, 재현율, F1-스코어 및 ROC-AUC를 사용하여 평가된다. 최적의 성능을 보이는 모델에 대해 GridSearchCV를 통한 하이퍼파라미터 튜닝을 수행한다.
• LLM 기반 분류: 합성된 자유 텍스트 내러티브를 사용하여 제로샷(Zero-shot) 및 퓨샷(Few-shot) 프롬프팅 조건(5, 10, 15개 예시) 하에서 LLM을 평가한다. 모델은 전통적인 가중치 학습 없이 이진 질병 레이블(CAD 존재/부재)을 출력하도록 지시받는다.

주요 기여

• 하이브리드 프레임워크: 구조화된 데이터, 내러티브 생성을 위한 LLM, 그리고 예측을 위한 ML을 결합한 통합 시스템을 제안함.
• 합성 내러티브 파이프라인: 표 형태의 임상 기록을 NLP 작업에 적합한 자연어 임상 보고서로 변환하는 새로운 방법을 제시함.
• 검증 메커니즘: 합성 내러티브가 원래의 임상 데이터를 정확하게 반영하도록 보장하는 역 추출 일관성 점수 시스템을 개발하였으며, 이는 데이터셋 전체에서 평균 94.61%의 충실도를 달 기록함.
• 비교 평가: 다양한 프롬프팅 전략(제로샷 및 퓨샷) 하에서 전통적인 ML 모델과 LLM 기반 분류를 체계적으로 비교함.

결과

• 검증: 내러티브 생성 파이프라인은 평균 94.61%의 일관성 점수를 달성했다. 구체적으로, 45.3%의 기록이 완벽한 100% 점수를 얻었으며, 95.4%가 90% 이상의 점수를 기록했다.
• 머신러닝 성능: 전통적인 모델 중 **랜덤 포레스트(Random Forest)**가 테스트 정확도 92.86%, ROC-AUC 97.07%로 가장 높은 성능을 보였다. XGBoost가 92.44%의 정확도로 그 뒤를 이었으며, 로지스틱 회귀와 SVM은 상대적으로 낮지만 경쟁력 있는 결과를 보였다.
• LLM 성능: LLM 기반 분류(GPT 및 Gemini 사용)는 자연어를 해석하는 능력을 보여주었으나, 최적의 ML 모델보다는 낮은 정확도를 나타냈다.
  • GPT: 제로샷에서 66.7%의 정확도를 달성했으며, 15-샷 프롬프팅을 통해 73.3%로 향상되었다.
  • Gemini: 제로샷에서 60.0%의 정확도를 달성했으며, 15-샷 프롬프팅을 통해 80.0%로 향상되었다.
  • 성능은 일반적으로 퓨샷 예시가 증가함에 따라 향상되었으나, 랜덤 포레스트 베이스라인을 넘어서지는 못했다.

의의 및 주장
본 논문은 전통적인 앙상블 모델(특히 랜덤 포레스트)이 현재 구조화된 데이터에 대한 순수 예측 정확도 면에서 LLM보다 우수하지만, LLM 기반 접근 방식은 실제 임상 배포 시 뚜렷한 장점을 제공한다고 주장한다. 주요 의의는 **개인정보 보호(Privacy Preservation)**에 있다. LLM은 자연어 환자 설명에 직접 작용할 수 있으므로, 민감한 수치 데이터(정확한 검사 수치, 특정 혈압 수치, 진단 코드 등)를 원형 그대로 노출하거나 공유할 필요가 없다. 이를 통해 내러티브 텍스트만으로 위험 평가가 가능하다.

저자들은 구조화된 임상 데이터와 LLM 생성 내러티브를 결합하는 것이 새로운 하이브리드 임상 예측 시스템의 방향을 제시한다고 결론짓는다. 향-후 연구는 더 크고 다양한 데이터셋에서 프레임워크를 테스트하고, 도메인 특화 모델(예: ClinicalBERT)을 미세 조정하며, ECG나 영상 데이터와 같은 추가적인 양상(Modality)을 임상 의사 결정 지원 시스템에 통합하는 데 집중해야 한다고 제언한다.