A Leakage-Aware Machine Learning Framework for Multiclass Comorbidity Classification in Fibromyalgia: Integrating Genetic Feature Selection, Nested Cross-Validation, and Explainable AI

기술 요약: 섬유근육통의 다중 클래스 동반 질환 분류를 위한 누출 인지형 머신러닝 프레임워크

1. 문제 정의

본 연구는 섬유근육통(Fibromyalgia, FM) 환자에서 세 가지 뚜렷한 동반 질환 상태인 동반 질환 없음(No Comorbidity, NC), 추간판 탈출증(Disc Herniation, DH), **과민성 대장 증후군(Inflammatory Bowel Syndrome, IBS)**을 구별하는 임상적 과제를 다룹니다. 이러한 질환들은 광범위한 통증, 피로, 자율신경계 조절 장애와 같은 중첩된 증상 프로필을 공유하므로, 표준 임상 평가만으로는 감별 진단이 어렵습니다.

문제는 일상적인 다중 도구 임상 데이터를 사용하는 다중 클래스 분류 작업($K=3$)으로 프레임화되었습니다. 분석 대상 데이터셋인 Clinical_fm_66은 처음에 심리측정, 신경학 및 사회인구학적 도구(예: HAM-A, FIQ-R, WPI, SSS)에서 유도된 562개의 원시 특성을 가진 66명의 참가자를 포함합니다. 임상의의 지시에 따른 변수 정제 및 전이 레이블 필터링을 거친 후, 분석 코호트는 59명의 환자와 242개의 특성으로 구성됩니다. 이 데이터는 높은 차원 대비 적은 샘플 수, 심각한 클래스 불균형(NC: 67.8%, DH: 23.7%, IBS: 8.5%), 결측치라는 상당한 과제를 안고 있습니다.

2. 방법론

저자들은 테스트 세트로부터의 정보 누출(information leakage)을 방지하기 위해 전처리 단계를 엄격히 분리하면서도, 전체 코호트에 노출되는 지점을 명시적으로 인정하는 "누출 인지형(leakage-aware)" 파이프라인을 제안합니다.

데이터 전처리 및 결측치 보정(Imputation):

• 전역 결측치 보정(Global Imputation): 교차 검증 분할 전, 모든 결측치를 해결하기 위해 전체 분석 코호트에 $k$-최근접 이웃(KNN, $k=2$) 패스를 한 번 적용합니다.
• 폴드별 결측치 보정(Fold-Specific Imputation): 다변량 체인 방정식에 의한 다중 대치(MICE) 임퓨터를 각 외부 훈련 폴드 내에서 재적합하도록 명목상 정의하였으나, 저자들은 이미 전역 KNN 패스가 결측치를 제거했기 때문에 벤치마크 과정에서 이 단계가 기능적으로 완전한 데이터에 작동함을 언급했습니다.
• 스케일링(Scaling): $z$-점수 표준화는 각 외부 폴드의 훈련 파티션에 엄격히 재적합되어 홀드아웃 폴드에 적용됩니다.

특성 선택 (2단계):

• 1단계 (전역): 상호 정보량(Mutual Information, MI) 순위를 전체 코호트에 대해 계산하여 242개 특성을 상위 50개로 줄입니다.
• 2단계 (전역): 40개의 개체군을 가진 25세대의 유전 알고리즘(Genetic Algorithm, GA)을 사용하여 50개의 MI 선택 특성을 24개 특성 서브셋으로 정제합니다. 적합도 함수는 Random Forest 분류기를 사용하는 3-폴 내부 교차 검증을 사용합니다.
• 참고: 저자들은 두 가지 특성 선택 단계 모두 외부 교차 검증 분할 전에 전체 코호트에서 수행되었다고 명시하며, 이는 절대적 성능 지표에 낙관적 편향을 도입할 수 있는 설계 선택이지만 투명하게 공개되었습니다.

클래스 불균형 처리:

• BorderlineSMOTE는 주요 증강 전략으로, 각 외부 폴드의 훈련 파티션 내에서 엄격하게 적용됩니다. 이는 결정 경계 근처의 소수 클래스에 대해서만 합성 샘플을 생성합니다.
• BorderlineSMOTE가 안정적인 경계를 형성하지 못할 경우 표준 SMOTE로 대체됩니다.
• 검증 폴드는 현실적인 데이터에 대한 성능을 반영하기 위해 원래의 불균형 분포를 유지합니다.

모델 벤치마킹 및 최적화:

• 분류기: 6개의 알고리즘 제품군에 걸친 16개의 지도 학습 분류기를 평가했습니다: Random Forest, Extra Trees, Gradient Boosting, LightGBM, SVM, Bagging, 그리고 다양한 메타 앙상블(Soft Voting, Weighted Voting, Stacking).
• 검증: 5-폴 계층적 중첩 교차 검증(5-fold stratified nested cross-validation) 프레임워크를 사용했습니다.
  • 외부 루프: 모델 평가를 위한 5개 폴드.
  • 내부 루프: 하이퍼파라미터 튜닝(Optuna의 Tree-structured Parzen Estimator 사용) 및 특성 선택 적합도 평가를 위한 3개 폴드.
• 하이퍼파라미터 최적화: 5개의 기본 분류기(RF, ET, GB, LightGBM, SVM)에 대해 50회의 시행을 포함하는 베이지안 최적화를 적용했습니다.
• 앙상블: 상위 성능 모델들을 Soft Voting, 가중치 적용 Soft Voting(Optuna를 통해 가중치 최 최적화), Stacking(Logistic Regression 및 Random Forest 메타 러너 사용)을 통해 결합했습니다.

설명 가능성 및 교정(Calibration):

• SHAP (TreeExplainer): 전역 및 클래스별 특성 중요도 분석에 사용되었습니다.
• LIME: 로컬 인스턴스 수준의 설명을 위해 사용되었습니다.
• 교정: 확률 신뢰도를 평가하기 위해 각 폴드에서 기대 교정 오차(ECE)와 Brier 점수를 계산했습니다.

3. 주요 결과

• 예측 성능: 가중치 적용 Soft Voting(Weighted Soft Voting) 앙상블이 평균 정확도 0.864, F1-스코어 0.826, 평균 중첩 CV macro-AUC 0.866으로 가장 높은 판별 성능을 달s성했습니다.
• 단일 분류기 성능: **Extra Trees (Tuned)**가 가장 강력한 개별 분류기였습니다 (정확도: 0.848, F1: 0.825).
• 교정: Gradient Boosting이 가장 우수한 확률 교정 성능(ECE = 0.187 ± 0.016, Brier Score = 0.103)을 보여, 낮은 점 추정 정확도에도 불구하고 임계값 기반 임상 의사결정 지원에 강력한 후보임을 입증했습니다.
• 통계적 유의성: Friedman omnibus 검정을 통해 분류기 간의 유의미한 차이를 확인했습니다 ($\chi^2 = 42.25, p < 0.001$). 사후 분석인 Bonferroni 보정을 적용한 Wilcoxon 부호 순위 검정 결과, 앙상블 방법이 약한 기본 모델보다 유의미하게 우수한 성능을 보였습니다 (예: Weighted Voting vs. SVM (Tuned)의 Cohen's $d = 2.14$).
• 특성 중요도: SHAP 분석 결과 증상 심각도 척도(SSS) 항목 13이 전역적으로 지배적인 예측 신호로 식별되었습니다.
  • 동반 질환 없음: 낮은 증상 심각도(SSS 항목 18)로 구분됩니다.
  • 추간판 탈출증: SSS 항목 13, SSS 항목 1 및 심혈관계 증상으로 특징지어집 식별됩니다.
  • IBS: SSS 항목 13, SSS 항목 6(장 증상) 및 신체 기능 하위 척도로 특징지어지며, 이는 장-뇌 축 조절 장애와 일치합니다.
• 추론 지연 시간: Gradient Boosting 및 LightGBM 변형은 가장 낮은 추론 시간(<0.25 ms/sample)을 제공한 반면, 메타 앙상블은 훨씬 더 많은 시간(>100 ms/sample)이 소요되었습니다.

4. 핵심 기여

1. 다중 클래스 프레임워크: 단순한 이진 질병 탐지를 넘어 NC, DH, IBS를 구별하는 새로운 3-클래스 지도 학습 프레임워크를 제시했습니다.
2. 누출 인지형 파이프라인: 임퓨션, 스케일링, 오버샘플링을 훈련 폴드 내에 엄격히 격리하는 전처리 프로토콜을 제공합니다. 저자들은 특성 선택(MI 및 GA)이 전체 코호트에서 수행되었음을 명시함으로써, 이 "누출 없는 분류기 훈련"을 "완전한 누출 없는 특성 선택"과 구분하였습니다.
3. 포괄적 벤치마킹: 중첩 교차 검증 하에서 16개의 분류기를 전역 통계 검증(Friedman, Wilcoxon) 및 효과 크기 분석과 함께 엄격하게 평가했습니다.
4. 설명 가능성 통합: SHAP와 LIME을 체계적으로 적용하여 모델의 속성이 임상적으로 타당한 병리 생리학적 징후(예: IBS의 내장 과민성)와 어떻게 연결되는지 복구했습니다.
5. 교정 중심: 정확도와 함께 확률 교정(ECE, Brier score)을 명시적으로 평가하여, 의사결정 지원 도구에 필요한 신뢰할 수 있는 확률 추정치의 중요성을 다루었습니다.

5. 의의 및 한계 (논문에서 주장된 바와 같이)

본 논문은 자신의 주요 의의가 분류기 훈련 시 데이터 누출과 같은 흔한 함정을 피하면서, 다중 클래스 동반 질환 분류를 위한 방법론적으로 투명하고 재현 가능한 프레임워크를 제공하는 데 있다고 주장합니다. 또한, 엄격한 교차 검증과 적절한 리샘플링(BorderlineSMOTE)이 사용될 때 앙상블 방법이 작은 샘플 및 높은 불균형의 임상 환경에서도 강력한 판별 성능을 달성할 수 있음을 보여줍니다.

그러나 저자들은 절대적인 성능 수치에 대해 겸허한 입장을 유지합니다:

• 낙관적 편향: 특성 선택(MI 및 GA)이 외부 폴드 내에 중첩되지 않고 전체 코호트에서 수행되었기 때문에, 보고된 정확도와 F1 점수는 일반화 성능에 대한 낙관적인 추정치일 가능성이 높다고 명시적으로 인정했습니다. 다만, 모든 모델이 동일한 특성 서브셋에 노출되었으므로 모델 간의 상대적 순위는 더 견고하다고 간주됩니다.
• 일반화 가능성: 본 연구는 적은 샘플 크기($n=59$)와 단일 사이트 데이터 수집의 한계를 가집니다. 저자들은 임상 배치를 위한 전제 조건으로 독립적인 다기관 코호트에 대한 외부 검증이 필요하다고 언급했습니다.
• 인과적 주장: 저자들은 SHAP와 LIME이 질병의 원인에 대한 인과적 증명이 아니라 구성 타당도(모델과 임상 지식 간의 일치성)에 대한 증거를 제공한다는 점을 명확히 했습니다.

결론적으로, 본 연구는 현재의 파이프라인이 임상 의사결정 지원을 위한 강력한 출발점을 제공하지만, 향후 연구는 완전히 중첩된 특성 선택, 외부 검증, 그리고 정신의학적 및 대사적 동반 질환을 포함한 레이블 공간의 확장을 우선시해야 한다고 밝히고 있습니다.