Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease

이 논문은 알츠하이머병 진단 및 예후를 위한 머신러닝 모델의 SHAP 설명이 질병 단계와 모델 아키텍처에 걸쳐 일관되고 안정적임을 NACC 데이터셋 기반 실험을 통해 입증함으로써, 임상 현장에서의 신뢰할 수 있는 해석을 가능하게 하는 다단계 설명 가능성 프레임워크를 제안합니다.

핵심

🧠 핵심 비유: "신비한 점술가 vs. 설명 잘하는 선생님"

지금까지 알츠하이머를 진단하는 AI 모델들은 **'신비한 점술가'**와 비슷했습니다.

• 문제: "환자 A 는 알츠하이머일 확률이 90% 입니다"라고 말해줍니다. 하지만 **"왜?"**라고 물으면, "그냥 계산상 그렇습니다"라고만 답합니다. 의사들은 "어떤 증상을 보고 그렇게 판단했지?"라고 궁금해하지만, AI 는 그 이유를 말해주지 않아 (블랙박스) 신뢰하기 어려웠습니다.
• 해결책 (SHAP): 연구자들은 **'설명 잘하는 선생님 (SHAP)'**을 AI 곁에 앉혔습니다. 이 선생님은 AI 가 내린 결론에 대해 "이 환자는 **기억력 (MEMORY)**이 떨어지고, **주변을 파악하는 능력 (ORIENT)**이 부족해서 알츠하이머로 판단했습니다"라고 구체적인 이유를 설명해 줍니다.

🚧 이 연구가 발견한 진짜 문제: "설명의 일관성"

하지만 여기서 새로운 문제가 생겼습니다.

• 상황: 같은 환자를 진단할 때, AI 모델 A 는 "기억력"을 중요하게 봤는데, 모델 B 는 "판단력"을 중요하게 봤다면 어떨까요?
• 우려: 만약 AI 가 상황에 따라 설명을 자꾸 바꾼다면, 의사는 "도대체 어떤 게 진짜 중요한 증상이지? 이 AI 를 믿어도 될까?"라고 생각하게 됩니다.

🔍 이 연구가 한 일: "설명의 신뢰도 검사"

이 논문은 단순히 "AI 가 설명을 해준다"는 것을 넘어, **"그 설명이 얼마나 일관되고 믿을 만한가?"**를 검증하는 새로운 시스템을 만들었습니다.

1. 같은 모델 안에서의 일관성 (내부 검사)

• AI 가 스스로 "이게 중요해"라고 생각한 것과, 설명 선생님 (SHAP) 이 "이게 중요해"라고 말하는 것이 일치하는지 확인했습니다.
• 결과: 두 가지가 거의 일치했습니다. 즉, AI 가 내린 판단과 그 이유가 서로 모순되지 않는다는 뜻입니다.

2. 질병 단계별 일관성 (진단 vs 예후)

• 진단 (Diagnosis): "지금 환자가 알츠하이머인가?"를 판단할 때의 이유.
• 예후 (Prognosis): "4 년 뒤 이 환자가 더 나빠질까?"를 예측할 때의 이유.
• 비유: 만약 "오늘 비가 올 것 같다"고 말할 때 "구름이 많아서"라고 하고, "내일 더 많이 올 것 같다"고 예측할 때 "바람이 불어서"라고 한다면 혼란스럽겠죠?
• 결과: 놀랍게도, 진단할 때와 예후를 볼 때 AI 가 중요하게 여기는 증상 (기억력, 주의력, 판단력 등) 이 거의 똑같았습니다. 설명이 질병의 단계가 바뀌어도 흔들리지 않는다는 뜻입니다.

3. 다양한 모델 간의 일관성

• 서로 다른 AI 모델 (XGBoost, LightGBM 등) 을 사용해도, 모두 같은 증상들을 중요하게 여겼습니다. 이는 AI 가 우연히 찾은 것이 아니라, 실제로 알츠하이머와 관련된 진짜 핵심 증상을 찾아냈다는 강력한 증거입니다.

💡 주요 발견 사항 (한 줄 요약)

1. 핵심 증상은 변하지 않는다: 알츠하이머를 진단하거나 미래를 예측할 때, AI 가 가장 중요하게 여기는 것은 기억력, 주의력, 판단력, 일상생활 능력 등입니다. 유전적 요인도 있지만, 인지 기능 평가가 훨씬 더 중요하게 작용했습니다.
2. 설명의 안정성: AI 가 내린 설명은 질병의 초기 단계든 후기 단계든, 진단이든 예후든 매우 일관적이었습니다. (예: 기억력 점수가 낮으면 항상 '알츠하이머 위험'을 높이는 방향으로 작용함)
3. 의사들의 신뢰 확보: 이 연구를 통해 AI 가 내린 설명이 단순히 기술적인 장난이 아니라, 임상적으로 신뢰할 수 있는 사실임을 숫자로 증명했습니다.

🏁 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 알츠하이머를 진단할 때, 그 이유를 설명하는 것이 얼마나 일관되고 믿을 만한지"**를 체계적으로 검증한 첫 번째 사례 중 하나입니다.

앞으로 의사는 AI 가 "이 환자는 알츠하이머입니다"라고 말할 때, "아, 기억력과 주의력 데이터가 낮아서 그런가 보네. 설명도 일관되니까 믿고 치료 계획을 세우자"라고 안심하고 AI 를 활용할 수 있게 될 것입니다. 이는 AI 가 병원에서 실제로 쓰이려면 반드시 거쳐야 할 **'신뢰의 다리'**를 놓아준 중요한 연구입니다.

기술 요약

논문 요약: 알츠하이머병 진단 및 예후 ML 모델의 SHAP 설명 가능성 향상

1. 문제 정의 (Problem Statement)

알츠하이머병 (AD) 의 진단과 예후 (진행 예측) 에 머신러닝 (ML) 모델이 널리 사용되고 있지만, 임상 현장에서의 실제 도입은 다음과 같은 한계로 인해 제한적입니다.

• 블랙박스 문제: 복잡한 ML 모델의 의사결정 과정을 이해하기 어려워 신뢰를 얻기 힘듭니다.
• 설명 가능성 (XAI) 의 불안정성: 기존 연구들은 주로 개별 모델에 대한 SHAP (SHapley Additive exPlanations) 해석에 집중하여, 질병의 단계 (정상, 경도 인지 장애, 알츠하이머) 나 예측 목적 (진단 vs 예후) 이 달라질 때 설명의 일관성 (Consistency), 안정성 (Stability), 강건성 (Robustness) 이 검증되지 않았습니다.
• 임상적 신뢰 부족: 기술적 전문성이 부족한 임상 의사들이 모델의 예측을 신뢰하고 워크플로우에 통합하기 위해서는 단일 모델의 시각적 해석을 넘어, 설명의 정량적 검증이 필요합니다.

2. 방법론 (Methodology)

이 연구는 AutoML과 NACC-UDS(국가 알츠하이머 조정 센터 표준 데이터 세트) 를 활용하여 진단 및 예후 모델을 구축하고, 제안된 다단계 설명 가능성 프레임워크를 통해 SHAP 해석의 안정성을 정량적으로 평가했습니다.

• 데이터 및 전처리:
  • 데이터: NACC-UDS (53,318 명, 1,024 개 변수) 사용.
  • 전처리: 결측치 처리 (50% 초과 제거, 나머지는 중앙값/최빈값 대체), 스케일링, 인코딩 수행.
  • 작업 정의:
    1. 진단 (Diagnosis): 현재 인지 상태 분류 (NC vs AD, NC vs MCI, MCI vs AD, 3 클래스).
    2. 예후 (Prognosis): 4 년 후 인지 상태 예측 (진행 여부).
• 모델 구축 (AutoML):
  • 도구: PyCaret (저코드 ML 라이브러리) 사용.
  • 알고리즘: XGBoost, LightGBM, Random Forest, Extra Trees 등 다양한 앙상블 모델 자동 최적화.
  • 검증: 환자 단위 (Subject-level) 분할을 통해 데이터 누출 방지, SMOTE 를 활용한 클래스 불균형 해결, 10-fold 교차 검증 수행.
• 제안된 다단계 설명 가능성 프레임워크:
  기존 SHAP 해석의 한계를 극복하기 위해 설명의 안정성을 3 가지 차원에서 정량화했습니다.
  1. 모델 내 일관성 (Within-Model Coherence): 모델이 학습한 특성 중요도 (Feature Importance, FI) 와 SHAP 값 간의 일치도 평가.
  2. 시나리오 간 안정성 (Cross-Scenario Stability): 질병 단계 (NC, MCI, AD) 가 다른 모델 간 SHAP 해석의 일관성 평가.
  3. 작업 간 전이성 (Cross-Task Transferability): 진단 모델과 예후 모델 간의 SHAP 해석 구조가 유지되는지 평가.
• 평가 지표:
  • 순위 상관관계: 스피어만 (Spearman ρ), 켄달 (Kendall τ).
  • 중복도: Top-k Jaccard 유사도 (J@10, J@20).
  • 방향성 일치: SHAP 부호 일관성 (Sign Consistency, %).
  • 크기 변화: Mean Δ|SHAP| (진단과 예후 간 설명력의 크기 변화).
  • 도메인 기여도: CDR, FAQ, 유전적 특성 등의 그룹별 SHAP 기여 비율 비교.

3. 주요 결과 (Key Results)

• 모델 성능:
  • 진단: NC vs AD 분류에서 XGBoost 가 98.6% 정확도, 0.998 AUC 달성.
  • 예후: NC vs AD 예측에서 LightGBM 이 92.6% 정확도, 0.976 AUC 달성.
• 주요 예측 변수:
  • 모든 모델에서 인지 및 기능적 지표 (MEMORY, JUDGMENT, ORIENT, PAYATTN 등) 가 SHAP 설명에서 지배적인 역할을 함.
  • 유전적 마커는 진단보다 예후에서 약간 더 큰 기여도를 보였으나, 전체적으로는 인지 평가 점수가 핵심.
• 설명 가능성의 정량적 검증:
  • 모델 내 일관성: FI 와 SHAP 간의 스피어만 상관관계는 0.500.95 (중간높음). 예후 모델이 진단 모델보다 더 높은 일관성을 보임.
  • 시나리오 간 안정성: 질병 단계가 다른 모델 간 SHAP 순위 일치도가 높음 (ρ = 0.61~0.94). 특히 MCI 와 AD 단계 간 비교에서 높은 일관성 확인. 초기 단계 (NC vs MCI) 예후 모델에서는 일관성이 다소 낮았으나, 이는 질병 진행의 이질성 때문으로 해석됨.
  • 작업 간 전이성: 진단과 예후 모델 간 **SHAP 부호 일관성이 100%**로 유지됨. 주요 예측 인자의 설명력 크기 변화 (Mean Δ|SHAP|) 가 매우 작음 (< 0.03).
  • 도메인 기여도: 진단과 예후 모두에서 CDR(임상 치매 등급) 과 FAQ(기능 활동 설문) 가 주요 기여도를 차지하며, 유전적 특성의 기여도는 예후에서 미세하게 증가함.

4. 주요 기여 (Key Contributions)

1. 정량적 설명 가능성 프레임워크 제안: SHAP 해석을 단순한 시각적 도구를 넘어, 일관성, 안정성, 전이성을 측정 가능한 속성으로 정의하는 체계적인 평가 프레임워크를 제시함.
2. 임상적 신뢰성 확보: 다양한 질병 단계와 예측 목적 (진단/예후) 에서 SHAP 설명이 일관되게 유지됨을 실증적으로 증명하여, 임상 의사들이 ML 모델의 예측을 신뢰할 수 있는 근거를 제공함.
3. AutoML 과 XAI 의 통합: PyCaret 기반의 AutoML 파이프라인을 통해 비전문가도 접근 가능한 고품질 모델과 그 설명을 생성하는 프로세스를 입증함.
4. 강건한 마커 식별: 인지 및 기능적 지표가 알츠하이머병의 진단과 예후 모두에서 일관된 핵심 마커임을 재확인하고, 유전적 요인의 역할 변화를 정량화함.

5. 의의 및 결론 (Significance)

이 연구는 알츠하이머병 진단 및 예후를 위한 ML 모델의 설명 가능성 (Explainability) 이 모델의 성능만큼이나 중요하며, 이는 정량적으로 검증되어야 함을 강조합니다.

• 임상 적용 가능성: 제안된 프레임워크는 ML 모델이 다양한 임상 시나리오에서 일관된 논리를 따르는지 검증함으로써, 의료 현장에서의 ML 도입 장벽을 낮추고 신뢰를 높이는 데 기여합니다.
• 확장성: 이 접근법은 알츠하이머병에 국한되지 않고, 다른 임상 질환의 예측 모델에서도 설명 가능성의 강건성을 평가하는 표준 방법론으로 활용될 수 있습니다.
• 미래 과제: 향후에는 MRI, PET 등 다중 모달 (Multimodal) 데이터와 결합한 설명 가능성의 안정성 평가 및 시간 경과에 따른 동적 설명 (Longitudinal SHAP) 연구가 필요하다고 제언합니다.

결론적으로, 이 논문은 "모델이 왜 그렇게 예측했는가"에 대한 답이 단일 모델에 국한되지 않고, 질병의 전체적인 맥락과 예측 목적에 걸쳐 안정적이고 신뢰할 수 있어야 함을 입증한 중요한 연구입니다.