기술 요약: 비선형 역학적 추론을 위한 RuleSHAP

문제 정의

기계 학습(ML)은 선형 모델이 놓치기 쉬운 복잡한 비선형성과 상호작용을 포착할 수 있기 때문에, "가설 없는 발견(hypothesis-free discovery)"을 위한 위험 및 보호 요인 탐색에 점점 더 많이 활용되고 있습니다. 그러나 결정적인 한계가 존재합니다. 표준 ML 모델은 신뢰할 수 있는 통계적 추론 기능이 부족하다는 점입니다. SHAP(Shapley Additive Explanations)와 같은 특성 중요도 측정 방식은 국소적 효과 추정치를 제공하지만, 일반적으로 유효한 불확실성 정량화(UQ)를 결함하고 있습니다. SHAP의 불확실성을 정량화하려는 기존의 시도들은 데이터의 노이즈인 우연적 불확실성(aleatoric uncertainty)에만 집중하고, 모델 파라미터의 불안정성인 인식론적 불확려성(epistemic uncertainty)은 간과하는 경우가 많습니다. 또한, ML 특성 선택과 후속 선형 회귀를 결합하는 방법들은 지나치게 낙관적인 불확실성 추정치를 산출하며 비선형 상호작용을 일관되게 포착하지 못합니다. 따라서 도전 과제는 ML의 유연성을 유지하면서도 신뢰 구간을 포함한 엄격한 국소 수준의 통계적 추론을 제공하는 프레임워크를 개발하는 것입니다.

방법론: RuleSHAP 프레임워크

저자들은 기존 RuleFit 계열 모델의 한계를 해결하기 위해 베이지안 희소 회귀(Bayesian sparse regression), 트리 앙상블, 그리고 샤플리 값(Shapley values)을 통합한 RuleSHAP 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 혁신으로 구성됩니다.

1. 구조적 호스슈 사전 분포를 통한 개선된 선형 적합 (Improved Linear Fit with Structured Horseshoe Prior)

RuleSHAP은 이분법적 결정 규칙(dichotomous decision rules)으로 강화된 베이지안 선형 회귀 모델을 채택합니다. 단일 전역 수축 파라미터를 사용하여 선형 항의 과도한 수축을 초래(선형 신호 손실 유발)하는 표준 HorseRule 모델과 달리, RuleSHAP은 **계층적 구조적 호스슈 사전 분포(hierarchical structured horseshoe prior)**를 도입합니다.

• 분리된 전역 수축 파라미터: 모델은 선형 항을 위한 별도의 전역 수축 파라미터($\tau_L$)와 규칙 항을 위한 파라미터($\tau_R$)를 사용합니다. 이를 통해 정보가 없는 규칙이 선형 항에 해로운 영향을 미칠 정도로 전역 수축을 부풀리는 것을 방지합니다.
• 추론 중심: 이러한 분리는 선형 효과에 대한 보다 정확한 불확실성 정량화를 가능하게 합니다. 이는 선형 항이 규칙과 달리 데이터에 조건부로 결정되지 않아 추론에 더 적합하기 때문입니다.

2. 강건한 규칙 생성 (Smoothing Random Forest)

규칙 생성이 무작위적이고 특정 데이터셋에 의존하여(과적합 및 불확실성 과소 추정 유발) 발생하는 문제를 해결하기 위해, RuleSHAP은 "스무딩 랜덤 포레스트(Smoothing Random Forest)" 접근 방식을 도입합니다.

• 파라메트릭 부트스트랩 통합: 관측된 실제 결과값을 직접 사용하여 규칙을 생성하는 대신, 이 방법은 랜덤 포레스트를 적합시키고, 추정된 분포(예: 평균 및 분산)를 사용하여 외곽 데이터(out-of-bag) 예측으로부터 결과 분포의 파라미터를 추정합니다. 그 후, 이 추정된 분포에서 샘플링된 합성 결과값에 대해 새로운 랜덤 포레스트를 적합시켜 규칙을 생성합니다.
• 잔차 기반 적합: 초기 선형 적합을 위해, 규칙은 선형 항에 대한 베이지안 호스슈 회귀의 잔차로부터 생성됩니다. 이는 규칙이 선형 신호를 다시 포착하는 것이 아니라, 선형을 넘어선(beyond-linear) 경향을 모델링하도록 보장합니다.
• 규칙 분해: 해석력을 높이고 복잡한 상호작용에 대한 과적합을 방지하기 위해, 이 방법은 트리 경로를 완전히 분해합니다. 트리 경로 내의 조건들은 가능한 모든 방식으로 재조합되어, 모델이 불필요하게 복잡한 상호작용 규칙을 강요받지 않고도 단순하고 필수적인 조건들을 활용할 수 있게 합니다.

3. 효율적인 샤플리 값 계산

프레임워크는 규칙 항으로부터 한계 샤플리 값(marginal Shapley values) 및 **상호작용 샤플리 값(interaction Shapley values)**을 직접 계산하는 명시적 공식을 도출합니다.

• 직접 추정: 규칙을 다시 전체 트리로 변환해야 하는(계산 비용을 증가시키는) TreeSHAP과 달리, RuleSHAP은 데이터셋에 대한 표본 평균으로서 샤플리 값에 대한 불편 추정량(unbiased estimator)을 제공합니다.
• 불확실성 전파: 베이지안 모델의 모든 사후 샘플에 대해 샤플리 값을 계산함으로써, 이 프레임워크는 특성 효과에 대한 전체 사후 분포를 생성하여 국소 추론을 위한 신뢰 구간을 구축할 수 있게 합니다.

주요 결과

시뮬레이션 연구

저자들은 다양한 표본 크기($n$)와 차원($p$)을 가진 시뮬레이션 데이터(Friedman의 벤치마크)를 통해 RuleSHAP을 OLS, LASSO, RuleFit, HorseRule, Random Forest, BART와 비교하여 검증했습니다.

• 신호 재구성: RuleSHAP은 과도한 수축으로 인해 RuleFit과 HorseRule이 놓치기 쉬운 선형 신호($x_4, x_5$)를 성공적으로 식별했습니다. 또한, 더 큰 표본 크기에서 경쟁 모델들과 대등하거나 더 나은 정확도로 상호작용 효과($x_1, x_2$)와 순수 비선형 효과($x_3$)를 재구성했습니다.
• 노이즈 탐지: RuleSHAP은 신호와 노이즈를 구별하는 데 탁월한 능력을 보여주었습니다. BART와 HorseRule은 (불확실성을 과소 추정하여) 노이즈 특성에 대해 유의미한 국소 효과를 자주 생성한 반면, RuleSHAP의 노이즈 특성에 대한 신뢰 구간은 일관되게 0을 포함했습니다.
• 불확실성 정량화: RuleSHAP은 노이즈 특성에 대해 가장 낮은 기각률을, 신호 특성에 대해 가장 높은 기각률을 달 기록하며, 국소 추론에서 제1종 오류와 제2종 오류 사이의 최적의 균형을 보여주었습니다.

역학적 적용 (HELIUS 연구)

이 프레임워크는 수축기 혈압(SBP) 및 콜레스테롤 수치의 위험 요인을 조사하기 위해 HELIUS 코호트($n=21,570$)에 적용되었습니다.

• 예측 성능: RuleSHAP은 주로 선형 관계인 SBP에 대해서는 선형 모델과 유사한 성능을 보였으나, 콜레스테롤에 대해서는 선형 모델을 크게 능가하며 필요한 비선형성을 포착했습니다.
• 추론 결과:
  • SBP: 연령, BMI, 글루코스와의 양의 상관관관계를 확인했습니다. 또한 인종 및 성별에 따른 연령의 이질적 효과를 밝혀냈습니다.
  • 콜레스테롤: 흡연과의 양의 상관관계와 글루코스와의 음의 상관관계를 탐지했습니다. 결정적으로, 연령과 성별 간의 비선형 상호작용을 발견하여, 성별 간 콜레스테롤 차이가 폐경 연령대인 52세 이후에 가장 뚜렷해진다는 점을 보여주었습니다.
  • 노이즈 제어: 추가된 4개의 노이즈 특성 모두가 유의미한 효과가 없는 것으로 올바르게 식별되었습니다.

의의 및 주장

본 논문은 RuleSHAP이 국소 통계적 추론을 동반한 가설 없는 발견을 위한 유효한 프레임워크라고 주장합니다. 이 연구의 주요 의의는 ML의 유연성과 통계적 추론의 엄격성 사이의 간극을 메우는 데 있습니다:

1. 국소 추론: 전역적 추론이나 하위 최적의 국소 구간에 국한되는 일반 가법 모델(GAM)과 달리, RuleSHAP은 국소 특성 효과에 대한 유효한 신뢰 구간을 제공합니다.
2. 인식론적 불확실성: 베이지안 회귀를 통합함으로써, 다른 SHAP 기반 추론 시도가 흔히 간과하는 모델의 불안정성(인식론적 불확실성)을 고려합니다.
3. 선형 vs 비선형의 균형: 구조적 사전 분포는 이전 RuleFit 변형 모델들의 흔한 실패 모드인 "선형 항의 과도한 수축"을 방지하여, 복잡한 상호작용을 추구하는 과정에서 선형 신호가 손실되지 않도록 보장합니다.
4. 계산 효율성: 도출된 명시적 샤플리 값 공식은 개별 규칙을 분석할 때 TreeSHAP처럼 규칙을 전체 트리로 변환하는 것보다 더 효율적으로 확장 가능한 계산을 가능하게 합니다.

저자들은 계산 비용(베이지안 적합에 따라 표본 크기에 따라 이차적으로 증가)이 여전히 제한 사항이지만, RuleSHHAP이 통계적으로 유효한 불확실성 정량화를 갖춘 복잡한 비선형 위험 요인 탐지를 가능하게 함으로써 투명한 의료용 ML을 위한 강력한 도구를 제공한다고 결론짓습니다.