기술 요약: 로컬 MDI+ (LMDI+)

문제 정의

랜덤 포레스트 (RF) 와 그래디언트 부스팅과 같은 트리 기반 앙상블은 예측 성능과 계산 효율성으로 인해 표형 데이터 (tabular data) 에 있어 최첨단 (state-of-the-art) 방법론으로 남아 있습니다. 결과적으로 이들은 의료 및 형사 사법과 같은 고위험 분야에서 광범위하게 배포되어 신뢰할 수 있는 로컬 해석이 필수적입니다.

현재의 로컬 특징 중요도 (LFI) 방법론인 LIME 과 TreeSHAP 은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 교란 (Perturbations) 에 대한 의존성: 이러한 모델-중립적 (model-agnostic) 접근법은 모델 행동을 근사화하기 위해 무작위 교란이나 특징 순열에 의존합니다. 이는 모델의 내부 구조를 무시하여 불안정한 설명을 초래하고, 근본적인 데이터 생성 과정 (DGPs) 에서 실제 신호 특징을 식별하지 못하게 합니다.
2. 불안정성: 기존 방법론들은 종종 서로 다른 무작위 시드로 반복된 모델 적합을 통해 일관되지 않은 특징 순위 결과를 산출합니다.
3. 트리 기반 방법론의 편향: 전통적인 트리 기반 로컬 중요도 (Local MDI) 는 높은 엔트로피나 낮은 상관관계를 가진 특징들이 과대평가된 중요도 점수를 받는 편향을 겪습니다. 또한, 트리 기반 모델은 가법적이고 부드러운 함수를 포착하는 데 비효율적입니다.

전역 특징 중요도 방법인 MDI+ 는 변환된 노드 기반에서 의사결정나무와 최소제곱법 사이의 동등성을 활용하여 이러한 편향을 해결했지만, 이는 여전히 전역 지표에 머무릅니다. 이는 종종 고유한 개인적 특성에 의존하는 샘플별 결과를 설명할 수 없습니다.

방법론: LMDI+ 프레임워크

저자들은 샘플별 설정으로 MDI+ 프레임워크를 확장한 새로운 로컬 MDI+ (LMDI+) 를 제안합니다. 검증된 데이터 과학을 위한 예측성 - 계산성 - 안정성 (PCS) 프레임워크 하에 개발된 LMDI+ 는 교란에 의존하지 않고 인스턴스별 신호 특징을 충실하고 일관되게 식별하는 것을 목표로 합니다.

이 프레임워크는 의사결정나무 예측과 변환된 기저 (stump functions) 에 대한 일반 최소제곱 (OLS) 회귀 사이의 동등성을 활용합니다. LMDI+ 절차는 세 가지 핵심 단계를 포함합니다:

1. 확장된 표현: 앙상블 내의 각 나무에 대해, 이 방법은 다음을 포함하는 특징 매핑 $\tilde{\Psi}(X)$ 를 구성합니다:
   • 나무 구조 (in-bag 및 Out-of-Bag (OOB) 샘플 기반) 에서 유도된 변환된 stump 함수 $\Psi(X; S)$.
   • 매핑에 추가된 원시 특징 값 $x_k$. 이러한 증가는 순수한 나무 분할이 놓칠 수 있는 선형 및 가법적 구조를 모델이 포착할 수 있도록 합니다.
2. 정규화된 GLM 적합: OLS 대신 LMDI+ 는 변환된 데이터에 정규화된 일반화 선형 모델 (GLM) (예: ElasticNet) 을 적합합니다. 이 단계는 과적합을 완화하고 표준 트리 기반 중요도 측정치보다 상관된 특징을 더 잘 처리합니다.
3. 샘플별 귀속: 특정 관측치 $x$ 에 대해, $k$ 번째 특징의 중요도는 선형화된 모델 내 예측에 대한 해당 특징의 기여도로 계산됩니다:
   $$\text{LMDI}^+_k(x) = \tilde{\Psi}^{(k)}(x)^\top \hat{\beta}^{(k)}_\lambda$$
   여기서 $\hat{\beta}^{(k)}_\lambda$ 는 GLM 계수를 나타냅니다. 만약 어떤 특징이 분할에 전혀 나타나지 않는다면, 그 기여도는 0 입니다. 최종 앙상블 점수는 모든 나무에 걸친 이러한 점수의 평균입니다.

주요 기여 및 결과

이 논문은 12 개의 실제 벤치마크 데이터셋 (6 개 회귀, 6 개 분류) 과 다양한 합성 설정에서 LMDI+ 를 검증했습니다.

1. 신호 특징 식별의 우수성

• 합성 실험: 신호 대 잡음비 (SNR), 샘플 크기, 응답 함수 (선형, 다항식, 국소적 스파이크 - 희소) 가 변하는 데이터 영감 시뮬레이션에서 LMDI+ 는 LIME, TreeSHAP, Local MDI 와 비교하여 신호와 비신호 특징을 구분하는 데 일관되게 더 높은 AUROC 점수를 달성했습니다.
• 상관관계에 대한 강건성: 매우 상관된 특징이 있는 설정에서 LMDI+ 는 신호 특징을 가장 중요하게 올바르게 순위 매겼습니다. 반면, LIME 과 TreeSHAP 과 같은 베이스라인은 상관 강도가 높을 때 ($\rho \ge 0.9$) 종종 상관되지 않은 비신호 특징을 잘못 우선순위로 삼았습니다.
• 실제 세계 성능: "제거 및 재학습 (remove-and-retrain)" 평가 기법을 사용하여 LMDI+ 는 선택한 특징들이 개인 결과에 더 예측력이 있음을 입증했습니다. 상위 $k\%$ 특징만 유지하는 마스킹된 데이터로 모델을 재학습할 때, LMDI+ 는 베이스라인보다 더 높은 $R^2$ (회귀) 및 AUROC (분류) 점수를 산출했으며, 선택된 특징만 사용할 때 예측 성능이 평균 10% 향상되었습니다.

2. 향상된 안정성

• LMDI+ 는 서로 다른 무작위 시드로 반복된 모델 적합을 통해 가장 일관된 특징 순위를 산출했습니다.
• 안정성 실험은 LMDI+ 가 서로 다른 모델 적합을 통해 가장 적은 수의 고유 특징을 선택함을 보여주었으며, 이는 신뢰할 수 있는 해석을 위한 필수 조건인 중요도 순위가 모델링 변화에 대해 강건함을 나타냅니다.

3. 일반화 및 제거 분석

• 구성 요소 분석: 제거 분석 연구는 LMDI+ 의 각 구성 요소 (OOB 샘플, 원시 특징 증강, 정규화된 GLM) 가 성능 향상에 기여함을 확인했습니다.
• 나무 내 모델 중립성: 개선 사항은 랜덤 포레스트를 넘어 그래디언트 부스팅 모델로 확장되어 다양한 트리 앙상블에 대한 프레임워크의 적용 가능성을 입증했습니다.

4. 실용적 응용

• 반사실적 설명: 신호 특징을 우선순위로 삼음으로써, LMDI+ 는 베이스라인에 비해 더 작은 수정 (낮은 $\ell_1$ 거리) 을 요구하는 반사실적 (예측을 뒤집기 위한 최소한의 변경) 을 식별했습니다.
• 하위 집단 발견: 마이애미 주택 데이터셋에 대한 사례 연구에서 LMDI+ 점수를 기반으로 샘플을 클러스터링하면 동질적인 하위 집단이 드러났습니다. 이러한 하위 집단에 간단한 OLS 모델을 적합하면 전역 모델에 비해 예측 오차 (MSE) 가 크게 감소했으며, LMDI+ 는 하위 집단 동질성 측면에서 다른 LFI 방법보다 우수했습니다.

중요성 및 주장

이 논문은 LMDI+ 가 전역 트리 기반 중요도와 로컬, 샘플별 해석 가능성의 필요성 사이의 중요한 격차를 해소한다고 주장합니다. 교란 기반 근사화에서 벗어나 트리 앙상블의 내부 선형 구조를 활용함으로써, LMDI+ 는 다음과 같은 것을 제공합니다:

• 충실성: 개별 예측을 주도하는 실제 신호 특징을 더 정확하게 식별합니다.
• 안정성: 모델 실행 전반에 걸쳐 일관된 설명을 제공하여 고위험 환경에서 신뢰할 수 없는 의사결정 위험을 줄입니다.
• 실행 가능성: 효율적인 반사실적 생성 및 동질적인 데이터 하위 집단 발견과 같은 실용적인 사용 사례를 가능하게 합니다.

저자들은 LMDI+ 를 검증된 데이터 과학을 향한 한 걸음으로 위치시키며, 로컬 해석이 계산 가능할 뿐만 아니라 예측 가능하고 안정적임을 보장합니다. 이 방법은 GLM 적합 및 기저 변환을 위한 일회성 오버헤드를 도입하지만, 새로운 샘플에 대한 추론 단계는 효율적 (단순한 선형 곱셈) 이므로 모델 구조가 고정된 실제 배포에 실행 가능합니다.