RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution

기술 요약: RoSHAP – 안정적인 특징 할당을 위한 분산 프레임워크 및 강건한 지표

1. 문제 제기

특징 할당 (feature attribution) 은 기계 학습 모델을 해석하고 데이터 기반 의사결정을 지원하기 위해 필수적입니다. 그러나 표준 할당 지표 (예: SHAP, LIME) 는 종종 상당한 확률적 변동성을 보입니다. 무작위 훈련 - 테스트 분할, 무작위 시드, 확률적 최적화 절차와 같은 요인들은 할당 값과 특징 순위가 크게 달라지게 만들 수 있습니다. 이러한 불안정성은 고차원, 노이즈가 많거나 상관관계가 있는 환경 (예: 유전체학) 에서 특히 문제가 되며, 신뢰할 수 없는 순위는 과학적 결론을 오도하고 비용이 많이 드는 하류 실험을 잘못 이끌 수 있습니다. 기존 방법들은 일반적으로 평균 할당 크기나 순위에 초점을 맞추지만, 리샘플링 실행 전반에 걸친 할당 점수의 전체 경험적 분산을 고려하지는 못합니다.

2. 방법론

본 논문은 특징 할당을 점 추정치가 아닌 분산 문제로 취급하는 RoSHAP(Robust SHAP) 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

• 부트스트랩 기반 분산 추정:
  이 프레임워크는 훈련 데이터를 반복적으로 리샘플링 (부트스트랩) 하고, 모델을 다시 적합시킨 후 각 특징에 대한 할당 점수 (구체적으로 SHAP 값) 를 재계산합니다. 이를 통해 각 특징에 대한 할당 점수의 경험적 분산을 생성하여 기여도의 크기와 변동성을 모두 포착합니다.

  • 알고리즘: $B$번의 부트스트랩 반복에 대해, 리샘플링된 데이터셋에 모델을 적합시키고 아웃 - 오브 - 배깅 (OOB) SHAP 값을 계산합니다. 이러한 값들을 집계하여 특징 수준의 할당 분산을 형성합니다.

• 제로 - 팽창 모델링 및 가우스 근사:
  SHAP 값 (특히 트리 기반 모델에서) 은 종종 정확한 0 을 포함하므로, 저자들은 샘플 - 특징 SHAP 값 $T_{ij}$를 제로 - 팽창 혼합으로 모델링합니다:
  $$T_{ij} \sim w_{ij} \delta_0 + (1 - w_{ij}) G_{ij}$$
  여기서 $\delta_0$는 0 에서의 점 질량, $w_{ij}$는 0 할당의 확률, $G_{ij}$는 0 이 아닌 성분입니다.
  특징 수준의 집계 크기는 $U_j = \sum |T_{ij}|$로 정의됩니다. 약한 정규성 조건 (구체적으로, 집계가 소수의 지배적 항이 아닌 많은 작은 항에 의해 주도됨을 보장하는 Lyapunov 조건) 하에서, $U_j$의 분산은 점근적으로 가우스 분포를 따르는 것으로 나타납니다. 이는 큰 $B$에 대한 비모수 커널 밀도 추정 (KDE) 에 비해 부트스트랩의 계산 비용을 크게 줄이면서 분산을 평균과 표준편차로 요약할 수 있게 합니다.

• RoSHAP 지표:
  RoSHAP 는 추정된 분산을 세 가지 속성에 기반하여 특징을 보상하는 단일 강건한 순위 기준으로 통합합니다:

  1. 활성도 (Activity): 0 이 아닌 할당의 비율 ($1 - P_{0j}$, 여기서 $P_{0j} = \text{Pr}(U_j = 0)$).
  2. 강도 (Strength): 0 이 아닌 할당의 중앙값 크기 ($m_j$).
  3. 안정성 (Stability): 표준편차의 역수 ($1/s_j$), 즉 신호 - 대 - 잡음비를 나타냄.

  지표는 다음과 같이 정의됩니다:
  $$\text{RoSHAP}_j := (1 - P_{0j}) \frac{m_j^2}{s_j}$$
  이 공식은 리샘플링 실행 전반에 걸쳐 일관되게 활성화되고, 강한 기여를 하며, 변동성이 낮은 특징들을 우선시합니다.

3. 주요 기여

• 분산 프레임워크: 부트스트랩과 KDE 를 통해 할당 점수의 전체 분산을 모델링하는 방식으로, 점 추정 할당에서 분산 모델링으로의 패러다임 전환을 이룹니다.
• 이론적 정당성: 정규성 조건 하에서 집계된 특징 할당 점수가 점근적으로 가우스 분포를 따른다는 것을 증명하여, 계산 부담을 줄이기 위해 평균 - 분산 요약을 사용하는 것을 정당화합니다.
• 강건한 지표 (RoSHAP): 불안정성과 비활성화를 명시적으로 패널티하는 복합 지표를 도입하여, 크기 기반 순위의 한계를 해결합니다.
• 실증적 검증: 다양한 데이터 모달리티 (표, 분자, 공간, 이미지 데이터) 와 모델 유형 (XGBoost, LightGBM, CatBoost, 신경망, ViT) 에서 프레임워크의 효과성을 입증했습니다.

4. 결과

• 시뮬레이션 연구:
  1,000 개의 특징 (10 개의 실제 신호) 을 가진 이진 분류 시뮬레이션에서, RoSHAP 는 1,000 번의 부트스트랩 실행을 사용하여 상위 12 개 순위 내에서 10 개 신호 특징 중 8 개를 성공적으로 식별했습니다. 부트스트랩 실행 횟수가 10 회에 불과할 때도 상위 12 개 내에서 8 개의 신호를 복원했습니다. 반면, 표준 단일 실행 SHAP 은 상위 12 개 내에서 4 개의 신호만 식별했으며, 가장 강력한 신호 특징 ($x_1$) 에는 거의 0 의 중요도를 부여했습니다. 정보 이득 (Information Gain) 과 LIME 과 같은 다른 지표들도 불안정한 순위를 보여주었습니다.

  • 가우스 근사: 강건한 중요도 추정치의 경험적 분산이 대략 가우스 분포를 따르는 것으로 발견되어, 필요한 부트스트랩 반복 횟수의 이론적 감소를 검증했습니다.

• 실제 실험:

  • Golub (유전체학): 고차원, 소표본 환경 (7,129 개 유전자) 에서 RoSHAP 는 시드별 SHAP 에 비해 일관되게 중요한 유전자에 대한 더 명확한 요약을 제공했습니다. RoSHAP 로 선택된 특징으로 훈련된 모델은 더 적은 예측 변수를 사용하면서도 전체 특징 모델과 비교 가능한 성능을 달성했습니다.
  • Musk (분자): RoSHAP 는 불균형 데이터를 처리하고 신호를 효과적으로 분배하여 다른 방법들과 비교 가능한 성능을 보였으나, 더 안정적인 특징 선택을 나타냈습니다.
  • UJIIndoorLoc (회귀): 고차원 회귀 작업 (WiFi 지문 인식) 에서 RoSHAP 는 RMSE, MAE, MAPE 지표 전반에 걸쳐 경쟁력 있고 안정적인 성능을 달성했습니다.
  • CIFAR-10 (이미지): 비전 트랜스포머 (ViT) 에 적용된 이 프레임워크는 단일 실행 이미지 설명이 훈련 무작위성에 민감함을 드러냈습니다 (예: 실행 간 할당이 물에서 배 몸체로 이동). 집계된 RoSHAP 맵은 올바른 객체 영역에 대한 안정적이고 해석 가능한 초점을 제공하여, 모델이 관련 없는 배경 영역에 주의를 기울이는 예측 오류를 진단하는 데 도움을 주었습니다.

5. 중요성과 주장

본 논문은 RoSHAP 가 확률적 변동을 고려한 특징 순위의 신뢰할 수 있는 기반을 제공함으로써 기계 학습 모델의 안정성과 해석 가능성을 향상시킨다고 주장합니다.

• 신뢰성: 무작위 데이터 분할이나 시드의 아티팩트에서 결론을 도출할 위험을 줄이고 분석을 위한 일관된 통찰력을 가능하게 합니다.
• 효율성: 가우스 근사는 부트스트랩 실행 횟수를 1,000 회에서 10 회로 줄이면서도 강건한 성능을 유지하여 상당한 계산 절감을 가능하게 합니다.
• 실용적 영향: RoSHAP 로 선택된 특징으로 구축된 모델은 전체 특징 모델과 비교 가능한 예측 성능을 달성하지만, 훨씬 더 적은 예측 변수를 사용하여 더 효율적이고 해석 가능한 하류 응용을 용이하게 합니다.

저자들은 RoSHAP 를 기존 할당 방법의 대체제가 아니라, 특히 고위험 또는 고차원 분야에서 할당 불안정성이라는 중요한 격차를 해결하는 강건한 보완재로 위치시킵니다.