기술 요약: 가산적 분해를 넘어: 분리 가능성을 통한 해석 가능성

문제 정의

해석 가능한 머신러닝은 예측 정확도와 구조적 투명성 사이의 근본적인 긴장 관계에 직면해 있다. 딥 뉴럴 네트워크나 그래디언트 부스팅 앙상블과 같은 "블랙박스" 모델은 최첨단 성능을 달ей하지만 읽을 수 있는 구조가 부족하다. 반면, 일반화 가산 모델(GAMs)과 같은 "글래스박스(glass-box)" 모델은 투명성을 제공하지만 복잡한 상호작용을 포착하지 못하거나 잘못 지정된 파라미터 가정에 의존하는 경우가 많다.

SHAP이나 통합 기울기(Integrated Gradients)와 같은 사후 설명(post-hoc explanations) 및 글래스박스 모델을 포함한 현재의 해석 방법들은 주로 **가산적 분해(additive decompositions)**에 의존한다. 저자들은 가산적 표현이 강력한 상호작용이 존재하는 상황에서 다음과 같은 치명적인 실패 모드를 겪는다고 주장한다:

1. 신호 상쇄(Signal Cancellation): 로컬 SHAP 설명은 주 효과(main effect)와 상호작용 효과를 상쇄하여, 활성화된 특성에 대해 0의 기여도를 할당할 수 있다.
2. 상호작용 마스킹(Interaction Masking): 부분 의존도 플롯(PDP)은 다른 특성들에 대해 주변화(marginalize)를 수행함으로써, 고차 상호작용 정보를 사실상 폐기하고 주 효과만을 회복한다.
3. 지지 외 외삽(Off-Support Extrapolation): 상관관계가 있는 특성 공간에서의 주변 평균화(marginal averaging)는 저밀도 영역에서 가짜 패턴을 유발할 수 있다.

본 논문은 이러한 한계가 정보 손실 없이 곱셈적 또는 분리 가능한(separable) 상호작용 구조를 충실히 표현할 수 없는 가산적 투영(additive projections)의 내재적 능력 부족에서 기인한다고 상정한다.

방법론: 텐서 분리 학습 (Tensor Separation Learning, TSL)

저자들은 각 특성의 단변량 함수들의 rank-1 곱들의 합을 학습하도록 설계된 회귀 모델인 **텐서 분리 학습(TSL)**을 제안한다. 표준적인 분리 모델과 달리, TSL은 안정성과 해석 가능성을 보장하기 위해 특정 구조적 제약을 강제한다.

모델 공식화

TSL 추정치 $\hat{m}(x)$는 $R$개 단계의 합으로 정의되며, 각 단계 $\ell$은 두 양수 분리 곱의 차이로 구성된다:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
주요 제약 조건은 다음과 같다:

• 양수성(Positivity): 모든 구성 함수 $\hat{m}^{(\ell)}_{\pm,j}(x_j)$는 엄격하게 양수($>0$)가 되도록 제약된다. 이는 각 구성 요소가 그 곱을 모호함 없이 증폭하거나 억제하도록 보장하며, 제약되지 않은 곱에서 발생하는 부호 모호성을 제거한다.
• 순서가 있는 차이(Ordered Difference): 각 단계는 두 양수 항의 차이로 이루어져, 양의 인자들을 유지하면서도 부호가 있는 기여를 표현할 수 있게 한다.

파라미터화: 백본(Backbone)과 틸트(Tilt)

해석력을 높이기 위해, 저자들은 각 특성 쌍에 대해 백본/틸트 재파라미터화를 도입한다:
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• 백본 ($b$): 단계의 공유된 크기 또는 "활성 게이트(activity gate)"를 나타낸다. 단계가 어디에서 활성화되는지(값이 0에 가까워지면 단계를 끔)를 결정한다.
• 틸트 ($d$): 양의 브랜치와 음의 브랜치 사이의 부호 있는 불균형을 나타낸다. 기여의 방향성을 제어한다.
  이 분해는 효과의 크기와 부호 있는 방향을 분리하여, 상쇄로 인해 순 부호 기여도가 0에 가까울 때도 충실한 시각화를 가능하게 한다.

적합 절차

TSL은 직교 재적합(orthogonal refitting)을 포함하는 **단계적 탐욕 절차(stagewise greedy procedure)**를 채택한다:

1. 단계적 적합(Stagewise Fitting): 각 단계 $\ell$에서 모델은 CART(Classification and Regression Trees)에서 영감을 받은 그리드 텐서 정밀화 방식을 사용하여 현재 잔차를 적합한다. 이는 적응형 분할 위에서 조각별 상수(piecewise-constant) 단변량 함수를 학습한다.
2. 배깅 및 집계(Bagging and Aggregation): 분산을 줄이기 위해, 여러 그리드 텐서를 붓스트랩 샘플에 대해 병렬로 적합한다. 참조 그리드에 고정(anchoring)하고 이상치를 필터링하는 유사성 기반 집계 체계가 이를 하나의 단계 예측기로 결합한다.
3. 직교 재적합(Orthogonal Reffitting): 새로운 단계를 적합한 후, 모든 단계 계수 $\{\lambda^{(k)}_\pm\}$는 타겟 $y$에 대해 최소 제곱법을 통해 공동 최적화된다. 이 백피팅(backfitting)은 계수가 현재의 단계 세트에 대해 최적이 되도록 보장한다.

주요 기여

1. 텐서 분리 학습 (TSL): 양의 rank-1 분리 곱들의 차이의 합으로 조건부 평균을 추정하는 새로운 회귀 알고리즘이다.
2. 모델 네이티브 해석 가능성(Model-Native Interpretability): 저자들은 TSL의 경우, 적합된 모델이 (상수 인자 제외) 1차 부분 의존도 함수로부터 정확하게 재구성될 수 있음을 증명한다. 사후 방식과 달리, TSL의 시각화(1D 부분 의절도 곡선)는 근사치가 아니라 적합된 구성 요소의 충실한 표현이다. 백본/틸트 분해를 통해 사용자는 크기(활성)와 방향(부호 있는 불균형)을 구분할 수 있다.
3. 근사 이론(Approximation Theory): 본 논문은 OGA(Orthogonal Greedy Approximation) 프레임워크를 활용하여, 유계된 혼합 $p$차 편도함수를 가진 함수들(구체적으로 Sobolev 공간 $W^{(1,1)}_{mix}$)에 대해 TSL 가설 클래스의 $O(1/\sqrt{r})$ 근사율을 확립한다.

실험 결과

저자들은 OpenML CTR 23 회귀 스위트(27개 데이터셋)에서 TSL을 최첨단 베이스라인들과 비교 평가하였다:

• 베이스라인: 블랙박스 모델(XGBoost, LightGBM, Random Forest) 및 해석 가능한 모델(EBM, 그리고 TSL의 제약이 없는 분리 모델인 SepALS).
• 성능: TSL은 경쟁력 있는 예측 성능을 보여준다. 해석 가능한 모델 그룹 내에서 TSL은 27개 중 17개 데이터셋에서 상위 3위 안에 들었으며, 5개 데이터셋에서는 최고의 해석 가능한 모델이었다.
• 비교 분석:
  • TSL은 강력한 저계수(low-rank) 분리 구조를 가진 데이터셋(예: socmob, California housing)에서 EBM 및 트리 앙상블보다 우수한 성능을 보인다.
  • California housing 데이터셋에서 TSL은 EBM과 XGBoost가 매끄럽게 처리하거나 격리하는 데 실패하는 국소적이고 비단조적인 공간적 상호작용(예: 해안가 프리미엄)을 포착한다.
  • 합성 사례 연구: 강력한 이차 효과가 3차 상호작용에 의해 가려져 1D 부분 의존도가 0이 되는 합성 예시에서, TSL은 백본 곡선을 통해 기저의 크기를 성공적으로 회복하는 반면, 표준 PDP 및 ICE 곡선은 복잡한 집계 없이는 신호를 드러내지 못한다.
  • 절제 연구(Ablation): 양수 제약과 순서 있는 차이 구조를 제거하면(TSL 1-product) 성능이 크게 저하되며, 이는 이러한 제약이 표현의 유연성과 안정성에 필수적임을 확인시켜 준다.

의의 및 주장

본 논문은 TSL이 "가산적 분해를 넘어" 해석 가능성을 향한 독특한 경로를 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 충실한 시각화: 분리성과 양수성을 강제함으로써, TSL은 부분 의존도 플롯이 적합된 인자의 정확한 형태를 회복하도록 보장하며, 가산적 투영의 정보 손실과 마스킹 문제를 피한다.
• 상호작용 처리: TSL은 불투명한 블랙박스 설명이나 고차원 플롯에 의존하지 않고도 1D 요약(백본 및 틸트)을 통해 고차 상호작용을 시각화하고 이해할 수 있는 메커니즘을 제공한다.
• 경쟁력 있는 정확도: 분리된 구조를 가진 글래스박스 모델이 강력한 트리 앙상블 블랙박스와 경쟁할 수 있음을 입증함으로써, 높은 정확도를 위해 해석 가능성을 희생해야 한다는 통념에 도전한다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, TSL의 근사율이 혼합 매끄러움 가정에 의존한다는 점과 분리된 표현이 비식별성(non-identifiability) 문제를 겪을 수 있어 설명된 특정 집계/필터링 절차가 필요하다는 점을 인정한다. 또한, 순수 가산적 문제의 경우 기존의 EBM과 같은 방법이 더 강력한 베이스라인이 될 수 있음을 언급한다.