Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability

이 논문은 비선형적 보상 함수와 고차원 환경에서 기존 샤플리 값의 한계를 극복하기 위해, 단조 변환 학습과 L0 희소성 제약을 통합한 '희소 등방성 샤플리 회귀 (SISR)' 프레임워크를 제안하여 정확한 특성 기여도 해석을 가능하게 합니다.

핵심

🍕 1. 문제 상황: "피자 배달비" 계산의 함정

우리가 AI(인공지능) 모델을 설명할 때, **'샤플리 값 (Shapley Value)'**이라는 도구를 많이 씁니다. 이는 마치 여러 명이 함께 피자를 시켰을 때, 누가 얼마나 기여했는지 공평하게 비용을 나누는 방식과 같습니다.

• 기존 방식의 문제점 1 (비선형성):
  기존 샤플리 값은 "각자의 기여도가 단순하게 합쳐진다 (선형)"고 가정합니다. 하지만 현실은 그렇지 않습니다.

  • 비유: 피자를 시킬 때, "페퍼로니 1 조각 + 마늘 1 조각"의 맛은 단순히 더한 것보다 훨씬 강할 수도 있고, 반대로 서로 상쇄되어 맛이 없을 수도 있습니다. 그런데 기존 방식은 "페퍼로니가 30% 기여, 마늘이 30% 기여"라고 단순히 더해서 설명하려다 보니, 실제 맛 (결과) 과는 동떨어진 엉뚱한 설명이 나옵니다.
  • 논문이 발견한 사실: 불필요한 재료 (잡음) 가 섞이거나, 재료들끼리 서로 영향을 주고받으면, 이 '공평한 비용 분배' 계산 자체가 왜곡되어 선형적인 설명이 불가능해집니다.

• 기존 방식의 문제점 2 (불필요한 설명):
  피자를 만들 때 20 가지 재료를 썼는데, 사실 중요한 건 3 가지뿐이고 나머지는 그냥 물이나 소금 같은 '불필요한 재료'일 수 있습니다.

  • 비유: 기존 방식은 20 가지 재료 모두에 대해 "이게 0.1% 기여, 저게 0.2% 기여"라고 계산한 뒤, 나중에 임의로 "이건 중요하지 않으니 0 으로 치자"라고 잘라냅니다. 이렇게 하면 계산도 느리고, 중요한 것과 중요하지 않은 것을 구분하는 기준이 흔들릴 수 있습니다.

---

🛠️ 2. 해결책: SISR (스파스 아이소톤 샤플리 회귀)

저자들은 이 문제를 해결하기 위해 **'SISR'**이라는 새로운 방법을 개발했습니다. 이 방법은 두 가지 핵심 아이디어를 섞었습니다.

① "맛을 바로잡는 변환기" (단조 회귀)

기존 방식이 잘못 계산된 '비용'을 바로잡기 위해, 데이터의 형태를 자연스럽게 변형하는 과정을 거칩니다.

• 비유: 피자의 맛을 설명할 때, "페퍼로니 1 조각 = 10 점"이라고 고정하지 않고, "페퍼로니가 들어갈수록 맛이 기하급수적으로 좋아진다"는 사실을 인정하고, 그 곡선을 직선으로 펴주는 변환기를 자동으로 찾아냅니다.
• 이 변환기를 통해 복잡한 비선형 관계 (맛의 폭발) 를 다시 단순한 선형 관계 (공평한 나눗셈) 로 되돌려서, 샤플리 값의 원래 장점을 살립니다.

② "불필요한 재료 제거" (희소성)

계산 과정에서 중요하지 않은 재료 (특징) 는 아예 0 으로 만들어버립니다.

• 비유: 20 가지 재료 중 17 가지는 그냥 물이나 소금인데, 이걸 다 계산할 필요 없이 "이 3 가지만 중요해"라고 처음부터 딱 잘라냅니다.
• 기존 방식처럼 계산하고 나서 잘라내는 게 아니라, 계산하는 도중부터 불필요한 것은 아예 계산하지 않음으로써 속도를 높이고 설명을 명확하게 만듭니다.

---

🚀 3. 이 방법이 왜 대단한가요?

이 논문은 다음과 같은 놀라운 점을 증명했습니다.

1. 실제 데이터의 함정을 발견: "불필요한 데이터가 섞이거나, 데이터들이 서로 얽혀있으면, 아무리 유명한 'R2(설명력)' 같은 표준 지표를 써도 샤플리 값이 완전히 망가진다"는 것을 처음 밝혀냈습니다.
2. 안정적인 설명: 다양한 상황 (비선형 손실 함수, 잡음 등) 에서 기존 방식은 "이게 중요해!"라고 하던 것을 "저게 중요해!"라고 뒤집거나, 부호 (양수/음수) 를 잘못 판단하지만, SISR 은 어떤 상황에서도 일관된, 진짜 중요한 요소만 찾아냅니다.
3. 실제 사례:
   • 전립선암 데이터: 기존 방식은 '정액관 침윤 (svi)'이라는 요소를 3 위라고 했지만, SISR 은 이것이 실제로는 중요하지 않다고 0 으로 처리했습니다. 이는 의학적 사실과 일치했습니다.
   • 보스턴 주택 가격: 기존 방식은 '거리 (DIS)'라는 요소를 가장 중요하게 여겼지만, SISR 은 이를 바로잡아 다른 요소들의 중요도를 올바르게 재배치했습니다.

---

💡 요약: 한 문장으로 정리

"AI 가 왜 그런 결정을 내렸는지 설명할 때, 복잡한 현실의 왜곡을 자동으로 바로잡고 (변환), 진짜 중요한 이유만 깔끔하게 골라내는 (희소성), 더 똑똑하고 정확한 설명 도구 (SISR) 를 만들었습니다."

이 방법은 AI 의 '블랙박스'를 열 때, 단순히 계산만 하는 것이 아니라 데이터의 본질을 이해하고 왜곡을 수정함으로써, 우리가 믿고 쓸 수 있는 신뢰할 만한 설명을 가능하게 합니다.

기술 요약

1. 문제 제기 (Problem Statement)

Explainable AI (XAI) 의 황금 표준으로 여겨지는 Shapley 값은 현실 세계의 복잡한 모델 해석에 두 가지 주요 한계를 겪고 있습니다.

• 가산성 (Additivity) 가정의 위반:
  • 기존 Shapley 프레임워크는 특성 (feature) 의 기여도가 선형적으로 가산된다고 가정합니다 ($\nu_A = \sum \beta_j$).
  • 그러나 실제 payoff 함수 ( coalition value) 는 비가우시안 분포, 두꺼운 꼬리 (heavy tails), 특성 간 의존성, 또는 도메인 특유의 손실 척도 (loss scales) 로 인해 이 가정을 위반합니다.
  • 예: "승자 독식 (winner-takes-all)" 구조나 $R^2$ 기반의 가치 함수는 본질적으로 비선형적이며, 이를 강제로 선형 가산 모델로 해석하면 왜곡된 (rank 및 sign distortion) 특성 중요도가 도출됩니다.
• 희소성 (Sparsity) 제어의 부재:
  • 고차원 환경에서 불필요한 특성을 제거하여 설명력을 높이는 것이 중요합니다.
  • 기존 방법들은 먼저 밀집 (dense) Shapley 값을 계산한 후 임계값 (thresholding) 을 적용하거나 $\ell_1$ 페널티를 사용하는 사후 처리 방식을 취합니다. 이는 계산 비용이 많이 들고, $\ell_1$ 규제는 추정을 축소 (shrinkage) 시켜 왜곡을 유발하며, 상관관계가 있는 특성에서 진정한 지지 집합 (true support) 을 복원하지 못합니다.

2. 제안된 방법론: SISR (Sparse Isotonic Shapley Regression)

저자들은 Sparse Isotonic Shapley Regression (SISR) 을 제안합니다. 이는 가산성 가정을 복원하기 위해 데이터에서 단조 변환 (monotonic transformation) 을 학습하고, 동시에 $\ell_0$ 희소성 제약을 부과하는 통합된 비선형 설명 프레임워크입니다.

핵심 모델링

• 변환된 도메인에서의 가산성:
  • 원래의 payoff $\nu_A$와 Shapley 값 $\beta_j$ 사이의 관계를 다음과 같이 모델링합니다:
    $$T(\nu_A) \sim \mathcal{N}\left(\sum_{j \in A} T(\beta_j), \sigma^2_A\right)$$
  • 여기서 $T(\cdot)$ 는 미지의 단조 증가 함수 (strictly increasing function) 로, 데이터에서 학습됩니다. 이를 통해 비선형적인 payoff 구조를 가우시안 오차를 가진 선형 가산 구조로 변환합니다.
• 최적화 문제:
  • 목적 함수는 Shapley 가중치로 가중된 제곱 오차 합을 최소화합니다:
    $$\min_{\beta, T} \sum_{A \in 2^F} w_{SH}(A) \left( T(\nu_A) - \sum_{j \in A} T(\beta_j) \right)^2$$
  • 제약 조건:
    1. 단조성 (Monotonicity): $T(\cdot)$ 는 단조 증가 함수여야 합니다.
    2. 희소성 (Sparsity): $\|\beta\|_0 \le s$ (유한한 수의 중요한 특성만 선택).
    3. 정규화 (Normalization): $\sum (T(\beta_j))^2 = 1$ (해의 퇴화를 방지하고 스케일 고정).

최적화 알고리즘

SISR 의 최적화는 두 블록 교대 최적화 (Alternating Optimization) 로 수행되며, 각 단계는 폐쇄형 해 (closed-form solution) 를 가집니다:

1. 변환 함수 $T$ 업데이트 (Isotonic Regression):
   • $\beta$ (또는 $\gamma = T(\beta)$) 가 고정되었을 때, $T$ 의 학습은 Pool-Adjacent-Violators Algorithm (PAVA) 을 이용한 가중 등온 회귀 (weighted isotonic regression) 문제로 변환되어 효율적으로 해결됩니다.
2. 특성 기여도 $\gamma$ 업데이트 (Sparse Hard-Thresholding):
   • $T$ 가 고정되었을 때, $\gamma$ 의 업데이트는 정규화된 하드 임계값 (normalized hard-thresholding) 연산자를 사용하여 수행됩니다.
   • 이는 $\ell_1$ 페널티와 달리 축소 (shrinkage) 를 유발하지 않으며, 직접적으로 희소성 수준 $s$ 를 제어합니다.
   • 알고리즘은 전역 수렴 (global convergence) 보장을 가집니다.

3. 주요 기여 (Key Contributions)

1. 비선형 변환의 필요성 증명:
   • 불필요한 특성의 존재나 특성 간 의존성 (correlation) 만으로도 Shapley 프레임워크의 가산성 가정을 위반하는 비선형 변환이 발생할 수 있음을 최초로 증명했습니다. 이는 표준 Shapley 값이 왜곡될 수밖에 없는 근본적인 이유를 제시합니다.
2. 통합 프레임워크 (SISR) 제안:
   • 가산성 위반 (비선형성) 과 희소성 문제를 동시에 해결하는 최초의 프레임워크입니다. 사후 처리가 아닌, 변환 학습과 희소성 추정을 동시에 수행합니다.
3. 데이터 기반 변환 학습:
   • 사전에 정의된 분석적 형태 (예: 로그, 지수) 를 요구하지 않고, 데이터로부터 단조 변환 $T$ 를 학습하여 다양한 실제 payoff 구조에 적응합니다.
4. 효율적이고 견고한 알고리즘:
   • PAVA 와 정규화된 하드 임계값을 결합한 알고리즘은 구현이 간단하고 고차원 환경에서도 계산 효율성이 뛰어납니다.

4. 실험 결과 (Results)

다양한 시뮬레이션 및 실제 데이터셋 (Prostate Cancer, Boston Housing, Bank Credit, Diabetes 등) 에서 SISR 의 성능을 검증했습니다.

• 변환 복원 능력:
  • 다양한 함수 형태 (제곱근, 지수, 로그, 정규분포 등) 와 "승자 독식" 구조를 가진 데이터에서 SISR 은 실제 변환 함수 $T^*$ 를 정확하게 복원했습니다.
• 희소성 및 신호 복원:
  • 고차원 및 고잡음 환경에서도 SISR 은 실제 중요한 특성을 높은 정확도로 식별 (Support Recovery) 했습니다.
• 실제 데이터 적용 사례:
  • 전립선암 데이터: 기존 Shapley 값은 통계적으로 유의미하지 않은 변수 (svi) 를 3 위 중요도로 잘못 평가했으나, SISR 은 이를 0 에 가깝게 배제하여 통계적 진단 (AIC, BIC, LASSO) 과 일치하는 결과를 도출했습니다.
  • 보스턴 주택 데이터: 손실 함수 (MSE vs Robust) 가 변경될 때 기존 Shapley 값은 순위와 부호가 극적으로 변하는 불안정성을 보였으나, SISR 은 변환을 보정하여 일관된 중요도 패턴을 유지했습니다.
  • 신용 카드 데이터: 위험 회피형 효용 함수를 사용할 때 기존 방법은 왜곡된 음의 중요도를 보였으나, SISR 은 이를 보정하여 안정적인 해석을 제공했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성의 복원: SISR 은 가산성이라는 직관적이고 해석하기 쉬운 구조를 포기하는 것이 아니라, 비선형 변환을 통해 이를 복원 (restore) 합니다.
• 비선형 설명 가능성의 새로운 지평: 기존 Shapley 값이 직면한 비선형성 문제를 "고차원 상호작용"으로 오해하지 않고, "payoff 함수의 비선형 왜곡"으로 해석하고 이를 보정하는 새로운 패러다임을 제시합니다.
• 실용성: 계산 효율성, 이론적 수렴 보장, 그리고 다양한 도메인에서의 견고한 성능을 통해 실제 XAI 응용에 즉시 활용 가능한 강력한 도구로 자리매김합니다.

요약하자면, 이 논문은 Shapley 값의 가산성 가정이 현실에서 자주 위반된다는 사실을 인정하고, 이를 데이터 기반의 단조 변환과 희소성 제약을 통해 자동으로 보정하는 SISR을 제안함으로써, 더 정확하고 안정적이며 해석 가능한 AI 설명 체계를 구축했습니다.