The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations

기술 요약: 글로벌 시계열 설명을 위한 한계적 영향력 기반 귀속 방법론의 실패

1. 문제 정의

본 논문은 현재의 설명 가능한 인공지능(XAI) 방법론들이 시계열 모델을 다룰 때 직면하는 근본적인 구조적 부적절함을 다룬다. 현재 XAI의 지배적인 패러다임은 평면적 귀속 점수(flat attribution scoring)—즉, 각 타임스텝에서의 각 피처에 대해 그 "직접적" 기여도를 나타내는 스칼라 값을 할당하는 방식—에 의존하고 있으나, 이 접근법은 시간적 추론의 관계적 및 조건적 특성을 포착하는 데 실패한다.

저자들은 기존 방법론들(그래디언트 기반, 섭동 기반, 어텐션 기반 접근법 포함)이 자기상관(autocorrelation)으로 인해 발생하는 직접적 시간 의존성과 매개된 의존성을 혼동하고 있다고 주장한다. 고차원의 관계적 구조를 1차원의 요약본으로 붕괴시킴으로써, 이러한 방법들은 모델의 실제 추론 과정을 구성하는 조건부 의존성 정보를 버리게 된다. 결과적으로, 이들은 예측에 직접적인 영향을 미치는 피처와 중간 변수를 통해 간접적으로만 영향을 미치는 피처를 구분하지 못한다.

2. 방법론 및 이론적 프레임워크

정의 및 표기법:

• 평면적 귀속 (정의 1): 다른 입력값들의 값을 조건화하지 않고, 변수-시간 쌍 $(X_i, t)$에 대해 한계 조건부(marginal conditioning) 또는 그래디언트를 통해 스칼라 점수 $\phi_i^{(t)}(x)$를 생성하는 방법.
• 모델 의존성 그래프 (MDDAG, $G_f$, 정의 2): 모델 $f$가 학습한 진정한 의존성을 나타내는 유향 비순환 그래프(DAG). 에지는 입력 $X_i^{(t_1)}$에서 예측 대상 $X_j^{(T+w)}$로 존재하며, 이는 해당 입력이 다른 모든 입력이 주어졌을 때 예측에 조건부로 의존할 때만 성립한다.
• DAG-충실성 (DAG-Faithfulness, 정의 3): 설명 방법론에 의해 유도된 의존성 그래프 $G_T$가 MDDAG $G_f$와 동일한 조건부 독립성(마르코프 동치성)을 인코딩해야 한다는 새로운 충실성 기준.

계산적 격차(The Computational Gap):
논문은 평면적 방법들이 두 가지 필수적인 **적격성 조건(admissibility conditions)**을 충족하지 못하는 "계산적 격차"를 식별한다:

1. 온 매니폴드 평가 (On-manifold Evaluation, C1): 귀속은 데이터 분포의 서포트($\text{supp}(p)$) 내에서의 모델 동작에만 의존해야 하며, 오프 매니폴드(off-manifold) 재매개변수화에 의존해서는 안 된다.
2. 조건부 분리 (Conditional Separation, C2): 입력에 대한 귀속은 해당 입력이 나머지 입력들이 주어졌을 때 예측과 조건부 독립이라면 반드시 0이 되어야 한다.

사례 연구 및 증명:
저자들은 표준 방법들의 실패를 입증하기 위해 구체적인 시나리오를 구성한다:

• 시나리오 I (자기상관): $X^{(2)}$가 $X^{(1)}$의 예측에 대한 효과를 매개하는 모델. 평면적 방법들(예: SHAP 변형들)은 $X^{(2)}$에 대해 조건화하는 데 실패하여 $X^{(1)}$에 잘못된 비제로(non-zero) 점수를 할당하며, 이는 C2를 위반한다.
• 시나리오 II (온 매니폴드 제약): $X^{(2)} = \delta X^{(1)}$인 결정론적 프로세스. 여기서 $X^{(1)}$은 데이터 서포트 내에서 예측에 직접적인 영향을 미치지 않는다. 그러나 그래디언트 기반 방법들(Saliency, Integrated Grats)은 오프 매니폴드 지점을 탐색하기 때문에 비제로 미분값을 감지하며, 이는 C1을 위반한다.

제안된 표현:
이러한 한계를 극복하기 위해, 본 논문은 스칼라 점수를 대신하여 전이 텐서(Transition Tensor)(정의 4)를 제안한다. 이는 소스 변수 $i$의 시차 $t_1$에서의 영향력이 타겟 변수 $j$에 미치는 영향을 정량화하는 3차원 배열 $T_{loc} \in \mathbb{R}^{D \times D \times T}$ (또는 다단계 예측의 경우 $D \times D \times T \times W$)이다. 글로벌 설명은 집계된 글로벌 텐서의 서포트로부터 도출되며, 구조적 존재성과 강도 크기를 분리한다.

3. 주요 기여

1. 계산적 격차의 공식화: 시계열 모델의 조건부 의존성 구조와 평면적 귀속 방법론 사이의 불일치를 엄밀하게 정의하고, 스칼라 점수가 필요한 조건부 독립성 구조를 포착할 수 없음을 증명하였다.
2. DAG-충실성의 정의: 모델이 학습한 의존성 그래프와의 마르코프 동치성에 근거하여, 글로벌 시계열 설명을 위한 적절한 기준으로 DAG-충실성을 도입하였다.
3. 표준 방법론의 실패 증명:
   • 정리 1: 표준 SHAP(및 TimeSHAP과 같은 시계열 확장판)이 일반적으로 DAG-충실하지 않음을 증명하였으며, 이는 자기상관으로 인해 가짜 에지를 생성하기 때문이다.
   • 명제 1 & 2: 한계 영향력 기반 방법들(KernelSHAP, ShapTime)은 조건부 분리(C2)를 충족하지 못함을 보여주며, 그래디end 기반 방법들(Saliency, Integrated Gradients)은 온 매니폴드 평가(C1)에 실패함을 보여준다.
4. 기존 확장 모델 평가: 시계열을 고려한 방법들(FIT, WinIT, Dynamask)을 평가하였다. 이들은 인스턴스 내 교체(in-distribution replacement)를 사용하여 적격성을 부분적으로 만족하지만, 실제 직접적 에지에 대한 민감도가 낮아(거짓 음성) 발생하는 문제를 겪는다. 다만, 평면적 방법들보다는 구조적으로 적격성에 더 가깝다.
5. 적격한 인스턴스화 제안: 저자들은 유효한 설명이란 C1과 C2를 모두 만족하는 **적격한 함수(admissible functional)**를 통해 구현된 전이 텐서여야 한다고 제안한다. 이들은 매니폴드 인식 자코비안(C1용)과 조건부 분포 변화 측정(C2용)을 결합할 것을 제안한다.

4. 결과 및 실증적 증거

본 논문은 다양한 방법론을 실제 정답 의존성 그래프와 비교하는 합성 벤치마크를 통해 실증적 증거를 제공한다:

• 평면적 방법 (SHAP, TimeSHAP, ShapTime, TS-MULE): 직접적 효과와 매개된 효과를 구분하는 데 지속적으로 실패한다. 시나리오 I에서 이들은 완전히 매개된 변수에 비제로 점수를 할당한다. 시나리오 II에서 이들은 온 매니폴드 제약을 준수하지 못한다.
• 그래디언트 방법 (Saliency, IG, TIG, SmoothGrad): 일부 사례에서 직접 대 매개 효과를 올바르게 구분하지만, 오프 매니폴드 민감도로 인해 데이터 매니폴드 상에서 조건부 독립인 변수에 비제로 관련성을 할당함으로써 시나리오 II에서 일관되게 실패한다.
• 섭동 방법 (FIT, WinIT, Dynamask): 이 방법들은 실패 시나리오에서 에지를 환각하지 않는다(C1과 C2를 더 잘 준수함). 그러나 낮은 민감도를 보이며, 실제 직접적 에지에 대해서도 거의 제로에 가까운 점수를 할당하는 경우가 많다(거짓 음성).

테스트된 어떤 기존 방법도 모든 시나리오에서 정확성을 달성하지 못했으며, 이는 현재의 패러다임이 구조적으로 부적절하다는 논문의 주장을 뒷받침한다.

5. 의의 및 주장

본 논문은 시계열 XAI 분야가 출력 중심(output-centric) 충실성(피처를 섭동했을 때 출력이 변하는가?)에서 구조 중심(structure-centric) 충실성(설명이 모델의 내부 조건부 독립 구조를 복구하는가?)으로 전환해야 한다고 주장한다.

• 이론적 전환: 저자들은 스칼라 형식이 일차적인 실패 모드가 아니라, 현재 알고리즘에 내재된 **한계 조건화(marginal conditioning)**와 오프 매니폴드 평가가 근본적인 문제라고 주장한다.
• 새로운 표준: 저자들은 DAG-충실성이 글로벌 설명을 위한 필수적인 기준이며, 전이 텐서가 이러한 의존성을 인코딩할 수 있는 최소한의 표현 객체라고 상정한다.
• 열린 과제: 실무에서 C1과 C2를 모두 만족하는 전이 텐서의 구체적인 **적격한 인스턴스화(admissible instantiation)**를 구축하는 것이 향후 연구의 핵심 과제임을 밝힌다. 또한, 이 고차원 구조를 인간이 해석 가능하게 만들기 위한 시각화 전략이 필요함을 명시한다.

결론적으로, 본 논문은 XAI 커뮤니티가 구조 중심의 프레임워크를 채택하고, 시간적 영역을 위한 평면적 귀속 점수를 넘어설 것을 촉구한다.