기술 요약: KARMA – K-차수 마르코프 근사를 통한 다변량 시계열 예측의 글로벌 설명

1. 문제 정의

금융, 임상 모니터링, 산업 센싱과 같은 고위험 영역에서 딥러닝 모델(예: RNN, TCN, Transformer)을 다변량 시계열 예측에 배치할 때 발생하는 주요 문제는 불투명성입니다. LIME, SHAP, 그래디언트 기반 기여도 산출과 같은 기존의 설명 가능한 AI(XAI) 방법들은 주로 정적이고 독립 항등 분포(i.i.d.)를 따르는 데이터에 설계되었습니다. 이러한 방법들을 시계열에 적용할 경우 다음과 같은 근본적인 시간적 특성을 위반하게 됩니다:

• 독립성 가정: 이들은 타임스탬프 피처들이 독립적이라고 암묵적으로 가정하며, 시간적 자기상관(autocorrelation)과 변수 간 그랜저 인과관계(Granger causality)를 무시합니다.
• 오프-매니폴드 섭동(Off-Manifold Perturbations): SHAP이나 LIME에서의 무작위 섭동은 순차적 구조를 파괴하여, 실제 데이터 분포에는 존재하지 않는 반사실적(counterfactual) 상황을 생성합니다.
• 로컬(Local) 대 글로벌(Global): 그래디언트 기반 방법은 단일 지점의 국소적 기하학을 설명할 뿐, 모델이 전역적으로 학습한 체계적인 조건부 구조를 설명하지 못합니다.
• 베이스라인 선택 문제: TimeSHAP과 같은 방법들은 시퀀스 맥락에서의 "베이스라인 선택 문제"에 어려움을 겪습니다. 즉, 베이스라인을 선택하는 것이 매우 까벨합니다.

본 논문은 시계열에 대한 설명은 데이터의 순차적 및 인과적 구조를 존중해야 하며, 섭동 기반 또는 그래디언트 기반의 국소적 근사에서 벗어나 확률론적이고 전역적인 대리 모델(global surrogate) 접근 방식으로 나아가야 한다고 주장합니다.

2. 방법론: KARMA 프레임워크

저자들은 블랙박스 시계열 예측기 $f$를 설명하기 위해 **K-차수 마르코프 대리 모델(K-order Markov surrogate model)**을 구축하는 KARMA(K-Order Markov Approximation) 프레임워크를 제안합니다. 핵심 전제는 복잡한 예측기의 다변량 시계열 동작이 특정 차수 $K$를 가진 마르코프 체인으로 충실히 근사될 수 있다는 것입니다.

방법론은 세 가지 기둥을 중심으로 구성됩니다:

기둥 1: 마르코프 대리 모델 및 차수 선택

• 이산화(Discretization): 연속적인 시계열 변수는 훈련 데이터에서 유도된 분위수 경계(quantile boundaries)를 사용하여 $N$개의 빈(bin)으로 이산화되며, 이를 통해 이산 상태 공간 $S = [N]^D$를 생성합니다.
• 차수 선택 ($K^*$): 방법론은 예측에 충분한 최소 이력 길이 $K^*$를 식별합니다. 이는 **대리 예측 타당성 중단 규칙(surrogacy predictive validity stopping rule)**을 통해 수행됩니다. 알고리즘은 입력 윈도우의 접두사(prefix)를 베이스라인 $b$로 대체하고 예측 불일치 $\hat{\Delta}_{pred}(K, b)$를 측정함으로써 증가하는 래그(lag) 길이 $K$를 테스트합니다.
• 중단 기준: $K^*$는 불일치가 허용 오차 $\epsilon$ 미만으로 떨어지는 가장 작은 $K$입니다. 이는 모델이 $K^*$ 이상의 입력에 대해 민감하지 않음을 인증합니다.

기둥 2: 압축 및 인증된 기여도(Certified Attribution)

• 모델 압축: 만약 $K^* < W$(모델의 입력 윈도우)라면, 모델은 $K^*$ 이상의 래그에 대해 입증 가능하게 민감하지 않습니다. 이를 통해 압축률 $W/K^*$를 얻습니다.
• 인증된 베이스라인 ($b^*$): 베이스라인 $b^*$는 분석가가 선택하는 것이 아니라 모델에 의해 인증됩니다. 즉, 치환 시 예측 불일치를 최소화하는 특정 접두사입니다.
• 인증된 제로 기여도(Certified-Zero Attributions): 모든 래그 $k > K^*$에 대해 기여도는 수학적으로 0입니다(근사 오차 범위 내에서). 이는 다른 방법들에서 발견되는 "작은 값"과 "0" 사이의 모호성을 해결합니다.

기둥 3: 5단계 글로벌 설명 계층

$K^*$-차수 마르코프 전이 커널 $\hat{T}^f_{K^*}$이 일단 추정되면, KARMA는 추가적인 오라클 쿼리 없이 다섯 가지 층위의 글로벌 설명을 도출합니다:

1. 레벨 1 (변수 중요도): 모든 래그에 걸쳐 타겟 예측에 대한 소스 변수의 총 분포 영향력을 계산하며, 한계 총 변동 영향력(marginal total-variation influence)에 따라 변수 순위를 매깁니다.
2. 레벨 2 (래그 프로필): 영향력을 특정 래그 $k$별로 분해하여 각 변수의 시간적 역학(예: 모멘텀, 평균 회귀)을 밝힙니다.
3. 레벨 3 (레짐 구별성): 모델의 조건부 예측이 일반적인 행동에서 크게 벗어나는 독특한 역사적 레짐(경로)을 주변부 상호 의존 지수(marginal interdependence index)를 사용하여 식별합니다.
4. 레벨 4 (개입 효과): 평균 개입 효과(AIE)와 엣지 기여도를 계산하여 모델 유도 인과 그래프를 생성하며, 이는 레벨 1의 중요도와 직접 연결됩니다.
5. 레벨 5 (불확실성 정량화): 신뢰성 인증을 제공합니다:
   • 알레아토릭 불확실성(Aleatoric Uncertainty): 예측 분포의 엔트로피 (진정한 모델 불확실성).
   • 에피스테믹 불확실성(Epistemic Uncertainty): 커널 추정치의 분산 (데이터 커버리지가 부족한 이력을 표시).

커널 추정: 전체 결합 커널($N^{DK^*}$)을 추정할 때 발생하는 지수적 복잡성을 피하기 위해, KARMA는 $D$개의 인수 분해된 주변 커널(factored marginal kernels)을 추정합니다. 기본적으로 **Strategy B ($b^*$-prefix Monte Carlo)**를 채택하며, 이는 추정을 관측된 이력 지지 집합 $H^+_{K^*}$로 제한하여 차원이 아닌 시계열 길이 $T$에 선형적으로 비례하도록 스케일링합니다.

3. 주요 결과

합성 데이터 (VAR 오라클)

• 인과 구조 회복: 알려진 정답 인과 엣지를 가진 합성 벡터 자기회귀(VAR) 데이터에서, KARMA는 가장 복잡한 구성(xlarge, 재현율 0.71)을 제외한 모든 경우에서 **완벽한 재현율(1.00)**을 달이트했습니다. 또한 높은 정밀도를 유지하며 허구적인 엣지를 효과적으로 배제했습니다.
• 피처 랭킹: KARMA는 중간, 대형, xlarge 구성 모두에서 가장 높은 Kendall's $\tau$를 기록하며 유일하게 최상위로 선정된 방법이었습니다. 경쟁 방법들(TimeSHAP, WinIT, Feature Occlusion)은 그래프 밀도가 높아짐에 따라 성능이 저하되었습니다.
• 비교: 통합 그래디언트(Integrated Gradients, IG)는 선형 VAR에서 정확한 계수로 귀결되므로 합성 테스트에서 제외되었습니다. 이는 비교 자체가 무의미해지기 때문입니다.

실제 벤치마크

세 가지 데이터셋(ETTh1, Beijing PM2.5, Exchange Rate)과 세 가지 아키텍처(GRU, LSTM, TCN)를 대상으로 실험을 수행하였으며, 시간 인지형 래그 기반 AUC 점수($AUClag@25\%$)를 사용했습니다.

• ETTh1: KARMA는 모든 아키텍처에서 가장 높은 점수를 기록했으며, 특히 TCN에서 차기 최고 성능의 방법론을 크게 앞질렀습니다 (0.71 vs 0.49).
• Beijing PM2.5: KARMA는 강력한 베이스라인들과 대등하거나 약간 뒤처지는 수준을 보였습니다.
• Exchange Rate: 모든 방법론이 0에 가까운 점수로 무너졌습니다. 저자들은 이를 올바르게 해석했습니다. 해당 데이터셋은 학습 가능한 시간적 구조가 거의 없는 랜덤 워크(random walk)에 가깝기 때문에, 어떤 방법론도 예측을 변화시키는 타임스텝을 식별할 수 없다는 것입니다. 이는 설명 모델의 실패가 아니라 측정 지표의 타당성을 검증하는 결과입니다.

4. 의의 및 주장

본 논문은 KARMA를 다음과 같은 이유로 시계열을 위한 원칙적인 XAI 대안으로 포지셔ชัน합니다:

1. 시간적 기하학 존중: 순차적 구조를 깨뜨리는 섭동 기반 방법과 달리, KARMA의 마르코프 근사는 도메인의 고유 언어(조건부 의존성) 내에서 작동합니다.
2. 통계적 보장 제공: 불필요한 래그에 대한 인증된 제로 기여도와 설명에 대한 명시적인 신뢰성 인증(레벨 5)을 제공하며, 이는 기존 연구에는 없는 기능입니다.
3. 글로벌 대 로컬: 단일 추정 커널로부터 도출된 전역적 설명 계층을 제공하며, 인스턴스 수준의 국소적 근사에 의존하지 않습니다.
4. 모델 불가지론적 타당성: $K^*$ 및 베이스라인 $b^*$의 선택은 분석가의 가정이 아닌 모델의 동작으로부터 직접 유도됩니다.

인정된 한계점:
저자들은 상태 공간이 $N^{DK^*}$에 따라 지수적으로 증가하여 고차원 설정에서 전체 커널 추정이 어려울 수 있음을 언급했습니다. KARMA는 주변 커널과 샘플링 전략을 통해 이를 완화하지만, 매우 높은 차원의 시스템으로 확장하는 것은 여전히 열린 과제로 남아 있습니다.

결론적으로, 본 논문은 마르코프 근사 패러다임이 순차적 도메인(금융, 신경과학, 유전학 등)을 위한 강력하고 아직 충분히 탐구되지 않은 XAI의 방향을 제시한다고 주장합니다.