Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

기술적 요약: KAN 예측에서의 시간적 기능 회로

문제 제기
장기 시계열 예측 (LTSF) 은 최근 표준 벤치마크에서 복잡한 아키텍처인 Transformer 보다 간단한 선형 모델이 더 우수한 성능을 보임으로써, 모델 복잡성 추가의 필요성에 의문을 제기하고 있습니다. Kolmogorov-Arnold Networks(KAN) 는 "본질적으로 해석 가능"한 학습 가능한 엣지 함수 (일반적으로 B-스플라인) 로 인해 Multi-Layer Perceptrons(MLP) 의 유망한 대안으로 부상했으나, 기존 응용 사례들은 종종 이러한 해석 가능성을 입증하기 위해 이러한 함수를 시각화하는 데 의존합니다. 본 논문은 잠재적 스플라인 형태를 시각화하는 것이 충실하고 시간적으로 근거 있는 설명을 제공하는 것과 동일하지 않다고 주장합니다. 구체적으로, KAN 엣지 함수 $\phi_e(z)$ 는 어떤 입력 시간 단계가 이를 활성화했는지, 모델이 실제로 해당 엣지를 활용했는지, 또는 이를 제거할 경우 예측이 변경될 것인지를 본질적으로 드러내지 않습니다. 또한, 이전 연구들은 단일 예측 핵심 (선형, KAN, 또는 어텐션) 이 모든 데이터셋에서 보편적으로 우세하지 않음을 시사하므로, KAN 이 언제 유용한지 그리고 왜 유용한지를 결정하기 위한 프레임워크가 필요합니다.

방법론
본 논문은 아키텍처 설계와 개입 기반 검증을 결합하여 KAN 엣지 함수를 잠재적 시각화에서 충실한 설명으로 전환하도록 설계된 시간적 기능 회로 (Temporal Functional Circuits) 를 소개합니다.

1. 게이트드 잔차 KAN 아키텍처:
   저자들은 $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ 로 정의된 예측 아키텍처를 제안합니다.

   • 분해: 이동 평균 필터를 사용하여 입력 신호를 추세 및 잔차 성분으로 분해합니다.
   • 분기: 선형 분기 ($f_{lin}$) 는 선형 패턴을 처리하고, KAN 분기 ($f_{KAN}$) 는 비선형 잔차를 포착합니다.
   • 게이팅: $L_1$ 정규화 게이트 $g(x) \in [0, 1]^C$ 가 채널별 KAN 분기의 기여도를 제어합니다. 이를 통해 모델은 KAN 보정을 언제 억제할지 (선형으로 복귀) 학습할 수 있으며, KAN 활용도 ($U_{KAN}$) 의 측정 가능한 지표를 제공합니다.
   • KAN 구조: KAN 분기는 엣지에서 B-스플라인을 사용하며, $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$ 로 정의됩니다.

2. 시간적 기능 회로 (TFC):
   각 KAN 엣지 $e$ 에 대해, 프레임워크는 설명 튜플 $E_e = (\phi_e, A_e, I_e, \Delta_e)$ 를 구성합니다.

   • $\phi_e$: 학습된 단변량 함수.
   • $A_e$ (지연 할당): 게이트 상태를 고려하여 패치 임베딩과 하위 레이어를 통한 기울기를 계산함으로써 엣지를 특정 입력 지연 (lag) 에 매핑하는 출력 인식 할당 방법.
   • $I_e$ (중요도): 엣지 출력 크기와 하위 민감도를 결합하여 예측에 대한 엣지의 기대 기여도에 기반한 순위 지표. 본 논문은 또한 중요도의 데이터 독립적 대리 변수로서 B-스플라인 그리드의 활성화 범위 ($R_e$) 를 활용합니다.
   • $\Delta_e$ (개입 효과): 엣지에 개입했을 때 예측 손실의 변화. 개입에는 엣지 영점화, 평균으로 대체, 또는 스플라인 제거 (학습된 B-스플라인 구성 요소를 제거하면서 기본 SiLU 항을 유지) 가 포함됩니다.

3. 충실도 검증:
   프레임워크는 다음을 통해 설명을 검증합니다.

   • 엣지 삭제 곡선: 상위 순위 엣지 ( $R_e$ 기준) 를 점진적으로 제거하고 MSE 저하를 측정합니다. 충실한 순위는 $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$ 를 보여야 합니다.
   • 합성 메커니즘 복구: 선형, 다중 주파수, 임계값 AR, 정황 전환 (Regime-switching) 과 같은 복잡도가 증가하는 합성 정황에서 모델의 게이트 활용도가 신호 복잡도와 상관관계를 가지는지 테스트합니다.
   • 개입 테스트: 특히 학습된 스플라인 형태 자체가 예측 가치를 지니는지 확인하기 위해 완전 영점화와 스플라인 제거를 비교합니다.

주요 결과

• 성능: Weather, ETT, Solar, PPG 를 포함한 8 개 벤치마크에서 게이트드 KAN 은 선형, 어텐션, MLP 대안과 경쟁력 있는 성능을 보입니다. 8 개 데이터셋 중 4 개에서 최고 또는 공동 최고 MSE 를 달성합니다. 특히 정황 전환 신호에서 게이트드 KAN 은 선형 전용 모델보다 59% 낮은 MSE를 달성합니다.
• 게이트 활용도: 게이트 활용도 지표 ($U_{KAN}$) 는 신호 복잡도와 상관관계가 있습니다. 합성 실험에서 $U_{KAN}$ 은 선형 (0.49) 에서 정황 전환 (0.72) 신호로 단조 증가합니다. 실제 데이터에서는 주로 선형인 데이터셋 (예: ETTh1) 에서 $U_{KAN}$ 이 낮고 복잡한 데이터셋 (예: Solar) 에서 더 높습니다.
• 설명의 충실도:
  • 삭제 곡선: 활성화 범위 $R_e$ 기준 상위 순위 엣지를 제거하는 것은 무작위 또는 하위 순위 제거보다 일관되게 성능을 더 크게 저하시킵니다. Weather 데이터셋에서 상위 50 개 엣지를 제거하면 MSE 가 $2.20 \times 10^{-4}$ 증가하는 반면, 무작위 제거는 미미한 영향을 미쳤습니다.
  • 스플라인 가치: B-스플라인 구성 요소만 제거하고 기본 SiLU 를 유지하면 예측이 저하되어, Weather 데이터셋에서 전체 영점화 효과의 최대 41% 를 차지했습니다. 이는 학습된 스플라인 형태 자체가 기본 활성화 이상의 예측 가치를 지닌다는 증거를 제공합니다.
  • 지연 복구: 알려진 인과 지연을 가진 합성 신호에서 제안된 엣지-대-지연 할당 ($A_e$) 은 AUPRC 0.44(무작위 대비 6 배) 로 실제 지연을 복구하여 지연 의존성을 담당하는 특정 KAN 엣지를 식별했습니다.
• MLP 와의 비교: 게이트드 MLP 는 게이트드 KAN 의 정확도와 일치할 수 있지만, 시간적 기능 회로 분석에 필요한 명시적이고 검사 가능한 엣지 함수를 제공할 수는 없습니다.

의의 및 주장
본 논문은 KAN 해석 가능성은 단순히 스플라인 플롯을 시각화하는 것 이상을 요구하며, 시간적 근거와 개입 검증된 충실도가 필요하다고 주장합니다.

• 메커니즘적 통찰: 이 프레임워크는 특정 엣지가 특정 입력 지연과 연결되고 제거를 통해 검증되는 기능 회로로 KAN 을 분해할 수 있음을 보여줍니다.
• 진단 유용성: 게이트드 아키텍처는 비선형 보정이 언제 필요한지 나타내는 측정 가능한 진단 ($U_{KAN}$) 을 제공하여, KAN 이 일부 데이터셋 (복잡한, 정황 전환) 에서는 도움이 되지만 다른 데이터셋 (주로 선형) 에서는 그렇지 않은 이유를 설명합니다.
• 스플라인의 가치: 이 연구는 학습된 B-스플라인 형태가 단순한 피팅 인공물이 아니라 예측의 기능적 구성 요소임을 실증적 증거로 제시합니다. 이를 제거하면 성능이 크게 저하되기 때문입니다.
• 적극적 범위: 저자들은 개입이 데이터 생성 과정에 대한 인과적 주장이 아닌 모델 내부 효과를 확립한다고 인정합니다. 또한 게이트드 KAN 이 경쟁력 있지만 보편적으로 최첨단 (SOTA) 은 아니며, 이 프레임워크는 KAN 이 예측에 기여하는 시점과 방식을 이해하기 위한 단계일 뿐 보편적 우월성을 주장하는 것은 아니라고 명시합니다.