AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE

기술 요약: AnchorMoE

문제 정의
다변량 시계열 분류(Multivariate Time Series Classification, MTSC)는 임상 진단이나 산업적 결함 탐지와 같이 투명성이 정확성만큼이나 중요한 고위험 영역에서 매우 중요합니다. 그러나 해석 가능한 MTSC를 달성하는 것은 실제 신호의 특성으로 인해 근본적으로 어렵습니다. 즉, 판별적인 증거는 대개 희소하며, 짧은 시간 창 내에 국지적으로 존재하고, 특정 변수에 한정되어 있는 반면, 나머지 시퀀스는 정보가 없는 배경 노이즈로 구성됩니다. 또한 이러한 신호들은 변수, 시간대, 주파수 영역에 따라 서로 다른 패턴을 보이는 이질성을 가집니다.

기존 솔루션들은 예측 후 모델의 결정을 설명하기 위해 사후적(post-hoc) 귀속 방법(예: 그래디언트 기반, 섭동 기반, 또는 어텐션 가중치 분석)에 크게 의존합니다. 이러한 접근 방식은 구조적 한계를 가집니다. 즉, 설명과 계산을 분리함으로써, 설명이 인과적 중요성이 아닌 정보 라우팅을 반영하게 되는 불충실성(unfaithfulness) 문제를 초래할 수 있습니다. 또한, 사후적 방법들은 상관관계가 있는 배경 노이즈를 잘못 귀속시키는 것을 방-지할 수 있는 구조적 안전장치가 부족하며, 이는 실제 신호가 희소할 때 발생하는 심각한 위험 요소입니다.

방법론: AnchorMoE
이러한 과제를 해결하기 위해, 저자들은 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 기반으로 한 해석 가능한 설계(interpretable-by-construction) 프레임워크인 AnchorMoE를 제안합니다. 균일한 부하 분산(load balancing)을 강제하여 전문가들이 중복된 표현을 학습하거나 노이즈를 흡수하게 만드는 일반적인 MoE 모델과 달리, AnchorMoE는 최종 예측을 입력 세그먼트에 대한 정확한 가산적 분해(additive decomposition)로 공식화합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 다중 뷰 표현 임베딩 (Multi-View Representation Embedding, MVRE):
   라우팅 전, 로컬 패치(local patches)는 포괄적인 증거 단위로 풍부하게 인코딩됩니다. MVRE는 세 가지 뚜렷한 뷰를 인코딩합니다:

   • 시간적 뷰 (Temporal View): 컨볼루션 임베딩과 위치 인코딩을 통해 순서가 있는 로컬 형태(morphology)를 보존합니다.
   • 스펙트럼 뷰 (Spectral View): 여러 밴드에 걸친 주파수 콘텐츠를 요약하여 정확한 시간적 정렬과 무관한 규칙성을 포착합니다.
   • 문맥적 뷰 (Contextual View): 마스크 가중 중심(mask-weighted centroid)을 계산하고 패치 정렬도를 이에 대해 점수화함으로써, 각 패치를 전역 시퀀스 문맥 내에 위치시킵니다.
     이러한 뷰들은 하나의 통합된 패치 표현으로 융합됩니다.

2. 다양화된 사후 앵커 라우팅 (Diversified Posterior-Anchor Routing, DPAR):
   전문가의 중복을 방지하고 이질적인 패턴에 대한 전문화를 보장하기 위해, DPAR은 기하학적 직교성 제약을 도입합니다.

   • 사후 앵커 (Posterior Anchors): 각 전문가를 위해, 해당 전문가에게 라우팅된 패치 단위들의 가중 중심으로서 "사후 앵커"가 동적으로 유도됩니다.
   • 직교성 손실 (Orthogonality Loss): 이 손실 함수는 앵커 간의 코사인 유사도에 페널티를 부여합니다. 이는 서로 다른 전문가들이 동질적인 표현으로 수렴하는 대신 서로 다른 예측 패턴에 특화되도록 강제하여, 이질적인 신호를 격리하도록 만듭니다.

3. 신뢰성 게이트 구성 (Reliability-Gated Composition, RGC):
   희소한 신호 분포 하에서도 가산적 분해가 신뢰성을 유지할 수 있도록, RGC는 각 세그먼트의 기여도를 동적으로 조정합니다.

   • 불확실성 인지 게이팅 (Uncertainty-Aware Gating): 신뢰성 게이트는 특정 패치에 대해 생성된 표현의 확신도를 평가합니다.
   • 희소 라우팅 (Sparse Routing): 구성은 각 패치에 대해 상위 $K$개의 전문가로 제한됩니다.
   • 전역 승인 (Global Admission): 집계된 신뢰도 점수를 기반으로 전역 승인 가중치가 계산됩니다. 이 메커니즘은 정보가 없는 배경 세그먼트와 잔여 노이즈를 억제하여, 높은 확신도를 가진 증거 생성 세그먼트만이 최종 가산 합에 유의미하게 기여하도록 보장합니다.

최종 예측은 보정된 패치 기여도의 투명한 합($u_c = \sum \pi_p \ell_{p,c}$)으로 공식화되어, 외부 추정기 없이도 결정 과정을 직접 검사할 수 있게 합니다.

주요 기여

• 설계 단계부터 반영된 해석 가능성 (Interpretable-by-Design Formulation): 본 논문은 MTSC를 귀속(attribution)이 결정 과정의 정확한 가산적 분해인 전문가 라우팅 문제로 재정의하여, 신뢰할 수 없는 사후적 근사치의 필요성을 제거했습니다.
• 아키텍처 혁신: 이질적인 패턴에서 전문가의 전문화를 강제하기 위한 **직교 사후 앵커(Orthogonal Posterior Anchors)**와 배경 노이즈를 동적으로 억제하기 위한 **불확실성 인지 신뢰성 게이트(Uncertainty-Aware Reliability Gate)**를 도입했습니다. 이러한 설계는 구조적으로 가산적 분해가 희소한 신호에 의해 오염되는 것을 방지합니다.
• 엄격한 평가: 저자들은 통제된 방해 요소(distractors)와 정답 마스크를 포함한 합성 데이터셋을 구축하여, 모델의 결정이 단순히 상관관계가 있는 노이즈가 아니라 원시 데이터에 충실하게 근거하고 있음을 검증했습니다.

실험 결과
18개의 실제 UEA 벤치마크 데이터셋과 4개의 합성 데이터셋에 대해 광범위한 실험이 수행되었습니다.

• 분류 성능: AnchorMoE는 18개 데이터셋 전체에서 정확도(1.53)와 F1-score(1.28)의 평균 순위에서 1위를 차지하며 최첨단(SOTA) 성능을 달取得했습니다. 이는 PatchTST, FEDformer와 같은 트랜스포머 기반 모델 및 MLP 구조를 포함한 강력한 베이스라인들을 능가했습니다. 특히 국지적이고 비정상적인(non-stationary) 신호가 있는 데이터셋(예: Cricket, RacketSports)에서 탁월한 우위를 보였습니다.
• 설명의 충실도 (Explanation Faithfulness): 실제 데이터셋에서 AnchorMoE는 9개의 사후적 베이스라인(Integrated Gradients, DeepLSL, TimeX 포함)을 능가하며 일관되게 최적의 "Gap" 점수(순위 충실도 측정)와 높은 특징 보유량($I(20)$)을 달성했습니다.
• 증거 국지화 (Evidence Localization): 알려진 정답 마스크가 있는 합성 데이터셋에서, AnchorMoE는 AUPRC, IoU@K, Precision@K 측면에서 사후적 방법들보다 유의미하게 높은 성능을 보였습니다. 특히 그래디언트 기반 방법들이 희소한 설정에서 무작위 성능으로 저하되는 것과 대조적으로, AnchorMoE는 주목할 만하지만 레이블과 무관한 방해 요소를 성공적으로 무시하며 견고한 국지화 능력을 유지했습니다.
• 절제 연구 (Ablation Studies): 실험 결과, DPAR은 전문가 다양성을 통한 클래스 구분에 결정적이며, RGC는 노이즈를 필터링함으로써 충실한 증거 국지화에 핵심적임이 확인되었습니다.

의의 및 주장
본 논문은 엄격한 ante-hoc(사전적) 투명성이 예측 성능의 저하를 반드시 수반하는 것은 아님을 AnchorMoE를 통해 입증한다고 주장합니다. 분류와 설명을 하나의 과정으로 통합함으로써, 모델은 순방향 패스(forward pass)로부터 직접 결정의 충실한 분해를 제공합니다. 저자들은 자신들의 접근 방식이 균일한 부하 분산이 일반적으로 배경 노이즈를 흡수하게 만드는 MTSC에서의 표준 MoE 아키텍처의 구조적 불일치 문제를 해결한다고 강조합니다. 비록 가산적 공식화가 고차 세그먼트 상호작용을 포착하는 데 한계가 있을 수 있으나, 본 연구는 투명한 의사결정이 필요한 고위험 다변량 시계열 응용 분야를 위한 견고한 프레임워크를 구축했습니다.