Learning Hyperspherical Time-Frequency Representations for Time-Series Out-of-Distribution Detection

기술 요약: 시계열 이상치 탐지를 위한 초구형 시간-주파수 표현 학습

문제 정의
시계열 데이터에 대한 분포 외(Out-of-Distribution, OOD) 탐지는 영상 및 언어 도메인에 비해 여전히 미개척 분야로 남아 있다. 이미지 기반 벤치마크에서 전용된 기존 방식들은 시계의 데이터가 가진 고유한 특성을 처리하는 데 자주 실패한다. 교환 가능하거나 공간적으로 인덱싱된 데이터와 달리, 시계열 관측치는 특정 센싱 하드웨어 및 획득 프로토콜과 밀접하게 결합된 구조적 시간 의존성과 주파수 영역 특성을 포함한다. 결과적으로, 시계열의 분포 변화는 기저 프로세스와 측정 파이프라인의 결합된 변화를 반영하며, 이는 체계적인 시간적 또는 스펙트럼 구조의 차이로 이어진다. 데이터셋 내부의 레이블 불일치 분할에 의존하는 현재의 평가 프로토콜은 이러한 교차 환경 변화를 포착하지 못하며, 오픈셋 인식(open-set recognition)과 진정한 OOD 탐지 사이의 구분을 모호하게 만든다.

방법론: HyperTF
저자들은 강건한 OOD 탐지를 위해 단위 구체(unit sphere) 상에 클래스 조건부 구조를 유도하도록 설계된 초구형 표현 학습 프레임워크인 HyperTF를 제안한다. 이 방법론은 세 가지 핵심 구성 요소를 통합한다:

1. 초구형 임베딩(Hyperspherical Embeddings): 이 프레임워크는 클래스 조건부 특징이 단위 구($S^{d-1}$) 위에 놓여 있다고 모델링하며, von Mises–Fisher (vMF) 우도 기반 목적 함수를 활용한다. 이 모델 하에서, 정규화된 특징 벡터 $z$의 클래스 $c$에 대한 조건부 분포는 프로토타입 방향 $\mu_c$와 집중 매개변수 $\kappa$에 의해 정의된다. 분류는 각도 유사성에 의해 구동되며, OOD 탐지는 이러한 임베딩의 기하학적 구조로부터 자연스럽게 발생한다. 즉, OOD 샘플은 학습된 클래스 프로토타입으로부터 멀리 떨어져 있을 것으로 기대된다.

2. 이중 뷰 시간-주파수 아키텍처(Dual-View Time–Frequency Architecture): 시계열 데이터의 상보적인 측면을 포착하기 위해 HyperTF는 이중 스트림 아키텍처를 채택한다.

   • 시간 영역 뷰(Time-Domain View): 입력 시퀀스가 직접 투영되어 처리된다.
   • 주파수 영역 뷰(Frequency-Domain View): 입력은 실수형 고속 푸리에 변환(rFFT)과 로그 크기 스케일링을 거친다.
   • 정렬(Alignment): 두 뷰는 도메인별 인코더(아키텍처는 공유하되 파라미터는 별도로 운용)에 의해 처리되며, 감독된 투영 헤드를 통해 공유된 초구형 공간으로 매핑된다. 교차 도메인 일관성 정규화 항($L_{CD}$)은 시간 및 주파수 임베딩 간의 각도 정렬을 강제하여, 모델이 통합된 기하학적 공간 내에서 시간적 역동성과 스펙트럼 특성을 모두 인코딩하도록 보장한다.

3. 학습 목적 함수(Training Objective): 모델은 다음과 같은 복합 손실 함수를 최소화한다:
   $$\mathcal{L} = \mathcal{L}_{TF} + \lambda_{CD} \mathcal{L}_{CD} + \lambda_{AX} \mathcal{L}_{AX}$$

   • $\mathcal{L}_{TF}$: 시간 및 주파수 브랜치에 독립적으로 적용되는 감독된 초구형 분류 손실(구체 상의 교차 엔트로피)이다.
   • $\mathcal{L}_{CD}$: 시간 및 주파수 임베딩 사이의 각도 거리를 최소화하는 교차 도메인 일관성 항이다.
   • $\mathcal{L}_{AX}$: 레이블이 없는 보조 이상치 데이터를 활용하여 인데이터(in-distribution, ID) 경계 근처의 표현 기하학을 형성함으로써, 붕괴를 방방지하고 분리도를 높이는 선택적 보조 대조 정규화 항이다.

주요 기여

• 초구형 프레임워크: 본 논문은 표준 유클리드 임베딩 공간을 넘어 vMF 정식화를 통해 단위 구 상에 클래스 조건부 구조를 유도하는, 시계열 OOD 탐지를 위한 원칙적인 접근 방식을 도입한다.
• 이중 뷰 아키텍처: 공유된 초구형 결정 기하학과 교차 도메인 일관성 정규화로 결합되어, 시간적 및 스펙트럼 뷰로부터 정렬된 표현을 학습하는 새로운 아키텍처를 제시한다.
• 대규모 평가: 저자들은 엄격한 교차 데이터셋 프로토콜 하에서 완전한 UCR(단변량) 및 UEA(다변량) 시계열 아카이브를 대상으로 광범위한 실험을 수행한다. 이 프로토콜은 각 데이터셋을 순차적으로 ID로 간주하고 나머지 모든 데이터셋을 OOD로 취급하여, "근접-OOD"(동일 모달리티)와 "원거리-OOD"(다른 모달리티) 시나리오를 구분한다.

실험 결과
사후 처리 방식(MSP, Mahalanobis, Center Loss) 및 학습 단계 방식(SimCLR, SSD+, KNN+, CIDER)을 포함한 강력한 베이스라인들과 비교했을 때, HyperTF는 일관된 개선을 보여준다:

• 성능: HyperTF는 UCR 및 UE-A 아카이브의 근접-OOD 및 원거리-OOD 설정 모두에서 최첨단(state-of-the-art) 결과를 달성했다. 특히, Mahalanobis++(Maha++) 스코어링 하에서 UCR 근접-OOD에서 1.90%, UEA 근접-OOD(보조 데이터 사용 시)에서 4.21%의 FPR@95를 기록하며 베이스라인을 크게 앞질렀다.
• ID 분류: 이 방법은 인데이터 분류 정확도를 희생하지 않으면서 OOD 강건성을 향상시키며, UCR에서 82.53%, UEA에서 81.74%의 F1-score를 달성하여 CIDER 베이스라인을 능가했다.
• 보조 데이터: 특히 MixOE로 증강된 보조 이상치 데이터를 포함할 경우, 제한된 커버리지 환경에서도 탐지 성능이 더욱 향고되어 원거리-OOD 시나리오에서 FPR@95를 상당한 폭으로 감소시킨다.
• 절제 연구(Ablation): 단계별 절제 연구를 통해 초구형 손실, 이중 뷰 처리, 그리고 FFT 일관성의 조합이 가장 강력한 성능을 낸다는 것을 확인했으며, 초구형 정식화가 표준 유클리드 소프트맥스 베이스라인보다 가장 유의미한 이득을 제공함을 입증했다.

의의 및 주장
본 논문은 상보적인 시간적 및 스펙트럼 구조를 공유된 기하학적 임베딩 공간 내에서 공동으로 모델링하는 것이 현실적인 분포 변화 하에서의 강건한 시계열 OOD 탐지를 위한 견고한 토대를 제공한다고 주장한다. 저자들은 자신들의 연구 결과가 단순한 데이터셋 내부의 레이블 분할을 넘어, 센싱 조건, 도메인 및 데이터 소스에 따른 배포 시점의 변동을 반영하는 벤치마크 설정의 필요성을 강조한다는 점을 명시한다. 이 연구는 각도 분리와 응집력을 자연스럽게 강제하는 초구형 표현이 시계열 데이터 고유의 복잡하고 다중 모달적인 분포 변화를 처리하는 데 특히 적합함을 시사한다.