기술적 요약: 스펙트럴 트랜스포머 신경 프로세스 (STNPs)

문제 정의

신경 프로세스 (NPs) 는 컨텍스트 집합을 예측 확률 과정으로 매핑하도록 설계되어, 불확실성 정량화를 갖춘 데이터 효율적 학습을 가능하게 합니다. 번역 등변성 (translation-equivariant) 데이터에 대해서는 효과적이지만, 기존 NP 모델은 데이터가 강한 주기성 또는 준주기성을 보일 때 (예: 시계열, 공간 데이터, 반복적인 질감이 있는 이미지) 어려움을 겪습니다.

표준 트랜스포머 신경 프로세스 (TNPs) 는 학습된 시간 영역 임베딩 내에서 타겟-대-컨텍스트 어텐션에 의존합니다. 그러나 표준 ReLU-MLP 임베딩은 본질적으로 주기성을 인코딩하지 않습니다. 결과적으로, 관측값이 유클리드 공간에서 멀리 떨어져 있지만 위상이 정렬되어 있을 때 (즉, 정수 주기만큼 분리된 경우), TNPs 는 이를 효과적으로 연관 짓지 못합니다. 이는 주기적 설정에서 과소적합, 훈련 분포를 벗어난 일반화 능력 저하, 그리고 평균 예측으로 수렴하는 경향을 초래합니다. 번역 등변성을 개선하려는 이전 시도들 (예: ConvCNPs, TETNPs) 은 컨텍스트로부터 작업별 주파수 구조를 추론할 메커니즘이 부재하여 명시적으로 주기적 또는 준주기적 패턴을 포착하지 못합니다.

방법론: 스펙트럴 트랜스포머 신경 프로세스 (STNPs)

저자들은 TNPs 의 주파수 인식 확장인 **스펙트럴 트랜스포머 신경 프로세스 (STNPs)**를 제안합니다. 핵심 혁신은 컨텍스트 집합에서 작업 적응형 스펙트럴 정보를 추출하여 TNP 백본에 주입하는 모듈인 스펙트럴 어그리게이터입니다.

스펙트럴 어그리게이터

보흐너의 정리 (정상 양의 정부호 커널을 비음수 스펙트럴 측도와 연결함) 에 영감을 받아, 스펙트럴 어그리게이터는 컨텍스트 포인트를 주파수 영역으로 투영하여 경험적 스펙트럼을 추정합니다. 이 과정은 네 단계로 구성됩니다:

1. 경험적 스펙트럼 추정:

   • 컨텍스트 응답을 중심화하고 코사인 및 사인 기저를 사용하여 고정된 주파수 격자 $\{\tilde{\omega}_k\}_{k=1}^K$에 투영합니다.
   • 각 격자 주파수에 대해 스펙트럴 에너지 $E_k$를 계산하여 격자 위의 이산 확률 분포 $p_k$를 형성하도록 정규화합니다. 이는 경험적 스펙트럴 측도 $\hat{\nu}_{DC}$를 정의합니다.

2. 잠재 스펙트럴 분해:

   • 원시 격자의 높은 차원과 불연속성을 피하기 위해 잠재 혼합 변수 $Z \in \{1, \dots, Q\}$를 도입합니다.
   • 경량 합성곱 네트워크(책임 네트워크) 가 주파수 축을 따라 스펙트럴 요약 시퀀스를 처리합니다. 이는 각 격자 주파수를 $Q$개의 스펙트럴 혼합 구성 요소 중 하나에 할당하는 조건부 범주형 분포 (책임 $r_{qk}$) 를 정의하는 로짓을 출력합니다. 이는 스펙트럴 기하학의 국소 연속성 (예: 피크 모양, 대역폭) 을 강제합니다.

3. 확률적 스펙트럴 압축:

   • 이산 스펙트럼을 $Q$개의 구성 요소로 이루어진 연속 **가우시안 혼합 모델 (GMM)**로 압축합니다.
   • 혼합 가중치 $w_q$, 평균 $\mu_q$, 분산 $\sigma^2_q$는 책임에 따른 경험적 분포의 조건부 모멘트에서 유도됩니다. 이는 $\theta_{DC} = \{(w_q, \mu_q, \sigma^2_q)\}_{q=1}^Q$라는 컴팩트한 매개변수 집합을 생성합니다.

4. 스펙트럴 특징 구성:

   • 추정된 가우시안 혼합 구성 요소에서 주파수를 샘플링합니다.
   • 이러한 샘플링된 주파수를 사용하여 샘플링된 주파수와 구성 요소 가중치로 변조된 정현파 특징 (코사인 및 사인) 으로 구성된 스펙트럴 임베딩 $\phi_S(x)$를 구성합니다.
   • 이러한 스펙트럴 특징은 표준 시간 영역 MLP 임베딩과 연결되고 모델 차원으로 투영된 후 TNP 인코더에 입력됩니다.

이론적 속성

• 번역 등변성: 추정된 스펙트럴 매개변수와 샘플링된 주파수에 조건부일 때, 스펙트럴 특징은 번역 등변성을 가집니다.
• 번역 불변성: 이러한 특징의 유도된 내적은 번역 불변성을 가집니다.
• 스펙트럴 혼합 커널: 기대값에서 내적은 스펙트럴 혼합 (SM) 커널을 정의하여, 어텐션 메커니즘 자체를 수정하지 않고도 컨텍스트 집합에서 작업별 커널을 효과적으로 상쇄 (amortizing) 합니다.
• 유효 확률 과정: STNPs 는 콜모고로프 확장 정리를 만족하여 유효한 조건부 확률 과정을 정의함을 보장합니다.

주요 기여

1. STNPs 제안: 압축적 특징 샘플링 메커니즘을 통해 컨텍스트 주파수 정보를 추출하는 스펙트럴 어그리게이터로 TNPs 를 확장한 새로운 아키텍처.
2. 이론적 보장: 제안된 스펙트럴 특징이 조건부 번역 등변성을 가지며, 기대값에서 스펙트럴 혼합 커널에 해당하는 번역 불변 커널 추정자를 유도함을 증명. 이는 SM 커널 구조를 암묵적으로 TNPs 에 통합합니다.
3. 실증적 우위성: 다음 분야에서 기존 베이스라인 (NP, CNP, ANP, TNP, TETNP, ConvCNP, SConvCNP 포함) 을 능가하는 광범위한 실험 결과:
   • 합성 회귀 작업 (RBF, Matérn, Periodic, Sawtooth).
   • 이미지 완성 (DTD 데이터셋), 특히 반복적인 질감에 대해.
   • 일곱 개 데이터셋 (Electricity, Traffic, Exchange Rates, Climate 데이터 포함) 에 걸친 실세계 시계열 예측 및 결측치 보간.

실험 결과

• 합성 회귀: STNPs 는 베이스라인이 종종 실패하거나 수렴하는 주기성 및 톱니파 작업에서 가장 높은 로그 가능도를 달성합니다. 분포 외 (OOD) 영역에서 견고한 보간 및 외삽을 보여줍니다.
• 이미지 완성: DTD 데이터셋에서 STNPs 는 TNP (과도한 평활화) 와 SConvCNP (거친 연속성만 복구) 에 비해 줄무늬, 격자 등 주기적 패턴에 대해 더 선명한 완성 결과와 더 나은 구조적 충실도를 제공합니다.
• 시계열 예측:
  • 일반 벤치마크: STNPs 는 Electricity, ETTh1, 환율, National Illness, Traffic, Weather 등 여섯 개 데이터셋에서 MAE 와 MSE 를 크게 감소시키며, 종종 Autoformer 및 Informer 와 같은 전문 시계열 모델을 능가합니다.
  • 결측치 보간: 캘리포니아 교통 흐름 데이터에서 STNPs 는 경쟁사보다 날카로운 피크를 더 잘 포착하여 최고의 로그 가능도와 RMSE 를 달성합니다.
  • 기후 예측: Chichester Harbour 데이터셋에서 STNPs 는 반복되는 계절적 패턴을 효과적으로 전이하면서 지역 컨텍스트에 적응하여 TETNP 및 SConvCNP 보다 낮은 RMSE 와 MAE 를 기록합니다.
• 절대 연구 (Ablation Studies):
  • 스펙트럴 분기를 고정된 푸리에 특징 (FAN 스타일) 이나 직접 이산 스펙트럴 임베딩으로 대체하면 성능이 크게 저하되어, 작업 적응형 스펙트럴 혼합의 중요성을 확인합니다.
  • CNN 책임 네트워크를 피드포워드 네트워크 (FFN) 로 대체하면 성능이 저하되어, 국소 스펙트럴 상호작용을 모델링하는 것의 중요성을 강조합니다.

중요성 및 주장

이 논문은 STNPs 가 번역 등변성을 넘어 주기성과 준주기성을 효과적으로 모델링하도록 신경 프로세스의 범위를 확장한다고 주장합니다. 컨텍스트 집합에서 작업 적응형 스펙트럴 혼합 커널을 추론함으로써, STNPs 는 스펙트럴 가우시안 프로세스의 귀납적 편향과 트랜스포머 신경 프로세스의 유연성을 결합합니다.

저자들은 STNPs 가 성능을 크게 개선하지만, 주파수 격자 크기와 구성 요소 - 샘플 할당과 같은 하이퍼파라미터 선택은 작업 적응형 선택을 위한 열린 질문으로 남아 있다고 지적합니다. 이 작업은 반복 패턴이 지배적인 구조화된 데이터에 대한 더 견고한 메타러닝을 향한 한 걸음입니다.