기술 요약: TIDES – 선택적 상태 공간 모델의 암시적 시간 인식

문제 제기

임상 관찰, 환경 센서 읽기, 금융 이벤트와 같은 실제 세계의 순차 데이터는 거의 규칙적인 그리드로 샘플링되지 않습니다. 표준 시퀀스 모델은 종종 균일한 시간 단계를 가정하여, 데이터를 재샘플링하거나(시간 정보 손실) 입력에 명시적인 시간 특징을 추가하도록 강요합니다.

시퀀스 모델링을 다루는 두 가지 지배적인 상태 공간 모델 (SSM) 계열은 불규칙한 시계열에 관한 근본적인 트레이드오프에 직면해 있습니다:

1. 연속 시간 SSM(예: S5): 이들은 시간 단계의 물리적 의미를 보존합니다 ($\tilde{\Delta} \equiv \Delta$). 실제 경과 시간에 걸쳐 연속 역학을 적분함으로써 불규칙한 타임스탬프를 네이티브로 처리할 수 있습니다. 그러나 이들은 일반적으로 **선형 시간 불변 (LTI)**이므로, 역학이 입력 콘텐츠에 따라 변하지 않아 토큰별 표현력이 제한됩니다.
2. 선택적 SSM(예: Mamba): 이들은 이산화 단계 $\tilde{\Delta}$와 투영 행렬 ($B, C$) 을 입력 의존 함수로 만들어 강력한 토큰별 표현력을 달성합니다. 이를 통해 모델이 토큰별로 유효 시간 상수를 적응할 수 있습니다. 그러나 이 설계는 $\tilde{\Delta}$를 물리적 샘플링 간격에서 학습된 게이트로 붕괴시킵니다. 결과적으로 모델은 불규칙한 시간에 대한 네이티브 처리 능력을 상실하며, 불규칙한 데이터를 처리하려면 시간 델타를 명시적 입력 특징으로 취급해야 합니다. 논문은 이 간접적 결합이 훈련 중 보지 못한 불규칙성 영역 (시간 델타) 으로 모델이 외삽하는 것을 방해한다고 주장합니다.

방법론: TIDES

저자들은 Mamba 의 표현력과 S5 의 물리적 시간 의미를 조화시키도록 설계된 선택적 SSM 변형인 TIDES(Time-Implicit Decay and Eigenvalue Selectivity, 시간-암시적 감쇠 및 고유값 선택성) 를 제안합니다.

핵심 설계 원칙

TIDES 는 입력 의존성을 이산화 단계 ($\tilde{\Delta}$) 에서 연속 시간 생성기 (상태 행렬 $\Lambda$ 및 투영 $B, C$) 로 이동시킵니다.

• 암시적 시간 인식: 시간 단계 $\tilde{\Delta}$는 관찰 타임스탬프에 의해 결정되며, 입력의 학습된 함수가 아닌 엄격하게 물리적인 ($\tilde{\Delta} \equiv \Delta$) 상태로 유지됩니다.
• 선택적 생성기: 입력 의존성은 다음에 적용됩니다:
  • $\text{Re}(\Lambda)$: 고유값의 실수부 (감쇠율) 가 입력의 함수가 됩니다. 이를 통해 모델이 콘텐츠에 따라 "더 빠르게 잊거나" "더 오래 보유"할 수 있어 필요한 선택성을 제공합니다.
  • $B$와 $C$: 입력 및 출력 투영이 입력 의존적이 되어, 모델이 노이즈를 필터링하고 상태 읽기/쓰기를 조절할 수 있습니다.
  • $\text{Im}(\Lambda)$: 허수부 (진동 주파수) 는 정적으로 유지됩니다. 저자들은 토큰별 주파수 조절이 깔끔한 연속 시간 해석을 결여한다고 주장하며, 실험적으로 성능을 저해한다는 것을 발견했습니다.

아키텍처 세부 사항

• 초기화: 모델은 $\Lambda, B, C$에 대해 HiPPO 에서 파생된 편향을 사용하여 초기화하고, 투영 가중치는 0 으로 초기화합니다. 이는 모델이 잘 조건화된 LTI 재귀에서 시작하여 선택성을 부드러운 교란으로 학습하도록 보장합니다.
• 저랭크 투영: 파라미터 수를 관리하기 위해 $B$와 $C$에 대한 밀집 투영은 저랭크 구조 ($r \ll PH$) 로 인수분해됩니다.
• 심층 프로젝터: Mamba 의 전처리와 유사하게 비선형성을 도입하기 위해 최종 투영 전에 잔차 게이트드 선형 단위 (GLU) 블록이 입력 경로에 포함됩니다.
• 정규화: 재귀에서 무제한 교란을 방지하고 훈련을 안정화하기 위해 RMSNorm 이 이산화 직전에 투영된 파라미터 ($\text{Re}(\Lambda), B, C$) 에 적용됩니다.
• 안정적 재파라미터화: $\text{Re}(\Lambda)$는 (예: 지수 또는 안정적 매핑을 통해) 재파라미터화되어 고유값이 안정적 반평면에 유지되도록 하여, 입력과 관계없이 폭발적인 재귀를 방지합니다.

주요 기여

1. 아키텍처: TIDES 는 선택성이 연속 시간 생성기 ($\text{Re}(\Lambda), B, C$) 에 위치하는 반면 이산화 단계는 물리적이고 암시적인 양으로 남아 있는 설계를 도입합니다. 이를 통해 모델은 토큰별 표현력을 희생하지 않고 불규칙한 타임스탬프를 네이티브로 처리할 수 있습니다.
2. 메커니즘 분석 (Fading Flash): 저자들은 두 가지 실패 모드를 분리하는 새로운 진단 벤치마크인 Fading Flash를 도입합니다:
   • LTI 경직성: S5 가 여러 감쇠율을 동시에 모델링하지 못하는 능력.
   • 외삽 실패: Mamba 와 같은 모델이 훈련 분포 밖의 시간 델타 ($\Delta$) 로 일반화하지 못하는 능력.
   • TIDES 는 두 가지 모두를 극복하는 유일한 아키텍처로 밝혀졌으며, 보지 못한 $\Delta$ 값 전반에 걸쳐 견고한 성능을 유지하면서 영역 의존 역학을 포착합니다.
3. 실험 결과: TIDES 는 다음에서 새로운 최첨단 (SOTA) 평균 순위를 달성합니다:
   • UEA 시계열 분류: LogNCDE, RFormer 및 기타 베이스라인을 능가합니다.
   • Physiome-ODE 회귀: LinODEnet 및 기타 불규칙 시계열 예측 모델을 능가합니다.

실험적 발견

• Fading Flash: 이 통제된 실험에서 S5 는 영역 의존 감쇠를 포착하지 못했고 (낮은 표현력), MambaS(Mamba 대리 모델) 는 훈련 범위 밖의 테스트 시간 $\Delta$ 값으로 외삽하지 못했습니다 (유효 감쇠율의 편향). TIDES 는 모든 영역에 대해 올바른 감쇠율을 성공적으로 학습했으며, 광범위한 테스트 시간 $\Delta$ 전반에 걸쳐 견고하게 유지되었습니다.
• 무작위 드롭 제거 실험: 무작위 시간 단계 드롭이 적용된 EigenWorms 데이터셋에서 TIDES 는 훈련 중 보지 못한 극단적인 드롭 비율 ($r_{test}=0.9$) 에서도 높은 정확도를 유지했습니다. 반면, MambaS 와 RFormer 는 높은 드롭 비율에서 크게 붕괴되었으며, 이는 입력 의존 $\tilde{\Delta}$ 또는 고정된 서명 윈도우가 불규칙 샘플링 영역으로 일반화하지 못함을 확인시켜 주었습니다.
• $\text{Im}(\Lambda)$에 대한 제거 실험: 고유값의 허수부를 입력 의존적으로 만드는 것은 성능을 향상시키지 못했고 오히려 약간 저하시켰으며, 이는 진동 주파수를 정적으로 유지하는 설계 선택을 지지합니다.

중요성 및 주장

이 논문은 입력 의존성이 이산화 단계를 통해가 아니라 연속 시간 생성기를 통해 라우팅될 때, 토큰별 표현력과 충실한 물리적 시간 의미는 양립 가능하다고 TIDES 가 입증한다고 주장합니다.

저자들은 불규칙하게 샘플링된 시퀀스에 대한 더 넓은 설계 원칙을 제시합니다: 이산화와 표현력을 분리하십시오. 물리적 샘플링 간격은 분석적 이산화 규칙을 통해서만 모델에 진입해야 하며, 표현력은 연속 시간 생성기에 위치해야 합니다. 이 분리는 모델이 훈련 중 보지 못한 샘플링 영역으로 동시에 표현력 있고 외삽 가능하게 만듭니다.

이 논문은 범위가 제한적임을 겸손하게 명시하며, TIDES 는 불규칙 시계열 (임상, 센서, 시뮬레이션 데이터) 을 위해 설계되었으며 언어 모델링과 같은 규칙 그리드 작업에서 Mamba 를 대체하는 일반적인 솔루션으로 주장되지 않는다고 밝힙니다. 여기서 입력 의존 시간 게이트의 역할은 다릅니다. 이 작업은 시간 처리와 표현력을 분리하는 원칙이 신경 ODE 및 연속 시간 어텐션 변형과 같은 다른 연속 시간 아키텍처로 확장될 수 있음을 시사합니다.