Time-Varying Deep State Space Models for Sequences with Switching Dynamics

기술적 요약: 전환 역학을 가진 시퀀스를 위한 시간 가변 심층 상태 공간 모델

문제 제기
시간 가변 시스템의 식별 및 모델링은 신호 처리 및 시스템 식별 분야에서 근본적인 과제로 남아 있습니다. 금융 시장, 기상, 신경 활동과 같은 많은 실제 세계 프로세스는 근본적인 시스템 행동이 시간에 따라 진화하는 고유한 시간 가변 역학을 나타냅니다. 상태 공간 모델 (SSM) 은 시스템 식별을 위한 원칙적인 프레임워크를 제공하지만, 고전적인 선형 동적 시스템 (LDS) 은 고정된 시간 불변 전이 역학을 가정합니다. 전환 선형 동적 시스템 (SLDS) 과 같은 확장은 정황 (regime) 변화를 처리하지만, 모드 수와 모델 차수를 명시적으로 추정해야 하므로 학습이 어렵습니다. 반면, 현대의 심층 SSM 은 긴 시퀀스에서 높은 성능을 달성했지만, 전통적으로 시간 불변 매개변수나 입력 의존 메커니즘에 의존하며, 이는 입력과 무관하게 매끄럽고 연속적으로 시간 가변적인 역학을 명시적으로 포착하지 못할 수 있습니다.

방법론
저자들은 **시간 가변 심층 상태 공간 모델 (TV-SSM)**이라는 새로운 클래스를 제안합니다. 이 프레임워크는 시간 가변 기저 함수 확장을 심층 SSM 아키텍처에 통합합니다.

• 모델 공식화: 핵심 혁신은 표준 SSM 의 고정된 행렬 $A, B, C$를 시간 의존 행렬 $A[t], B[t], C[t]$로 대체하는 것입니다. 이러한 행렬의 각 요소는 학습 가능한 기저 함수들의 선형 결합으로 모델링됩니다:
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  유사한 확장이 $B[t]$와 $C[t]$에도 적용됩니다. 기저 함수 (예: 가우스 함수, 사인 함수, 또는 상수) 는 고정되지만, 그 계수는 학습 가능한 매개변수입니다. 이를 통해 모델은 전환 모드를 명시적으로 정의하지 않고도 매끄럽고 연속적인 역학을 표현할 수 있습니다.
• 안정성: 시간 가변 역학의 안정성을 보장하기 위해 저자들은 $A[t]$의 대각 요소에 제약 조건을 부과합니다 (간단함을 위해 대각 구조를 가정함). 훈련 중 대각 요소에 대한 계수의 절대값 합이 1 을 초과하면, 고유값이 단위원 내부에 엄격히 유지되도록 계수를 재정규화하는 스케일링 전략이 적용됩니다.
• 복잡도: 학습 가능한 매개변수의 수는 행렬 요소당 사전 크기 ($K_A, K_B, K_C$) 배만큼 증가하지만, 추론 복잡도는 시간 불변 모델과 유사하게 유지됩니다. 시간 의존 행렬은 추론 단계에서 미리 계산될 수 있으므로, 표준 SSM 과 동일한 곱셈 - 누적 (MAC) 연산이 수행됩니다. 그러나 시간 의존 매개변수의 저장으로 인해 공간 복잡도는 증가합니다.

주요 기여

1. 새로운 프레임워크: 본 논문은 학습 가능한 기저 함수를 사용하여 시간에 따라 상태 전이, 입력, 출력 행렬을 매개변수화하는 심층 SSM 프레임워크를 소개하여, 명시적인 모드 전환 없이 매끄럽고 연속적으로 시간 가변적인 역학을 모델링할 수 있게 합니다.
2. 실험적 검증: 이 접근법은 두 가지 다른 작업에서 검증되었습니다:
   • 합성 데이터: 실제 값이 전환 역학을 포함하는 4 모드 전환 선형 동적 시스템 (SLDS).
   • 실제 데이터: 회전 기계와 같은 반복적인 잡음 패턴을 시뮬레이션하는 4 모드 SLDS 에서 생성된 잡음으로 오염된 청결한 음성을 포함하는 음성 제거 잡음 작업.
3. 아키텍처 분석: 저자들은 $A, B, C$ 행렬 간 기저 함수 할당에 관한 트레이드오프, 모델 깊이의 영향, 그리고 매개변수 수와 성능 간의 관계를 조사했습니다.

결과

• 합성 전환 시스템: 4 모드 시스템에서 완전한 시간 가변 모델은 일관되게 시간 불변 대응 모델보다 우수한 성능을 보였습니다. 특히, 연구는 상태 전이 행렬 $A[t]$만 시간 가변으로 만드는 것이 $B$나 $C$의 전환 역학을 포착하는 데는 불충분함을 밝혔으며, 반대로 $B[t]$나 $C[t]$를 시간 가변으로 만들면 고정된 $A$를 보완할 수 있음을 보여주었습니다. 시간 불변 모델은 모드 간 "평균"을 학습하는 경향이 있어 평균 제곱 오차 (MSE) 가 더 높았습니다.
• 음성 제거 잡음: 오디오 제거 잡음 작업에서 시간 가변 모델은 시간 불변 모델보다 현저히 우수한 성능을 발휘했습니다.
  • 성능: 가장 좋은 시간 가변 구성은 5dB 잡음에서 시작하여 19.6dB의 신호 대 잡음비 (SI-SNR) 를 달성한 반면, 시간 불변 모델은 네트워크 깊이 또는 활성화 함수와 관계없이 7.8dB 부근에서 정체되었습니다.
  • 매개변수 효율성: 시간 가변 모델과 시간 불변 모델 간의 학습 가능한 매개변수 총수를 일치시켰을 때도 시간 가변 접근법이 더 우수한 결과를 산출했습니다. 뉴런당 매개변수 수를 늘리는 것은 시간 가변 모델의 성능을 향상시켰지만 시간 불변 모델에는 영향을 미치지 않았으며, 이는 후자가 비정상 역학을 포착하기 위해 추가 용량을 활용하지 못함을 시사합니다.
  • 기저 할당: 기저 함수 예산을 출력 행렬 $C$나 입력 행렬 $B$에 완전히 할당하는 것이 상태 전이 행렬 $A$에 할당하는 것보다 더 나은 성능을 보였습니다.

의의 및 주장
본 논문은 제안된 시간 가변 모델이 전환 또는 비정상 역학을 포함하는 시스템 식별 작업에 유연하고 효율적인 솔루션을 제공한다고 주장합니다. 기저 함수를 통해 시간 의존 역학을 명시적으로 모델링함으로써, 이 접근법은 SLDS 가 요구하는 이산 전환 모드를 추정하는 복잡성을 피하면서도 표준 시간 불변 심층 SSM 보다 우수한 성능을 발휘합니다. 저자들은 이 모델이 추론 시 시간 불변 대응 모델과 비교 가능한 계산 복잡도를 유지한다고 지적합니다.

이 연구는 더 큰 시간 불변 모델이 전환 역학을 포착하는 고유한 유연성 부족을 보상할 수 없는 반면, 제안된 시간 가변 프레임워크는 이러한 행동을 성공적으로 학습하고 적응한다는 결론을 내립니다. 저자들은 향후 연구가 비주기적 비정상 설정, 다른 기저 함수 계열, 그리고 이 접근법의 트레이드오프를 더 명확히 하기 위해 비정상 트랜스포머 아키텍처에 대한 벤치마킹을 탐구해야 한다고 제안합니다.