기술 요약: 동적 시스템 재구성을 위한 순환 신경망의 병렬 시간 학습

문제 제기

관측된 시계열로부터 비선형 동적 시스템 (DS) 을 재구성하는 것 (DSR) 은 과학과 공학의 근본적인 과제입니다. 이 목표는 단기 예측을 넘어, 끌개 (attractor) 기하학 및 리야푸노프 지수와 같은 장기 통계적 및 기하학적 속성을 충실히 재현하는 데까지 확장됩니다. 전통적인 DSR 방법, 특히 시간 역전 오차 역전파 (BPTT) 를 통해 학습된 순환 신경망 (RNN) 을 사용하는 방법들은 두 가지 주요 한계에 직면해 있습니다:

1. 계산 확장성: BPTT 는 시퀀스 길이 $T$에 대해 선형 실행 시간 복잡도 $O(T)$를 가집니다. 이는 본질적인 시간 척도가 긴 시퀀스 (예: $T > 10^4$) 에 대한 학습을 과도하게 비용이 많이 드는 것으로 만들며, 역사적으로 DSR 응용을 적당한 시퀀스 길이로 제한해 왔습니다.
2. 학습 불안정성: 카오스 시스템에서 BPTT 는 기울기 폭발 (exploding gradients) 에 시달립니다. 일반화된 교사 강제 (GTF) 와 같은 제어 이론적 기법이 이를 완화할 수 있지만, 순차적 계산 병목 현상을 해결하지는 못합니다.

최근의 병렬 시간 알고리즘은 선형 재귀 (예: 현대 상태 공간 모델 또는 SSM) 에 대해 로그 시간 복잡도 $O(\log T)$를 제공하지만, 일반적인 비선형 동역학에는 어려움을 겪습니다. 반면, 일반 비선형 RNN 을 병렬화하는 것 (예: DEER 프레임워크를 통한) 은 종종 카오스 데이터에서 실패합니다. 이는 뉴턴 업데이트를 주도하는 야코비안 곱들이 근본적인 동역학이 양의 리야푸노프 지수를 보일 때 발산하기 때문입니다.

방법론: GTF-DEER

본 논문은 DEER(Deep Equilibrium with Efficient Recurrence) 프레임워크의 병렬 확장성과 **일반화된 교사 강제 (GTF)**의 안정성을 결합한 새로운 학습 알고리즘인 GTF-DEER를 소개합니다.

핵심 구성 요소

1. DEER 프레임워크: DEER 는 시퀀스 모델의 순방향 통과를 잔차 벡터 $r(z_{1:T}) = z_{1:T} - F(z_{0:T-1})$에 대한 근 찾기 문제로 재구성합니다. 이는 뉴턴 방법을 사용하여 해결하며, 각 반복은 선형 시스템을 푸는 과정을 포함합니다. 야코비안의 블록-이대각 (block-bidiagonal) 구조를 활용함으로써 이러한 업데이트는 연관 스캔 (associative scans) 을 사용하여 병렬로 계산될 수 있으며, 순방향 통과에 대해 $O(\log T)$의 복잡도를 달성합니다.
2. 일반화된 교사 강제 (GTF): 카오스 시스템에서 뉴턴 업데이트의 발산을 해결하기 위해 GTF 가 DEER 루프에 통합됩니다. GTF 는 재귀를 적용하기 전에 잠재 상태와 관측 데이터에서 파생된 "교사"신호 간에 선형 보간을 수행합니다.
   • 메커니즘: 잠재 상태 업데이트는 $z_t = F_\theta(\tilde{z}_{t-1})$가 되며, 여기서 $\tilde{z}_{t-1} = (1-\alpha)z_{t-1} + \alpha \bar{z}_{t-1}$입니다.
   • 안정성 보장: 강제 강도 $\alpha$는 야코비안의 노름을 제어합니다. 본 논문은 적절한 $\alpha$에 대해 강제된 시스템이 전역적으로 수축 (contracting) 되어 리야푸노프 지수가 음수 ($\lambda < 0$) 가 됨을 증명합니다 (명제 1). 이는 근본적인 카오스 동역학에 관계없이 DEER 순방향 통과가 수렴함을 보장합니다.
3. 초기화 전략: 수렴을 가속화하기 위해 뉴턴 반복은 0 대신 강제 신호 ($z^{(0)}_{1:T} = B^+ x_{1:T}$) 를 사용하여 초기화되며, 이는 필요한 반복 횟수를 크게 줄입니다.

아키텍처 비교

본 논문은 두 가지 매개변수화 클래스를 평가합니다:

• 선형 학습 시간 재귀 (LSSM): 선형 잠재 동역학과 비선형 읽기출 (readouts) 을 가진 모델 (예: 현대 SSM). 이러한 모델은 단순한 병렬화를 허용하지만, 본 논문은 특히 부분 관측 시스템에서 정확한 비선형 동역학 학습을 방해하는 구조적 제한 (구체적으로 테스트 시간 재귀에 대한 저랭크 제약) 을 부과한다고 주장합니다.
• 비선형 학습 시간 재귀 (shPLRNN): GTF-DEER 로 학습된 일반 비선형 RNN (구체적으로 얕은 조각별 선형 RNN). 이 접근법은 LSSM 의 구조적 제약을 피하면서도 GTF-DEER 메커니즘을 통해 병렬 확장성을 유지합니다.

주요 결과

1. 계산 효율성

• 가속화: GTF-DEER 는 시퀀스 길이에 대한 아선형 (sublinear) 스케일링을 달성하여, 길이 $T=32,768$인 시퀀스에 대해 순차적 BPTT 학습 대비 최대 870 배의 속도 향상을 보여줍니다.
• 수렴: 강제 매개변수 $\alpha$는 효과적으로 야코비안 노름을 제어합니다. 충분히 큰 $\alpha$의 경우, 순방향 통과는 단 2 번의 뉴턴 반복으로 수렴합니다.
• 야코비안 근사: 계산 비용을 줄이기 위해 야코비안의 대각 근사 (quasi-DEER) 를 사용하는 연구는 부분 관측 환경에서 성능을 심각하게 저하시켜 수렴하지 않는 손실 곡선과 열악한 재구성 품질로 이어지는 것을 발견했습니다. 안정적인 학습을 위해서는 완전한 야코비안 계산이 필요합니다.

2. 장시퀀스 학습의 이점

• 긴 시간 척도: 15,000 단계의 정현파 강제력을 가진 강제된 로렌츠 -96 시스템과 간격이 $>10^4$인 버스팅 뉴런 모델에 대한 실험은 매우 긴 시퀀스 ($T > 10^4$) 로 학습하는 것이 장기 통계 ($D_{stsp}$) 의 재구성을 크게 개선함을 보여줍니다.
• 비교: 짧은 시퀀스로 학습된 모델들은 이러한 긴 시간 척도를 포착하지 못하지만, 긴 시퀀스로 학습된 GTF-DEER 는 잠재 강제 동역학을 성공적으로 학습합니다.

3. 선형 대 비선형 재귀

• LSSM 의 한계: 비선형 읽기출이 있더라도 선형 SSM(LSSM) 은 연결 행렬의 랭크가 관측 변수 수에 의해 제한될 때 강제된 로렌츠 -96 시스템의 제한 동역학을 재구성하지 못합니다. 그들은 관측되지 않은 동적 변수를 효과적으로 추론할 수 없습니다.
• 비선형의 우위: GTF-DEER 로 학습된 비선형 RNN 은 이러한 동역학을 성공적으로 포착합니다. 데이터 의존적 매개변수를 가진 최첨단 SSM 인 Mamba-2 와 비교하더라도, GTF-DEER 로 학습된 shPLRNN 은 재구성 품질에서 더 우수한 성능을 보이며 더 낮은 분산을 나타냅니다. 이는 Mamba-2 가 더 많은 매개변수를 가지고 있음에도 불구하고 이루어진 것입니다.
• 노출 편향: GTF-DEER 는 최종 학습 단계에서 강제 강도를 최소화함으로써 노출 편향 (자기회귀 롤아웃의 열화) 을 완화합니다. 이 전략은 표준 선형 SSM 에서 효율적인 병렬화와 양립할 수 없습니다.

중요성과 주장

본 논문은 동적 시스템 재구성의 맥락에서 GTF-DEER를 순차적 학습에 대한 견고한 직접적인 대체제로 확립한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 확장성: BPTT 의 선형 복잡도와 단순 병렬화의 불안정성으로 인해 이전에는 접근할 수 없었던 $T > 10^4$ 길이의 시퀀스에서 비선형 RNN 의 안정적인 학습을 가능하게 합니다.
2. 이론적 보장: 학습 중 수축 동역학을 강제함으로써 카오스 시스템에 대한 순방향 통과 수렴을 보장한다는 이론적 증명을 제공합니다.
3. 경험적 증거: 데이터에 긴 시간 척도가 포함되어 있을 때, 훨씬 더 긴 시퀀스로 학습하는 것이 DSR 품질에 실질적인 개선을 가져온다는 최초의 체계적인 증거를 제시합니다. 이는 구조적 제약으로 인해 선형 SSM 이 따라갈 수 없는 이점입니다.
4. 잠재력: 이 작업은 복잡한 동적 시스템을 모델링하기 위한 장시퀀스 학습의 대부분이 아직 활용되지 않은 잠재력을 강조하며, 긴 궤적을 처리하는 능력이 재구성 충실도를 개선하기 위한 중요한 레버라고 제안합니다.

저자들은 한계를 지적하는데, 구체적으로 잠재 차원 $M$에서 뉴턴 반복당 $O(M^3T)$의 입방 작업 복잡도가 모델 크기에 대한 실질적인 한계를 설정하며, 이론적 수렴 보장은 엄격하게 $M \le N$에 대해 성립한다는 점입니다 (비록 경험적 증거는 $M > N$에 대한 견고함을 시사하지만).