기술 요약: 장거리 선형 재귀에서의 신호 전파

문제 제기

신경망에서의 신호 전파를 이해하는 것은 심층 아키텍처의 훈련을 방해하는 신호 소실/폭발 문제를 해결하는 데 필수적입니다. 기존 이론적 프레임워크는 평균장 근사가 다루기 쉬운 신호 통계를 산출하는 무한 폭 극한($n \to \infty$) 에 크게 의존하지만, 이러한 이론들은 종종 유한 폭에서 작동하는 현실적인 네트워크의 행동을 포착하지 못합니다.

이 격차는 장거리 시퀀스 작업을 위해 설계된 재귀 모델(선형 재귀 단위 및 상태 공간 모델 등) 에 특히 심각합니다. 이러한 모델에서는 동일한 가중치 행렬 $W$가 시간 단계 $t$에 걸쳐 반복적으로 적용됩니다. 다루는 핵심 질문은 다음과 같습니다: 재귀 깊이 $t$가 폭 $n$과 함께 증가할 때, 무한 폭 근사가 얼마나 오랫동안 정확한 상태를 유지하는가? 구체적으로, 어떤 깊이 척도에서 유한 폭 효과가 누적되어 표준 초기화 방식 (예: Glorot) 과 무한 폭 예측을 무효화하기에 충분한 수준에 도달하는가?

방법론

본 논문은 분산 $1/n$인 i.i.d. 적절한 복소 가우스 항을 사용하여 초기화된 선형 재귀 모델을 분석합니다. 고려된 모델은 다음과 같습니다:

1. 선형 재귀 단위 (LRU): $h^{(t)} = Wh^{(t-1)} + x^{(t)}$
2. 선형 재귀 네트워크 (RNN): $시퀀스 입력 없이$h^{(t)} = Wh^{(t-1)}$(즉,$h^{(t)} = W^t x^{(0)}$)

저자들은 은닉 상태의 정규화된 기대 제곱 노름을 신호 에너지로 정의합니다:
$$S_{n,t} = \frac{1}{n}\mathbb{E}[\|h^{(t)}_{LRU}\|^2], \quad Q_{n,k} = \frac{1}{n}\mathbb{E}[\|h^{(k)}_{RNN}\|^2]$$

이론적 유도

정확한 유한 폭 공식을 유도하기 위해 저자들은 랜덤 행렬 이론과 조합론적 분석을 결합합니다:

1. Trace Moment 축소: 신호 에너지는 유한 폭 trace moment $\frac{1}{n}\mathbb{E}[\text{tr}((W^k)^* W^k)]$의 평가로 축소됩니다.
2. Wick 전개: 복소 가우스 변수에 대한 Wick 정리를 사용하여 trace moment를 순열 $\sigma \in S_k$에 대한 합으로 전개합니다.
3. 조합론적 계수: 각 순열의 기여도는 크로네커 델타 제약 조건을 적용한 후의 "자유 인덱스"(제약이 없는 동치 클래스) 의 수에 의해 결정됩니다. 이 계수는 $\tau$가 긴 순환일 때, 특정 순열 교환자 $[\tau^{-1}, \tilde{\sigma}^{-1}]$의 순환 수와 정확히 일치함이 보입니다.
4. 정확한 공식: 랜덤 순열의 순환 수에 대한 알려진 결과 (특히 Hultman 수와 Dubach 의 작업과 관련된 결과) 를 활용하여, 저자들은 상승 계승과 하강 계승을 포함하는 $S_{n,t}$ 및 $Q_{n,k}$에 대한 정확한 폐쇄형 공식을 유도합니다.

주요 기여

1. 정확한 유한 폭 공식

본 논문은 복소 가우스 초기화를 가진 유한 폭 선형 재귀에서의 신호 전파에 대한 최초의 정확한 폐쇄형 공식을 제공합니다. 이러한 공식 (정리 2.1) 은 폭과 깊이의 임의의 결합 스케일링에 대해 유효하며, 표준 무한 폭 극한을 넘어섭니다.

2. 세 가지 스케일링 체제의 식별

정확한 공식을 사용하여 저자들은 깊이 ($t$ 또는 $k$) 와 폭 ($n$) 간의 관계에 기반하여 신호 전파를 지배하는 세 가지 구별된 체제를 특징짓습니다:

• 아임계 체제 (Subcritical Regime, $t, k = o(\sqrt{n})$):

  • 무한 폭 근사가 정확하게 유지됩니다.
  • 신호 에너지는 $Q_{n,k} \to 1$ 및 $S_{n,t} \sim t+1$로 행동합니다.
  • 표준 Glorot 초기화는 안정적으로 유지됩니다.
  • 이 체제에서 재귀 및 피드포워드 신호 전파는 점근적으로 구별할 수 없습니다.

• 임계 체제 (Critical Regime, $t, k \sim c\sqrt{n}$):

  • 무한 폭 예측과의 무시할 수 없는 편차가 발생합니다.
  • 비자명한 결합 스케일링 극한이 나타납니다.
  • RNN 의 경우: $Q_{n,k} \to \frac{2}{c^2}\sinh(\frac{c^2}{2})$.
  • LRU 의 경우: $S_{n,t} \sim \sqrt{n} \int_0^{\tilde{c}} \frac{2}{x^2}\sinh(\frac{x^2}{2}) dx$로, 스케일링 매개변수에 따라 지수적으로 증가합니다.
  • 의의: 이는 Glorot 초기화가 장거리 선형 재귀에서 불안정해지는 정확한 임계값으로 $\sqrt{n}$을 식별합니다.

• 초임계 체제 (Supercritical Regime, $t, k \gg \sqrt{n}$):

  • 유한 폭 효과가 지배적이 되어 신호 폭발로 이어집니다.
  • 아선형 범위 ($\sqrt{n} \ll t \ll n$) 에서 신호 성장은 깊이에 대해 지수적이 됩니다: $S_{n,t} \sim \frac{n^2}{t^3} \exp(\frac{t^2}{2n})$.
  • 유한 결합 스케일링 극한은 존재하지 않으며, 신호는 급격히 발산합니다.

3. 재귀 및 피드포워드 아키텍처 간의 차이

본 논문은 유한 폭 효과가 피드포워드 네트워크보다 훨씬 더 빠르게 재귀 모델에서 누적됨을 보여줍니다.

• 피드포워드 네트워크에서 유한 폭 보정은 깊이가 폭에 선형적으로 비례할 때 ($L \sim cn$) 중요해집니다.
• 재귀 네트워크에서는 이러한 효과가 제곱근 스케일 ($t \sim c\sqrt{n}$) 에서 가시화됩니다.
  이는 표준 무한 폭 이론으로는 보이지 않는, 재귀 모델이 피드포워드 모델보다 경험적으로 불안정성에 더 취약한 이유를 설명합니다.

결과 및 검증

• 이론적 한계: 유도된 공식은 무한 폭 근사의 붕괴를 정밀하게 정량화합니다. 이러한 공식들은 표준 초기화 방식이 무한 폭 관점에서는 안정적이지만, 재귀 깊이가 $\sqrt{n}$ 스케일을 초과하면 신호를 안정화하지 못함을 보여줍니다.
• 실수 대 복소 가중치: 주요 결과는 현대 SSM 에서 일반적으로 사용되는 복소 가중치에 대해 유도되었지만, 본 논문은 실수 가우스 가중치가 더 큰 신호 에너지를 보인다는 점 ($Q^R_{n,k} \ge Q_{n,k}$) 을 확립합니다. 이는 복소 가중치에 대해 유도된 불안정성 임계값이 실수 가중치에도 적용되며 (보수적인) 적용됨을 의미합니다.
• 수치적 검증: 몬테카를로 실험은 이론적 예측을 확인합니다. 경험적 신호 에너지는 다양한 폭과 깊이에 걸쳐 유도된 임계 프로파일 (예: 임계 체제에서의 $\sinh$ 함수) 과 밀접하게 일치합니다.

의의 및 주장

본 논문은 재귀 모델에서 무한 폭 근사가 얼마나 오랫동안 지속되는지에 대한 뚜렷한 답변을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 붕괴 스케일의 pinpoint: 무한 폭 이론이 $t \sim \sqrt{n}$에서 붕괴됨을 확립합니다. 이는 피드포워드 네트워크에 관련된 $t \sim n$ 스케일보다 현저히 작은 스케일입니다.
2. 경험적 불안정성 설명: 표준 초기화 (Glorot) 가 현대의 장거리 선형 재귀 (LRU 및 SSM 등) 에서 불안정한 이유에 대한 이론적 설명을 제공하며, 이는 실제에서 관찰되는 재조정 전략을 필요로 합니다.
3. 질적 차이: 동일한 가중치 행렬의 반복 적용에 의해 주도되는 재귀 및 피드포워드 아키텍처 간의 신호 전파에 대한 근본적인 질적 차이를 강조합니다.

저자들은 그들의 결과가 무작위 초기화를 가진 선형 재귀에 특화된 것임을 지적합니다. 비선형 활성화, 최첨단 모델에서 일반적인 구조화된 비가우스 초기화, 그리고 훈련 역동성 (특성 학습 체제) 으로 이러한 발견을 확장하는 것은 향후 연구의 열린 방향임을 인정합니다.