Multiple Descents in Deep Learning as a Sequence of Order-Chaos Transitions in LSTM Networks

기술 요약: LSTM 네트워크에서의 질서-혼돈 전이의 연속으로서의 다중 하강(Multiple Descents)

문제 정의
딥러닝 학습 역학은 과적합(overfitting), 과소적합(underfitting), 성능 변동과 같은 현상들로 인해 매우 복잡하다. "더블 디센트(double descent)" 현상(모델 복잡도가 증가함에 따라 테스트 오차가 증가했다가 다시 감소하는 U자형 곡선)은 이미 연구된 바 있으나, 최근의 관찰들은 더 복잡한 거동을 시사한다. 본 논문은 실제 작업 환경의 LSTM(Long Short-Term Memory) 네트워크에서 관찰되는 새로운 "다중 하강(multiple descents)" 현상을 조사한다. 저자들은 모델이 과적합되었을 때, 테스트 손실이 단순히 정체되거나 단조롭게 증가하는 것이 아니라, 손실이 증가하다가 급격히 떨어지는 긴 주기를 반복한다는 점을 관찰하였다. 이 연구가 다루는 핵심 문제는 이러한 다중 하강의 동역학적 메커니즘을 이해하고, 최적의 모델 성능이 발생하는 조건을 식별하는 것이다.

연구 방법론
본 연구는 딥러닝 학습과 동역학계 이론(dynamical systems theory)의 점근적 안정성 분석을 결합하여 사용한다.

• 실험 설정: 저자들은 감성 분석을 위해 IMDb 대규모 영화 리뷰 데이터셋을 사용하여 LSTM 네트워크를 학습시켰다. 과적합을 유도하고 장기적인 동역학적 거동을 관찰하기 위해 모델을 1,000 에포크(epoch) 동안 과하게 학습시켰다. 아키텍처는 임베딩 레이어(32차원), LSTM 레이어(60 유닛), 그리고 완전 연결 출력 레이어를 포함한다.
• 점근적 안정성 분석: 네트워크의 내부 상태를 특성화하기 위해, 저자들은 LSTM을 비선형 동역학계로 취급하였다. 이들은 출력 순환 유닛($h_t$)의 점근적 안정성을 측정하기 위해 섭동 기반 접근법(perturbation-based approach)을 채택하였다.
  • 절차: 각 학습 에포크마다, 테스트 샘플은 입력 길이(500 토큰)까지 네트워크를 통과한다. 그 후, 외부 구동력 없이 시스템이 진화할 수 있도록 입력을 제로 벡터(zero vectors)로 1,100 단계 더 확장한다(총 1,600 단계).
  • 섭동: 500번째 단계에서 은닉 상태(hidden state)에 작은 가우시안 노이즈 섭동($\epsilon$)을 가한다. 시스템은 원래의 상태와 섭동된 상태 모두에 대해 1,599번째 단계까지 반복 계산된다.
  • 지표: 점근적 거리($D = |h'_{1599} - h_{1599}|$)를 계산한다. 거리가 0으로 수렴하는 것은 질서 단계(ordered phase)(안정성)를 나타내며, 발산하는 것은 **혼돈 단계(chaotic phase)**를 나타낸다.
  • 추가 지표: 연구에서는 분기(bifurcation)를 시각화하기 위해 출력 벡터의 축소 합($h_{1599} \cdot \mathbf{1}$)을 활용하였으며, 위상 전이를 확인하기 위해 유한 시간 리아푸노프 지수(Finite Time Lyapunov Exponent, FTLE)를 계산하였다.

주요 결과

1. 다중 하강 및 위상 전이: 실험 결과, 과적합 영역(에포크 > 450) 동안 테스트 손실은 증가와 급격한 하락의 여러 주기를 보였다. 각 주기는 질서와 혼돈 사이의 전이에 대응한다.
   • 모델이 혼돈 단계에 진입함에 따라 테스트 손실이 증가하고 점근적 거리가 커진다.
   • 테스트 손실의 급격한 하락은 혼돈에서 다시 질서로의 갑작스러운 전이와 일치한다.
2. 첫 번째 전이에서의 최적 성능: 전역 최솟값 테스트 손실(최적 성능)은 일관되게 질서에서 혼돈으로의 첫 번째 전이(주 실험에서 약 에포크 114 부근에서 관찰됨)에서 발생하였다. 이 지점은 "혼돈의 가장자리(edge of chaos)"가 가장 넓은 구간으로, 가중치 구성을 가장 광범위하게 탐색할 수 있게 해준다. 이후의 전이들은 국소 최적해(local optima)만을 생성하였다.
3. 1차 사상(1D Map)과의 유사성: LSTM 학습 역학의 위상도는 1차원 $tanh$ 사상의 분기 다이어그램과 현상적으로 유사하다. 첫 번째 질서-혼돈 전이가 가장 넓고(느리고), 그 뒤를 잇는 전이들은 더 좁고 빠르다. 이는 확률적 경사 하강법(SGD) 과정 중 가중치 행렬의 크기가 증가하는 것이 1차원 사상에서 제어 매개변수를 증가시키는 것과 유사하게 작용하여, 시스템을 일련의 분기 과정을 거치도록 유도함을 시사한다.
4. 발생 조건: 다중 하강 현상은 하이퍼파라미터에 의존하는 것으로 관찰되었다. 학습률이 너무 작거나, 모델 크기가 너무 작아(질서 단계에 머무름), 혹은 매우 느린 수렴을 보이는 SGD를 사용할 때는 이 현상이 나타나지 않았다. 그러나 손실 하락과 질서-혼돈 전이 사이의 관계는 완전한 다중 하강이 관찰되지 않는 경우에도 일관되게 유지되었다.

핵심 기여

• 다중 하강의 식별: 본 논문은 전통적인 더블 디센트 프레임워크를 넘어 LSTM 네트워크에서 나타나는 특정한 성능 하강 패턴을 기록하였다.
• 동역학계적 해석: 네트워크의 내부 역학(질서 대 혼 chaos)에 대한 점근적 안정성과 성능 주기 사이의 직접적인 경험적 연결 고리를 확립하였다.
• 최적 에포크 국지화: 학습의 전역 최적해는 종종 네트워크의 최종 상태가 아니라, 혼돈 영역으로의 첫 진입(가장 넓은 "혼돈의 가장자리")과 일치한다는 점을 밝혀냈다.
• 이론적 평행성: 고차원 신경망 학습과 저차원 비선형 사상(특히 $tanh$ 사상) 사이의 타당한 이론적 연결을 도출하였으며, 질서-혼돈 전이의 연속이 가중치 노름(weight norms)의 증가에 의해 구동됨을 시사하였다.

의의 및 주장
저자들은 본 연구의 결과가 신경망의 정점 성능이 언제, 왜 달성되는지에 대한 새로운 관점을 제공하며, 초점을 정적인 모델 속성(크기, 데이터셋)에서 학습의 내재적 동역학적 궤적으로 전환한다고 주장한다.

• 실무적 시사점: 이러한 전이를 이해하면, 단순한 조기 종료(early stopping) 휴리스틱이나 규제화에 의존하는 대신, 첫 번째 질서-혼돈 전이에서 학습을 중단하여 일반화 성능을 극대화하는 새로운 학습 전략을 개발할 수 있다.
• 이론적 확장: 본 연구는 "안정성의 가장자리(edge of stability)" 및 "혼돈의 가장자리(edge of chaos)" 개념을 확장하며, 혼돈의 가장자리가 일반적으로 최적이지만, 순환 신경망에서는 특히 첫 번째 전이가 전역 최적성에 있어 독보적으로 중요하다는 점을 시사한다.
• 겸허한 태도 및 한로: 저자들은 본 현상이 1차원 사상과 유사하지만, LSTM의 고차원적 특성상 소수 주기성(prime-numbered periodicities)에 의해 완전히 포착되지 않는 더 복잡한 상호작용이 포함될 수 있음을 명시하였다. 또한, 이 현상이 모든 설정(예: 특정 학습률이나 옵티마이저)에서 관찰되지는 않았음을 인정하였으며, "안정성의 가장자리"(Hessian 기반)와의 연결은 추가적인 이론적 조사가 필요하다고 밝혔다. 본 논문은 이 현상이 모든 아키텍처에서 보편적이라고 주장하는 것이 아니라, 순환 신경망에서 주목할 만한 관찰 결과임을 강조한다.