Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

기술 요약: 헤시안 고유벡터 변위 및 국소화를 통한 옵티마이저 의존적 훈련 역학의 특성 규명

문제 제기
신경망 훈련을 이해하는 것은 고차원적이고 비볼록(non-convex)한 손실 지형(loss landscape)으로 인해 여전히 어려운 과제로 남아 있다. 헤시안 행렬(파라미터에 대한 손실의 2차 미분 행렬)은 훈련 역학, 일반화 및 날카로움(sharpness)을 분석하기 위한 표준적인 도구이지만, 기존 연구 대부분은 헤시안 고유값(곡률 크기)이나 상위-$k$ 고유 공간(eigenspace) 전체의 안정성에 초점을 맞추고 있다. 개별 주요 헤시안 고유벡터, 즉 파라미터 공간에서의 곡률 방향을 인코딩하는 벡터의 진화에 대한 이해에는 중요한 공백이 존재한다. 이 고유벡터들이 훈련 과정에서 안정화되는지, 표류(drift)하는지, 혹은 재구성되는지, 그리고 서로 다른 옵티마이저가 손실 지형 내에서 질적으로 구별되는 기하학적 궤적을 유도하는지는 불분명하다.

방법론
저자들은 MNIST 및 FashionMNIST 데이터셋에 대한 다층 퍼셉트론(MLP) 훈련 중 발생하는 시간 의존적 주요 헤시안 고유벡터 $\{v^{(i)}(t)\}$의 진화를 조사한다. 본 연구는 세 가지 옵티마이저인 SGD, Adam, SAM을 비교한다.

고유벡터 역학을 정량화하기 위해 저자들은 두 가지 상호 보완적인 지표를 사용한다:

1. 고유벡터 변위(Eigenvector Displacement): 유리계(glassy systems) 분석에서 영감을 얻은 이 지표는 시작 시간 $t_w$에서의 고유벡터와 대기 시간 $t$ 이후의 상태 사이의 제곱 유클리드 거리를 측정한다. 이는 두 시간 상관 함수(two-time correlation function) 역할을 하여 정적 역학(stationary dynamics)과 "에이징(aging)" 행동(훈련 연령에 따라 변화율이 달라지는 현상)을 구분한다. 무작위 파라미터 초기화 하에서의 예상 헤시안을 기반으로 한 무작위 널 모델(random null model)은 완전한 탈상관(decorrelation)을 나타내는 기준점으로 사용된다.
2. 역 참여 비율(Inverse Participation Ratio, IPR): 이 지표는 고유벡터 질량의 국소화(localization) 정도를 정량화한다. IPR 값이 $1/N$($N$은 파라미터 수)에 가까우면 비국소화(균일한 확산)를 의미하며, $O(1)$에 가까우면 국소화(파라미터의 특정 부분집합에 집중됨)를 의미한다. 이 문맥에서 IPR은 곡률에 대한 민감도가 네트워크 가중치에 어떻게 분포되는지를 측정한다.

실험은 미니 배치로 훈련된 3계층 완전 연결 MLP를 활용한다. 헤시안은 전체 데이터셋에 대해 일정 간격으로 평가되며, 전체 행렬을 형성하지 않기 위해 헤시안-벡터 곱(Hessian-vector product)을 이용한 란초스 반복법(Lanczos iteration)을 통해 고유벡터를 계산한다.

주요 결과
연구 결과, 변위 및 국소화 역학 모두에서 명확한 옵티마이저 의존적 행동이 드러났다:

• 변위 및 안정성:

  • SGD: 주요 고유벡터($v^{(1)}$)가 초기에 빠르게 변화하다가 점진적으로 안정화되는 "에이징" 행동을 보인다. 변위는 무작위 기준점 아래에서 포화되며, 이는 SGD가 점진적으로 더 안정적인 주요 곡률 방향을 유도함을 나타낸다.
  • Adam: 훨씬 더 강력한 재구성을 보여준다. 고유벡터 변위가 무작위 기준점 근처에서 평탄해지는데, 이는 훈련 전반에 걸쳐 거의 완전한 탈상관과 지속적인 주요 곡률 방향의 이동을 시사한다.
  • SAM: SGD에 비해 느리지만 지속적인 표류를 보이는 중간 형태의 행동을 보인다.
  • 이러한 역학은 풀 배치(full-batch) 환경을 제외하고 배치 크기 및 학습률 변화에 대해 견고하다.

• 국소화 (IPR):

  • Adam: 주요 고유벡터가 파라미터의 작은 부분집합에 집중되는 강력한 국소화 현상을 유도한다 (IPR $\approx 0.1$). 이는 Adam 하에서 소수의 가중치가 주요 곡률 방향에 불균형적으로 기여함을 시사한다.
  • SGD: 비국소화 경향을 보이며, IPR 값이 균일한 기준선($1/N$)을 향해 감소한다. 이는 곡률 민감도가 파라미터 전반에 더 고르게 퍼짐을 나타낸다.
  • SAM: SGD보다 약간 높은 국소화를 보이지만, 실행 간 분산은 낮게 유지된다.

• 정렬(Alignment): 논문은 그래디언트가 일반적으로 상위 고유벡터들과 정렬되지만, Adam의 업데이트 정렬은 모멘텀 파라미터로 인해 0.1 미만으로 낮게 유지된다고 언급한다. 반면 SGD와 SAM의 업데이트는 그래디언트와 더 밀접하게 정렬된다.

의의 및 주장
본 논문은 헤시안 고유벡터 역학을 추적하는 것이 스펙트럼 분석만으로는 보이지 않는 옵티마이저 행동의 핵심적 차이를 포착한다는 점을 주장한다. 주요 의의는 다음과 같다:

1. 옵티마이저 선택이 기하학을 결정한다: 서로 다른 옵티마이저는 단순히 동일한 지형을 다른 속도로 통과하는 것이 아니라, 질적으로 구별되는 형태의 지형 탐색을 유도한다. SGD는 곡률 방향을 안정화하는 반면, Adam은 이를 지속적으로 재구성한다.
2. 국소화는 안정적인 통계량이다: 고유벡터의 혼합에도 불구하고, 국소화 지표(IPR)는 훈련 내내 안정적인 통계량으로 남는다. 이는 특정 방향의 곡률이 회전하더라도, 곡률의 '본질'(그것이 소수의 파라미터에 의해 구동되는지 혹은 분산되어 있는지)은 해당 옵티마이저에 대해 일관되게 유지됨을 시사한다.
3. 분석에 대한 시사점: 이러한 결과는 고유벡터의 불안정성이 손실 지형의 새로운 영역을 탐색할 수 있게 함으로써 최적화를 용이하게 할 수 있음을 시사한다. 또한, Adam에서 관찰된 국소화 현상은 특정 가중치 집합이 가장 볼록한 방향을 지배한다는 것을 식별함으로써 타겟팅된 프루닝(pruning) 및 불확실성 정량화에 실질적인 시사점을 줄 수 있다.

저자들은 이러한 역학이 (미니 배치 환경 내에서) 하이퍼파라미터 변화에 견고하며, 향후 연구가 이러한 관찰을 활용하여 옵티마이저 역학을 개선하고 파라미터 중복성을 활용할 수 있을 것이라고 결론짓는다.