Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

기술 요약: "심층 네트워크는 초기화를 잊는가? 실용적 귀납적 편향에 대한 망각 시간 관점"

문제 제기
현대 신경망은 매우 과매개변수화되어 있어, 그 용량만으로는 일반화를 설명할 수 없습니다. 훈련 파이프라인 (아키텍처, 옵티마이저, 정규화 등) 이 가설 클래스에서 특정 함수를 선택하지만, 최종 예측기를 결정하는 데 초기 무작위 가중치의 역할은 여전히 모호합니다. 기존 문헌은 두 가지 상충되는 관점을 제시합니다:

1. 편향의 원천으로서의 초기화: 이론적 연구에 따르면 무작위 네트워크는 훈련을 거쳐도 생존하고 일반화를 주도할 수 있는 고유한 "단순성 편향 (simplicity bias)" (함수에 대한 사전 분포) 을 지닙니다.
2. 학습 가능성 메커니즘으로서의 초기화: 실제 대규모 훈련에서는 초기화를 주로 신호 전달을 안정화하고 발산/소실 그래디언트를 방지하는 도구로만 취급하며, 훈련이 수렴하면 최종 예측기는 초기 시드와 거의 무관하다고 가정합니다.

본 논문은 다음과 같은 정밀한 하위 질문을 탐구합니다: 현대 훈련 파이프라인이 선택한 최종 예측기가 무작위 초기화의 스케일에 어느 정도 의존하는가? 구체적으로, 훈련 과정이 초기 조건을 "잊는" 것일까, 아니면 초기 편향이 최종 해에 지속될까?

방법론
저자들은 CIFAR-10 데이터셋에서 ResNet 을 사용하여 통제된 실증 연구를 수행했습니다. 검증에서 선택된 예측기가 초기화 스케일 $\sigma_w$에 의존하는 정도를 정의한 진단 지표인 **초기화 기억 (Initialization Memory)**을 도입했습니다.

• 실험 설계: 아키텍처, 데이터 분할, 옵티마이저, 배치 크기, 학습률 스케줄, 훈련 기간 등 모든 요소를 고정하면서 무작위 커널 초기화의 전역 스케일 $\sigma_w$를 스윕 (sweep) 했습니다.
• 지표:
  • 테스트 정확도 분포: 최적 검증 손실 체크포인트에서 서로 다른 $\sigma_w$ 값에 따른 최고 및 최저 테스트 정확도의 차이.
  • 보간 에포크 ($\tau_{interp}$): 훈련 정확도가 99.5% 에 도달하는 에포크.
  • 프로베니우스 노름 ($\|W\|_F$): "방사형 기억" (최종 가중치 노름이 초기 노름과 결합된 상태로 유지되는지) 을 측정하는 데 사용.
  • 수리 간격 (Repair Gap): 보간 시점과 최종 체크포인트 사이의 검증 정확도 변화.
• 변수: 옵티마이저 (SGD, 모멘텀 SGD, Adam, AdamW, Muon), 배치 크기 ($b \in \{16, 32, 64, 128, 256\}$), 초기화 스케일 ($\sigma_w \in [0.1, 2.5]$), 네트워크 깊이 (ResNet-9, 56, 110), 명시적 정규화 (L2 가중치 감쇠) 를 변화시켰습니다.
• 이론적 프레임워크: 저자들은 수정된 목적 함수에 대한 그래디언트 흐름으로 이산적 옵티마이저를 해석하기 위해 **역방향 오차 분석 (backward error analysis)**을 활용했습니다. 단순한 에포크 수 대신 정규화 메커니즘의 누적 강도에 기반한 "망각 시간 척도 (forgetting timescales)"를 제안했습니다.

주요 결과

1. 옵티마이저 의존성:

   • SGD 는 기억한다: 낮은 학습률 하에서 일반 SGD 는 강력한 초기화 기억을 유지합니다. 배치 크기 $b=128$인 ResNet-9 의 경우, 훈련 정확도가 $\ge 99.5\%$에 도달했음에도 초기화 스케일에 따라 테스트 정확도가 26.5 퍼센트 포인트까지 변동합니다. 최종 가중치 노름은 초기 노름과 결합된 상태로 유지됩니다.
   • 적응형 방법은 잊는다: Adam, AdamW, Muon 은 초기화 스케일에 대한 의존성을 대부분 지웁니다. 동일한 조건에서 이들의 테스트 정확도 분포는 미미합니다 (예: Muon 의 경우 약 4.0 pp). 초기 스케일과 관계없이 공통된 최종 노름 스케일로 수렴합니다.

2. 하이퍼파라미터 의존성:

   • 훈련 시간은 불충분함: 낮은 학습률의 SGD 를 5,000 에포크까지 연장해도 초기화 분포를 유의미하게 줄이지 못합니다. 기억은 지속됩니다.
   • 정규화와 학습률: 훈련 레시피에 더 큰 학습률이나 명시적 L2 정규화 (가중치 감쇠) 를 포함하면 SGD 가 초기화를 잊게 만들 수 있습니다. 예를 들어, $\eta=10^{-2}$의 L2 감쇠를 추가하면 분포가 거의 0 에 수렴합니다.
   • 배치 크기: 더 큰 배치 크기는 SGD 의 망각 과정을 늦추어 분포를 증가시킵니다.

3. 깊이와 아키텍처:

   • 더 깊은 네트워크 (ResNet-56, ResNet-110) 에서 나쁜 망각 역학은 다르게 나타납니다: 단순히 일반화가 나쁜 보간을 하는 대신, 네트워크는 종종 큰 초기화 스케일에서 제대로 훈련되지 않음 (보간에 실패) 합니다.

4. 망각 시간 척도:
   저자들은 망각이 에포크 수가 아닌 누적된 "시계"에 의해 지배된다고 규명했습니다:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: 확률적 유한 단계 효과 (미니배치 노이즈) 를 위한 시간 척도. 낮은 학습률의 SGD 는 매우 작은 $T_{SGD}$를 가지며, 이로 인해 기억이 유지됩니다.
   • $T_{L2} = \lambda \sum \eta_k$: 명시적 노름 감쇠를 위한 시간 척도.
   • $T_{adapt} = \sum \eta_k$: 적응형 전처리를 위한 시간 척도.
     적응형 방법은 $T_{adapt}$ 스케일에서 작동하며, 이는 낮은 학습률의 SGD 가 가지는 $T_{SGD}$ 스케일보다 훨씬 큽니다 (더 빠른 망각).

의의와 주장
본 논문은 훈련된 네트워크의 "실용적 귀납적 편향"이 초기화 시점에 존재하는 아키텍처 사전 분포만이 아니라, 훈련 파이프라인의 망각 역학에 의해 필터링된 아키텍처 사전 분포라고 주장합니다.

• 패러독스의 해결: 저자들은 단순성 편향 이론과 실용적 훈련 안정성 사이의 명백한 모순을 해결합니다. 일반화를 개선하는 메커니즘 (예: 가중치 감쇠, 적응형 옵티마이저, 더 큰 학습률) 이 바로 초기화 기억을 지우는 메커니즘임을 주장합니다.
• 초기화의 역할: 정규화가 풍부한 현대 훈련 파이프라인에서 초기화는 주로 학습 가능성 장치 (trainability device) (최적화 안정화, 깊이 구현) 로서 기능하며, 지속적인 귀납적 편향의 원천이 아닙니다. 실제로 중요한 "오컴의 면도날"은 초기 매개변수 지도가 아니라 궤적 along 에 축적된 정규화제들에 의해 부과됩니다.
• 한계: 저자들은 자신의 발견이 CIFAR-10 의 BatchNorm ResNet 에 기반함을 인정합니다. 제안된 시간 척도 표현은 선형 및 스케일 불변 논증에서 도출된 조직 원리일 뿐, 비선형 BatchNorm 네트워크에 대한 보편적 정리는 아닙니다. 그러나 관찰된 실증적 위계 (SGD 는 기억하고, 적응형 방법은 잊으며, 정규화는 기억을 지움) 는 이러한 이론적 시계와 일치합니다.

요약하자면, 본 논문은 심층 네트워크가 자동으로 초기화를 잊지 않으며, 오직 특정 훈련 역학 (확률성, 적응성, 또는 명시적 정규화) 이 초기 기하학적 편향을 덮어쓰기에 충분한 "망각 시간"을 제공할 때만 잊는다는 것을 보여줍니다.