기술 요약: 신경 탄젠트 커널(Neural Tangent Kernel)의 재고

문제 정의

신경 탄ente 커널(NTK) 프레임워크는 경사 하강법으로 학습되는 과매개변수화된 신경망의 학습 역학을 설명하며, 무한한 너비의 극한에서 네트워크가 고정된 커널을 가진 커널 방법처럼 행동한다고 가정한다. 이 체제는 종종 "레이지 트레이닝(lazy training)"이라 불리는데, 이는 개별 은닉 뉴런의 활성화 값이 초기화 값 근처에 임의로 머물러 있기 때문이다. 그러나 이러한 특징은 두 가지 중요한 이론적 과제를 제시한다:

1. 너비 축(The Width Axis): "레이지 체제"는 특징(은닉 뉴런 활성화)이 정적이고 무작위임을 의미하며, 이는 실제 딥 네트워크에서 관찰되는 "특징 학습(feature learning)"을 설명하지 못한다. 선행 연구들은 NTK가 복잡한 의존성을 포착할 수는 있지만, 의미 있는 특징을 추출하지는 못한다는 점을 지적하며, 이는 NTK의 일반화 성공과 특징 진화의 부재 사이의 역설을 만든다.
   2 깊이 축(The Depth Axis): 네트워크 깊이가 무한한 너비의 극한으로 증가함에 따라, NTK는 데이터 독립적인 예측기(상수 행렬)로 수렴하여 모델이 훈련 세트에 존재하지 않는 데이터 포인트를 구별할 수 없게 만든다. 이는 표준 NTK 스케일링 하에서 딥 네트워크가 표현력을 잃고 일반화 능력이 저하되는 이론적 막다른 골목에 직면했음을 시사한다.

본 논문은 NTK가 특징 학습에 대해 순수하게 "레이지(lazy)"하다거나, 깊은 NTK가 필연적으로 사소한 예측기로 퇴화한다는 결론에 이의를 제기한다.

방법론

저자들은 표준 가우시안 초기화와 평균 제곱 오차(MSE) 손실을 사용하는 완전 연결 ReLU 네트워크에 대한 이론적 점근 분석과 경험적 검증을 결합하여 사용한다.

이론적 프레임워크

• 표기법 및 정의: 논문은 Jacot 등(2018a)과 Arora 등(2019b)이 확립한 NTK($\Theta^{(L)}_\infty$)와 뉴런의 공분산($\Sigma^{(L)}$)의 재귀적 정의를 활용한다. 저자들은 NTK가 결정론적 커널로 수렴하는 무한 너비 극한에 집중한다.
• 특징 분석 (너비): 저자들은 개별 뉴런보다는 은닉층의 집합적 행동을 분석한다. 이들은 개별 뉴런의 편차는 사라지더라도 그 총합의 편차는 사라지지 않음을 보여주기 위해, 시간 $t$에 따른 은닉층 활성화의 내적 $\langle h_t(x), h_t(x') \rangle$에 대한 폐쇄형 해(closed-form solution)를 도출한다.
• 깊이 분석: 논문은 깊이 $L \to \infty$인 극한을 조사한다. 저자들은 정규화된 커널 $\bar{\Theta}^{(L)}_\infty$를 도입하고 이의 수렴 특성을 분석한다. 또한 커널 행렬과 예측 함수의 고윳값에 대한 점근적 경계(asymptotic bounds)를 도출한다.
• 스케일링 전략: 깊이 퇴계 문제를 해결하기 위해, 본 논문은 깊이 $L$, 정지 시간 $t$, 데이터셋 크기 $n$이 서로 결합되는 특정 스케일링 체제를 제안한다. 구체적으로, $t \to \infty$ 또는 $L \to \infty$를 개별적으로 가정하는 대신, 커널 역학의 "질서 단계(ordered phase)" 내에 머물도록 $L$이 $n$ 및 $t$와 적절히 스케일링되도록 요구한다.

경험적 검증

• 토이 모델 및 데이터셋: 합성 데이터, text8 데이터셋(one-hot 인코딩 사용), 그리고 MNIST를 대상으로 실험을 수행한다.
• 지표: 저자들은 마지막 은닉층의 초기값으로부터의 편차($\|h_t - h_0\|_2$)와 깊이가 증가함에 따라 커널 값 및 고윳값의 수렴 속도를 측정한다.

주요 기여

1. "레이지 체제"의 재평가 (너비 축)

본 논문은 "레이지(정적 특징)" 체제와 "특징 학습(동적 특징)" 체제 사이의 이분법적 구분을 반박한다.

• 집합적 역학: 너비가 증가함에 따라 개별 뉴런의 활성화는 초기값으로 수렴하지만, 마지막 은닉층에서의 편차의 집합적 노름(aggregate norm)은 사라지지 않는다.
• 이론적 증명 (Proposition 4): 저자들은 최소 두 개의 은닉층을 가진 ReLU 네트워크의 경우, 서로 다른 입력에 대한 은닉층 활성화의 내적 $\langle h_t(x), h_t(x') \rangle$이 훈련 단계 $t$에 대한 엄격한 비상수 함수임을 증명한다. 이는 무한 너비 극한에서도 데이터 포인트 간의 통계적 상관관계가 훈련 중에 진화함을 보여준다.
• 시사점: "레이지 체제"가 특징 학습을 배제하는 것은 아니다. 오히려 특징은 개별 뉴런의 추적이 아닌 집합적 층 역학에 의해 포착되는 방식으로 진화한다.

2. 딥 네트워크의 표현력 해결 (깊이 축)

본 논문은 깊이가 증가함에 따라 NTK가 데이터 독립적인 예측기로 붕괴되는 문제를 다룬다.

• 상수로의 수렴: 저자들은 정규화된 커널 $\bar{\Theta}^{(L)}_\infty(x, x')$가 $L \to \infty$일 때 $x \neq x'$에 대해 $1/4$로 수렴함을 확인한다 (Theorem 2).
• 스케일링을 통한 안정화 (Theorem 3): $L$을 데이터셋 크기 $n$에 상대적으로 스케일링하고 정지 시간 $t$를 적절히 선택(조기 종료)하면 예측 함수 $f_t$가 안정적이고 표현력을 유지할 수 있음을 입증한다.
  • $t \in o(1/\lambda_n)$ (여기서 $\lambda_n$은 최소 고윳값)으로 설정하고, 커널을 안정화할 만큼 충분히 크지만 데이터 독립성을 유발할 만큼 너무 크지는 않도록 $L$을 스케일링함으로써, 모델은 데이터 포인트를 구별하는 능력을 유지한다.
  • 저자들은 데이터 간의 분리도에 의존하는 $L$에 대한 경계를 제공한다: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$.
• 일반화: 이러한 결과는 밀도 함수를 가진 확률 분포로부터 데이터가 생성되었다는 가정을 배제하고, 구(sphere) 위의 임의의 데이터셋에 대해 유효하다 (Xiao 등, 2020의 제약 완화).

결과

• 특징 진화: text8에 대한 실험 결과, 개별 뉴한의 편차는 작지만(레이지 동작과 일치), 마지막 은닉층의 집합적 편차는 훈련과 함께 증가하여 비정적 특징에 대한 이론적 예측을 확인하였다.
• 커널 수렴: 합성 데이터 및 MNIST 실험은 커널 값이 $O(1/L)$의 속도로 $1/4$에 수렴함을 확인시켜 준다.
• 안정성: 도출된 스케일링 법칙(Theorem 3)을 적용함으로써, 저자들은 폐쇄형 해의 투영 연산자 노름이 유계($O(n)$)로 유지되며, 깊이가 데이터 분리에 비해 지나치게 크지 않은 한 큰 깊이에서도 모델이 표현력을 유지함을 보여준다.

의의 및 주장

본 논문은 신경망 스케일링에 대한 더 미묘한 이론적 이해를 제공한다고 주장한다:

1. "레이지 체제"에 대한 미묘한 접근: "레이지 체제"라는 기술어가 불완전하다고 주장한다. 개별 뉴런은 정적이지만, 집합적 층 역학은 특징 학습을 가능하게 하여 NTK의 일반화 성공과 특징 추출 개념을 화해시킨다.
2. 깊은 NTK의 생존 가능성: 무한 깊이의 NTK가 이론적 막다른 골목이라는 관점에 이의를 제기한다. 깊이와 정지 시간을 적절히 스케일링함으로써, NTK는 큰 데이터셋에 대해 잘 작동하는 비자명한 출력을 낼 수 있다.
3. 실제적 정렬: 이러한 결과는 깊이가 크지만 유한하고 조기 종료가 사용되는, 즉 $L \ll n$인 실제 실험 환경을 반영하는 NTK 분석의 "골디락스(Goldilocks)" 영역을 제시한다.
4. 일반화: 저자들은 이러한 결과가 다른 커널 및 구조(예: CNN)로 일반화될 수 있게 하는 핵심 속성(대각 우세성, 충분한 깊이에서의 양의 정치성)을 제공한다. 다만, 깊이가 너비보다 훨씬 큰 체제에서 나타나는 확률적 변동(Hanin and Nica, 2020)에 대한 분석은 포함하지 않음을 명시한다.

결론적으로, 본 논문은 정적 특징과 스케일링 없는 무한 훈련 시간/깊이의 가정을 넘어선다면, NTK가 여전히 과매개변수화된 네트워크를 분석하는 데 가치 있는 도구임을 강조한다.