📊 statistics

Generalization in Deep Neural Networks: Minimax Rates for Gradient Methods

이 논문은 과잉 매개변수화된 심층 신경망의 경사 기반 학습과 커널 방법론 사이의 이론적 연결을 확립하며, 딥 회귀 작업에 대한 경사 하강법 및 확률적 경사 하강법 모두에 대한 최초의 미니맥스 최적 일반화율을 도출한다.

원저자: Junyu Zhou, Puyu Wang, Yunwen Lei, Marius Kloft, Yiming Ying

게시일 2026-06-08

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Junyu Zhou, Puyu Wang, Yunwen Lei, Marius Kloft, Yiming Ying

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 미스터리: 왜 거대한 신경망은 잘 작동하는가?

당신이 학생(딥 뉴럴 네트워크)에게 날씨를 예측하는 법을 가르치고 있다고 상상해 보세요. 당신은 그 학생에게 수백만 페이지에 달하는 방대한 교과서(훈련 데이터)를 줍니다.

수학의 세계에는 유명한 역설이 하나 있습니다. 만약 학생의 기억력이 너무 좋아서 교과서의 모든 페이지를 완벽하게 암기할 수 있다면, 그 학생은 본 적 없는 새로운 페이지를 마주했을 때 보통 시험을 망치게 됩니다. 이를 "과적합(overfitting)"이라고 부릅니다.

하지만 현실에서 딥 뉴럴 네트워크(DNN)는 마치 사진을 찍듯 모든 것을 기억하는 기억력을 가졌음에도 불구하고, 새로운 날씨 패턴에 대해서도 테스트를 통과하는 학생과 같습니다. 이들은 "과잉 매개변수화(over-parameterized)" 되어 있습니다(데이터 포인트보다 훨씬 더 많은 뉴런을 가지고 있습니다). 그럼에도 불구하고 이들은 일반화(generalization)를 잘 해냅니다.

질문: 이 거대하고 무질서하며 비선형적인 시스템들이 어떻게 단순히 교과서를 암기하는 대신 세상의 "규칙"을 학습할 수 있는 걸까요?

도구: "뉴럴 탠전트 커널(Neural Tangent Kernel, NTK)"

이를 해결하기 위해 연구자들은 **뉴럴 탠전트 커널(NTK)**이라는 도구를 사용합니다.

딥 뉴럴 네트워크를 복잡하게 뒤틀린 산맥이라고 상상해 보세요. 당신이 훈련을 시작할 때(경사 하강법을 사용할 때), 당신은 본질적으로 가장 낮은 지점(최선의 예측)을 찾기 위해 산을 내려가는 중입니다.

NTK는 그 산의 평면 지도와 같습니다. NTK는 다음과 같이 말합니다: "만약 산이 충분히 넓다면(충분한 뉴런을 가지고 있다면), 당신이 산을 내려가는 경로는 마치 단순하고 매끄러운 언덕을 내려가는 것과 거의 똑같이 보일 것이다."

이 "단순한 언덕"은 훨씬 오래되고 단순하며 잘 알려진 유형의 머신 러닝 알고리즘인 **커널 방법(Kernel Method)**입니다. 만약 우리가 거대한 뉴럴 네트워크가 이 단순하고 잘 정돈된 지도와 똑같이 행동한다는 것을 증명할 수 있다면, 우리는 그 지도의 알려진 규칙들을 사용하여 거대한 네트워크가 어떻게 성능을 낼지 예측할 수 있습니다.

이 논문이 한 일

이전의 연구들은 이 "평면 지도" 아이디어가 얕은(shallow) 네트워크(작은 집처럼 층이 몇 개 없는 네트워크)에서는 작동한다는 것을 증명했습니다. 하지만 아무도 이것이 깊은(deep) 네트워크(고층 빌딩처럼 층이 많은 네트워크)에서도 작동하는지 알지 못했습니다. 깊은 네트워크는 훨씬 더 복잡하며, 층들이 복잡한 방식으로 상호작용하기 때문에 수학적으로 매우 까다롭습니다.

이 논문은 다음과 같이 말합니다: "네, 네트워크가 충분히 넓다면(wide enough), 깊은 네트워크에서도 작동합니다."

연구 결과의 세부 내용은 다음과 같습니다:

1. "충분히 넓다"는 조건

당신이 들쭉날쭉하고 복잡한 모양을 매끄러운 곡선으로 근사하려고 한다고 상상해 보세요.

논문의 주장: 만약 당신의 뉴럴 네트워크가 충분히 넓다면(각 층에 충분한 뉴런을 가지고 있다면), 깊은 네트워크의 들쭉날쭉한 모양은 매끄러워져서 단순한 커널 방법 지도와 구별할 수 없을 정도로 변합니다.
주의점: 너비가 무한할 필요는 없지만, 당신이 가진 데이터의 양에 따라 특정 "다항식(polynomial)" 비율로 증가해야 합니다. 데이터가 많아지면 네트워크도 약간 더 넓어져야 하지만, 이는 불가능한 수준이 아니라 관리 가능한 수준의 증가입니다.

2. "완벽한 일치" (미니맥스 비율, Minimax Rates)

통계학에는 **미니맥스 비율(Minimax Rate)**이라는 개념이 있습니다. 이것을 **"골드 스탠다드 속도 제한(Gold Standard Speed Limit)"**이라고 생각하세요. 이는 어떤 학습 알고리즘이 아무리 똑똑하더라도 특정 유형의 문제를 배울 수 있는 절대적인 최고 속도입니다.

논문의 주장: 저자들은 당신이 넓은 깊은 네트워크를 표준적인 방법(경사 하강법 또는 확률적 경사 하강법)으로 훈련할 때, 이 골드 스탠다드 속도 제한에 도달한다는 것을 증명했습니다.
비유: 이것은 포뮬러 원(F1) 자동차(딥 뉴럴 네트워크)가 그 트랙에서 이론적으로 가능한 가장 빠른 차만큼 빨리 달릴 수 있다는 것을 증명하는 것과 같습니다. 그들은 단순히 빠르게 달리는 것이 아니라, 이론적인 속도의 한계치까지 달립니다.

3. "매끄러움(Smoothness)"의 요구 사항

이 논문은 매끄러운 활성화 함수(시그모이드나 스위시 함수처럼 날카로운 모서리가 없는 수학적 곡선)를 사용하는 뉴럴 네트워크에 초점을 맞춥니다.

중요한 이유: 매끄러운 도로와 포트홀이 가득한 도로를 생각해 보세요. 매끄러운 도로가 운전하기 쉽고 지도화하기도 쉽습니다. 저자들은 이 "매끄러움"을 사용하여 깊은 네트워크의 행동이 단순한 커널 지도와 가깝게 유지된다는 것을 증명했습니다.
참고: 이 논문에서는 "ReLU"(날카로운 모서리가 있는 함수) 네트워크에 대해서는 증명하지 않았지만, 이를 관련 연구 분야로 언급하고 있습니다.

"비법(Secret Sauce)": 그들이 수행한 방법

저자들은 주요한 수학적 장애물을 극복해야 했습니다. 얕은 네트워크에서는 층을 단순하고 독립적인 블록으로 취급할 수 있습니다. 하지만 깊은 네트워크에서 층은 연쇄 반응과 같습니다. 첫 번째 층의 변화는 복잡한 방식으로 다른 모든 층으로 파동처럼 퍼져 나갑니다.

이를 해결하기 위해 그들은 오차를 분해하는 새로운 방법을 개발했습니다:

기존 방식: 딥 뉴럴 네트워크를 "중간 단계의 커널"(약간 불완전한 지도)과 비교함.
새로운 방식: 딥 뉴럴 네트워크를 직접 "완벽한 무한 지도(Perfect Infinite Map)"(이상적인 커널)와 비교함.

그들은 만약 네트워크가 충분히 넓다면, 딥 뉴럴 네트워크와 완벽한 지도 사이의 "격차"가 너무 작아서 사라진다는 것을 보여주었습니다. 이를 통해 그들은 완벽한 지도로부터 증명된 속도 제한을 빌려와 딥 뉴럴 네트워크에 적용할 수 있었습니다.

결과 요약

문제: 우리는 거대한 깊은 뉴럴 네트워크가 최상의 수학적 이론이 허용하는 만큼 효율적으로 학습할 수 있는지 알지 못했습니다.
해결책: 넓은 깊은 뉴럴 네트워크가 단순하고 잘 알려진 "커널" 방법처럼 작동한다는 것을 증명함으로써, 그 간극을 메웠습니다.
결과: 표준적인 방법(GD 및 SGD)으로 훈련된 딥 뉴럴 네트워크는, 네트워크가 충분히 넓기만 하다면 회귀 작업(regression tasks)에 대해 최상의 학습 속도(미니맥스 최적 비율)를 달성합니다.

이 논문이 말하지 않는 것 (텍스트에 근거함)

이 논문은 깊은 네트워크가 얕은 네트워크보다 더 낫다고 주장하는 것이 아닙니다. 사실 수학적으로는 네트워크가 깊어질수록 (속도 제한은 같더라도) 방정식의 상수값들이 나빠질 수 있음(훈련하기 더 어려워짐)을 시사합니다.
이 논문은 임상적 적용, 자율 주행 자동차 또는 특정 실세계 배포에 대해 논하지 않습니다. 이것은 순수하게 알고리즘이 수학적으로 어떻게 행동하는지에 대한 이론적 증명입니다.
이 논문은 수정 없이 모든 유형의 네트워크(ReLU와 같은 날카로운 모서리가 있는 네트워크 포함)에 작동한다고 주장하지 않습니다. 이 논문은 명확하게 "매끄러운" 활성화 함수를 대상으로 합니다.

요약하자면: 이 논문은 만약 당신이 깊은 뉴럴 네트워크를 충분히 넓게 만든다면, 그것은 더 이상 혼란스럽고 예측 불가능한 괴물처럼 행동하는 것이 아니라, 수학적으로 가능한 가장 빠른 속도로 학습하는 잘 정돈되고 예측 가능한 기계처럼 행동한다는 것을 증명합니다.

기술 요약: 심층 신경망의 일반화: 경사 하강법의 미니맥스 속도

문제 정의

본 논문은 딥러닝 이론의 핵심적인 미해결 과제를 다룹다: 경사 기반 방법(경사 하강법, GD 및 확률적 경사 하강법, SGD)으로 훈련된 **심층 신경망(DNN)**의 통계적 일반화 특성을 이해하는 것이다. 신경 탭 커널(Neural Tangent Kernel, NTK) 프레임워크는 얕은 네트워크의 동작을 성공적으로 설명하고 이들에 대한 미니맥스 최적 속도를 확립했지만, 매끄러운 활성화 함수를 가진 깊은 구조의 일반화 성능에 대해서는 여전히 이해가 부족한 상태이다.

구체적인 목표는 과잉 매개변수화된(over-parameterized) DNN이 GD 또는 SGD를 통해 훈련될 때, 커널 기반 대응 모델들과 유사한 미니맥스 최적 초과 인구 위험(excess population risk) 속도를 달-성할 수 있는지 여부를 결정하는 것이다. 저자들은 타겟 함수 $f_\rho$ 가 특정 매끄러움( $\beta$ ) 특성을 가지고, 재생 커널 힐베르트 공간(RKHS)이 특정 파라미터 $\gamma$ 로 특징지어지는 재생 커널 용량을 갖는 최소제곱 회귀 작업에 집중한다.

방법론

저자들은 심층 신경망의 학습 역학과 무한 폭(infinite-width) 극한에서의 커널 방법 간의 관계를 잇는 이론적 프레임워크를 개발한다. 핵심 방법론은 세 가지 주요 기술적 기둥으로 구성된다:

정교한 NTK 균등 집중(Refined NTK Uniform Concentration):
유한한 데이터 포인트나 특정 레이어에 집중했던 기존 연구들과 달리, 저자들은 가우시안 초기화 시의 심층 매끄러운 네트워크에 대한 NTK가 전체 입력 공간과 모든 레이어에 걸쳐 결정론적 커널 $K$ 로 **균등하게 집중(uniformly concentrates)**함을 입증한다.
- 이들은 매끄러운 활성화 함수에 대해 NTK의 균등 수렴 속도를 기존 ReLU 네트워크에서 확립된 $O(m^{-1/6})$ 에서 $O(m^{-1/2})$ 로 개선하였다. 이 더 정밀한 속도는 최적의 위험 바운드를 도출하는 데 매우 중요하다.
새로운 오차 분해(Novel Error Decomposition):
얕은 네트워크에 대한 기존의 오차 분해 방식은 DNN의 역동성을 유한 폭 커널 방법( $g_T^m$ )과 비교한 뒤 타겟과의 거리를 바운딩하는 방식이다. 저자들은 심층 네트워크의 경우 층간 의존성이 복잡하여 유한 폭 커널을 단순한 i.i.d. 랜덤 커널의 합으로 취급할 수 없기 때문에 이 접근 방식이 실패한다고 주장한다.
- 대신, 그들은 DNN의 역동성( $f_{W(T)}$ )을 RKHS $\mathcal{H}_K$ 내의 **무한 폭 커널 GD 반복( $g_T$ )**과 직접 비교하는 분해 방식을 제안한다:
  $\varepsilon_{\text{risk}}(f_{W(T)}) \lesssim \|f_{W(T)} - Sg_T\|_\rho^2 + \|Sg_T - f_\rho\|_\rho^2$
- 첫 번째 항은 이상적인 커널 역동성으로부터의 DNN의 편차를 측정하며, 두 번째 항은 커널 방법 자체의 잘 알려진 오차를 나타낸다.
이중 귀납법을 통한 궤적 제어(Trajectory Control via Double Induction):
첫 번째 항(DNN과 커널 역동성 사이의 간극)을 바운딩하기 위해, 저자들은 정교하게 설계된 이중 귀납법(double induction) 논증을 사용한다. 이를 통해 저자들은 네트워크 폭 $m$ 에 대한 지수적 의존성 없이 GD/SGD 궤적이 초기화로부터 멀어지는 거리를 제어할 수 있으며, 이를 통해 네트워크가 충분한 반복 횟수 동안 "NTK 영역"에 머물도록 보장한다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 한다:

심층 네트워크에 대한 최초의 미니맥스 최적 속도 제시: 저자들은 매끄러운 활성화 함수가 적용된 심층 신경망에 적용된 GD 및 SGD에 대해 최초로 알려진 미니맥스 최적 초과 위험 속도를 제공한다.
얕은 구조와 깊은 구조의 연결: 과잉 매개변수화된 DNN이 경사 기반 방법으로 훈련될 때, 무한 폭 커널 대응 모델의 유리한 학습 역동성을 완전히 상속받는다는 결정적인 연결 고리를 확립한다.
다항식 폭 요구 조건: 이러한 최적의 속도가 네트워크 폭 $m$ 이 샘플 크기 $n$ 및 차원 $d$ 에 대해 **다항식(polynomial)**적으로 스케일링될 때, 즉 $m \gtrsim \text{Poly}(n, d)$ 일 때 달성 가능함을 입증한다. 이는 지수적 폭을 요구했던 기존 얕은 네트워크 연구 결과에 비해 상당한 개선이다.
광범위한 적용 가능성: 결과는 임의의 매끄러움 파라미터 $\beta > 0$ 및 용량 파라미터 $\gamma \in [0, 1]$ 에 대해 유효하며, 타겟 함수가 RKHS 내에 존재하지 않는 경우( $\beta < 1/2$ )까지 포괄한다.

주요 결과

활성화 함수(매끄러움 및 유계 미분), RKHS의 유효 차원(가정 2), 그리고 타겟 함수의 소스 조건(가정 3)에 대한 표준적인 가정 하에, 본 논문은 다음을 증명한다:

최적 위험 속도: $2\beta + \gamma > 1$ 인 경우, GD와 SGD 모두에서 초과 인구 위험은 다음 속도로 수렴한다:
$O\left(n^{-\frac{2\beta}{2\beta + \gamma}}\right)$
폭 스케일링(Width Scaling): 이 속도는 네트워크 폭이 다음을 만족할 때 달성된다:
$m \gtrsim C_\sigma^L d n^{\frac{2\beta+4}{2\beta+\gamma}} \log^2\left(\frac{dLn}{\delta}\right)$
여기서 $L$ 은 레이어의 수이고 $C_\sigma$ 는 활성화 함수에 의존하는 상수이다.
커널 방법과의 비교: 도출된 속도는 동일한 가정 하에서의 커널 방법에 대한 고전적인 미니맥스 최적 속도와 일치하며, 이는 충분히 넓을 때 DNN이 커널 방법과 비교하여 일반화 페널티를 받지 않음을 확인시켜 준다.

의의 및 주장

본 논문은 다음과 같은 방식으로 경사 방법이 심층 신경망에서 어떻게 일반화되는지에 대한 이해를 실질적으로 진전시켰다고 주장한다:

열린 질문에 대한 답변: GD/SGD를 통해 훈련된 DNN이 커널 기반 대응 모델과 대등한 일반화 성능을 달성할 수 있는지에 대한 긍정적인 답변을 제공한다.
깊이 제한 극복: 오차 분해 및 집중 분석을 정교화함으로써, 저자들은 얕은 네트워크에서 미니맥스 최적 결과를 심층 네트워크로 확장하는 것을 방해했던 기술적 장벽을 극복했다.
과잉 매개변수화의 이론적 정당화: 충분한 폭을 가질 때, 과잉 매개변수화된 심층 네트워크가 커널 방법의 최적 통계적 성능을 재현할 수 있음을 보여줌으로써 이러한 네트워크 사용을 이론적으로 정당화한다.

저자들은 자신들의 결과가 (중간 정도의 반복 횟수 동안 유지되는) 초기화 주변의 선형 근사, 즉 NTK 영역에 의존한다는 점을 언급한다. 그러나 이 프레임워크는 과잉 매개변수화된 설정에서의 일반화를 이해하기 위한 엄격한 토대를 제공한다. 또한, 일반화 바운드에서 깊이 $L$ 에 대한 지수적 의존성을 줄이는 것이 향후 연구 과제로 남아 있음을 인정한다.