기술적 요약: 딥러닝에서의 암시적 정규화 추정

문제 정의

딥러닝 시스템은 종종 매개변수가 과도하게 많은 (massively over-parameterized) 상태임에도 불구하고 잘 일반화되는데, 이는 종종 암시적 정규화 (또는 암시적 편향) 에 기인한 현상으로 여겨집니다. 이러한 편향은 단순히 훈련 손실을 최소화하는 것보다 간단한 해를 선호합니다. 이론적 연구는 선형 네트워크, 행렬 분해, 풀-배치 경사 흐름과 같은 단순화된 설정에 대해 암시적 정규화를 성공적으로 유도해 왔으나, 현대 딥러닝 시스템은 미니배칭, 드롭아웃, 조기 종료와 같은 복잡한 아키텍처와 훈련 절차를 포함하고 있어 그 암시적 효과를 분석적으로 유도하기 어렵습니다.

본 논문이 다루는 핵심 문제는 임의의 복잡한 네트워크에서 암시적 정규화의 구체적인 형태와 강도를 추정할 수 있는 일반적이고 경험적인 방법이 부재하다는 점입니다. 기존 문헌은 종종 최첨단 시스템에 적용되지 않을 수 있는 이론적 가정에 의존하며, 현실적인 설정에서 이론적 예측과 경험적 검증 사이에 간극이 존재합니다.

방법론: 경사 매칭 프레임워크

저자들은 학습된 가중치를 가상의 정규화 경험적 위험 최소화 (RERM) 문제의 최적해로 간주하여 암시적 정규화를 추정하는 새로운 경험적 프레임워크를 제안합니다. 핵심 가정은 암시적 편향을 가진 알고리즘을 통해 얻어진 관측된 가중치 $\hat{\theta}$가 경험적 손실의 경사를 암시적 정규화항의 경사가 상쇄하는 정상성 (stationarity) 조건을 만족한다는 것입니다.

핵심 방정식

만약 $\hat{\theta}$가 $L(\theta, D) + R(\theta, D)$를 최소화하는 해라면, 수렴 시 (또는 선택된 중단 시점) 에는 다음이 성립합니다:
$$\nabla_\theta L(\theta, D)|_{\hat{\theta}} + \nabla_\theta R(\theta, D)|_{\hat{\theta}} = 0$$
이를 재배열하면 경사 매칭 조건이 도출됩니다:
$$-\nabla_\theta L(\theta, D)|_{\hat{\theta}} = \nabla_\theta R(\theta, D)|_{\hat{\theta}}$$

추정 절차

1. 매개변수화: 암시적 정규화항 $R$은 $\Lambda$가 미지의 정규화 매개변수 (예: $\ell_2$ 페널티의 강도) 를 나타내는 매개변수족 $R(\theta, D, \Lambda)$로 모델링됩니다.
2. 최적화: 이 방법은 음의 손실 경사와 정규화항 경사 사이의 평균 제곱 오차를 최소화함으로써 $\Lambda$를 추정합니다:
   $$\hat{\Lambda} = \arg \min_{\Lambda} \left\{ \frac{1}{p} \| \nabla_\theta R(\theta, D, \Lambda)|_{\hat{\theta}} + \nabla_\theta L(\theta, D)|_{\hat{\theta}} \|^2_2 \right\}$$
   이는 표준 최적화 도구 (예: 역전파) 를 사용하여 해결하거나, 정규화항 경사가 $\Lambda$에 대해 선형인 경우 선형 회귀로 축소될 수 있습니다.
3. 데이터 증강: 방정식의 수 ($p$, 가중치의 수) 가 복잡한 정규화항을 식별하기에 부족할 수 있다는 한계를 해결하기 위해, 저자들은 다음을 제안합니다:
   • 다중 종료점: 동일한 아키텍처를 여러 독립적인 데이터셋 (또는 부트스트랩 리샘플) 으로 훈련하여 더 많은 정상성 조건을 생성합니다.
   • 궤적 분석: 훈련 중 여러 시간 단계에서의 경사를 활용하여 궤적을 추가 데이터 포인트의 원천으로 간주합니다 (마팅게일 일반화를 통한 적절한 이론적 경계 제공).

검증 모드

추정된 정규화항의 성공은 두 가지 모드로 정의됩니다:

1. 근거 사실 (Ground Truth) 회복: 명시적 $\ell_1/\ell_2$ 또는 OLS 의 알려진 암시적 효과와 같이 알려진 이론적 정규화가 있는 설정에서, 이 방법은 실제 매개변수를 회복해야 합니다.
2. 기능적 동등성: 근거 사실이 알려진 복잡한 설정에서는, 추정된 정규화항을 명시적 정규화항 $R(\theta, \hat{\Lambda})$으로 사용하여 모델을 재훈련하고 원래 모델의 가중치 $\hat{\theta}$를 재현하는지 확인함으로써 검증됩니다.

주요 기여

1. 경험적 추정 프레임워크: 임의의 네트워크와 훈련 역학에 적용 가능한 경사 매칭을 통해 매개변수화된 암시적 정규화 모델을 추정하는 일반적 방법.
2. 회복에 대한 이론적 특성화: 저자들은 정확한 이론적 정규화항을 회복하는 것과 암시적 편향을 기능적으로 모방하는 정규화항을 회복하는 것을 구분합니다. 정규화항 경사의 공선성이 분산을 증가시킬 수 있음을 지적하며, 추정치의 안정성과 식별 가능성에 대한 이론적 보장 (PAC 경계 포함) 을 제공합니다.
3. 이론과 실무의 연결: 이 방법은 이론가들이 복잡한 설정에서 분석적 결과를 경험적으로 검증할 수 있게 하며, 실무자에게 하이퍼파라미터 및 아키텍처 선택의 효과를 이해할 수 있는 진단 도구를 제공합니다.

실험 결과

이 논문은 여러 시나리오에서 방법을 검증합니다:

• 명시적 정규화 회복: 이 방법은 탄성넷 ($\ell_1 + \ell_2$) 정규화를 사용하여 명시적으로 훈련된 네트워크의 매개변수를 성공적으로 회복하며, 중간 정도의 페널티 강도에서 정확성을 입증합니다.
• OLS 의 조기 종료: 이 방법은 일반 최소제곱법 (OLS) 에서 조기 종료로 인해 유도되는 이론적으로 예측된 2 차 가중치 페널티를 회복합니다.
  • 여러 독립적인 훈련 종료점을 사용하여 저자들은 이론에서 예측된 완전한 대칭 정규화 행렬 $\Lambda(t)$를 회복합니다.
  • 단일 종료점과 과소 매개변수화된 (대각선) 추정기를 사용할 경우, 이 방법은 정확한 행렬 구조를 회복하지는 못하지만 명시적 페널티로 사용될 때 원래 가중치를 성공적으로 재현하여 "기능적 동등성" 모드를 검증합니다.
  • 이 방법은 또한 시간에 따라 변하는 페널티의 스칼라 강도를 추적하여, 예측대로 시간이 지남에 따라 감소함을 보여줍니다.
• 딥 네트워크의 드롭아웃: MNIST 에 적용된 딥 ReLU 네트워크에 대해 이 방법은 드롭아웃으로 유도된 암시적 정규화를 추정합니다. 결과는 드롭아웃 비율이 증가함에 따라 유효한 $\ell_2$ 페널티 강도가 단조 증가함을 보여주며, 이는 드롭아웃이 적응형 가중 감쇠로 작용한다는 이론적 예측과 일치합니다.
• 암시적 경사 정규화: 이 방법은 Barrett 와 Dherin 이 설명한 이산 경사 하강 단계로 유도된 정규화를 추정합니다. 추정된 스케일링 매개변수는 궤적 편차에서 유도된 이론적 유래 $\lambda = \eta p / 4$와 일치합니다.

중요성 및 주장

이 논문은 암시적 정규화가 폐쇄형 분석적 유도 없이도 경험적으로 추정 가능한 처리 가능한 문제라고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 해석 가능성: 드롭아웃이나 조기 종료와 같이 그 본래가 불투명한 복잡한 훈련 기법의 "유효한" 정규화를 정량화할 수 있는 도구를 실무자에게 제공합니다.
• 검증: 현재 분석적 증명이 처리 불가능한 현실적이고 비선형적이며 과대 매개변수화된 네트워크에서 암시적 편향에 대한 가설을 이론가들이 테스트할 수 있는 메커니즘을 제공합니다.
• 실용적 유용성: 저자들은 암시적 정규화를 추정하는 것이 훈련 구성에 대한 상대적으로 저렴한 진단으로 작용하여, 훈련 비용이 증가함에 따라 검증 손실이나 경사 노름과 같은 기존 휴리스틱을 보완할 수 있다고 제안합니다.

저자들은 정규화항 경사가 공선성일 때 식별 가능성 문제와 추정 가능한 매개변수의 수가 유효한 표본 크기 (방정식의 수) 에 의해 제한된다는 한계를 인정하며 겸손한 태도를 보입니다. 이들은 이 연구를 딥러닝 시스템에서 암시적 정규화를 경험적으로 특성화하기 위한 시작점으로 규정합니다.