🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

이 논문은 너비 의존적 하이퍼파라미터와 $\ell_2$ 정규화가 2층 ReLU 네트워크의 손실 지형을 어떻게 형성하는지 조사하여, 제로 솔루션 붕괴(zero-solution collapse)에 대한 조건을 도출하고, 1차원 입력에 대한 해석적 해를 제공하며, AdamW는 파라미터 붕괴를 방지하는 반면 SGD는 그렇지 못함을 밝힌다.

원저자: Haruka Eshima, Makoto Yamada

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haruka Eshima, Makoto Yamada

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 아주 작은 스위치들로 이루어진 뇌를 가진 로봇에게 수천 장의 사진을 보여주며 연습을 시킵니다. 하지만 여기 함정이 있습니다. 로보의 뇌가 조금 엉망이라는 점입니다. 때때로 당신이 로봇을 가르치려고 하면, 전체 시스템이 그냥 멈춰버리고 모든 것을 잊어버린 채 0으로 가득 찬 뇌로 끝나버리곤 합니다. 이것은 마치 바람 부는 날에 카드 집을 쌓으려는 것과 비슷합니다. 만약 바람(또는 학습 뒤에 숨겨진 수학)이 너무 강하면, 전체 구조가 무너져 내립니다.

머신러닝의 세계에서 과학자들은 "손실 지형(loss landscape)"을 연구합니다. 이것을 거대한, 울퉁불퉁한 산맥이라고 생각하세요. 이 지형의 높이는 로봇이 자신의 일을 얼마나 못하는지를 나타냅니다. 목표는 가장 깊은 골짜기를 찾는 것인데, 이는 로봇이 최선을 다하고 있음을 의미합니다. 하지만 이 지형은 까다롭습니다. 로봇의 뇌가 얼마나 넓은지(스위치가 얼마나 많은지)와 "가중치 감쇠(weight decay)"가 얼마나 적용되는지에 따라 그 모양이 변합니다. 가중치 감쇠는 로봇의 뇌가 너무 복잡해지지 않도록 끊임없이 단순함 쪽으로 밀어내는 부드러운 손길과 같습니다. 큰 질문은 이것입니다. 이 부드러운 밀어내기가 로봇의 학습을 돕는 것일까요, 아니면 실수로 로봇의 뇌 전체를 쓸모없는 0으로 밀어버리는 것일까요?

"두 층 ReLU 네트워크의 너비 의존적 하이퍼파라미터와 $\ell_2$ 정규화의 효과"라는 제목의 이 논문은 바로 이 문제에 대해 깊이 파고듭니다. 저자인 에시마 하루카(Haruka Eshima)와 야마다 마코토(Makoto Yamada)는 특정 유형의 단순한 신경망(ReLU 활성화 함수를 가진 두 층 네트워크)을 사용하여, 네트워크의 크기와 가중치 감쇠의 강도를 변화시킬 때 어떤 일이 일어나는지 살펴보았습니다. 그들은 로봇의 뇌가 어떻게 무(無)의 상태로 붕괴되는지, 그리고 우리가 그것을 막을 수 있는지 알고 싶었습니다.

연구진은 그 답이 사물을 어떻게 확장하느냐에 크게 달려 있다는 것을 발견했습니다. 그들은 수학적인 "임계점(tipping point)"을 발견했습니다. 만약 당신이 네트워크를 더 넓게 만들면서(스위치를 더 추가하면서) 가중치 감쇠를 그 너비에 비해 너무 강하게 유지한다면, 로봇의 뇌는 필연적으로 붕괴할 것입니다. 골짜기의 바닥에 도달하는 유일한 방법은 모든 스위치를 꺼버리는 것뿐이며, 이는 로봇이 아무것도 배우지 못함을 의미합니다. 이것은 마치 아주 작은 컵으로 수영장을 채우려는 것과 같습니다. 배수구가 넓게 열려 있다면, 아무리 물을 부어도 수영장은 계속 비어 있을 것입니다.

하지만 이 논문은 로봇이 어떻게 학습하는지와 관련된 매혹적인 반전을 보여줍니다. 저자들은 컴퓨터 시뮬레이션을 실행하여 서로 다른 "옵티마이저(optimizers, 최적화 알고리즘)"를 사용할 때 어떤 일이 일어나는지 확인했습니다. 그들은 만약 당신이 SGD(Stochastic Gradient Descent)라는 표준적인 방법을 사용한다면, 수학적 예측대로 가중치 감쇠가 너무 강할 때 로봇의 뇌가 실제로 0으로 붕괴된다는 것을 발견했습니다. 하지만, 만약 당신이 AdamW라고 불리는 다른 방법을 사용한다면, 로봇은 살아남습니다! 수학적으로는 붕괴해야 하는 상황에서도 AdamW는 뇌를 활성화된 상태로 유지하며 학습을 지속합니다. 마치 AdamW가 특별한 기술, 즉 안전장치를 가지고 있어서 지형이 위험해 보일 때조차 로봇이 0의 구멍으로 떨어지는 것을 방지하는 것과 같습니다.

연구팀은 또한 로봇이 한 번에 하나의 숫자만 보는 매우 특수하고 단순화된 시나리오(1차원 입력)를 자세히 들여다보았습니다. 이 통제된 설정에서 그들은 최적의 해답에 대한 정확한 지도를 작성할 수 있었습니다. 그들은 가중치 감쇠를 추가하는 것이 조각가의 정과 같은 역할을 한다는 것을 발견했습니다. 가중치 감쇠가 없다면, 최적의 해답들은 곳곳에 흩어져 있고, 거대하며 연결되어 있고, 경계가 없는 구름 형태를 띱니다. 하지만 가중치 감쇠가 있으면 이 구름은 줄어들고 훨씬 더 조직화됩니다. "연결성(connectivity)"—즉, 절벽 아래로 떨어지지 않고 하나의 좋은 해답에서 다른 해답으로 걸어갈 수 있는 용이함—은 네트워크가 얼마나 넓어지든 상관없이 일정하게 유지됩니다. 그러나 "차원성(dimensionality)"—로봇이 해답을 찾기 위해 뇌를 흔들 수 있는 방법의 수—은 네트워크가 넓어질수록 현저하게 줄어듭니다. 이것은 거대하고 넓게 펼쳐진 놀이터를 좁고 잘 정의된 트랙으로 바꾸는 것과 같습니다.

요약하자면, 이 논문은 당신의 신경망 크기와 정규화 강도가 섬세한 춤을 추고 있다는 것을 보여줍니다. 만약 이 둘을 올바르게 맞추지 못한다면, 네트워크는 붕괴합니다. 하지만 적절한 학습 알고리즘(AdamW와 같은)을 선택한다면, 조건이 불가능해 보일 때조차 춤을 계속 이어갈 수 있습니다. 결과는 붕괴가 일어나는 조건에 대한 엄격한 수학적 증명과 단순화된 1차원 사례를 바탕으로 하며, 요트 유체역학 및 MNIST 숫자와 같은 실제 데이터에 대한 수치 실험에 의해 뒷받침됩니다. 수학은 특정 조건에서 붕괴가 일어남을 증명하지만, AdamW를 통한 네트워크의 생존은 저자들이 시뮬레이션에서 관찰한 내용이며, 이는 옵티마이저의 선택이 딥러닝이 실제 현장에서 왜 그렇게 잘 작동하는지에 대한 결정적이고도 숨겨진 요소일 수 있음을 시사합니다.

기술 요약: 두 층 ReLU 네트워크의 손실 지형에 미치는 너비 의존적 모델 하이퍼파라미터 및 $\ell_2$ -정규화의 효과

문제 정의
명시적인 가중치 감쇠( $\ell_2$ -정규화)가 적용될 때, 심층 신경망(특히 두 층 ReLU 네트워크)의 이론적 특성은 여전히 제대로 이해되지 않고 있다. 최근 연구들이 정규화된 네트워크의 전역 최적해(global optima)와 그 기하학적 구조를 규명해 왔으나, **너비 의존적 하이퍼파라미터 스케일링(width-dependent hyperparameter scalings)**이 이러한 손실 지형에 미치는 체계적인 영향은 충분히 탐구되지 않았다. 특히, 네트워크 너비( $m$ )를 출력 스케일링( $\alpha$ ), 초기화 스케일링( $\tau$ ), 그리고 정규화 계수( $\beta$ )의 스케일링과 상대적으로 조절하는 방식이 전역 최적해의 존재성, 차원 및 연결성에 어떻게 영향을 미치는지 불분명하다.

방법론
저자들은 다음과 같이 정의된 두 층 ReLU 네트워크 $f_\theta: \mathbb{R}^d \to \mathbb{R}$ 를 분석한다:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
여기서 $\theta = (u_j, \omega_j)_{j=1}^m$ 이다. 본 연구는 다음과 같은 너비 의존적 하이퍼파라미터 설정을 중심으로 한다:

출력 스케일링: $\alpha = m^a$
초기화 스케일링: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
정규화 계수: $\beta = m^{-\delta}$

분석은 두 가지 주요 방향으로 진행된다:

일반 차원 ( $d$ ): $a$ 와 $\delta$ 사이의 관계를 바탕으로, 전역 최적해가 영해(zero solution)로 붕괴되는 충분 조건을 도출한다.
일차원 입력 ( $d=1$ ): 입력 차원을 1로 제한하여 **전역 최적 파라미터 집합에 대한 해석적 폐쇄형 해(analytical closed-form solutions)**를 도출한다. 이를 통해 정규화되지 않은 경우( $\beta=0$ )와 정규화된 경우( $\beta>0$ ) 모두에 대해 해 집합의 기하학적 특성(차원, 유계성, 연결성)을 정밀하게 규명한다. 증명 과정에서는 Pilanci와 Ergen [31]이 도입한 두 층 ReLU 네트워크의 볼록성(convex) 정식화를 활용하며, 이는 1차원 설정에서 다루기 용이해진다.

주요 기여 및 결과

전역 최적해의 붕괴:
본 논문은 전역 최적해가 영해로 붕괴되기 위한 충분 조건을 확립한다. **정리 1(Theorem 1)**은 정규화 계수가 네트워크 출력 스케일링보다 더 빠르게 감소한다면(즉, $\delta < a$ ), 충분히 큰 $m$ 에 대해 유일한 전역 최솟값은 영 벡터임을 증명한다. 이는 실제 사용되는 대부분의 볼록 손실 함수에 대해 성립한다.
옵티마이저 의존적 붕괴:
수치 실험 결과, 이론적 전역 최적해와 실제 학습 역학 사이의 결정적인 차이가 드러났다. $\delta < a$ 인 조건(붕괴를 촉진하는 조건)에서, SGD는 학습된 파라미터를 영해로 붕괴시키며 이는 정리 1과 일치한다. 그러나 AdamW(및 Adam)는 이러한 붕괴를 방지하며 비영(non-zero) 파라미터를 유지한다. 저자들은 이것이 명시적인 $\ell_2$ -정규화 목적 함수를 최적화하는 것과 다른, AdamW의 결합된 가중치 감쇠(decoupled weight decay) 및 $\ell_\infty$ -제약 최적화에 대한 암묵적 편향과 관련이 있을 수 있다고 제안한다.
1D 전역 최적해의 해석적 규명:
$d=1$ 인 경우, 저자들은 다음과 같이 해 집합을 정확하게 기술한다:
- 정규화되지 않은 경우 ( $\beta=0$ ): 전역 최적해 집합 $\phi^*(m)$ $ϕ^{*} (m)$ 은 곱의 합 $u_j \omega_j$ $u_{j} ω_{j}$ 에 대한 제약 조건에 의해 특징지어진다.
  - 연결성: $m=1$ 일 때 집합은 공집합이며, $m=2$ 일 때는 정확히 2개의 연결 성분을 가지며, $m \ge 3$ 일 때는 연결되어 있다.
  - 차원: 차원은 $2m-2$ 이며, 집합은 유계가 아니다(unbounded).
- 정규화된 경우 ( $\beta>0$ ): 전역 최적해 집합 $\Theta^*(m)$ $Θ^{*} (m)$ 은 훨씬 더 강력하게 제약된다.
  - 연결성: 논문은 하이퍼파라미터에 의존하는 임계 너비 $M$ 과 $\bar{M}$ 을 식별하여 상전이를 설명한다. $m < M$ 인 경우 해는 영 벡터이다. $m > M$ 인 경우 집합은 연결된다. 정규화되지 않은 경우와 달리, 연결성 동작은 더 제한적이며, 비어 있지 않은 집합에 대해 단일 원소(singleton), 유한 집합, 또는 연결된 집합의 세 가지 가능한 동작만을 보인다.
  - 차원: 해 집합의 차원은 $m-2$ 로 감소한다.
  - 유계성: 정규화되지 않은 경우와 달리, 정규화된 해 집합은 **유계(bounded)**이다. 최적 파라미터의 노름은 $\Theta(m^{a/2})$ 로 스케일링된다.
너비 의존적 효과:
분석 결과, $\ell_2$ -정규화는 (네트워크가 유의미할 만큼 충분히 넓은 경우) 연결성에 대해서는 너비 불변적인 효과를 갖지만, 차원을 감소시키는 효과는 너비와 함께 강화됨을 보여준다. 구체적으로, 파라미터 공간( $2m$ )과 정규화된 해 집합 사이의 차원은 $m$ 에 따라 선형적으로 증가한다 (정규화되지 않은 경우의 차이는 2였으나, 정규화된 경우의 차이는 $m+2$ 로 늘어남).

의의
본 논문은 과잉 매개변수화된 네트워크에서 하이퍼파라미터 스케일링이 정규화와 어떻게 상호작용하는지 이해하기 위한 엄밀한 이론적 틀을 제공한다. 또한 손실 지형의 기하학적 구조가 고정된 것이 아니라, 정규화 계수와 네트워크 너비 사이의 상대적 스케일링에 결정적으로 의존함을 강조한다. 이러한 결과는 SGD가 실패하는 영역에서 파라미터 붕괴를 방지하는 AdamW의 경험적 성공에 대한 이론적 설명을 제공하며, 정규화가 차원을 줄이고 유계성을 강제함으로써 최적해의 기하학적 구조를 근본적으로 어떻게 변화시키는지 명확히 밝혀준다. 이러한 효과는 네트워크 너비가 증가함에 따라 더욱 뚜렷해진다.

유사한 논문