Revisiting the Volume Hypothesis

기술 요약: 볼륨 가설(Volume Hypothesis)의 재고

문제 제기
현대의 심층 신경망은 훈련 데이터를 적합시키기 위해 필요한 것보다 훨씬 더 많은 파라미터를 보유하고 있음에도 불구하고, 보지 못한 데이터에 대해 인상적인 일반화 성능을 보여준다. 이에 대한 지배적인 설명은 확률적 경사 하강법(SGD)의 암묵적 편향(implicit bias) 덕분이라는 것이지만, 이와 대립하는 "볼륨 가설"은 낮은 훈련 손실 영역 내에서 강력한 일반화를 이끄는 베이슨(basins)이 성능이 낮은 베이슨보다 가중치 공간에서 훨씬 더 큰 부피를 차지한다는 점을 시사한다. 최근 문헌은 이 가설에 대해 상충하는 결과들을 제시한다:

• **Peleg & Hein (2024)**은 무작위로 가중치를 샘플링하여 훈련 오차를 달성하는 방식(Guess-and-Check)이 SGD에 비해 낮은 일반화 성능을 보인다는 것을 발견했으며, 이는 최적화 편향(optimization bias)이 지배적임을 시사한다.
• **Yang et al. (2026)**은 분자 역학을 사용하여 파라미터 밀도를 추정하였으며, 낮은 훈련 손실에 대해 밀도가 최적화된 SGD와 유사하거나 더 나은 일반화 값에서 정점을 찍는다는 것을 발견하여 볼륨 가설을 뒷받침했다.

저자들은 이 연구들이 서로 다른 데이터 체제(data regimes)에서 수행되었다는 점에 주목했다: Peleg & Hein은 작은 데이터셋(최대 32개 샘플)을 사용한 반면, Yang et al.은 대규모 데이터셋을 사용했다. 본 연구가 다루는 핵심 문제는 볼륨 가설의 타당성이 훈련 데이터의 크기에 따라 달라지는지 여부이며, 이를 통해 상충하는 결과들을 화해시킬 수 있는지 탐구하는 것이다.

방법론
훈련 정확도($A$)와 테스트 정확도($Q$)에 대한 상태 결합 밀도를 조사하기 위해, 저자들은 레플리카 교환 완-랜듀(Replica Exchange Wang–Landau, REWL) 알고리즘을 채택한다. 통계 물리학에서 유래한 이 기법은 파라미터 공간을 효율적으로 샘플링하여 특정 정확도 쌍을 생성하는 상태 밀도 $g(A, Q)$, 즉 네트워크 구성의 부피를 추정할 수 있게 한다.

• 설정: 실험은 이진 신경망(가중치 $\in \{\pm 1\}$)을 대상으로 세 가지 아키텍처(Base, Deeper, Wider)와 두 가지 데이터셋(MNIST, Fashion-MNIST)에서 수행되었다.
• 데이터 체제: 데이터 규모의 변화를 탐구하기 위해 데이터셋 크기($D$)를 30, 300, 600 샘플로 체계적으로 변화시켰다.
• 알고리즘: 완-랜듀 알고리즘은 방문한 $(A, Q)$ 상태의 히스토그램을 평탄하게 만들기 위해 $1/g(A, Q)$로 재가중치를 부여하며 가중치 공간에서 무작위 보행(random walk)을 수행한다. 수정 계수 $f$는 수렴할 때까지 반복적으로 감소시킨다.
• 비교: 제로 훈련 오차($A=D$)에서의 밀도 곡선의 정점 $Q^* = \arg\max_Q g(A=D, Q)$는 무작위 샘플링의 기대 일반화 성능을 나타낸다. 이는 표준(확률적) 경사 하강법의 일반화 성능과 비교된다.

주요 기여

1. 상충하는 결과의 화해: 본 논문은 무작위 샘플링과 경사 기반 훈련 사이의 관계가 데이터 크기에 강하게 의존함을 입증함으로써 이전 연구들 사이의 간극을 메운다.
2. 데이터 의존적 전이: 저자들은 데이터 크기가 증가함에 따라 무작위 샘플링에 비해 SGD가 갖는 일반화 이점이 감소하는 전이 체제를 식별하였다.
3. 정교화된 볼륨 가설: 본 연구는 "볼륨 가설"이 최적화와 독립적인 보편적 원형이 아님을 명확히 한다. 대신, 볼륨 효과(아키텍처 편향)는 데이터 제약이 증가함에 따라 나타나고 집중되는 반면, 최적화 유도 편향은 작은 데이터 체제에서 지배적이다.

결과

• 감소하는 SGD의 이점: 데이터셋 크기가 30에서 600으로 증가함에 따라, 무작위 샘플링(제로 훈련 오차 솔루션을 무작위로 찾는 방식)과 SGD 사이의 일반화 정확도 격차가 눈에 띄게 좁아진다. 작은 데이터 체제(예: $D=30$)에서는 SGD가 무작위 샘플링보다 성능이 월등히 높다. 더 큰 체제(예: $D=600$)에서는 전형적인 무작위 보간 솔루션이 SGD의 성능에 근접한다.
• 밀도 곡선의 예리화: 모든 아키텍처와 데이터셋에 걸쳐, 데이터셋 크기가 증가함에 따라 일반화 정확도 밀도의 곡률이 예리해진다. 이는 더 많은 데이터가 관찰됨에 따라 잘 일반화되는 솔루션의 확률 부피가 좁은 테스트 정확도 범위 내로 점점 더 집중됨을 의미한다.
• 아키텍처 효과: 더 넓은(Wider) 네트워크는 무작위 샘플링에서 일관되게 더 높은 일반화 정확도를 보였다. 깊이(Depth)의 효과는 혼재되어 나타났으며, 이는 이러한 아키텍처 세부 사항이 데이터 크기 의존성이라는 주요 요인에 비해 부차적임을 시사한다.

의의 및 주장
본 논문은 과잉 매개변수화된 모델의 일반화에서 최적화와 아키텍처의 역할에 대한 통합적 설명을 제공한다고 주장한다. 저자들의 논지는 다음과 같다:

• 작은 데이터 체제에서 보간 솔루션은 풍부하지만 이질적이다. 따라서 희귀하고 성능이 높은 영역으로 항해하기 위해서는 SGD의 암묵적 편향이 필수적이다.
• 큰 데이터 체제에서 데이터에 의해 부과된 제약은 유효한 보간 솔루션의 부피를 높은 일반화 성능을 가진 좁은 띠로 집중시킨다. 결과적으로, 무작위 샘플링에 의해 발견되는 "전형적인" 솔루션은 SGD와 경쟁할 만한 수준이 되며, 이때 아키텍처의 볼륨 효과가 지배적인 요인이 된다.

저자들은 아키텍처 편향과 최적화 편향이 데이터 크기에 따라 상대적 중요성이 변하는 상호 보완적인 메커니즘이라고 결론짓는다. 또한, 이들의 발견이 이진 가중치 네트워크와 중간 규모 아키텍처에 특화된 것임을 강조하며, 이는 현대의 대규모 연속 가중치 훈련을 직접 모델링하기보다는 근본적인 기하학적 효과를 격리하여 보여주는 것임을 밝힌다.