🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

본 논문은 레이어 정규화 (LayerNorm) 의 평균 중심화 과정이 데이터 매니폴드의 기하학적 평탄성에 따라 가중치 행렬의 베이지안 복잡도 (LLC) 를 차원 수의 절반만큼 감소시키는 반면, RMSNorm 은 이를 보존한다는 이론적 증명과 실험적 검증을 제시합니다.

원저자: Sungbae Chun

게시일 2026-03-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sungbae Chun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎯 핵심 주제: "정리정돈이 모델의 능력을 줄일 수도 있다?"

인공지능 모델을 훈련시킬 때, 데이터가 너무 크거나 불규칙하면 학습이 잘 안 됩니다. 그래서 데이터를 LayerNorm이나 RMSNorm이라는 '정리 도구'를 통해 일정하게 만들어줍니다.

대부분의 사람들은 이 두 도구가 서로 비슷해서 아무거나 써도 된다고 생각했습니다. 하지만 이 논문은 **"아니요, 이 두 도구는 데이터를 정리하는 방식이 완전히 다르고, 그 결과 모델이 가진 '자유도' (창의성이나 학습 능력) 에 큰 차이가 생깁니다"**라고 말합니다.

🏗️ 비유: "데이터를 어떤 공간에 가두는가?"

데이터를 한 공간에 가두는 상황을 상상해 보세요.

1. LayerNorm: "평평한 판 위에 가두기" (면적 축소)

LayerNorm 은 데이터를 평균이 0 이 되는 평평한 판 (Flat Plane) 위에 가둡니다.

비유: 3 차원 공간에 있는 구슬들을 모두 바닥에 평평하게 깔아놓은 거예요. 구슬들이 위아래로 움직일 수 없게 된 거죠.
결과: 구슬들이 움직일 수 있는 공간이 하나 줄어듭니다. (예: 3 차원 → 2 차원)
영향: 모델이 이 데이터를 다룰 때, '위아래'라는 방향은 아예 쓸모가 없어집니다. 모델이 쓸 수 있는 자유로운 변수 (파라미터) 가 정확히 절반만큼 줄어듭니다. (논문에서는 $m/2$ $m /2$ 만큼 감소한다고 증명했습니다.)
- 즉, LayerNorm 은 모델을 더 단순하게 만들지만, 그 대가로 모델이 가진 잠재적인 복잡성 (학습할 수 있는 능력) 을 일부 희생시킵니다.

2. RMSNorm: "구 (Sphere) 위에 가두기" (공간 유지)

RMSNorm 은 데이터를 구 (구체) 표면 위에 가둡니다.

비유: 구슬들을 공의 표면에만 올려놓은 거예요. 공은 둥글기 때문에 구슬은 위, 아래, 좌, 우, 앞, 뒤 모든 방향으로 움직일 수 있습니다.
결과: 데이터가 가해지는 공간의 차원은 줄어들지 않습니다. (3 차원 그대로 유지)
영향: 모델은 여전히 모든 방향을 다 활용할 수 있습니다. 모델의 복잡도나 자유도는 전혀 줄어들지 않습니다.

🔍 핵심 발견: "구불구불함 (Curvature) 이 중요해!"

논문의 가장 흥미로운 부분은 **"어떤 모양이 모델의 능력을 줄이는가?"**에 대한 답입니다.

평평한 것 (Flat): 데이터가 완전히 평평한 판 위에 있으면, 모델의 능력이 확 줄어듭니다. (LayerNorm 의 경우)
구불구불한 것 (Curved): 데이터가 조금이라도 구불구불하거나 둥글다면 (구, 포물선, 안장 모양 등), 모델의 능력은 완전히 보존됩니다.
- 비유: 바닥이 평평하면 사람이 걸을 수 있는 방향이 제한되지만, 바닥이 조금이라도 울퉁불퉁하거나 둥글면 사람은 그 굴곡을 따라 움직일 수 있어 자유로워집니다.
- 중요한 점: 구불구불한 정도가 얼마나 심하든 상관없습니다. 조금만 구불구불해도 (0 이 아닌 곡률) 모델의 능력은 온전하게 유지됩니다.

📊 실험 결과: "데이터 양에 따른 미묘한 차이"

이론적으로는 "평평하면 능력 감소, 구불구불하면 능력 유지"가 명확하게 나뉘지만, 실제 컴퓨터 실험에서는 조금 더 미묘한 현상이 관찰되었습니다.

데이터가 적을 때: 데이터가 구불구불한 부분의 '일부'만 경험한다면, 컴퓨터는 "아, 이건 평평한 거야"라고 착각할 수 있습니다.
데이터가 많거나 넓게 퍼져 있을 때: 데이터가 구불구불한 전체를 골고루 경험해야만 비로소 "아, 이건 구불구불하구나!"라고 인식하고 모델의 능력을 온전하게 유지합니다.
- 비유: 좁은 방에서 평평한 바닥을 보고 있으면 평평하다고 생각하지만, 넓은 공원을 돌아보면 바닥이 살짝 구부러져 있다는 걸 알게 되는 것과 같습니다.

🍞 추가 발견: "스무그드 바이어스 (Smuggled Bias)"

논문의 마지막 부분에서는 Softmax (데이터를 0 과 1 사이로 변환하는 함수) 에 대한 흥미로운 사실을 발견했습니다.

Softmax 는 데이터를 '삼각형 모양 (단순체)' 위에 가둡니다.
만약 그 뒤에 **편향 (Bias)**이라는 장치가 없다면, 모델은 능력을 잃지 않습니다.
하지만 편향이 있다면, 그 편향이 데이터의 모양과 결합되어 마치 LayerNorm 처럼 모델의 능력을 줄여버립니다. 이를 **"스무그드 바이어스 (밀수된 편향)"**라고 부릅니다.
- 비유: 문이 평평해서 사람이 들어갈 수 없는데, 문 앞에 작은 계단 (편향) 을 놓으면 사람이 들어갈 수 있게 되지만, 그 대신 문이 좁아져서 (능력이 줄어) 더 많은 사람이 동시에 들어오기 어려워지는 상황입니다.

💡 결론: 왜 이 연구가 중요한가요?

LayerNorm vs RMSNorm: LayerNorm 은 모델을 더 단순하고 가볍게 만들지만, 그 대가로 모델이 가진 '복잡한 것을 학습할 수 있는 능력'을 일부 희생시킵니다. RMSNorm 은 그 능력을 그대로 유지합니다.
설계 선택: 만약 우리가 모델이 매우 복잡한 패턴을 학습해야 한다면, RMSNorm 이 더 나을 수 있습니다. 반면, 모델을 가볍게 만들고 싶다면 LayerNorm 의 '능력 감소' 효과를 이용할 수도 있습니다.
이론적 증명: 이 차이는 단순히 실험적으로 관찰된 것이 아니라, **기하학 (Geometry)**과 수학으로 엄밀하게 증명되었습니다.

한 줄 요약:

"LayerNorm 은 데이터를 평평한 판 위에 올려놓아 모델의 자유도를 줄이는 반면, RMSNorm 은 둥근 공 위에 올려놓아 자유도를 그대로 유지합니다. 이 차이는 모델이 얼마나 복잡한 일을 할 수 있는지 결정하는 중요한 열쇠입니다."

1. 연구 문제 (Problem)

LayerNorm 과 RMSNorm 은 현대 딥러닝 아키텍처에서 널리 사용되지만, 두 방법은 출력에 부과하는 **기하학적 제약 (Geometric Constraints)**이 근본적으로 다릅니다.

LayerNorm: 데이터를 평균이 0 인 선형 초평면 (Linear Hyperplane) 으로 투영합니다.
RMSNorm: 데이터를 구 (Sphere) 위로 투영하며 평균 중심화 (Mean-centering) 를 수행하지 않습니다.

기존 연구들은 이를 단순히 설계 선택의 차이로 보았으나, 본 논문은 이 차이가 **모델의 유효 매개변수 수 (Effective Parameter Count)**와 학습 복잡도에 정량적이고 구조적인 영향을 미친다고 주장합니다. 즉, 어떤 정규화 방식이 다음 레이어의 가중치 행렬에 대한 LLC 를 감소시키는지, 그리고 그 기하학적 조건이 무엇인지 규명하는 것이 핵심 문제입니다.

2. 방법론 (Methodology)

논문은 **특이 학습 이론 (Singular Learning Theory, SLT)**을 기반으로 한 **국소 학습 계수 (LLC)**를 주요 분석 도구로 사용합니다.

LLC 와 대칭성: 손실 함수가 매개변수 공간에서 연속적인 대칭성 (Loss 를 변화시키지 않는 방향) 을 가질 때, LLC 는 명목상의 매개변수 수보다 작아집니다. 정규화 계층은 데이터 매니폴드를 특정 기하학적 표면으로 제한함으로써 이러한 대칭성을 구조적으로 생성합니다.
홀로노믹 제약 (Holonomic Constraints): 정규화 연산을 데이터 매니폴드에 대한 홀로노믹 제약으로 간주합니다. 데이터가 $d$ 차원 공간에서 $d_s$ 차원의 선형 스펜 (Linear Span) 을 가지는 매니폴드에 제한될 때, 가중치 행렬 $W \in \mathbb{R}^{m \times d}$ 의 $W$ 에 수직인 방향은 손실 함수에 "보이지 않게" 됩니다.
wrLLC 프레임워크: 다층 신경망의 복잡한 대칭성 (예: 인접 행렬 곱의 GL(r) 스케일링 대칭성) 을 분리하기 위해 wrLLC (Weight-restricted LLC) 방법을 사용합니다. 이 방법은 특정 레이어의 가중치만 학습하고 나머지를 고정하여, 정규화 계층이 유발하는 순수한 기하학적 비용 (Geometric Cost) 만을 측정합니다.
실험 설정:
- 단일 선형 레이어 ( $W$ ) 와 제곱 손실 (MSE) 을 사용하는 Teacher-Student 설정.
- 다양한 매니폴드 기하학 (곡률, 평평함) 을 가진 데이터로 훈련 및 LLC 추정 (SGLD 사용).
- LayerNorm, RMSNorm, Softmax(심플렉스) 조건에 대한 비교 실험.

3. 주요 기여 (Key Contributions)

3.1 LLC 감소를 위한 기하학적 임계값 (Geometric Threshold)

이론적 증명: 입력 데이터가 원점을 지나는 선형 초평면 (Linear Hyperplane, $1^\top x = 0$ ) 에 제한될 때, 후속 가중치 행렬의 LLC 는 정확히 $m/2$ 만큼 감소합니다 ( $m$ 은 출력 차원).
기하학적 조건: LLC 감소는 매니폴드가 **아핀 평평 (Affinely Flat)**한지에 따라 결정됩니다.
- 평평한 매니폴드 (Flat): 선형 초평면 (LayerNorm 의 경우) $\rightarrow$ LLC 감소 발생 ( $\Delta \lambda = m/2$ ).
- 비평평한 매니폴드 (Curved): 구 (Sphere, RMSNorm) 또는 임의의 곡률을 가진 매니폴드 $\rightarrow$ 선형 스펀이 전체 공간 ( $d$ ) 을 채우므로 LLC 감소 없음 ( $\Delta \lambda = 0$ ).
임계값의 특성: 곡률의 부호나 크기와 무관하게, 0 이 아닌 곡률 하나만 있어도 LLC 감소는 방지됩니다. 즉, 평평함과 비평평함 사이의 이진 (Binary) 임계값이 존재합니다.

3.2 유한 샘플에서의 위상 전이 (Finite-Sample Phase Transition)

이론적으로는 곡률이 존재하는 순간 LLC 가 회복되지만, 유한한 샘플 크기와 SGLD 추정기의 노이즈로 인해 **부드러운 전환 (Smooth Crossover)**이 관찰됩니다.
데이터 분포가 실제로 곡률을 "경험"하는 정도 (Overlap) 가 LLC 측정값에 영향을 미칩니다. 좁고 집중된 곡률보다 넓게 퍼진 곡률이 더 낮은 진폭에서도 LLC 회복을 유도합니다.

3.3 심플렉스 - 편향 이중성 (Simplex-Bias Duality)

Softmax 의 숨겨진 편향: Softmax 는 데이터를 심플렉스 ( $\sum x_i = 1$ ) 로 투영합니다. 이는 아핀 평평한 매니폴드이지만 원점을 지나지 않습니다.
명시적 편향의 활성화:
- **순수 선형 레이어 ($Wx $):** 심플렉스 데이터는 원점을 지나지 않으므로 선형 스펀이$ d $로 유지됨$ \rightarrow$ LLC 감소 없음.
- 아핀 레이어 ($Wx + b$): 심플렉스 데이터는 "숨겨진 편향 (Smuggled Bias, $b_{smuggled} = \frac{1}{d}W\mathbf{1}$ )"을 생성합니다. 명시적 편향 $b$ 와 이 숨겨진 편향이 손실 함수에서 구별 불가능해져 $m$ 차원의 대칭 공간이 생성되고, LLC 가 $m/2$ 만큼 감소합니다.

4. 실험 결과 (Results)

LayerNorm vs RMSNorm:
- LayerNorm: 출력 차원 $m$ 에 비례하여 LLC 가 $m/2$ 만큼 감소하는 것이 실험적으로 확인됨 (예: $m=4$ 일 때 $\Delta \lambda \approx 2.0$ ).
- RMSNorm: 모든 $m, d$ 에서 $\Delta \lambda \approx 0$ 으로, 정규화의 안정성 이점은 유지하되 유효 매개변수 수는 감소하지 않음.
곡률 실험:
- 포물면, 쌍곡면, 안장면 등 **어떤 곡률 (양수/음수)**을 가진 매니폴드도 LLC 를 Gaussian baseline 과 유사하게 유지 ( $\Delta \lambda \approx 0$ ).
- 평평한 초평면만 LLC 를 약 2.0 ( $m/2$ ) 만큼 감소시킴.
Softmax 실험:
- 편향이 없는 선형 레이어에서는 LLC 감소가 없었으나, 편향이 추가된 아핀 레이어에서는 $\Delta \lambda \approx 2.26$ ( $m/2=2.0$ 에 근사) 의 감소가 관측되어 이론을 뒷받침함.

5. 의의 및 결론 (Significance)

구조적 복잡도 감소의 정량화: LayerNorm 이 단순히 학습을 안정화하는 도구를 넘어, 데이터 매니폴드의 기하학적 제약을 통해 모델의 베이지안 복잡도를 구조적으로 낮춘다는 것을 수학적으로 증명했습니다. 이는 과적합 방지나 일반화 성능 향상과 연결될 수 있는 새로운 관점을 제공합니다.
RMSNorm 의 이점 재해석: RMSNorm 은 LLC 를 감소시키지 않으므로, LayerNorm 에 비해 더 많은 유효 매개변수 공간을 활용합니다. 이는 특정 태스크에서 더 높은 표현력을 필요로 할 때 유리할 수 있음을 시사합니다.
Attention Sink 현상과의 연관성: LayerNorm 이 $W_V$ 행렬의 LLC 를 $m/2$ 만큼 감소시켜 저랭크 (Low-rank) 해를 선호하도록 구조적으로 유도할 수 있다는 가설을 제시했습니다. 이는 Attention Sink 현상의 기하학적 원인일 가능성이 있으나, 추가 검증이 필요합니다.
Grokking 현상에 대한 함의: LayerNorm 이 기억 (Memorization) 과 관련된 자유도를 제거하여 일반화 회로 (Generalizing Circuit) 를 더 쉽게 접근 가능하게 만들 수 있어, Grokking 전이를 가속화할 수 있다는 가설을 제시했습니다.

결론적으로, 이 논문은 정규화 기법이 단순한 전처리 단계가 아니라, 모델의 **기하학적 복잡도 (Geometric Complexity)**를 결정하는 핵심 요소임을 보여주며, LayerNorm 과 RMSNorm 의 선택이 모델의 대칭성과 학습 역학에 미치는 정량적 영향을 규명했습니다.