The Affine Divergence: Aligning Activation Updates Beyond Normalisation

이 논문은 경사 하강법 시 활성화 업데이트의 이상적인 방향과 실제 간의 불일치를 규명하고, 이를 해결하기 위해 기존 정규화 기법을 재해석하거나 'PatchNorm'과 같은 새로운 함수를 제안하여 더 나은 성능을 입증합니다.

핵심

🎨 "그라디언트"의 오해와 새로운 발견: GRaM 워크숍 논문 요약

이 논문은 딥러닝 (인공지능 학습) 의 핵심 원리 중 하나인 **'학습 방향'**에 대해 완전히 새로운 시각을 제시합니다. 기존에 우리가 믿어왔던 "가장 빠른 길"이 사실은 조금 빗나갈 수 있다는 것을 발견했기 때문이죠.

이 복잡한 수학 논문을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "지도"와 "실제 길"의 불일치 (Affine Divergence)

딥러닝 모델이 학습할 때, 우리는 **파라미터 (가중치)**를 수정해서 오차를 줄입니다. 이때 컴퓨터는 "어디로 가야 오차가 가장 빨리 줄어들까?"를 계산해서 **가장 가파른 하강 방향 (Steepest Descent)**을 알려줍니다.

• 기존의 생각: "파라미터를 이 방향으로 조금만 움직이면, 모델의 출력 (결과) 도 자연스럽게 좋아지겠지!"라고 믿었습니다.
• 이 논문의 발견: "잠깐! 파라미터를 움직였을 때, 실제 **데이터가 흐르는 경로 (활성화)**는 우리가 생각한 '가장 빠른 길'과 조금 빗나가고 있네?"

🍎 비유: 산을 내려가는 등반가

• 파라미터: 등반가가 들고 있는 나침반입니다. 나침반은 "이쪽으로 가라"고 가리킵니다.
• 활성화 (Activation): 등반가가 실제로 발로 딛는 지면입니다.
• 문제점: 나침반이 가리키는 방향 (파라미터 업데이트) 으로 발을 옮겼을 때, 실제 지면의 경사 (데이터의 흐름) 는 나침반이 가리키는 방향과 완전히 일치하지 않습니다.
  • 마치 나침반이 "북쪽"을 가리키는데, 실제 지형은 북동쪽으로 내려가는 경우처럼요.
  • 이 논문은 이 **오차 (Divergence)**를 **'Affine Divergence (아핀 발산)'**라고 부릅니다.

2. 해결책 1: "정규화 (Normalization)"의 진짜 비밀

지금까지 딥러닝에서 BatchNorm, LayerNorm 같은 '정규화' 기법이 왜 잘 작동하는지 설명할 때, "데이터의 분포를 고르게 해서 학습을 안정화시킨다"는 통계적인 이유를 들었습니다.

하지만 이 논문은 **"아니요, 그건 부수적인 효과일 뿐입니다"**라고 말합니다.

• 새로운 해석: 정규화 기법들이 실제로 잘 작동하는 진짜 이유는, 파라미터가 움직였을 때 데이터가 흐르는 경로 (활성화) 를 원래의 '가장 빠른 길'로 다시 맞춰주기 때문입니다.
• 비유: 등반가가 나침반 (파라미터) 을 잘못 믿고 빗나갔을 때, 정규화라는 '보정 장치'가 발걸음 (활성화) 을 다시 올바른 길로 돌려놓아주는 것입니다.
• 결론: 정규화는 통계적 조정이 아니라, 수학적 오차를 수정하는 '교정기' 역할을 해왔던 것입니다.

3. 해결책 2: "정규화"가 아닌 새로운 방법 (Affine-like Correction)

논문의 가장 흥미로운 점은, 정규화 (Normalization) 가 아니더라도 이 오차를 고칠 수 있다는 것을 발견했다는 것입니다.

• 새로운 방법: 데이터를 0 으로 맞추거나 크기를 줄이는 (정규화) 대신, 데이터가 흐르는 경로를 살짝 구부려서 (Affine-like map) 오차를 없애는 방법입니다.
• 성공: 실험 결과, 이 새로운 방법은 기존에 쓰이던 정규화 방법들보다 더 좋은 성능을 보여주기도 했습니다.
• 의미: "정규화 (크기 조절)"가 학습의 핵심이 아니라, **"방향 교정"**이 핵심이었다는 것을 증명합니다.

4. 재미있는 부수적 발견: "배치 크기 (Batch Size)"의 역설

이론을 바탕으로 한 놀라운 예측이 실험으로 입증되었습니다.

• 기존 상식: "한 번에 많은 데이터 (큰 배치) 를 학습하면 더 안정적이고 잘 된다."
• 이 논문의 예측: "우리가 제안한 '교정 방법'을 쓰면, 데이터를 한 번에 많이 모을수록 (배치 크기 증가) 오히려 성능이 떨어질 수 있다."
• 이유: 데이터가 너무 많으면, 각 데이터마다의 '올바른 길'이 서로 달라서 서로 간섭을 일으키기 때문입니다.
• 결과: 실험에서 실제로 배치 크기가 커질수록 성능이 떨어지는 현상이 관측되었습니다. 이는 이 이론이 단순한 추측이 아니라, 실제 메커니즘을 설명하고 있다는 강력한 증거가 됩니다.

5. 결론: 딥러닝의 설계도를 다시 그리다

이 논문은 우리에게 다음과 같은 메시지를 줍니다.

1. 기존의 믿음 깨기: "파라미터를 업데이트하면 자동으로 좋은 결과가 나온다"는 생각은 틀렸습니다. **데이터의 흐름 (활성화)**을 직접 고려해야 합니다.
2. 정규화의 재해석: 정규화는 데이터의 크기를 줄이는 도구가 아니라, 학습 방향을 교정하는 도구입니다.
3. 새로운 가능성: 정규화 없이도, 혹은 다른 방식으로 이 오차를 교정하면 더 좋은 AI 모델을 만들 수 있습니다.

한 줄 요약:

"지금까지 우리는 나침반 (파라미터) 만 믿고 길을 갔는데, 사실은 발걸음 (데이터 흐름) 을 바로잡아주는 '보정 장치'가 없으면 길을 잃기 쉽습니다. 이 논문은 그 보정 장치의 정체를 찾아내고, 더 나은 길잡이를 제안합니다."

이 연구는 AI 가 어떻게 더 똑똑하게 학습할 수 있는지에 대한 근본적인 질문을 던지며, 앞으로의 딥러닝 설계에 새로운 영감을 줄 것입니다.

기술 요약

1. 문제 정의: 아핀 발산 (The Affine Divergence)

• 핵심 문제: 경사 하강법 (Gradient Descent) 에서 파라미터 (가중치 $W$, 편향 $b$) 는 손실 함수에 대한 가장 가파른 하강 방향으로 업데이트되도록 설계되어 있습니다. 그러나 파라미터의 업데이트가 네트워크를 통해 전파되어 활성화 값 ($z$) 에 미치는 실제 변화는, 활성화 값 자체가 손실에 대해 가지는 이상적인 가장 가파른 하강 방향과 일치하지 않습니다.
• 수학적 기원: 아핀 계층 ($z = Wx + b$) 에서 파라미터 업데이트를 활성화에 전파하면, 이상적인 기울기 $\frac{\partial L}{\partial z}$와 실제 전파된 변화량 $\Delta z$ 사이에 $(\|x\|^2 + 1)$이라는 항이 곱해지게 됩니다.
  • 이상적인 업데이트: $\Delta z_{ideal} \propto -\eta \frac{\partial L}{\partial z}$
  • 실제 전파된 업데이트: $\Delta z_{effective} \propto -\eta \frac{\partial L}{\partial z} (\|x\|^2 + 1)$
• 결과: 이 불일치로 인해 샘플별 (sample-wise) 로 입력 벡터의 크기 ($\|x\|^2$) 에 비례하여 기울기가 왜곡됩니다. 큰 크기를 가진 샘플은 과도하게 업데이트되고, 작은 샘플은 상대적으로 소외되는 '기하학적 불일치'가 발생합니다. 저자는 이를 아핀 발산이라고 명명했습니다.

2. 방법론: 발산 보정 및 구조적 해결책

이 발산을 해결하기 위해 저자는 파라미터 업데이트와 활성화 업데이트를 정렬 (Alignment) 시키는 두 가지 주요 구조적 해결책을 도출했습니다.

A. 구조적 보정 (Structural Corrections)

파라미터 업데이트를 변경하여 활성화 전파 시 이상적인 기울기를 얻도록 아핀 맵을 수정하는 방법입니다.

1. 노름 유사 (Norm-like) 해결책:
   • 공식: $z = W \frac{x}{\|x\|} + b$
   • 특징: 기존 L2 정규화나 RMSNorm 과 유사한 형태를 띱니다. 이는 이상적인 기울기를 정확히 맞추지만, 반경 방향 (radial) 의 자유도를 잃게 만들어 정보 손실이 발생할 수 있습니다. 또한 $\|x\| \to 0$일 때 특이점 (singularity) 이 발생할 수 있습니다.
2. 아핀 유사 (Affine-like) 해결책 (주요 제안):
   • 공식: $z = \frac{Wx + b}{\sqrt{\|x\|^2 + 1}}$
   • 특징: 이는 기존의 정규화 (Normalization) 와는 본질적으로 다른 새로운 함수 형태입니다.
   • 장점:
     • 스케일 불변성 (Scale Invariance) 부재: 기존 정규화 이론의 핵심인 스케일 불변성을 가지지 않지만, 실험적으로 더 우수한 성능을 보입니다.
     • 자유도 보존: 반경 방향 정보를 완전히 제거하지 않고 부드럽게 제한 (soft bound) 하여 정보 손실을 최소화합니다.
     • 안정성: $\|x\| \to 0$일 때 기울기가 폭발하지 않고 안정적입니다.

B. 그라디언트 전용 보정 (Gradient-only Corrections)

• 학습률을 입력 벡터의 크기에 따라 동적으로 조정하는 방식 ($\eta' = \frac{\eta}{\|x\|^2 + 1}$) 입니다. 이는 자연 경사 (Natural Gradient) 와 개념적으로 유사하지만, 계산 비용이 매우 높아 실제 구현보다는 이론적 대안으로 제시되었습니다.

3. 주요 기여 (Key Contributions)

1. 정규화의 새로운 기계론적 해석: 기존 정규화 (BatchNorm, LayerNorm 등) 가 내부 공변량 이동 (Internal Covariate Shift) 이나 분산 제어 때문에 성공한다는 기존 설명과 달리, **"아핀 발산 보정"**이 정규화의 성공 원인일 수 있음을 이론적으로 도출했습니다. 즉, 정규화는 우연히 이 발산을 완화하는 역할을 해왔다는 것입니다.
2. 새로운 함수 형태의 제안 (Affine-like Correction): 스케일 불변성이 없어도 성능이 우수한 새로운 함수를 제안했습니다. 이는 기존 '정규화 = 스케일 불변성'이라는 통념을 깨뜨리는 중요한 발견입니다.
3. 패치 정규화 (PatchNorm): 합성곱 (Convolution) 레이어에 적용하기 위해 발산 이론을 확장하여, '패치 (Patch)' 단위로 적용되는 새로운 정규화 형태인 PatchNorm 을 제안했습니다.
4. 배치 크기 역상관 가설 (Auxiliary Hypothesis): 이 이론에 따르면, 구조적 보정 (Affine-like, Norm-like) 을 사용할 경우 배치 크기 (Batch Size) 가 커질수록 성능이 떨어지는 역상관 관계가 발생해야 합니다. 이는 기존 정규화 (BatchNorm 등) 와는 반대되는 현상으로, 이론의 타당성을 검증하는 중요한 지표가 됩니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: CIFAR-10 분류 작업을 위해 완전 연결 (Fully Connected) 네트워크와 합성곱 (Convolutional) 네트워크를 사용했습니다.
• 성능 비교:
  • Tanh 및 Leaky-ReLU 활성화 함수: 제안된 Affine-like 보정이 기존 정규화 기법 (BatchNorm, LayerNorm, RMSNorm, L2-Norm) 보다 전반적으로 우수한 성능을 보였습니다. 특히 네트워크가 깊고 너비가 넓을수록 성능 격차가 커졌습니다.
  • Norm-like 보정 또한 기존 방법들보다 우세하거나 동급의 성능을 보였습니다.
• 배치 크기 실험 (핵심 검증):
  • Affine-like 및 Norm-like 구조적 보정을 적용한 모델은 배치 크기가 증가함에 따라 정확도가 **감소하는 경향 (Negative Correlation)**을 보였습니다. 이는 저자가 예측한 '샘플 간 간섭 (Interference)' 가설과 일치합니다.
  • 반면, 기존 BatchNorm 은 배치 크기가 커질수록 성능이 향상되거나 일정하게 유지되는 경향을 보였습니다.
  • 이 결과는 아핀 발산 이론이 정규화 성공의 근본적인 메커니즘임을 강력하게 지지합니다.
• 합성곱 네트워크 (PatchNorm): 합성곱 레이어에 적용된 PatchNorm 은 기존 정규화 기법들과 유사하거나 약간 우세한 성능을 보였으나, 완전 연결 레이어만큼의 압도적인 차이는 없었습니다. 이는 합성곱의 패치 간 비선형 의존성으로 인해 단일 샘플 근사 가정이 깨지기 때문으로 분석됩니다.

5. 의의 및 결론 (Significance)

• 이론적 패러다임 전환: 이 논문은 심층 학습의 최적화 목표를 '파라미터'에서 '활성화 (Representation)'로 재정의할 필요성을 제기합니다. 파라미터 업데이트가 활성화의 이상적인 업데이트와 일치하지 않는다는 '아핀 발산'은 기존에 간과되었던 근본적인 문제입니다.
• 정규화의 재해석: 정규화 층이 단순한 통계적 조정이 아니라, 활성화 업데이트의 기하학적 왜곡을 보정하는 '구조적 보정기'로 작용할 수 있음을 보여줍니다.
• 새로운 설계 방향: 스케일 불변성 없이도 작동하는 새로운 함수 (Affine-like) 의 성공은, 향후 신경망 설계 시 기존 정규화 기법의 한계를 넘어 새로운 활성화 함수 및 정규화 구조를 탐구할 수 있는 길을 열었습니다.
• 실용적 함의: 제안된 방법들은 계산 비용이 낮고 구현이 간단하며, 기존 아키텍처에 쉽게 통합될 수 있어 향후 심층 학습 모델 설계에 실질적인 영향을 미칠 것으로 기대됩니다.

요약하자면, 이 논문은 **"파라미터 업데이트와 활성화 업데이트 간의 불일치 (아핀 발산)"**를 발견하고, 이를 해결하기 위한 새로운 수학적 도구를 제시함으로써, 기존 정규화 기법의 성공 원인을 재해석하고 더 나은 신경망 설계의 가능성을 제시했습니다.