When Bias Meets Trainability: Connecting Theories of Initialization

이 논문은 무작위 초기화 시의 평균장 이론과 초기 추측 편향 (IGB) 을 이론적으로 연결하여, 효율적인 학습을 위한 최적의 초기화는 중립적이지 않고 특정 클래스에 편향된 상태여야 함을 증명합니다.

핵심

"편견"이 학습을 돕는다? 딥러닝의 놀라운 비밀

이 논문은 딥러닝 (심층 신경망) 을 가르칠 때, 초기 설정이 얼마나 중요한지를 설명하는 흥미로운 연구입니다. 보통 우리는 인공지능을 가르칠 때 "중립적이고 공정한 상태"에서 시작하는 것이 가장 좋다고 생각하죠. 하지만 이 논문의 결론은 정반대입니다.

"가장 잘 배우는 AI 는 처음부터 특정 편견 (Bias) 을 가지고 시작한다."

이 복잡한 이론을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. AI 의 출생: "중립" vs "편견"

AI 모델을 처음 만드는 것을 아기에게 이름을 지어주는 일이라고 상상해 보세요.

• 중립적인 상태 (Neutrality): 아기가 태어나자마자 "누구도 좋아하지 않고, 모든 것을 똑같이 바라보는" 상태입니다. 모든 사물을 '사과'라고 부를 수도 있고 '배'라고 부를 수도 있는, 완전히 공백 상태입니다.
• 편견 있는 상태 (Prejudice/IGB): 반면, 이 논문에 따르면 AI 는 태어날 때부터 "나는 사과를 좋아해!"라고 외치는 상태일 수 있습니다. 아직 아무것도 배우지 않았는데도, 입력되는 모든 이미지를 '사과'로 분류하려는 성향이 강하게 존재합니다.

과거의 이론들은 "중립적인 상태"가 학습에 가장 유리하다고 믿었습니다. 하지만 이 연구는 **"아니, 오히려 '사과'를 너무 좋아해서 모든 것을 사과로 보는 편향된 상태가 학습을 더 잘 시킨다"**고 주장합니다.

2. 왜 편견이 도움이 될까요? (기울기의 비밀)

학습이란 AI 가 실수를 하고, 그 실수를 고쳐가는 과정입니다. 이때 중요한 것이 **'기울기 (Gradient)'**라는 개념인데, 이를 **'산에서 내려오는 길'**로 비유해 볼까요?

• 기울기가 사라진 경우 (Ordered Phase): 산이 너무 평평해서 어디로 가야 할지 방향을 잡을 수 없습니다. AI 는 "어디로 가야 하지?"라며 제자리걸음을 하거나, 처음의 편견 (사과를 좋아하는 성향) 을 절대 버리지 못합니다.
• 기울기가 터진 경우 (Chaotic Phase): 산이 너무 가파르거나 폭풍이 불어, AI 가 미끄러져서 통제 불능 상태가 됩니다.
• 가장 좋은 상태 (Edge of Chaos, EOC): 이 논문이 발견한 황금률은 산이 적당히 경사진 상태입니다.

핵심 발견:
이론적으로 가장 잘 학습되는 상태 (Edge of Chaos) 는 AI 가 처음에 "사과"라고 강하게 편향되어 있는 상태입니다.

• 처음에는 "모든 게 사과야!"라고 외치며 편견이 강합니다.
• 하지만 학습이 시작되면, 이 강한 편견이 빠르게 사라지며 (흡수되며) 실제 데이터를 제대로 배우게 됩니다.
• 반대로, 처음부터 너무 중립적인 상태 (편견이 없는 상태) 였다면, AI 는 학습을 시작할 동기를 잃고 잘 배우지 못합니다.

비유: 마치 무거운 돌을 밀어야 하는 상황입니다.

• 중립 상태: 돌이 너무 가볍고 미끄러워서 밀어낼 힘이 없습니다. (학습이 안 됨)
• 편향 상태: 돌이 무겁고 미끄러지지 않게 붙어있지만, 일단 밀기 시작하면 그 관성이 학습을 가속화시킵니다. 학습이 시작되면 그 무거운 편견은 금방 사라지고, AI 는 스스로 길을 찾습니다.

3. 이 발견이 주는 교훈

이 연구는 AI 개발자들에게 다음과 같은 실용적인 조언을 줍니다.

1. 초기 설정을 "중립"으로 맞추려 하지 마세요:
   보통 하이퍼파라미터 (가중치, 편향의 크기) 를 조정할 때 "공정하게" 맞추려 하지만, 사실은 **약간의 편향 (Bias)**이 있어야 학습이 잘 됩니다.

2. 학습 초기의 "엉뚱한" 행동을 두려워하지 마세요:
   AI 가 학습刚开始에 특정 클래스 (예: 고양이) 로만 모든 것을 분류하는 것을 보면 "아, 이 모델 망했나?"라고 생각할 수 있습니다. 하지만 이 논문은 **"아니, 그게 오히려 잘 학습될 조짐이다"**라고 말합니다. 그 강한 편견이 학습 과정에서 자연스럽게 사라지며 모델이 성장합니다.

3. 학습 시간을 충분히 가져야 합니다:
   만약 AI 가 처음에 편향되어 있다면, 학습 초기에 그 편향을 "재흡수"할 시간이 필요합니다. 너무 짧은 시간만 학습시켜서 결과를 보면, AI 가 편향된 상태에 갇혀 있다고 오해할 수 있습니다.

4. 요약: 편견은 나쁜 것만은 아니다

이 논문은 **"편견 (Bias)"**이라는 단어를 부정적인 의미로만 쓰지 않습니다. 딥러닝的世界里, 적절한 초기 편견은 학습을 위한 '추진제' 역할을 합니다.

• 과거의 생각: "중립적이고 공정한 AI 가 가장 훌륭하다."
• 이 논문의 결론: "처음에 약간의 편견을 가지고 시작해서, 학습을 통해 그 편견을 스스로 고쳐나가는 AI 가 가장 잘 배운다."

마치 어린아이가 세상을 볼 때 처음에는 모든 것을 '엄마'로만 인식하다가, 성장하면서 세상의 다양한 것을 구분해 내는 과정과 비슷합니다. AI 도 처음에는 "모든 게 다 비슷해 (편견)"라고 생각하다가, 학습을 통해 세상의 미묘한 차이를 배우는 것입니다.

이 연구는 AI 의 '출생'과 '성장' 사이의 미묘한 관계를 밝혀내어, 더 효율적인 AI 를 만드는 새로운 길을 제시했습니다.

기술 요약

논문 요약: WHEN BIAS MEETS TRAINABILITY: CONNECTING THEORIES OF INITIALIZATION (ICLR 2026)

이 논문은 딥러닝의 초기화 (Initialization) 이론에서 두 가지 중요한 프레임워크인 **평균장 이론 (Mean-Field, MF)**과 **초기 추측 편향 (Initial Guessing Bias, IGB)**을 연결하여, 신경망의 학습 가능성 (Trainability) 과 초기 예측 편향 사이의 깊은 관계를 규명했습니다.

1. 문제 제기 (Problem)

딥러닝 모델의 성능은 초기 가중치와 편향의 선택에 크게 의존합니다. 기존 연구들은 다음과 같은 두 가지 관점에서 초기화를 분석해 왔으나, 두 이론 간의 연결고리는 명확하지 않았습니다.

• 평균장 이론 (MF Theory): 무한한 폭 (Width) 을 가진 신경망에서 가중치와 편향의 분포가 기울기 (Gradient) 의 전파를 어떻게 결정하는지 분석합니다. 기울기가 사라지는 (Vanishing) 상태와 폭발하는 (Exploding) 상태 사이의 최적 경계인 **카오스 가장자리 (Edge of Chaos, EOC)**를 학습에 가장 유리한 조건으로 제시합니다.
• 초기 추측 편향 (IGB): 데이터에 노출되기 전, 무작위 초기화된 네트워크가 특정 클래스로 편향되어 예측하는 현상을 설명합니다. 즉, 네트워크가 중립적 (Neutral) 인 상태가 아니라 특정 클래스를 선호하는 편향 (Prejudice) 상태를 가질 수 있음을 지적했습니다.

핵심 질문: 학습에 최적화된 조건 (EOC) 이 과연 편향이 없는 중립적인 상태인가, 아니면 특정 편향을 가진 상태인가? 기존 연구 (Francazi et al., 2024) 는 중립적인 초기화가 동역학적으로 더 유리할 것이라고 가정했으나, 이는 검증되지 않았습니다.

2. 방법론 (Methodology)

저자들은 MF 이론과 IGB 프레임워크를 수학적으로 동치 (Equivalence) 임을 증명하고 통합된 이론을 구축했습니다.

• 이론적 연결 (Theorem 3.1): 무한 폭과 무한 데이터 극한에서 MF 이론의 신호 공분산 (Signal Covariance) 과 분산이 IGB 프레임워크의 편향 중심 분산 (Centers Variance) 및 신호 분산과 일치함을 증명했습니다.
  • MF 의 상관 계수 $c$와 IGB 의 활성화 드리프트 비율 $\gamma$는 $c = \frac{\gamma}{1+\gamma}$ 관계로 연결됩니다.
  • 이를 통해 MF 의 위상 다이어그램 (Phase Diagram) 을 IGB 의 '편향 (Prejudice)'과 '중립 (Neutrality)' 개념으로 재해석할 수 있게 되었습니다.
• 확장된 분석:
  • 0 이 아닌 편향 (Bias) 항을 포함한 IGB 프레임워크를 확장했습니다.
  • ReLU, Tanh 등 다양한 활성화 함수와 MaxPool, AveragePool 과 같은 다중 노드 활성화 함수 (Pooling layers) 에 대한 위상 다이어그램을 정밀하게 분석했습니다.
• 실험적 검증: MLP, Residual MLP, Vision Transformer (ViT) 등 다양한 아키텍처를 이진 분류 및 다중 클래스 분류 태스크 (Fashion MNIST, CIFAR-10/100) 에서 훈련하여 이론적 예측을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 학습 가능성과 편향의 연결: 학습에 최적화된 초기 조건 (EOC) 이 **중립적 (Neutral)**인 상태가 아니라, 일시적인 심층 편향 (Transient Deep Prejudice) 상태임을 이론적으로 증명했습니다.
2. EOC 의 재정의:
   • 질서 위상 (Ordered Phase): 기울기가 사라지며 초기 편향이 영구적으로 유지됨 (Persistent Deep Prejudice). 학습이 어렵습니다.
   • 카오스 위상 (Chaotic Phase): 기울기가 폭발하거나 불안정함. 편향이나 중립 상태가 될 수 있으나 학습이 불안정합니다.
   • EOC (Edge of Chaos): 기울기가 안정적이며, 초기의 강한 편향이 학습 초기 단계에서 빠르게 흡수 (Reabsorbed) 되는 일시적 심층 편향 상태입니다.
3. ReLU 에 대한 새로운 통찰: 기존 이론과 달리, ReLU 네트워크의 경우 전체 위상 다이어그램에서 상관 계수가 1 로 수렴하여 항상 '심층 편향' 상태임을 보였습니다. 다만, 기울기 안정성에 따라 '질서적 심층 편향'과 '카오스적 심층 편향'으로 구분됩니다.
4. 클래스별 기울기 불균형: 초기 편향으로 인해 특정 클래스 (선호 클래스) 의 기울기는 0 에 수렴하거나 매우 작아지고, 다른 클래스의 기울기는 폭발할 수 있음을 발견했습니다. 이는 학습 속도와 품질에 치명적인 영향을 미칩니다.

4. 결과 (Results)

• 이론적 일치: MF 이론으로 계산된 상관 계수와 IGB 프레임워크로 계산된 값이 넓은 네트워크에서 거의 완벽하게 일치함을 확인했습니다 (Fig 2).
• 학습 동역학:
  • EOC (편향 상태): 초기에는 특정 클래스로 크게 편향되어 있지만, 학습이 시작되면 이 편향이 빠르게 사라지며 가장 빠른 학습 속도와 높은 정확도를 보입니다 (Fig 5).
  • 중립 상태: 초기 편향이 없어 보이지만, 실제로는 학습 동역학이 느리고 최적의 성능을 내지 못합니다.
  • 카오스/질서 상태: 기울기 불안정성이나 소실로 인해 학습이 실패하거나 매우 느립니다.
• 실제 아키텍처 적용: ResNet, ViT 등 실제 모델에서도 초기 가중치 스케일링을 통해 EOC 를 찾으면 편향이 빠르게 흡수되며 성능이 향상됨을 확인했습니다. 특히 사전 학습된 (Pre-trained) 모델에서도 유사한 현상이 관찰되었습니다.

5. 의의 및 시사점 (Significance & Practical Takeaways)

1. 초기화 전략의 패러다임 전환: "중립적인 초기화 (Neutral Initialization)"가 이상적이라는 통념을 깨뜨렸습니다. 오히려 **체계적인 편향 (Systematic Bias)**을 가진 초기화가 학습 가능성을 보장하며, 이 편향은 학습 과정에서 자연스럽게 제거됩니다.
2. 하이퍼파라미터 튜닝의 효율성: EOC 부근의 초기화를 찾으면, 편향을 흡수하는 시간이 짧아지므로 짧은 훈련 시간으로도 모델의 성능을 정확히 평가할 수 있습니다.
3. 학습 불안정성의 원인 규명: 기울기 폭발 (Gradient Exploding) 이 모든 클래스에서 동시에 발생하는 것이 아니라, 특정 클래스에 국한되어 발생하여 클래스 간 기울기 불균형을 초래함을 밝혔습니다. 이는 학습 속도를 저하시키는 주요 원인입니다.
4. 이론적 통합: MF 이론과 IGB 이론을 통합함으로써, 신경망의 초기 상태가 데이터 분포와 무관하게 아키텍처와 초기화 파라미터에 의해 어떻게 결정되는지에 대한 포괄적인 이해를 제공했습니다.

결론적으로, 이 논문은 딥러닝의 초기화 이론에 있어 "편향 (Bias)"이 단순한 결함이 아니라, 학습 가능성을 위한 필수적인 요소이며, 최적의 학습 상태는 이 편향이 존재하지만 동역학적으로 안정된 상태임을 규명했습니다.