Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks

이 논문은 손실 지형의 곡률 변화와 최적화 과정의 노이즈가 상호작용하여 생성되는 엔트로피 장벽이, 낮은 손실 경로를 연결하면서도 최적화 동역학이 특정 Basin 에 국한되게 하는 모순을 해결한다고 설명합니다.

핵심

이 논문은 **"왜 인공지능 (신경망) 이 학습을 마친 후에도, 더 좋은 답을 찾아 헤매지 않고 특정 곳에 머물러 있는가?"**라는 흥미로운 질문에 답합니다.

기존에는 "학습된 두 개의 좋은 해답 (최소점) 사이에는 손실 (오차) 이 거의 없는 평탄한 길이 연결되어 있다"는 것이 알려져 있었습니다. 마치 두 개의 깊은 우물이 넓은 평지로 연결되어 있는 것처럼 말이죠. 그렇다면 인공지능은 이 평지를 따라 자유롭게 이동하며 더 나은 해답을 찾아야 할 것 같은데, 실제로는 어떤 우물에서 빠져나오지 않고 그 우물 안에만 갇혀 있습니다.

이 논문은 그 비밀을 **'엔트로피 (무질서도) 장벽'**과 **'곡률 (굽힘)'**이라는 개념으로 설명합니다.

---

🌟 핵심 비유: "매끄러운 산책로와 바람"

이 복잡한 개념을 이해하기 위해 산책로와 바람을 이용해 설명해 보겠습니다.

1. 평평해 보이는 산책로 (손실 지형)

두 개의 깊은 우물 (최적의 해답) 사이에는 손실 (오차) 이 거의 없는 매끄러운 산책로가 있습니다. 이론적으로는 이 길을 따라 걸어가면 에너지 (손실) 를 거의 쓰지 않고 이동할 수 있습니다.

2. 하지만 길은 '굽이'가 있습니다 (곡률의 변화)

문제는 이 산책로가 정말로 평평한 것이 아니라는 점입니다.

• 우물 끝 (최적점): 길의 양쪽 끝은 아주 넓고 평평합니다. (곡률이 낮음)
• 길의 중간: 두 우물 사이로 갈수록 길은 점점 좁아지고, 구불구불해지며, 가파르게 변합니다. (곡률이 높아짐)

3. 보이지 않는 바람 (엔트로피 힘)

이제 여기에 **'바람'**이 불어옵니다. 이 바람은 인공지능 학습 과정에서 발생하는 **'노이즈 (무작위성)'**입니다.

• 넓고 평평한 곳 (우물 끝): 바람이 불어도 사람이 쉽게 넘어지지 않고 안정적으로 서 있을 수 있습니다.
• 좁고 구불구불한 곳 (길 중간): 바람이 조금만 불어도 사람이 쉽게 넘어지거나, 길 밖으로 튕겨 나갑니다.

핵심 메커니즘:
인공지능 (학습 알고리즘) 은 이 바람 (노이즈) 을 받으며 움직입니다.

• 길 중간 (좁은 곳) 에 있으면, 바람에 의해 쉽게 밀려납니다.
• 하지만 바람이 밀어내는 방향은 **반드시 더 넓고 평평한 곳 (우물 끝)**으로 향합니다.
• 결과적으로, 인공지능은 손실이 낮아 보이는 길 중간을 지나가는 대신, 바람에 밀려 다시 원래 있던 우물 끝으로 되돌아갑니다.

이것이 바로 논문이 말하는 **"엔트로피 장벽"**입니다. 에너지 (손실) 로는 장벽이 없어도, 무질서도 (노이즈) 와 길의 모양 (곡률) 이 만들어내는 보이지 않는 장벽 때문에 인공지능은 다른 해답으로 이동하지 못하고 특정 우물 안에 갇히게 됩니다.

---

🔍 이 논문이 밝혀낸 3 가지 놀라운 사실

1. 보이지 않는 장벽: 두 해답 사이가 손실 면에서 평평해 보여도, 실제로는 '굽힘'이 심한 구간이 있어 인공지능이 통과하기 어렵게 만듭니다.
2. 바람이 강할수록 더 잘 갇힌다: 학습할 때 사용하는 데이터 양 (미니배치) 이 적거나, 학습 속도가 빠를수록 '바람 (노이즈)'이 강해집니다. 놀랍게도 노이즈가 강할수록 인공지능은 이 엔트로피 장벽을 더 강하게 느끼고, 더 단단하게 우물 안에 갇히게 됩니다. (마치 바람이 세게 불면 좁은 길보다는 넓은 광장에 머무르려는 것과 같습니다.)
3. 학습 후반부의 비밀: 학습 초기에는 에너지 (손실) 가 낮아지는 방향으로 이동하지만, 학습이 거의 끝날 무렵에는 이 '엔트로피 장벽'이 더 중요한 역할을 합니다. 그래서 학습이 끝난 후의 해답이 정확히 어디에 위치하는지는 이 장벽이 결정합니다.

---

💡 왜 이것이 중요한가요?

이 발견은 인공지능이 왜 **좋은 성능 (일반화)**을 내면서도 **과적합 (데이터만 외우는 것)**을 하지 않는지 설명해 줄 수 있습니다.

• 과적합된 해답은 아마도 좁고 불안정한 우물 (곡률이 높은 곳) 에 있을 것입니다.
• 좋은 해답은 넓고 평평한 우물 (곡률이 낮은 곳) 에 있습니다.
• 학습 과정에서 발생하는 '바람 (노이즈)'은 인공지능을 좁은 우물에서 밀어내고, 넓은 우물로 보내는 역할을 합니다.

즉, 인공지능이 단순히 '오차'만 줄이는 것이 아니라, 바람에 밀려 '넓고 안전한 곳'으로 자연스럽게 이동하기 때문에 우리가 믿을 수 있는 좋은 모델을 얻을 수 있다는 것입니다.

📝 한 줄 요약

"인공지능은 두 좋은 해답 사이를 잇는 평평한 길이 있어도, 그 길 중간이 '좁고 불안정'해서 바람 (노이즈) 에 밀려 다시 원래 자리로 돌아갑니다. 이 보이지 않는 '엔트로피 장벽' 덕분에 인공지능은 안정적인 해답을 찾게 됩니다."

기술 요약

논문 요약: 과매개화 신경망에서의 엔트로피적 가둠과 모드 연결성 (ENTROPIC CONFINEMENT AND MODE CONNECTIVITY IN OVERPARAMETERIZED NEURAL NETWORKS)

이 논문은 ICLR 2026 에 발표된 연구로, 현대 심층 신경망의 손실 지형 (loss landscape) 에서 관찰되는 역설적인 현상, 즉 '서로 다른 최소점 (minima) 이 낮은 손실 경로를 통해 연결되어 있음에도 불구하고, 최적화 과정이 중간 지점을 탐색하지 않고 특정 최소점에 갇히는 현상'을 해결합니다. 저자들은 이 현상의 원인을 **곡률 (curvature) 의 변화에 의해 발생하는 엔트로피적 장벽 (entropic barriers)**에서 찾았습니다.

1. 문제 제기 (Problem)

과매개화 (overparametrized) 된 신경망 훈련에서 다음과 같은 두 가지 상반된 관찰이 존재합니다:

1. 모드 연결성 (Mode Connectivity): 서로 다른 초기화나 훈련 경로를 통해 찾은 서로 다른 최소점들은 낮은 손실 (low-loss) 을 가진 경로로 연결되어 있어, 손실 지형이 매우 거칠지 않고 하나의 넓은 계곡 (valley) 을 형성하는 것으로 보입니다.
2. 국소화 (Confinement): 확률적 경사 하강법 (SGD) 을 사용한 최적화는 특정 최소점에 수렴하며, 이 연결 경로의 중간 지점을 거의 탐색하지 않습니다.

기존 연구들은 손실 (energy) 장벽이 낮기 때문에 모델이 자유롭게 이동할 수 있어야 함을 시사했으나, 실제로는 모델이 경로 중간으로 이동하지 못합니다. 이 논문은 손실은 낮을지라도 곡률의 변화가 생성하는 엔트로피적 힘이 모델을 양 끝단 (최소점) 으로 되돌리는 장벽으로 작용한다는 가설을 제시합니다.

2. 방법론 (Methodology)

저자들은 CIFAR-10 및 CIFAR-100 데이터셋에서 Wide ResNet 과 ResNet 아키텍처를 사용하여 실험을 수행했습니다.

• 최소 에너지 경로 (MEP) 추출: Draxler et al. (2018) 의 AutoNEB 알고리즘을 사용하여 서로 다른 최소점들을 연결하는 낮은 손실 경로를 생성했습니다.
• 곡률 측정: 경로 상의 곡률을 분석하기 위해 헤시안 (Hessian) 행렬의 최대 고유값 ($\lambda_{max}$) 과 트레이스 (Trace) 를 계산했습니다. 또한 피셔 정보 행렬 (Fisher Information Matrix) 을 활용하여 곡률 스펙트럼을 추정했습니다.
• 엔트로피적 힘의 측정:
  • MEP 상의 특정 지점에서 모델을 초기화하고, SGD 업데이트를 경로에 투영 (project) 하여 모델이 경로 상에서 어떻게 움직이는지 관찰했습니다.
  • 배치 크기 (batch size) 와 학습률 (learning rate) 을 변화시켜 '유효 온도 (effective temperature)'를 조절함으로써 엔트로피적 힘의 강도를 분석했습니다.
  • Frankle et al. (2020) 의 선형 모드 연결성 (Linear Mode Connectivity) 실험을 재현하여, 훈련 초기에 데이터를 공유하고 나중부터 분기 (splitting) 시킨 네트워크 쌍 간의 연결성을 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 곡률의 증가와 엔트로피적 장벽

• 곡률의 '불룩함 (Bump)': 최소점 (endpoints) 과 연결 경로의 중간 지점 사이에서 손실은 거의 일정하거나 오히려 낮지만, 곡률 (헤시안의 고유값) 은 경로 중간으로 갈수록 체계적으로 증가하는 것을 발견했습니다.
• 엔트로피적 힘의 작용: 통계물리학의 원리에 따르면, 노이즈가 있는 최적화 (SGD) 는 에너지 (손실) 만을 최소화하는 것이 아니라 자유 에너지 (에너지 - 엔트로피) 를 최소화하려 합니다. 곡률이 높은 (날카로운) 영역은 엔트로피가 낮고, 곡률이 낮은 (평평한) 영역은 엔트로피가 높습니다. 따라서 SGD 의 노이즈는 모델을 **곡률이 낮고 평평한 최소점 쪽으로 밀어내는 유효 힘 (엔트로피적 힘)**을 생성합니다.
• 결과: 모델이 경로 중간에 초기화되면, 손실이 증가함에도 불구하고 엔트로피적 힘에 의해 다시 최소점 쪽으로 밀려납니다.

3.2 노이즈 수준에 따른 의존성

• 배치 크기와 학습률: 엔트로피적 힘의 강도는 유효 온도에 비례합니다.
  • 배치 크기가 작을수록 (노이즈가 클수록) 엔트로피적 힘이 강해져 모델이 최소점으로 더 빠르게 회귀합니다.
  • 학습률이 클수록 역시 엔트로피적 힘이 강해집니다.
• 옵티마이저의 영향: Adam 및 모멘텀이 있는 SGD 와 같은 적응형 옵티마이저는 일반 SGD 보다 곡률 변화에 더 민감하게 반응하여 엔트로피적 힘의 효과가 더 두드러졌습니다.

3.3 훈련 시점별 중요도 (선형 모드 연결성 분석)

• 에너지 장벽 vs 엔트로피 장벽: 훈련 초기에는 에너지 장벽 (손실 차이) 이 주요한 역할을 하지만, 훈련이 진행될수록 (splitting epoch $k$가 커질수록) 에너지 장벽은 사라지지만 곡률에 기반한 엔트로피적 장벽은 오랫동안 유지됩니다.
• 후기 훈련의 국소화: 이는 모델이 훈련 후반부에 특정 영역에 국소화되는 결정적 요인이 엔트로피적 힘임을 시사합니다.

4. 의의 및 시사점 (Significance)

1. 손실 지형에 대한 새로운 관점: 최소점들이 낮은 손실 경로로 연결되어 있다는 사실은 맞지만, 엔트로피적 장벽 때문에 이 경로들은 실제로는 동적으로 단절된 (effectively disconnected) 것처럼 행동합니다. 이는 "하나의 거대한 계곡"이라는 기존 관념을 "곡률에 의해 분리된 여러 개의 평평한 영역"으로 정교화합니다.
2. 일반화 (Generalization) 메커니즘: SGD 가 과적합 (overfitting) 이 심한 날카로운 최소점이 아닌, 일반화 성능이 좋은 평평한 최소점을 찾게 되는 이유를 설명합니다. 엔트로피적 힘이 과적합 영역으로의 이동을 물리적으로 억제 (repel) 하기 때문입니다.
3. 모델 병합 (Model Merging) 및 가중치 평균화: Stochastic Weight Averaging (SWA) 과 같은 기법이 작동하는 방식에 대한 새로운 통찰을 제공합니다. 에너지적으로 연결되어 있어도 엔트로피적 장벽 때문에 단순한 확산 (diffusion) 으로 도달하기 어려운 영역일 수 있음을 시사하며, 평균화된 모델이 왜 우수한 일반화 성능을 보이는지 이해하는 데 기여합니다.
4. 최적화 역학의 이해: 최적화 알고리즘이 단순히 손실 함수의 기울기만 따르는 것이 아니라, 손실 지형의 기하학적 구조 (곡률) 와 노이즈의 상호작용에 의해 결정됨을 보여줍니다.

결론

이 논문은 과매개화 신경망의 최적화 과정에서 곡률의 변화가 생성하는 엔트로피적 장벽이 핵심적인 역할을 한다는 것을 증명했습니다. 이 장벽은 손실이 낮더라도 모델이 특정 최소점에 갇히게 하여, 결과적으로 모델의 일반화 성능과 최종 해의 안정성을 결정짓는 중요한 기제로 작용합니다. 이는 딥러닝의 손실 지형에 대한 이해를 에너지 중심에서 엔트로피와 기하학이 결합된 관점으로 확장시키는 중요한 연구입니다.