A Function-Centric Perspective on Flat and Sharp Minima

이 논문은 평탄한 최소값이 항상 일반화를 보장한다는 기존 관념에 도전하여, 정규화가 적절히 적용된 경우 날카로운 최소값이 오히려 우수한 성능, 강인성 및 보정을 나타낼 수 있음을 실증적으로 주장하지만, 작업 복잡성으로 인한 날카로움과 기억으로 인한 날카로움을 구분하는 문제는 여전히 해결되지 않은 과제로 남음을 밝힙니다.

핵심

이 논문은 딥러닝 (인공지능) 을 공부하는 사람들이 오랫동안 믿어온 하나의 '신화'를 깨뜨리는 흥미로운 연구입니다.

간단히 말해, **"AI 가 잘 작동하려면 학습된 결과가 '평평한' 곳에 있어야 한다"**는 기존 통념이 틀릴 수 있다는 것을 증명하고, 대신 **"어떤 일을 배우느냐에 따라 '뾰족한' 곳이 오히려 더 나을 수 있다"**는 새로운 관점을 제시합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 신화: "평평한 땅이 최고야!" (Flat Minima)

과거에 AI 연구자들은 AI 가 새로운 상황에서도 잘 작동하려면 (일반화), 학습이 끝난 지점이 **'평평한 분지'**에 있어야 한다고 믿었습니다.

• 비유: imagine you are walking in a foggy valley.
  • 평평한 분지 (Flat Minima): 넓은 평야처럼 바닥이 고른 곳입니다. 여기서 조금 발을 헛디디거나 바람이 불어도 (작은 변화) 쉽게 떨어지지 않고 안정적입니다. 연구자들은 AI 가 이 '넓은 평야'에 멈추면 실수할 확률이 적다고 생각했습니다.
  • 뾰족한 봉우리 (Sharp Minima): 바위 꼭대기처럼 뾰족한 곳입니다. 여기서 조금만 움직여도 아래로 굴러떨어집니다. 그래서 뾰족한 곳은 AI 가 데이터를 '외워버린' (기억만 하고 이해하지 못한) 나쁜 상태라고 여겼습니다.

2. 이 논문의 발견: "상황에 따라 뾰족한 게 더 나을 수도 있어!"

저자들은 이 신화를 뒤집었습니다. **"무조건 평평한 곳이 좋은 게 아니라, 배우려는 '문제'의 성격에 따라 최적의 모양이 다르다"**는 것입니다.

비유 1: 지도 그리기 (단일 목적 함수 실험)

• 평평한 문제: "전 세계의 평균 기온을 대략적으로 알려줘"라고 하면, 넓은 평야 (평평한 곳) 에 서 있는 게 좋습니다. 정확한 값이 조금 달라져도 큰 문제가 없으니까요.
• 뾰족한 문제: "이 복잡한 미로에서 정답을 찾아줘"라고 하면, 미로의 좁은 골목 (뾰족한 곳) 을 정확히 통과해야 합니다. 여기서 평평한 곳에 서 있으면 미로를 헤매게 됩니다.
• 결론: AI 가 배우는 함수 (문제) 가 복잡하고 정교할수록, 해답은 자연스럽게 뾰족한 곳에 위치하게 됩니다.

비유 2: 줄타기 (결정 경계 실험)

• 평평한 줄: 두 그룹 (예: 고양이 vs 개) 이 서로 멀리 떨어져 있으면, 줄을 넓게 쳐도 구분하기 쉽습니다. (평평한 최소값)
• 뾰족한 줄: 두 그룹이 서로 엉켜서 매우 가깝게 붙어 있으면, 아주 정교하고 좁은 줄 (뾰족한 최소값) 을 그려야만 정확히 구분할 수 있습니다.
• 핵심: 뾰족한 줄을 그리는 것은 AI 가 데이터를 '외운' 것이 아니라, 매우 정교하게 구분하는 능력을 배운 것일 수 있습니다.

3. 실험 결과: "규칙을 지키면 (Regularization), 오히려 뾰족해져서 더 잘해!"

연구자들은 실제 AI 모델 (이미지 인식 등) 에 다양한 훈련 규칙 (가중치 감소, 데이터 증강 등) 을 적용해 보았습니다.

• 기존 생각: 규칙을 적용하면 AI 가 더 '평평한' 곳에 가서 안정적일 거야.
• 실제 결과: 규칙을 적용한 AI 들은 오히려 더 뾰족한 곳에 멈췄지만, 정확도, 신뢰도, 외부 공격에 대한 저항력이 훨씬 더 뛰어났습니다.

왜 그럴까요?
규칙을 적용하면 AI 는 더 복잡한 패턴을 배우게 됩니다. 복잡한 패턴을 표현하려면 좁고 정교한 공간 (뾰족한 최소값) 이 필요하기 때문입니다. 마치 정교한 조각상을 만들려면 넓은 평야보다는 정밀한 공방 (뾰족한 곳) 이 필요한 것과 같습니다.

저자는 이를 "Butter Knife vs. Scalpel" (버터 나이프 vs. 외과용 메스) 비유로 설명합니다.

• 버터 나이프 (평평한 곳): 두꺼운 빵을 부드럽게 바르기에 좋지만, 정교한 수술에는 쓸모가 없습니다.
• 외과용 메스 (뾰족한 곳): 아주 정밀하고 날카로운 작업이 필요할 때 필수적입니다.
  이 논문은 **"복잡한 문제를 해결하려면, 때로는 버터 나이프가 아니라 날카로운 메스가 필요할 수 있다"**는 것입니다.

4. 결론: "뾰족하다고 해서 무조건 나쁜 건 아니야"

이 논문의 핵심 메시지는 다음과 같습니다.

1. 형편없는 외우기 vs 정교한 이해: 뾰족한 곳이 항상 '외워서 망한' 상태는 아닙니다. 오히려 복잡하고 정교한 문제를 잘 해결하기 위해 필요한 상태일 수 있습니다. 다만, 뾰족함이 항상 좋은 것만은 아니며, 여전히 '외우기 (Memorization)'와 함께 나타날 수도 있습니다. 중요한 것은 뾰족함이 '기억'의 확실한 지표가 될 수 없다는 점입니다.
2. 상황이 중요: 어떤 문제를 풀고 있느냐에 따라 '평평한 것'이 좋은지 '뾰족한 것'이 좋은지가 결정됩니다. (우리가 '골디락스 존'이라고 부르는 딱 좋은 지점은 문제마다 다릅니다.)
3. 새로운 관점: AI 의 성능을 볼 때, 단순히 "평평한가?"만 보지 말고, **"배운 함수가 얼마나 복잡한가?"**를 함께 봐야 합니다.

요약

기존에는 AI 가 **넓은 평야 (Flat)**에 멈추는 것이 최고의 상태라고 생각했습니다. 하지만 이 논문은 **"복잡한 미로나 좁은 줄타기 같은 어려운 문제를 풀 때는, 오히려 뾰족한 봉우리 (Sharp) 에 정확히 멈추는 AI 가 더 똑똑하고 신뢰할 만하다"**고 말합니다.

즉, AI 의 모양 (기하학) 을 볼 때는 무조건 '평평함'을 쫓지 말고, 그 모양이 배우는 '문제'에 얼마나 잘 맞는지를 봐야 한다는 것입니다.

---

Rubber Band vs. Steel Wire: 뾰족함의 재해석

기존의 통념은 AI 가 학습된 공간에서 "고무줄처럼 탄력 있고 넓은 곳 (Flat)"에 있어야 안전하다고 보았습니다. 하지만 이 논문은 **"복잡한 문제에서는 오히려 강철 와이어처럼 뾰족하고 정밀한 곳 (Sharp)"이 더 적합할 수 있다"**는 새로운 관점을 제시합니다.

"뾰족함 (Sharpness) 이 반드시 '기억 (Memorization)'을 의미하는 것은 아닙니다. 오히려 정교한 결정 경계를 위해 필요한 구조적 복잡성의 결과일 수 있습니다."

하지만 여기서 중요한 주의점이 있습니다. 이 논문이 뾰족함을 무조건 '좋은 것'으로만 규정하는 것은 아닙니다. 뾰족한 상태가 여전히 '기억' (Memorization) 을 반영할 수도 있습니다. 즉, 뾰족함 그 자체만으로는 AI 가 문제를 '이해'했는지, 아니면 단순히 '외웠'는지 구분할 수 있는 신뢰할 수 있는 신호 (Reliable Signal) 가 될 수 없습니다. 뾰족함은 상황에 따라 '정교한 이해'의 증거가 될 수도 있고, '단순한 암기'의 증거가 될 수도 있는 양면성을 가집니다.

Takeaway: 핵심 교훈

• 뾰족함은 항상 나쁜 것은 아닙니다 — 때로는 필수적인 기능입니다. (Sharpness is not always a bug — sometimes it's a feature.)
• 문제의 복잡도가 답을 결정합니다. 평평한 곳이 좋은지 뾰족한 곳이 좋은지는 배우는 문제의 난이도와 성격에 따라 달라집니다.
• 단순한 규칙은 더 이상 통하지 않습니다. "뾰족하면 무조건 나쁘다"는 옛날 규칙은 버려야 합니다. 대신 "이 뾰족함이 어떤 맥락에서 발생했는가?"를 질문해야 합니다.

5. 의의 및 시사점 (Significance and Implications)

이 연구는 AI 학습의 기하학적 특성에 대한 이해를 근본적으로 바꿉니다.

• 뾰족함과 기억의 재해석: 뾰족함 (Sharpness) 이 반드시 데이터 '기억 (Memorization)'을 의미하는 것은 아닙니다. 오히려 **정교한 결정 경계 (Tight Decision Boundaries)**나 완벽한 일반화를 위해 필요한 구조적 복잡성에서 비롯될 수 있음을 보여줍니다. 즉, 뾰족함은 '기억'의 **신뢰할 수 있는 지표 (Reliable Indicator)**가 될 수 없습니다. 하지만 반대로, 뾰족함이 여전히 기억 현상과 공존할 수도 있다는 점을 완전히 배제할 수는 없습니다.
• 실용적 한계와 미해결 과제: 이 논문은 뾰족함이 '기억'인지 '복잡한 일반화'인지를 구분하는 새로운 관점을 제시하지만, 실제 상황에서 언제 뾰족함이 기억을 반영하고 언제는 정당한 함수 복잡성을 반영하는지 식별하는 방법은 여전히 **열린 실용적 질문 (Open Practical Question)**으로 남아 있습니다. 즉, 논문은 문제를 재정의했지만, 두 경우를 실용적으로 구분해내는 진단 도구를 제공하지는 않았습니다.
• 미래 방향: 따라서 향후 연구는 단순히 평평함을 추구하는 것을 넘어, 학습된 모델이 직면한 문제의 복잡성과 뾰족함 사이의 관계를 정량화하고, 기억과 일반화를 구분할 수 있는 새로운 기준을 마련하는 데 초점을 맞춰야 합니다.

최종 결론

이 논문의 핵심은 **"뾰족함 (Sharpness) 을 무조건 제거해야 할 결함으로 간주해서는 안 된다"**는 것입니다. 뾰족함은 복잡하고 잘 일반화된 해법의 특징일 수 있지만, 동시에 여전히 기억 (Memorization) 을 반영할 수도 있습니다.

현재로서는 실제 상황에서 이 두 가지 경우를 어떻게 구분할 것인지는 여전히 해결되지 않은 과제로 남아 있습니다. 이 논문은 "뾰족함 = 나쁨"이라는 단순한 규칙이 너무 단순했다는 것을 보여줬을 뿐, "뾰족함 = 기억"인지 "뾰족함 = 정교함"인지 구분하는 완성된 새로운 규칙을 제시하지는 않았습니다. 따라서 AI 개발자는 뾰족함 자체를 나쁘다고 단정하기보다, 그것이 어떤 맥락에서 발생했는지 신중하게 평가해야 합니다.

기술 요약

이 논문은 딥러닝에서 **평평한 최소값 (Flat Minima) 과 날카로운 최소값 (Sharp Minima)**의 역할에 대한 기존의 통념을 재검토하고, 이를 **함수 중심적 관점 (Function-Centric Perspective)**에서 재해석하는 것을 목표로 합니다.

기존 연구들은 일반적으로 평평한 최소값이 일반화 성능 (Generalization) 이 뛰어나다고 보았으나, 최근 연구들은 이 관계가 단순하지 않으며 재매개변수화 (Reparameterization) 에 따라 날카로움이 임의로 변할 수 있음을 지적했습니다. 본 논문은 날카로움이 반드시 나쁜 일반화를 의미하는 것이 아니라, **학습된 함수의 복잡성 (Function Complexity)**과 **모델의 귀납적 편향 (Inductive Bias)**에 따라 해석되어야 한다고 주장합니다.

다음은 논문의 상세 기술 요약입니다.

---

1. 문제 제기 (Problem Statement)

• 기존 통념의 한계: 딥러닝 커뮤니티에서는 평평한 최소값 (Flat Minima) 이 넓은 오차 마진과 높은 강건성을 의미하여 일반화 성능이 좋다고 믿어 왔습니다. 반면, 날카로운 최소값 (Sharp Minima) 은 과적합 (Overfitting) 이나 암기 (Memorization) 의 징후로 간주되었습니다.
• 모순된 증거: Dinh et al. (2017) 은 재매개변수화를 통해 최소값의 날카로움을 임의로 조절할 수 있음을 보였으며, 이는 날카로움이 본질적인 일반화 지표가 아님을 시사했습니다. 또한, 정규화 기법 (Regularization) 을 적용한 모델들이 오히려 더 날카로운 최소값에 수렴하면서도 더 좋은 성능을 보이는 경우가 많아, '평평함 = 좋음'이라는 가정이 의문시되고 있습니다.
• 핵심 질문: 날카로움은 단순히 일반화 실패를 나타내는가, 아니면 학습된 함수의 복잡성과 구조적 특성을 반영하는 것일까?

2. 방법론 (Methodology)

저자들은 단일 목적 함수 최적화부터 고차원 이미지 분류에 이르기까지 다양한 실험을 통해 가설을 검증했습니다.

2.1 실험 설정

• 제어된 단일 목적 최적화 (Single-Objective Optimization): Himmelblau, Sphere, Rosenbrock 등 7 가지 표준 최적화 문제를 사용하여, 목표 함수의 기하학적 특성이 최소값의 평평함/날카로움에 어떻게 영향을 미치는지 분석했습니다.
• 비선형 이진 분류 (Synthetic Non-linear Binary Classification): 'Make Circles' 데이터셋을 사용하여 결정 경계 (Decision Boundary) 의 밀집도 (Tightness) 를 조절했습니다.
  • 레이블을 무작위화하여 암기를 유도하는 경우와, 클래스 간 거리를 줄여 결정 경계를 정교하게 만드는 경우를 비교했습니다.
• 고차원 이미지 분류 (High-Dimensional Vision Tasks): CIFAR-10, CIFAR-100, Tiny ImageNet 데이터셋에서 ResNet, VGG, ViT 아키텍처를 훈련시켰습니다.
  • 비교 조건: 베이스라인 (Regularization 없음) vs. 정규화 적용 (Weight Decay, Data Augmentation, SAM).
  • 통제 변수: 10 개의 매칭된 시드 (Matched Seeds) 를 사용하여 초기화 및 데이터 순서를 동일하게 유지하여 공정한 비교를 수행했습니다.

2.2 평가 지표

• 날카로움 지표 (Sharpness Metrics): 재매개변수화 불변 (Reparameterisation-invariant) 지표를 사용했습니다.
  • Fisher-Rao Norm: 정보 기하학을 기반으로 한 모델 복잡도 측정.
  • Relative Flatness: Hessian 블록의 트레이스를 기반으로 한 지표.
  • SAM-Sharpness: SAM 최적화 시의 국소적 손실 변화율.
• 신뢰성 관련 지표 (Reliability-Related Metrics):
  • Calibration (ECE): 예측 확신도와 정확도의 일치도.
  • Robustness (Corruption Accuracy): CIFAR-C, Tiny ImageNet-C 와 같은 일반적인 왜곡에 대한 강건성.
  • Functional Consistency (Prediction Disagreement): 동일한 데이터로 훈련된 여러 모델 간의 예측 일치도.

3. 주요 기여 (Key Contributions)

1. 함수 중심적 날카로움 해석: 최소값의 기하학적 구조는 일반화 성능의 보편적 지표가 아니라, 학습된 함수의 복잡성을 반영한다는 관점을 제시했습니다.
2. 날카로움과 암기 간의 관계 재정의: 날카로움이 항상 암기 (Memorization) 를 의미하는 것은 아니며, **완벽한 일반화를 달성한 정교한 결정 경계 (Tight Decision Boundaries)**와 같은 합법적인 구조적 복잡성에서도 발생할 수 있음을 입증했습니다. 이는 날카로움이 암기의 신뢰할 수 있는 지표 (Reliable Indicator) 가 아님을 보여주지만, 특정 상황에서는 여전히 암기와 공존할 수 있음을 시사합니다.
3. SAM 의 재해석: SAM(SAM) 이 국소적 강건성을 증진시키지만, 반드시 전역적으로 평평한 최소값을 찾는 것은 아니며, 오히려 더 복잡하고 구조화된 함수를 학습하게 함으로써 날카로운 최소값을 생성할 수 있음을 보였습니다.
4. 보편적 "골디락스 존"의 부재: 아키텍처, 데이터셋, 학습 조건에 따라 최적의 날카로움 수준이 다르며, 단순히 "평평한 것"이 항상 최선이라는 보편적 규칙은 존재하지 않음을 강조했습니다.

4. 주요 결과 (Key Results)

4.1 단일 목적 최적화 및 결정 경계 실험

• 함수 복잡성과 기하학: Sphere 함수와 같이 단순한 함수는 평평한 전역 최소값을 가지지만, Rosenbrock 과 같이 복잡한 함수는 본질적으로 날카로운 전역 최소값을 가집니다. 이는 최적해의 기하학이 함수의 복잡성에 의해 결정됨을 의미합니다.
• 결정 경계의 밀집도: 결정 경계를 매우 좁게 (Tight) 만들 경우, 모델은 완벽한 일반화 (100% 정확도) 를 달성함에도 불구하고 날카로운 최소값에 도달합니다. 이는 날카로움이 반드시 암기 (Memorization) 를 의미하는 것이 아니라, 복잡하고 정교한 결정 경계 구조를 반영할 수 있음을 보여줍니다.

4.2 고차원 이미지 분류 실험

• 정규화 vs. 날카로움:
  • 베이스라인: 가장 평평한 최소값에 수렴했으나, 일반화 갭이 크고 신뢰성 지표 (ECE, Corruption Accuracy 등) 가 낮았습니다.
  • 정규화 적용 (Augmentation, WD, SAM): 베이스라인보다 훨씬 더 날카로운 최소값에 수렴했으나, 테스트 정확도, 보정 오차, 강건성, 기능적 일관성 등 모든 면에서 베스트 성능을 기록했습니다.
  • 통계적 유의성: Wilcoxon 부호 순위 검정을 통해 정규화 모델이 베이스라인보다 날카로움과 성능 모두에서 통계적으로 유의미하게 우세함을 확인했습니다.
• SAM 의 역할: SAM 은 국소적 영역에서의 손실 변화를 최소화하도록 설계되었으나, 결과적으로 학습된 함수의 복잡도를 높여 전역적으로는 날카로운 최소값을 형성하면서도 성능을 향상시켰습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 연구는 딥러닝의 기하학적 해석에 대한 패러다임 전환을 요구합니다.

• 기하학의 재해석: 최소값의 평평함/날카로움은 모델이 "얼마나 잘 일반화하는가"의 직접적인 지표가 아니라, **"학습된 함수가 얼마나 복잡한가"**를 나타내는 지표로 재해석되어야 합니다.
• 정규화의 본질: 정규화 기법들은 모델을 단순히 평평한 영역으로 이동시키는 것이 아니라, 더 구조화되고 제약이 강한 (Tightly Constrained) 함수를 학습하도록 유도하여, 이는 기하학적으로는 날카로운 최소값으로 나타나지만 더 나은 일반화와 신뢰성을 가져옵니다.
• 실무적 함의: 모델의 신뢰성 (Robustness, Calibration) 을 높이기 위해 무조건 평평한 최소값을 추구하기보다는, 학습 과제의 복잡성과 모델의 귀납적 편향을 고려하여 적절한 날카로움을 허용하는 것이 중요함을 시사합니다.
• 열린 과제: 그러나 어떤 상황에서 날카로움이 암기를 반영하고, 어떤 상황에서 합법적인 함수 복잡성을 반영하는지를 식별하는 것은 여전히 **실용적인 미해결 문제 (Open Practical Question)**로 남아 있습니다. 본 논문은 문제를 재정의하고 해석의 틀을 바꾸었지만, 두 경우를 실제 환경에서 구분해 내는 진단 도구를 제공하지는 않았습니다.

결론적으로, 저자들은 **"날카로운 최소값은 자동으로 결함으로 간주되어서는 안 되며, 복잡한 함수를 정확하게 표현하는 잘 일반화된 해의 특성일 수 있지만, 동시에 일부 경우에는 암기를 반영할 수도 있다"**는 함수 중심적 관점을 제시합니다. 또한, 두 경우를 실제 응용에서 구별하는 것은 여전히 해결되지 않은 과제로 남아있음을 강조하며, 딥러닝 이론과 실습에서 기하학적 직관의 재평가를 촉구합니다.