📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

본 논문은 손실 함수의 최소값 레벨 세트에서 재매개변수화 불변 해를 정확히 샘플링하기 위해 운동 에너지, 중력 인력, 마찰을 활용하는 소산 리만 역학 기반 샘플러인 DiMS 를 소개함으로써 기존 방법보다 베이지안 추론의 불확실성 정량화를 개선한다.

원저자: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"돈 스톱 미 예트: 디시피티브 리만 역학을 통한 손실 최소점 샘플링" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어냅니다.

큰 그림: "계곡 바닥" 찾기

AI 의 일종인 신경망을 훈련시켜 문제를 해결한다고 상상해 보세요. 훈련 과정은 광활하고 산악 지형 같은 곳에서 가장 낮은 지점을 찾는 것과 같습니다. 지형의 높이는 모델의 "오차"나 "손실"을 나타냅니다. 낮아질수록 모델의 성능은 좋아집니다.

과거에는 하나의 낮은 지점 (단일 해법) 을 찾자마자 훈련을 중단했습니다. 그러나 이 논문의 저자들은 중요한 사실을 지적합니다. 현대의 복잡한 AI 모델에서 계곡의 "바닥"은 단순히 하나의 점이 아닙니다. 그것은 거대하고 평평하며 연결된 바닥입니다. 훈련 데이터에서 완벽한 점수를 내는 모델의 내부 설정 (매개변수) 을 배열하는 수백만 가지의 서로 다른 방법이 존재합니다.

문제는 대부분의 방법이 다음 중 하나에 해당한다는 점입니다:

낮은 지역을 무작위로 헤매지만 완벽한 바닥을 놓칠 수 있습니다.
한 작은 지점에 갇혀 바닥의 나머지 부분을 탐색하지 못합니다.

이 논문은 이 전체 "완벽한 바닥"을 효율적으로 탐색하기 위한 새로운 방법인 DIMS(Dissipative Minima Sampler, 소산 최소점 샘플러) 를 소개합니다.

비유: 마찰력 공

DIMS 가 어떻게 작동하는지 이해하기 위해 이 지형 위를 구르는 구슬을 상상해 보세요.

1. 구식 방법 (측지선):
완벽하게 마찰이 없는 표면 위를 구르는 구슬을 상상해 보세요. 밀어주면 구슬은 영원히 구르며 계곡을 오가며 튕겨 다닙니다. 결코 멈추지 않습니다. 영역을 탐색하지만, 살펴볼 구체적인 "답"을 제시하기 위해 정착하지는 않습니다. 특정 해법을 샘플링하는 데는 너무 혼란스럽습니다.

2. 새로운 방법 (DIMS):
저자들은 구슬을 굴리는 더 똑똑한 방법을 제안합니다. 두 가지 새로운 힘을 도입합니다:

중력: 구슬을 가능한 가장 낮은 지점 (최소 손실) 으로 끌어당깁니다.
마찰력 (비밀 재료): 이것이 핵심입니다. 구슬이 굴러갈 때 마찰력이 서서히 에너지를 빼앗아 갑니다.

여기서 마법이 일어납니다. 마찰력은 일정하지 않습니다. 속도에 의존합니다.

구슬이 빠르게 굴러갈 때 (높은 에너지), 마찰력은 강해져서 빠르게 속도를 늦춥니다.
구슬이 천천히 굴러갈 때, 마찰력은 부드럽습니다.

결과:
알려진 좋은 지점에서 구슬을 시작합니다. 무작위 "킥"(초기 속도) 을 가합니다. 구슬은 지형을 돌아다니며 탐색합니다. 마찰력 때문에 결국 모든 에너지를 잃고 완전히 멈춥니다. 중요한 것은 시스템의 물리 법칙 때문에 구슬이 항상 최소 손실의 평평한 "바닥"에 정확히 멈춘다는 점입니다.

구슬은 경사면 중간에 멈추지 않습니다. 모델이 완벽해지는 지점에 정확히 멈춥니다. 초기 킥의 방향을 바꾸면 구슬을 그 완벽한 바닥의 다른 지점에 멈추게 할 수 있어, 다양한 완벽한 해법 세트를 얻을 수 있습니다.

왜 이것이 중요한가? (불확실성)

왜 모두 완벽한 점수를 내는 다양한 해법을 원할까요?

AI(학생) 에게 10 장의 사진을 이용해 고양이를 인식하도록 가르친다고 상상해 보세요.

해법 A는 배웁니다: "고양이는 뾰족한 귀를 가졌다."
해법 B는 배웁니다: "고양이는 수염을 가졌다."
해법 C는 배웁니다: "고양이는 꼬리를 가졌다."

세 학생 모두 그 10 장의 사진으로 100 점 만점을 받습니다. 하지만 개 사진이 주어지면 의견이 갈릴 수 있습니다.

학생 A 는 뾰족한 귀 때문에 개를 고양이로 생각할 수 있습니다.
학생 B 는 수염이 없기 때문에 그것이 고양이가 아니라고 올바르게 말할 수 있습니다.

오직 한 명의 학생만 선택한다면 (구식 방법), AI 가 확신하는지 아니면 운이 좋은지 알 수 없습니다. 하지만 DIMS를 사용하여 여러 다른 "완벽한" 학생들을 생성하면, 그들이 어디에서 동의하고 어디에서 이견을 보이는지 볼 수 있습니다.

새로운 이미지에 대해 모두 동의하면 AI 는 확신합니다.
극단적으로 이견이 크다면 AI 는 불확실합니다.

이것은 안전에 필수적입니다. AI 가 자동차를 운전한다면, 절벽으로 떨어지기 전에 확신이 없을 때 속도를 줄일 수 있도록 불확실성을 인지하기를 원합니다.

마법 뒤의 "물리학"

이 논문은 몇 가지 화려한 수학 용어를 사용하지만, 이는 우리의 구슬 비유와 직접적으로 연결됩니다:

리만 역학: 평평한 바닥이 아닌 (AI 의 오차 지형인) 곡면 위에서 구슬이 어떻게 움직이는지를 설명하는 수학입니다.
소산 (Dissipative): "에너지를 잃는" 것을 의미합니다. 마찰력 항은 구슬이 영원히 튕기지 않고 정착하도록 보장합니다.
재매개변수화 불변성: 구슬이 다른 좌표 (서로 다른 내부 설정) 에서 멈추더라도 함수(AI 의 실제 동작) 는 동등하게 좋다는 것을 말하는 세련된 표현입니다.

논문이 실제로 주장하는 바

저자들은 이 "마찰력 공" 방법을 여러 데이터셋 (손글씨 숫자 분류 또는 유리 종류 식별 등) 에서 테스트했습니다. 그들은 다음과 같은 사실을 발견했습니다:

작동합니다: 구슬은 경사면 중간에 갇히지 않고 항상 완벽한 바닥에 멈춥니다.
강건합니다: 마찰력 설정을 크게 조정할 필요가 없으며, 표준 설정으로도 잘 작동합니다.
알지 못하는 것을 추측하는 데 더 뛰어납니다: AI 가 이전에 보지 못한 데이터 (분포 외 데이터) 를 마주할 때, DIMS 방법은 다른 방법들에 비해 "모른다"고 말하는 데 훨씬 뛰어납니다. 이는 더 정직한 불확실성 측정을 제공합니다.

요약

AI 훈련을 계곡 바닥 찾기라고 생각하세요. 대부분의 방법은 한 지점을 찾으면 멈춥니다. 이 논문은 구슬이 계곡 바닥 전체를 굴러다니며 모든 가능한 완벽한 해법을 탐색한 후 부드럽게 멈추는 "마찰력 공"을 제공합니다. 이를 통해 AI 가 무엇을 알고 있는지, 그리고 더 중요하게는 무엇을 모르는지에 대한 전체 그림을 볼 수 있습니다.

기술 요약: Don't Stop Me Yet: 소산 리만 역학을 통한 손실 최소점 샘플링

문제 제기
현대 신경망은 일반적으로 과매개변수화되어 있어, 전역 최소점이 고립된 점이 아닌 재매개변수화 불변 해들의 연결된 연속 부분다양체를 형성하는 손실 지형을 갖습니다. 이러한 해들은 훈련 데이터에서는 동등한 성능을 보이지만, 보이지 않는 입력에서는 다양한 기능적 행동을 유발할 수 있습니다. 기존 불확실성 정량화 접근법은 이분법에 직면해 있습니다: 낮은 손실 영역을 샘플링하는 방법들은 훈련 데이터의 정확한 보간을 강제하지 못하는 경우가 많고, 재매개변수화 불변 집합으로 제한된 방법들은 본질적으로 국소적이어서 서로 다른 최소점 계곡을 탐색하는 능력이 제한됩니다. 본 논문은 훈련 손실을 엄격하게 최소화하면서도 분포 외 (OOD) 데이터에서 높은 예측 불확실성을 유지하는 다양한 모델을 샘플링하기 위해 "좋은 해"의 공간을 탐색하는 과제를 다룹니다.

방법론: 소산 최소점 샘플러 (DIMS)
저자들은 손실 함수의 최소 레벨 집합에서 정확히 샘플링하도록 설계된 기하학적 동역학 시스템인 소산 최소점 샘플러 (DIMS) 를 제안합니다. 이 접근법은 리만 역학과 고전적 소산 시스템에 기반을 둡니다.

리만 형식화: 손실 표면은 $\mathbb{R}^{K+1}$ 에 내장된 리만 다양체 $(M, g)$ 로 간주됩니다. 계량 텐서 $G(\theta)$ 는 $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ 로 정의된 풀백 계량 (pullback metric) 으로, 손실 지형의 곡률을 매개변수 공간의 기하학에 통합합니다.
동역학 시스템: 샘플링 과정은 이 다양체 위를 이동하는 입자를 모델링합니다. 동역학은 오일러 - 라그랑주 방정식에서 유도된 2 차 상미분 방정식 (ODE) 에 의해 지배됩니다. 시스템은 다음을 포함합니다:
- 운동 에너지: $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ .
- 위치 에너지: $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ 로, 최소점을 향한 중력적 인력으로 작용합니다.
- 소산: 에너지 보존을 깨기 위해 마찰 항 $-\eta(t)\dot{\alpha}$ 가 도입됩니다.
속도 의존성 마찰: 핵심 혁신은 입자의 속도 (운동 에너지의 제곱근) 와 속도 및 기울기 사이의 각도에 따라 스케일링되는 소산 함수 $\eta(t)$ 의 정의입니다. 이는 입자가 기울기에 반대로 이동할 때 에너지가 더 빠르게 소산되도록 하고, 기울기가 속도에 수직인 최소 레벨 집합을 통과할 때는 최소한의 마찰로 이동할 수 있도록 보장합니다.
샘플링 절차: 샘플러는 훈련된 최소점 $\theta^*$ 에서 입자를 초기화하며, 여기서 속도는 (일반적으로 국소 기하학을 존중하는 라플라스 근사를 따르는) 분포에서 무작위로 샘플링됩니다. ODE 는 입자가 최소 부분다양체 $S^*(D)$ 위의 새로운 점으로 수렴할 때까지 수치적으로 적분됩니다.

주요 기여

최소 부분다양체를 위한 결정론적 샘플러: DIMS 는 훈련 손실의 최소 부분다양체 상의 서로 다른 점들을 연속적으로 방문하는 방법을 제공합니다. 이는 탐색을 제어하는 물리적으로 해석 가능한 하이퍼파라미터 (마찰 계수 $\eta_0$ ) 를 가진 기하학적 동역학 시스템으로 형식화됩니다.
이론적 보장: 본 논문은 제안된 동역학이 최소 다양체로 수렴하기 전에 유한 시간 내에 손실 지형을 탐색함을 입증합니다. 구체적으로, 정리 1 은 엄격한 안장점 (strict saddle) 속성 하에서 평형점 (국소 최소점) 집합으로의 수렴을 보장하며, 정리 2 와 3 은 수렴 시간과 이동한 호 길이에 대한 경계를 제공하여 비자명한 탐색을 보장합니다.
실증적 검증: 저자들은 최소 다양체에 집중된 사후 근사가 잘 일반화됨을 보여줍니다. DIMS 는 기존 라플라스 기반 근사 (표준 LA, 선형화 LA, 리만 LA) 에 비해 예측 성능, 보정, 특히 분포 외 (OOD) 불확실성 정량화를 개선합니다.

실험 결과
이 방법은 회귀 (Snelson 데이터셋) 및 분류 작업 (Banana, UCI 데이터셋, MNIST, Fashion MNIST) 에서 평가되었습니다.

회귀: Snelson 데이터셋에서 DIMS 는 훈련 데이터를 완벽하게 적합시키면서도 분포 외에서 높은 불확실성을 보이는 해로 성공적으로 수렴한 반면, 리만 라플라스 근사 (RLA) 는 비최적 위치에서 초기화될 때 보간을 보장하지 못했습니다.
분류: UCI 데이터셋에서 DIMS 는 RLA 및 기타 기준 방법과 비교하여 경쟁력 있거나 우수한 음의 로그 가능도 (NLL) 및 보정 지표를 달성했습니다. 특히 DIMS 는 마찰 하이퍼파라미터 $\eta_0$ 에 강건하여 다양한 데이터셋에서 고정된 기본 값으로도 종종 잘 수행되었습니다.
OOD 성능: MNIST 및 Fashion MNIST 에서 DIMS 는 분포 외 감지를 위한 AUROC 점수에서 다른 방법들보다 일관되게 우수하여 분포 내 샘플과 분포 외 샘플을 구별하는 능력이 뛰어남을 나타냈습니다.

의의 및 주장
본 논문은 DIMS 가 최소 손실 부분다양체의 기하학을 명시적으로 표적함으로써 딥러닝의 불확실성 정량화에 대한 원칙적인 접근법을 제공한다고 주장합니다. 정확한 데이터 보간을 강제하지 않고 낮은 손실 영역에 퍼질 수 있는 기존 근사 사후분포와 달리, DIMS 는 최소 다양체로의 수렴을 보장합니다. 저자들은 이 접근법이 훈련 데이터에서는 일치하지만 그 외에서는 변하는 다양한 함수 공간 샘플을 생성할 수 있게 하며, 이는 베이지안 추론에 필수적인 특성이라고 봅니다. 이 연구는 물리학에서 영감을 받은 기하학적 인식 동역학이 과매개변수화 네트워크의 복잡한 손실 지형을 효과적으로 탐색할 수 있으며, 기존 샘플링 및 근사 기법에 대한 강력한 대안을 제공함을 시사합니다. 저자들은 고차원 공간에서 ODE 를 풀어야 하므로 계산 비용이 많이 든다고 인정하지만, 이러한 트레이드오프가 우수한 불확실성 추정을 산출한다고 주장합니다.