🤖 machine learning

Learning Energy-Based Models from Stochastic Interpolants using Spatiotemporal Differences

본 논문은 공간적 또는 시간적 차이에만 의존하는 기존 에너지 기반 모델 학습 방법의 실패 모드를 규명하고, 이미지 및 분자에 대한 최첨단 밀도 추정 성능을 달성하기 위해 결합된 시공간 차이를 활용하는 통합 프레임워크인 시공간 잡음 대비 추정 (stNCE) 을 제안한다.

원저자: Hanlin Yu, RuiKang OuYang, Partha Kaushik, Arto Klami, Michael U. Gutmann, Omar Chehab

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanlin Yu, RuiKang OuYang, Partha Kaushik, Arto Klami, Michael U. Gutmann, Omar Chehab

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 복잡한 세계의 '형태'를 가르치려 한다고 상상해 보세요. 예를 들어 붐비는 도시 지도나 분자 구조 같은 것입니다. 머신러닝에서 이는 **확률 밀도 (probability density)**를 학습하는 것으로 불립니다. 컴퓨터는 어떤 일이 발생할 가능성이 높은 곳 (높은 밀도) 과 낮은 곳 (낮은 밀도) 을 알아야 합니다.

이 논문은 **에너지 기반 모델 (Energy-Based Models, EBMs)**이라는 방법을 사용하여 컴퓨터에게 이 형태를 가르치는 새로운 방식을 제안합니다. EBMs 을 언덕과 계곡으로 이루어진 지형으로 생각하세요. 컴퓨터는 '계곡'이 안전하고 흔한 곳 (데이터) 이며, '언덕'은 드물고 발생하기 어려운 곳임을 학습해야 합니다.

문제: 두 개의 고장 난 지도

저자들은 컴퓨터에게 이 지형을 가르치는 기존 방법들이 두 가지 서로 다른 전략에 의존했으나, 둘 다 치명적인 결함이 있었다고 주장합니다.

"시간 여행자" 접근법 (시간적 방법):
- 아이디어: 선명한 고양이 사진 (데이터) 과 흐릿하고 노이즈가 섞인 고양이 사진 (참조) 이 있다고 가정해 보세요. "선명한 사진과 흐릿한 사진은 얼마나 다른가?"라고 컴퓨터에게 물어보며 가르칩니다. 이는 시간에 따라 서서히 노이즈를 추가함으로써 이루어집니다.
- 결함: 선명한 사진과 흐릿한 사진이 어느 정도 비슷해 보일 때는 잘 작동합니다. 하지만 '흐릿한' 사진이 구식 TV 의 눈꽃 같은 무작위 정적 (static) 이고, '선명한' 사진은 특정 고양이일 경우, 두 이미지는 전혀 겹치지 않습니다. 컴퓨터는 공통점이 전혀 없는 두 가지를 연결하려다 길을 잃습니다. 논문은 이를 **"서포트 불일치 (support mismatch)"**라고 부릅니다.
"이웃" 접근법 (공간적 방법):
- 아이디어: 시간 대신 이웃을 봅니다. "이 고양이 사진과 바로 옆에 있는 고양이 사진은 얼마나 다른가?"라고 물어봅니다. 지형을 가로지르는 작은 단계들을 비교함으로써 컴퓨터에게 가르칩니다.
- 결함: 지형이 매끄럽다면 잘 작동합니다. 하지만 지형에 두 개의 분리된 고양이 섬이 있고 그 사이에 광활하고 빈 바다 (ocean) 가 있다고 상상해 보세요. 만약 오직 즉각적인 이웃만 본다면, 바다를 건너 두 섬이 있다는 사실을 깨닫는 것은 불가능합니다. 한 섬에 갇혀 다른 섬을 놓치게 됩니다. 논문은 이를 "다중 모드 (multimodal)" 문제라고 부릅니다.

해결책: 시공간 다리

저자들은 **stNCE(시공간 노이즈 대비 추정, Spatiotemporal Noise-Contrastive Estimation)**라는 새로운 방법을 제안합니다.

시간 또는 공간 중 하나를 선택하는 대신, stNCE 는 둘을 동시에 사용합니다.

유추:
두 개의 분리된 해변 (다중 모드 문제) 이 있고 안개 낀 바다 (서포트 불일치 문제) 로 둘러싸인 숨겨진 보물 섬을 매핑하려 한다고 상상해 보세요.

시간 여행자는 안개 낀 바다에서 해변으로 걸어 가려 하지만 안개가 너무 짙어 갇히게 됩니다.
이웃은 한 해변에서 다른 해변으로 걸어 가려 하지만 물을 건너는 것이 보이지 않아 갇히게 됩니다.
stNCE 방법은 헬리콥터와 같습니다. 시간을 앞으로 나아가는 동시에 공간적으로 옆으로 이동할 수 있습니다. 안개 위를 날아 첫 번째 해변을 찾은 후, 물을 가로질러 두 번째 해변을 찾을 수 있습니다. "대각선"으로 이동 (시간과 위치를 동시에 변경) 함으로써 안전하고 밀도가 높은 지역 (해변과 그 근처의 물) 에 머무르며, 비어 있고 위험한 구역에서 길을 잃지 않습니다.

작동 방식

이 방법은 학습 과정을 간단한 "차이 찾기" 게임으로 바꿉니다.

컴퓨터는 두 쌍의 데이터 포인트를 생성합니다. 한 쌍은 '실제' 데이터 포인트와 이를 약간 변형한 버전이고, 다른 한 쌍은 뒤바뀐 것입니다.
컴퓨터는 어떤 쌍이 '실제'이고 어떤 쌍이 '뒤바뀐' 것인지 추측해야 합니다.
이 게임에서 이기려면 컴퓨터는 차이를 구별할 수 있도록 올바른 에너지 지형 (언덕과 계곡) 을 학습해야 합니다.

더 나은 이유

이 논문은 이 '헬리콥터' 접근법이 다른 방법들을 무너뜨렸던 문제들을 해결한다고 보여줍니다.

다중 모드 데이터 (여러 개의 섬) 를 처리합니다. 시간 단계를 사용하여 섬 사이를 뛰어넘을 수 있기 때문입니다.
서포트 불일치 (안개 낀 바다) 를 처리합니다. 노이즈에서 데이터로의 단일하고 거대한 점프에 의존하지 않기 때문입니다. 대신 작고 연결된 단계를 밟습니다.

결과

저자들은 세 가지 유형의 데이터로 이를 테스트했습니다.

합성 데이터: 정답을 알고 있는 간단한 수학 문제들입니다. stNCE 는 거의 오차 없이 정답을 맞췄지만, 다른 방법들은 실패했습니다.
이미지 (MNIST 및 ImageNet): 손글씨 숫자와 일반 이미지를 인식합니다. stNCE 는 최첨단 (State-of-the-Art) 방법만큼 좋은 결과를 냈지만, 왜 작동하는지에 대한 더 명확한 이해를 제공했습니다.
분자: 단백질 내 원자들이 어떻게 접히는지 시뮬레이션합니다. stNCE 는 분자의 올바른 형태를 효율적으로 학습할 수 있었으며, 전문적인 물리 기반 방법과 경쟁할 수 있었지만 훨씬 빠르게 학습했습니다.

요약

간단히 말해, 이 논문은 다음과 같이 말합니다. "데이터가 시간에 따라 어떻게 변하는지, 혹은 공간에서 어떻게 변하는지 한 가지만 보지 마세요. 둘 다 한 번에 보세요. 이 두 가지 관점을 결합함으로써 우리는 안개에 길을 잃거나 한 섬에 갇히지 않는 세계의 지도를 만들 수 있습니다."

기술적 요약: 확률적 보간체를 이용한 에너지 기반 모델 학습을 위한 시공간 차이

문제 제기

유한한 데이터 샘플로부터 에너지 기반 모델 (EBM) 을 학습하는 것은 기계 학습의 핵심 과제로, 계산 화학부터 AI 정렬에 이르기까지 다양한 응용 분야를 포괄합니다. 확산 모델에 대한 노이즈 제거 스코어 매칭과 같은 최근의 인기 있는 방법들은 데이터 공간 $x$ 와 오염 수준을 나타내는 시간 변수 $t$ 에 대한 결합 밀도 $p(x, t)$ 를 정의하기 위해 **확률적 보간체 (stochastic interpolants)**를 활용합니다.

이 결합 밀도의 변화를 추정하는 방식에 따라 기존 에너지 함수 $E_\theta(x, t)$ 학습 접근법은 일반적으로 두 가지 범주로 나뉩니다:

시간적 방법 (Temporal Methods): 오염 수준 (시간 $t$ ) 간의 변화를 추정합니다. 예: 노이즈 대비 추정 (NCE) 및 시간 스코어 매칭.
공간적 방법 (Spatial Methods): 데이터 포인트 (공간 $x$ ) 간의 변화를 추정합니다. 예: 조건부 NCE(CNCE) 및 스코어 매칭.

본 논문은 두 접근법 모두 종종 고립적으로 poorly 이해되거나 분석되는 명확하고 치명적인 실패 모드를 겪고 있음을 규명합니다:

공간적 방법은 다중 모드 (multi-modal) 환경에서 실패합니다. 두 모드 간의 에너지 차이를 추정하려면 샘플이 희소한 저밀도 영역을 통과해야 하므로, 큰 추정 오차가 발생합니다.
시간적 방법은 지지부 불일치 (support mismatch) 하에서 실패합니다. 데이터 분포의 고밀도 영역 (지지부) 이 기준 분포 (예: 가우시안 노이즈) 의 고밀도 영역과 겹치지 않는 경우, 시간적 경로가 저밀도 영역을 통과하여 추정이 저하됩니다.

이러한 문제를 완화하기 위해 다중 수준 훈련 전략이 제안되었으나, 경험적 증거는 이러한 전략들이 근본적인 병리 현상을 해결하지 못함을 시사합니다.

방법론: 시공간 노이즈 대비 추정 (stNCE)

이러한 한계를 극복하기 위해 저자들은 공간과 시간 모두에서 에너지 변화를 함께 학습하는 통합 프레임워크인 **시공간 노이즈 대비 추정 (stNCE)**을 제안합니다.

핵심 프레임워크

stNCE 는 학습 작업을 확장된 공간 $(x, t)$ 에 대한 단일 이진 분류 문제로 공식화합니다.

데이터 생성: 두 클래스 $A$ $A$ 와 $B$ $B$ 는 섭동 커널 $p_n(x', t' | x, t)$ $p_{n} (x^{'}, t^{'} ∣ x, t)$ 을 사용하여 생성됩니다:
- 클래스 A: 결합 밀도 $p_d(x, t)$ 에서 $(x, t)$ 를 샘플링한 후, $p_n$ 을 사용하여 $(x', t')$ 로 섭동시킵니다.
- 클래스 B: $p_d(x', t')$ 에서 $(x', t')$ 를 샘플링한 후, 역커널을 사용하여 $(x, t)$ 로 다시 섭동시킵니다.
목적 함수: 로지스틱 손실을 최소화하여 로그 밀도 비율을 근사하는 분류기 $F(x, t, x', t')$ 를 학습합니다:
$F(x, t, x', t') \approx \log p_\theta(x, t) - \log p_\theta(x', t') + \text{알려진 항들}$
이는 효과적으로 시공간 에너지 차이 $E(x', t') - E(x, t)$ 를 학습합니다.

섭동 커널

본 논문은 $(x, t)$ 와 $(x', t')$ 간의 관계를 정의하기 위해 세 가지 특정 섭동 커널을 제안합니다:

혼합 커널 (stNCE-m): $x$ 또는 $t$ 중 하나를 독립적으로 섭동시켜 시간적 및 공간적 목적 함수의 혼합을 복원합니다.
백색 노이즈 커널 (stNCE-w): $x$ 와 $t$ 모두를 등방성 가우시안 노이즈로 섭동시킵니다. 무한소 극한에서 이는 **이중 스코어 매칭 (Dual Score Matching)**을 복원합니다. 그러나 유한한 섭동은 샘플을 데이터 매니폴드 밖으로 밀어낼 수 있습니다.
전진 - 역행 커널 (stNCE-s/o): 목표 분포 $p_d(x, t)$ $p_{d} (x, t)$ 와 일관된 궤적을 따라 $(x, t)$ $(x, t)$ 를 섭동시킵니다.
- $t' < t$ (노이징) 인 경우, 계산 가능한 전진 과정을 사용합니다.
- $t' > t$ (디노이징) 인 경우, 지수 적분자 또는 오라클 스코어를 통해 근사된 역행 과정을 사용합니다.
- 이 커널은 샘플을 데이터의 고밀도 매니폴드 내부에 유지하도록 설계되어, 순수한 공간적 또는 시간적 방법에서 실패를 초래하는 저밀도 영역을 회피합니다.

이론적 보장

본 논문은 stNCE 가 **비모수적으로 일관성 (non-parametrically consistent)**이 있음을 입증합니다. 즉, 샘플 수 $N \to \infty$ 로 갈수록 추정기가 실제 데이터 밀도로 수렴합니다. 또한, 이 프레임워크는 특정 시간 사전 분포와 섭동 커널 선택에 의해 정의된 특수 사례로서 기존 방법들 (NCE, CNCE, 스코어 매칭 등) 을 통합합니다.

주요 기여

통합 분류 체계: 저자들은 기존 EBM 학습 방법들을 시간적 또는 공간적 변화를 추정하는지에 기반한 분류 체계로 조직화하여, 고립적으로 사용될 때 각 방법의 실패 모드를 명시적으로 규명합니다.
실패 모드 규명: 본 논문은 순수한 공간적 방법이 다중 모드 환경에서 실패하고, 순수한 시간적 방법이 다중 수준 훈련을 하더라도 지지부 불일치 하에서 실패함을 보여주는 휴리스틱 분석과 경험적 검증을 제공합니다.
stNCE 프레임워크: 기존 접근법을 통합하고 시공간 차이를 함께 학습함으로써 규명된 한계를 해결하는 일반적 프레임워크인 stNCE 를 제안합니다.
새로운 훈련 목적 함수: 더 명확한 이론적 이해를 제공하면서도 최첨단 방법과 경쟁력 있는 성능을 보이는 새로운 목적 함수 (특히 stNCE-s 및 stNCE-s+DSM) 를 유도합니다.

실험 결과

저자들은 합성 데이터, 이미지, 분자 구성에 대해 stNCE 를 평가합니다:

실패 모드 검증: 간단한 1 차원 및 2 차원 가우시안 혼합에 대한 실험은 공간적 방법이 다중 모드 데이터에서 실패하고, 시간적 방법이 지지부가 불일치할 때 실패함을 확인하며, stNCE 는 두 시나리오 모두에서 거의 0 에 가까운 오차를 달성함을 보여줍니다.
MNIST 혼합: MNIST 숫자로 구성된 합성 데이터셋 (얇은 지지부를 가진 고도로 다중 모드) 에서 stNCE-s 는 밀도를 성공적으로 학습하는 반면, 순수한 공간적 (DSM) 및 시간적 (tNCE) 방법은 실패합니다.
MNIST 및 ImageNet64:
- MNIST 에서 stNCE-s 는 NCE 기반 방법 중 최첨단 음수 로그 가능도 (NLL) (1.61 bits/dim) 를 달성하며, 공간 스코어 매칭과 결합 시 (stNCE-s+DSM, 1.00 bits/dim) 정규화된 흐름 모델과 경쟁력 있는 성능을 보입니다.
- ImageNet64 에서 stNCE-s+DSM 은 2.94 bits/dim 을 달성하여 이중 스코어 매칭 (3.36 bits/dim) 을 능가하고 흐름 매칭 (3.31 bits/dim) 과 경쟁합니다.
분자 역학 (알라닌 디펩타이드 및 치그놀린):
- stNCE-s+DSM 은 포커 - 플랑크 방정식 (FPE) 기반 방법과 비교 가능한 성능을 달성하지만, 계산 비용은 훨씬 낮습니다 (훈련 속도 2.5 배 빠름).
- 이 방법은 일관된 샘플을 성공적으로 생성하고 정확한 평균 퍼텐셜 (PMF) 추정을 제공합니다.

중요성과 주장

본 논문은 기존 EBM 훈련 방법의 다양성에도 불구하고, 근본적으로 공간적, 시간적, 시공간적이라는 세 가지 범주로 나뉜다고 주장합니다. 이 연구의 주요 중요성은 다음과 같습니다:

원칙적 분석: 새로운 기법 개발을 넘어 기존 방법들이 왜 (지지부 불일치 및 다중 모드) 실패하는지, 그리고 시공간적 접근법이 이러한 특정 문제를 어떻게 극복하는지에 대한 원칙적 분석을 제공합니다.
통합: 다양한 인기 있는 방법들이 단일 이진 분류 작업 (stNCE) 의 사례임을 입증하여 통합된 개념적 프레임워크를 제공합니다.
성능: 시공간적 방법, 특히 전진 - 역행 커널을 사용하는 방법들이 합성, 이미지, 분자 데이터 등 다양한 도메인에서 경쟁력 있거나 최첨단 성능을 달성하며, 언제 그리고 왜 성공하는지에 대한 더 명확한 이해를 제공함을 보여줍니다.

저자들은 그들의 방법이 효율적인 추론 (일회성 가능도 평가) 을 위해 비용이 많이 드는 훈련을 선호한다고 언급하며, 훈련 - 추론 간의 트레이드오프에 대한 체계적인 연구는 향후 과제로 남아 있다고 덧붙였습니다. 또한, NCE 기반 모델이 실제 에너지를 복원하지만 학습된 스코어가 스코어 매칭 변형만큼 정밀하지 않을 수 있음을 인정하며, NCE 로 훈련된 모델을 위한 더 나은 샘플러에 대한 향후 연구를 제안합니다.