🤖 machine learning

Data-to-Energy Stochastic Dynamics

이 논문은 데이터 샘플에 대한 접근 없이 정규화되지 않은 밀도 함수만을 사용하여 슈뢰딩거 브릿지(Schrödinger bridges)를 모델링할 수 있게 하는 새로운 데이터-에너지 반복 비례 적합 알고리즘을 소개하며, 또한 학습된 확산 계수와 잠재 공간 이미지 대 이미지 변환 응용을 통해 기존 데이터 기반 방법들의 개선된 성능을 입증한다.

원저자: Kirill Tamogashev, Nikolay Malkin

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kirill Tamogashev, Nikolay Malkin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 지도 없이 사람들을 이동시키기

상상해 보세요. 당신은 사람들로 가득 찬 북적이는 방(이것을 분포 A라고 부릅시다)을 가지고 있습니다. 당신은 이 사람들을 가장 효율적인 방법으로 다른 방(분포 B)으로 이동시키고 싶습니다.

컴퓨터 과학의 세계에서 이것은 **최적 운송(Optimal Transport)**이라고 불립니다. 보통 최적의 경로를 파악하려면, 방 A에 있는 모든 사람의 명단과 방 B에 있는 모든 사람의 명단이 필요합니다. 즉, 이동 계획을 세우기 위해 실제 사람들(샘플)을 직접 확인해야 합니다.

하지만 만약 방 B에 있는 사람들의 명단이 없다면 어떻게 될까요? 만약 당신에게 방 B가 어떤 모습인지에 대한 규칙이나 설명만 있다면 어떨까요? 예를 들어, "방 B는 창가 근처는 매우 붐비고 중앙은 비어 있는 곳이다"라는 표지판은 있지만, 그 안에 있는 사람들의 사진은 없는 경우 말입니다.

이 논문은 우리가 알고 있는 방(사람들의 명단이 있는 곳)에서 신비로운 방(명단은 없지만 규칙/설명만 있는 곳)으로 사람들을 이동시켜야 하는 문제를 해결합니다.

핵심 문제: "슈뢰딩거 브리지(Schrödinger Bridge)"

저자들은 슈뢰딩거 브리지라고 불리는 개념을 다룹니다. 이것을 "시간 여행을 하는 페리(Ferry)"라고 생각해 보세요.

목표: 사람들이 방 A에서 출발하여 방 B에 완벽하게 배치되도록 만드는 매끄럽고 무작위적인 여정을 만드는 것입니다.
함정: 이 여정은 너무 혼란스러워서는 안 되지만(노이즈나 무작동성이 너무 많으면 안 됨), 동시에 유연성을 갖추기 위해 충분한 무작동성도 필요합니다.
기존 방식: 이전 방식들은 페리가 어떻게 움직여야 할지 배우기 위해서 두 방에 있는 사람들의 사진이 모두 필요했습니다. 만약 방 B의 사진이 없다면, 페리는 경로를 배울 수 없었습니다.

새로운 솔루션: "데이터-투-에너지(Data-to-Energy)"

저자들은 **데이터-투-에너지 확률 역학(Data-to-Energy Stochastic Dynamics)**이라는 새로운 방법을 발명했습니다.

**"데이터(Data)"**는 당신이 사람들의 명단을 가지고 있는 방(방 A)입니다.
**"에너지(Energy)"**는 목적지의 규칙 또는 설명(방 B)입니다. 물리학과 수학에서 "에너지"는 어떤 일이 일어날 가능성을 설명하는 방법입니다. 낮은 에너지 = 매우 일어날 법함(붐빔); 높은 에너지 = 일어나기 어려움(비어 있음).

비유: 눈먼 등산객
당신이 이미 알고 있는 출발지(데이터)에서 숨겨진 계곡(에너지)으로 가려는 등산객(알고리즘)이라고 상상해 보세요.

기존 방식: 계곡의 지도와 더불어, 이미 그곳에 있는 사람들의 사진까지 모두 있어야 경로를 배울 수 있습니다.
새로운 방식: 당신은 계곡의 사진을 가지고 있지 않습니다. 단지 "낮은 에너지"(가장 붐비고 바람직한 지점)를 가리키는 나침반만을 가지고 있습니다. 저자들은 등산객이 **오프-폴리시 강화 학습(Off-Policy Reinforcement Learning)**이라는 특별한 기술을 사용하도록 가르칩니다.

작동 원리 (The "Replay Buffer"):

등산객은 추측을 하여 경로를 걷습니다.
설령 그 추측이 틀렸더라도, 등산객은 경로의 끝을 기억합니다.
등산객은 "리플레이 버퍼(Replay Buffer, 정신적 노트)"를 사용하여 그 끝 지점들을 살펴봅니다.
만약 끝 지점이 "높은 에너지"(나쁜 상태)라고 느껴지면, 등산객은 경로를 수정합니다. 만약 "낮은 에너지"(좋은 상태)라고 느껴지면, 그 경로를 유지합니다.
시간이 흐르면서, 등산객은 계곡의 거주자들에 대한 사진을 미리 보지 않고도, 알려진 출발지에서 숨겨진 계곡까지 가는 완벽한 경로를 배우게 됩니다.

세 가지 주요 발견

이 논문은 저자들이 발견한 세 가지 핵심 사항을 강조합니다.

1. 사진 없이도 작동한다
그들은 이 새로운 방법이 알려진 분포에서 (규칙/에너지로 정의된) 알려지지 않은 분포로 데이터를 성공적으로 이동시킬 수 있음을 증명했습니다. 이 방법은 목적지의 사진을 실제로 가지고 있는 방법들과 대등한 성능을 보여줍니다. 이는 마치 눈을 가린 채 아주 똑똑한 나침반만을 사용하여 미로를 통과하는 것과 같습니다.

2. 여정의 "속도"를 학습하기
기존의 많은 방법은 "페리"(이동 과정)가 고정된 일정한 속도로 움직인다고 가정했습니다. 저자들은 방향뿐만 아니라 속도(확산 계수)를 함께 학습함으로써 페리가 훨씬 더 효율적으로 움직일 수 있다는 것을 깨달았습니다.

비유: 뉴욕에서 런던까지 운전한다고 상상해 보세요. 기존 방식은 "전 구간 동안 정확히 시속 60마일로 달려라"라고 말합니다. 새로운 방식은 "고속도로에서는 빠르게 달리고, 교통 체증이 있으면 천천히 가며, 탁 트인 도로에서는 속도를 높여라"라고 말합니다. 이 방식이 훨씬 더 매끄럽고 정확한 여행을 만듭니다.

3. 새로운 사진 없이 수행하는 이미지 변환(Image Translation)
그들은 이를 **이미지 간 변환(Image-to-Image Translation)**에 적용했습니다.

시나리오: 당신은 무작위 그림(예: 강아지)을 만드는 생성기를 가지고 있습니다. 당신은 특정 종류의 강아지(예: 푸들)로 바꾸고 싶지만, 푸들을 훈련시키기 위한 데이터셋은 가지고 있지 않습니다.
결과: 그들은 이 방법을 사용하여 무작위 이미지를 브리지를 통해 푸들의 형태로 "끌어당겼습니다".
놀라운 점: 결과물인 이미지는 원래의 스타일(배경이나 조명 등)을 유지하면서도, 새로운 규칙에 맞게 콘텐츠(내용)를 변경했습니다. 이는 고양이 사진을 찍은 뒤, 고양이의 배경과 조명은 그대로 유지하면서 컴퓨터에게 강아지 사진을 먼저 보여주지 않고도 강아지로 바꾸는 것과 같습니다.

요약

이 논문은 컴퓨터에게 우리가 잘 아는 곳(데이터)에서 우리가 묘사만 하고 있는 곳(에너지 규칙)으로 데이터를 이동시키는 법을 가르치는 방법을 소개합니다. 목적지의 샘플을 볼 필요 없이 말이죠. 저자들은 다음 세 가지를 통해 이를 달ato 했습니다:

과거의 추측으로부터 배우는 똑똑한 "노트"(리플레이 버퍼)를 사용했습니다.
방향뿐만 아니라 스스로의 속도를 조절하는 법을 가르쳤습니다.
이를 이미지 변환(무작위 노이즈를 특정 객체로 바꾸는 것 등)에 성공적으로 적용했습니다.

저자들은 이를 **데이터-투-에너지(Data-to-Energy)**라고 부르며, 이는 우리가 시작점과 목적지의 규칙은 알지만, 그 목적지에 사는 거주자들의 명단은 모르는 문제를 해결하는 길을 열어줍니다.

기술 요약: 데이터-에너지 확률 역학 (Data-to-Energy Stochastic Dynamics)

문제 정의

슈뢰딩거 브릿지(Schrödinger bridge, SB) 문제는 두 주변 분포 $p_0$ 와 $p_1$ 사이를 연결하면서 참조 프로세스(일반적으로 이토 스토캐스틱 미분 방정식)에 대한 운송 비용을 최소화하는 확률적 동역학계를 찾는 것을 목표로 한다. 이 문제는 최적 운송(optimal transport) 이론을 확률적 설정으로 일반화한 것이며, 확산 모델(diffusion models) 및 플로우 매칭(flow matching)과 같은 현대적 생성 모델링 기법의 근간이 된다.

Iterative Proportional Fitting(IPF) 절차를 기반으로 하는 기존 알고리즘들은 일반적으로 두 주변 분포 모두로부터 샘플을 얻는 것을 필요로 한다. 이러한 한계는 $p(x) = e^{-E(x)}/Z$ 형태의 비정규화 밀도(에너지 함수)로만 정의되는 경우(여기서 분할 함수 $Z$ 는 알 수 없음)에는 SB 방법을 적용할 수 없게 만든다. 이는 보상(reward)이나 가능도(likelihood)를 통해 정규화 상수 없이 밀도가 알려진 생성 모델의 잠재 공간 내 베이지안 사후 추론과 같은 시나리오에서 발생하는 중요한 공백이다.

방법론

본 논문은 비정규화 밀도로 주어진 경우의 슈뢰딩거 브릿지를 모델링하기 위한 일반적인 방법인 데이터-투-에너지(Data-to-Energy, 및 에너지-투-에너지) IPF를 제안한다. 이 접근 방식은 표준 IPF 알고리즘을 확장하여 오프-폴리시(off-policy) 강화 학습 및 확산 샘플링 기술을 통합한다.

1. 일반화된 IPF 프레임워크

표준 IPF 알고리즘은 하프-브릿지(half-bridge) 문제를 해결함으로써 순방향 및 역방향 시간 프로세스( $\overrightarrow{P}_t$ 및 $\overleftarrow{P}_t$ )를 반복적으로 업데이트한다.

역방향 단계 (Data-to-Data): $p_0$ 로부터 샘술을 얻을 수 있는 경우, 역방향 프로세스는 최대 가능도(maximum likelihood)를 통해 훈련된다(표준 IPF 단계).
순방향 단계 (Data-to-Energy): $p_1$ 이 비정규화 밀도 $e^{-E_1(x)}$ 로 주어지는 경우, 순방향 프로세스는 표준 가능도로 훈련될 수 없다. 대신, 저자들은 로그-분산 손실(log-variance loss) (조건부 VarGrad)을 도입한다. 이 손실은 순방향 궤적 확률과 역방향 궤적 확률에 의해 가중치가 부여된 타겟 밀도 사이의 로그 비율의 분산을 최소화한다:
$\text{LLV}(x_0, \theta) = \text{Var} \left( \log \frac{\overrightarrow{p}_\theta(\tau | x_0)}{p_1(x_1) \overleftarrow{p}_\phi(\tau | x_1)} \right)$
이 목적 함수는 $p_1$ 의 샘플 없이도 SB 솔루션에 필요한 비례 관계를 강제한다.

2. 오프-폴리시 강화 학습 전략

복잡하고 고차원적인 비정규화 밀도로부터 샘플링하는 데 있어 온-폴리시(on-policy) 훈련이 모든 모드를 탐색하지 못하는 문제를 해결하기 위해, 저자들은 오프-폴리시 기술을 적응시킨다:

리플레이 버퍼 (Replay Buffer): 버퍼는 순방향 프로세스의 최종 샘플 $x_1$ 을 저장한다. 훈련 중에 $x_1$ 에서 샘플을 추출하고 역방향 궤적을 실행함으로써 $x_0$ 를 생성한다. 이는 타겟의 고밀도 영역에 대한 탐색에 집중하게 한다.
랑제빈 업데이트 (Langevin Updates): 불완전한 적합을 교정하기 위해 타겟 밀도 상에서 조정되지 않은 랑제빈 역학(unadjusted Langevin dynamics)을 사용하여 버퍼를 주기적으로 업데이트한다.
궤적 재사용 (Trajectory Reuse): 알고리즘은 역방향 궤적을 재사용하여 동일한 초기점 $x_0$ 를 공유하는 궤적 배치를 형성함으로써 분산 기반 손실 추정의 효율성을 높인다.
믹싱 (Mixing): 훈련 정책은 탐색(exploration)과 이용(exploitation)의 균형을 맞추기 위해 온-폴리시 샘플과 버퍼로부터의 오프-폴리시 샘플을 혼합한다.

3. 학습 가능한 확산 계수 (Learnable Diffusion Coefficients)

두 번째 방법론적 기여는 IPF 알고리즘을 드리프트 함수뿐만 아니라 동역학의 확산 계수( $\sigma_t$ )까지 학습하도록 일반화하는 것이다. 이산화된 오일러-마루야마(Euler-Maruyama) 단계에서 고정된 분산을 학습 가능한 함수로 대체함으로써, 최근 확산 샘플러 연구에서 영감을 얻은 시간-이산화 오류를 교정하는 것을 목표로 한다.

주요 기여

최초의 일반 데이터-투-에너지 SB 방법: 본 논문은 한쪽 또는 양쪽의 주변 분포가 샘플 접근 없이 비정규화 밀도로 제공될 때 슈뢰딩거 브릿지를 추론할 수 있는 최초의 알고리즘을 소개한다. 이 방법은 실제 샘플을 사용하는 데이터-투-데이터 IPF와 대등한 성능으로 합성 데이터셋과 밀도 사이의 낮은 운송 비용을 갖는 확률적 브릿지를 성공적으로 학습한다.
학습 가능한 확산 계수: 저자들은 드리프트와 함께 확산 계수를 학습함으로써 기존의 데이터-투-데이터 IPF 알고리즘을 실질적으로 개선할 수 있음을 입증한다. 이는 확산 샘플러에 대한 기존의 발견을 더 넓은 SB 설정으로 일반화하며, 학습 가능한 분산이 특히 이산화 단계가 적을 때 더 정확한 모델링을 가능하게 함을 보여준다.
외부 위탁 사후 샘플링 (Outsourced Posterior Sampling): 이 방법은 생성 모델(예: GAN, VAE)의 잠재 공간 내 사후 분포를 샘플링하는 문제에 적용된다. 사전(prior) 잠재 분포와 보상-가중 사후 분포 사이의 브릿지를 모델링함으로써, 저자들은 데이터-프리 이미지-투-이미지 변환 방법을 구축한다. 이 접근 방식은 표준 확산 샘플러와 달리, 타겟 조건에 의해 제약되지 않은 스타일이나 배경과 같은 의미적 콘텐츠를 보존한다.

실험 결과

제안된 방법의 효능은 여러 벤치마크를 통해 입증되었다:

합성 2D 벤치마크: 가우시안-가우시안 혼합 모델(GMM) 및 "Two Moons" 분포 작업에서, 데이터-투-에너지 IPF는 데이터-투-데이터 IPF와 유사한 성능을 달성한다. 학습 가능한 분산의 포함은 특히 이산화 단계 수가 적을 때 Wasserstein-2 거리와 Path KL을 유의미하게 감소시킨다.
에너지-투-에너지 브릿징: 예비 결과에 따르면, 알고리즘은 양쪽 모두 샘플 접근 없이 오직 에너지 함수로만 정의된 두 분포 사이를 성공적으로 연결할 수 있다.
이미지 변환 (MNIST & CIFAR-10): SN-GAN 및 StyleGAN을 사용한 잠재 공간 실험에서, 이 방법은 사전 샘플을 타겟 클래스 사후 분포(예: "개" 또는 "5")로 변환한다.
- 지표: 이 방법은 여러 클래스에서 거부 샘플링(rejection sampling) 및 랑제빈 역학에 비해 더 낮은 FID 점수를 달သည်.
- 정성적 분석: 시각적 검사를 통해 브릿지가 타겟 클래스로 콘텐츠를 변환하면서도 스타일 특징(예: 숫자의 두께, 배경 방향)을 효과적으로 보존함을 확인하였다. 이는 제약되지 않은 의미적 정보를 유지하는 데 효과적임을 시사한다.
절제 연구 (Ablation Studies): 리플레이 버퍼, 랑제빈 업데이트, 궤적 재사용이 Path KL 지표를 크게 개선함을 확인했다. 역방향 궤적을 재사용하는 것은 Path KL을 개선하지만, 평균 로그-보상(mean log-reward)에 부정적인 영향을 미칠 수 있어 모드 커버리지와 운송 비용 사이의 트레이드오프를 시사한다.

의의 및 주장

본 논문은 이전에 두 마진 모두에 대한 샘플 접근이 필요했던 SB 문헌의 공백을 메우는 데이터-투-에너지 슈뢰딩거 브릿지에 대한 일반적인 프레임워크를 제공한다고 주장한다.

저자들은 이 연구가 데이터-프리 생성 모델링 및 사후 추론을 향한 중요한 단계라고 위치시킨다. 오프-폴리시 강화 학습 기술을 활용함으로써, 이 방법은 오직 에너지 함수만 사용 가능한 고차원 잠재 공간에서 최적 운송 역학을 학습할 수 있게 한다. 확산 계수를 학습하는 능력은 이 역학의 이산화 오류에 대한 견고성을 더욱 향상시킨다.

저자들은 본 방법이 고차원 이미지 생성 작업으로 확장 가능하지만, 모드 붕괴(mode collapse)를 해결하고 모드 커버리지를 더욱 개선하기 위한 향리 연구가 필요함을 겸허히 언급한다. 또한 텍스트 조건부 이미지 보상 미세 조정 및 이산 슈뢰딩거 브릿지 문제와 같은 잠재적인 미래 방향을 식별하였으나, 이를 즉각적인 성공으로 주장하지는 않는다.