Diffusion & Adversarial Schrödinger Bridges via Iterative Proportional Markovian Fitting

이 논문은 확산 및 적대적 슈뢰딩거 브릿지 문제를 해결하기 위해 기존 반복 마르코프 피팅 (IMF) 에 역방향 확산 피팅을 결합하여 수렴성을 보장하고 이미지 유사성과 생성 품질 간의 유연한 균형을 가능하게 하는 '반복 비례 마르코프 피팅 (IPMF)' 절차를 제안합니다.

핵심

🍳 핵심 비유: "완벽한 레시피 찾기"

상상해 보세요. 당신은 **A 요리 (예: 생선)**를 **B 요리 (예: 스테이크)**로 바꾸는 요리를 하고 싶다고 가정해 봅시다. 이때 중요한 두 가지 규칙이 있습니다.

1. 원래 맛을 잃지 말 것 (유사성): 생선에서 스테이크로 바뀐다고 해서 생선 특유의 비린내가 완전히 사라져서는 안 됩니다. (입력 이미지와 출력 이미지가 너무 달라지면 안 됨)
2. 완벽한 스테이크가 될 것 (생성 품질): 결과물은 반드시 맛있는 스테이크여야 합니다. (생성된 이미지가 자연스러워야 함)

기존의 AI 방법들은 이 두 가지 규칙을 동시에 지키기 위해 고군분투했습니다. 어떤 방법은 맛은 잘 유지했지만 요리가 이상하게 나왔고, 어떤 방법은 요리는 잘 했지만 원래 재료의 특징을 다 잃어버렸습니다.

🧩 기존 방법들의 문제점

이 논문은 이 문제를 해결하기 위해 **두 가지 유명한 요리법 (IPF 와 IMF)**을 소개합니다.

1. IPF (비율 맞추기): "원래 재료를 최대한 살리면서" 점진적으로 스테이크로 바꿔가는 방법입니다. 하지만 이 방법은 요리하다 보면 원래 재료의 맛 (시작점) 을 잊어버리는 (Prior Forgetting) 실수를 자주 저지릅니다.
2. IMF (마르코프 피팅): "최종 결과물인 스테이크에 집중해서" 거꾸로 재료를 맞춰가는 방법입니다. 이 방법은 맛을 잊어버리는 실수는 안 하지만, 요리 과정에서 실수가 쌓여서 (오류 누적) 결국 엉망이 될 수 있습니다.

✨ 이 논문의 해결책: "IPMF" (두 마리 토끼 잡기)

저자들은 이 두 방법을 합쳐서 **IPMF (Iterative Proportional Markovian Fitting)**라는 새로운 방법을 만들었습니다.

비유하자면:

"요리할 때, 앞에서부터 재료를 섞기도 하고, 뒤에서부터 맛을 보기도 하며, 양쪽에서 동시에 레시피를 수정하는 것"입니다.

이론적으로 이 논문은 이 새로운 방법이 **수학적으로 완벽하게 수렴한다 (최적의 답에 도달한다)**는 것을 증명했습니다. 마치 미로에서 길을 찾을 때, 시작점에서 끝까지, 그리고 끝에서 시작까지 동시에 길을 찾아나가면 실수 없이 가장 빠른 길을 찾을 수 있는 것과 같습니다.

🎨 실제 효과: "원하는 대로 조절하기"

이 방법의 가장 큰 장점은 조절 가능한 스위치가 있다는 점입니다.

• 시작점을 어떻게 잡느냐에 따라 결과가 바뀝니다.
  • 유사성 중시: 입력 이미지 (생선) 와 출력 이미지 (스테이크) 가 매우 비슷하게 만들고 싶다면, 시작점을 그렇게 설정하면 됩니다. (예: 생선 모양을 그대로 유지하며 스테이크 색만 입히기)
  • 품질 중시: 결과물이 얼마나 맛있는 스테이크인지가 중요하다면, 시작점을 다르게 설정하면 됩니다. (예: 생선 모양은 조금 변하더라도 가장 맛있는 스테이크 만들기)

기존 방법들은 이 두 가지 중 하나를 선택해야 했지만, 이 새로운 방법은 사용자가 원하는 대로 균형을 조절할 수 있게 해줍니다.

📊 실험 결과

저자들은 이 방법을 실제 데이터 (MNIST 숫자, CelebA 얼굴 사진 등) 에 적용해 보았습니다.

• 고양이를 호랑이로 바꾸는 실험에서, 기존 방법들보다 더 자연스러운 이미지를 만들면서도 원래 고양이 얼굴의 특징을 잘 살려냈습니다.
• 특히, 시작점을 어떻게 설정하느냐에 따라 "얼굴 닮음"과 "화질" 사이의 균형을 자유롭게 조절할 수 있음을 증명했습니다.

💡 결론

이 논문은 **"이미지 변환 AI 가 실수 없이, 그리고 우리가 원하는 대로 (유사성 vs 화질) 작동할 수 있는 새로운 이론적 틀"**을 제시했습니다.

간단히 말해, **"앞뒤로 동시에 확인하며 요리하는 새로운 레시피"**를 개발하여, AI 가 더 똑똑하고 유연하게 이미지를 변신시킬 수 있게 된 것입니다.

기술 요약

이 논문은 ICLR 2026에 발표된 "Diffusion & Adversarial Schrödinger Bridges via Iterative Proportional Markovian Fitting"으로, 슈뢰딩거 브리지 (Schrödinger Bridge, SB) 문제를 해결하기 위한 새로운 프레임워크인 **반복적 비례 마르코프 피팅 (Iterative Proportional Markovian Fitting, IPMF)**을 제안합니다.

아래는 이 논문의 문제 정의, 방법론, 주요 기여, 실험 결과 및 의의에 대한 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem)

슈뢰딩거 브리지 (SB) 문제는 두 확률 분포 $p_0$와 $p_1$ 사이의 최적 수송 경로를 찾는 문제로, 최적 수송 (Optimal Transport) 과 확률 과정 (Stochastic Processes) 을 연결합니다. 이는 비지도 도메인 변환 (Unpaired Domain Translation, 예: 이미지 스타일 변환, 단세포 데이터 분석) 에 널리 사용됩니다.

기존의 주요 접근법은 다음과 같은 두 가지 알고리즘이 있습니다:

• 반복적 비례 피팅 (IPF, Iterative Proportional Fitting): 최적성 (Optimality) 을 유지하면서 마진 (Marginal) 매칭을 점진적으로 달성합니다. 하지만 실제 구현 시 근사 오차가 누적되어 '사전 분포 망각 (Prior Forgetting)' 현상이 발생하고, 최적성이 손실될 수 있습니다.
• 반복적 마르코프 피팅 (IMF, Iterative Markovian Fitting): 마진 매칭을 유지하면서 최적성을 달성합니다. 하지만 이 역시 오차 누적으로 인해 마진 매칭 속성이 손실될 수 있습니다.

실무에서는 훈련을 안정화하고 오차 누적을 방지하기 위해 **전향 (Forward) 과 후향 (Backward) 시간을 번갈아 학습하는 휴리스틱 수정 (Bidirectional Modification)**이 IPF 나 IMF 에 적용되어 왔습니다. 그러나 이 수정된 방법의 이론적 근거와 수렴성은 명확히 규명되지 않았습니다.

2. 방법론 (Methodology)

저자들은 실제 사용되는 휴리스틱 수정된 IMF 알고리즘이 사실은 IPF 와 IMF 의 교대 반복임을 발견하고, 이를 통합된 IPMF (Iterative Proportional Markovian Fitting) 절차로 명명했습니다.

핵심 아이디어: IPMF

IPMF 는 하나의 반복 단계에서 다음 네 가지 작업을 수행합니다:

1. Reciprocal Projection (IMF): 현재 과정을 최적성 (Optimality) 을 갖도록 조정합니다.
2. IPF Projection (Forward/Backward): 마진 (Marginal) 을 $p_0$ 또는 $p_1$로 정확히 맞춥니다.
3. Reciprocal Projection (IMF): 다시 최적성을 조정합니다.
4. IPF Projection: 반대 방향의 마진을 맞춥니다.

이 과정은 전향 (Forward) 과 후향 (Backward) 파라미터화를 번갈아 사용하며, 각 단계에서 마진 매칭 속성과 최적성 속성을 동시에 개선합니다.

이론적 분석

• 가우시안 수렴성: IPMF 가 가우시안 분포 (Gaussian) 의 경우, 매개변수 (평균, 공분산, 최적성 행렬) 에 대해 **기하급수적으로 수렴 (Exponential Convergence)**함을 증명했습니다.
• 일반적 수렴성: $p_0$와 $p_1$의 지지집합 (Support) 이 유계 (Bounded) 인 경우, IPMF 가 약수렴 (Weak Convergence) 을 통해 슈뢰딩거 브리지 해 $q^*$로 수렴함을 증명했습니다.
• 초기 결합 (Starting Coupling) 의 중요성: IPMF 는 초기 결합 $q_0$의 형태에 구애받지 않고 수렴합니다. 이는 IPF 나 IMF 가 특정 초기화 (예: 마진 일치 또는 마르코프성) 를 요구하는 것과 대조적입니다.

3. 주요 기여 (Key Contributions)

1. 이론적 통합 및 증명:

   • 기존에 휴리스틱으로 사용되던 양방향 IMF 알고리즘이 사실은 IPF 와 IMF 를 결합한 IPMF 임을 이론적으로 규명했습니다.
   • 가우시안 및 유계 지지집합 조건 하에서 IPMF 의 수렴성을 수학적으로 증명하여, SB 문제 해결을 위한 통일된 프레임워크를 제시했습니다.

2. 실용적 유연성 (Trade-off 조절):

   • IPMF 프레임워크를 통해 **생성 품질 (Generation Quality)**과 입력 - 출력 유사성 (Input-Output Similarity) 사이의 균형을 조절할 수 있는 새로운 메커니즘을 제안했습니다.
   • 이는 초기 결합 (Starting Coupling) 을 어떻게 설정하느냐에 따라 달라집니다. 예를 들어, 최적 수송 (OT) 기반 결합은 유사성을 높이고, SDEdit 기반 결합은 생성 품질을 높이는 등 목적에 맞는 초기화를 선택할 수 있습니다.

3. 광범위한 실험적 검증:

   • 가우시안 시뮬레이션, 2D toy 문제, SB 벤치마크, 실제 이미지 데이터 (Colored MNIST, CelebA, AFHQ) 를 통해 다양한 설정에서 IPMF 의 수렴성과 성능을 입증했습니다.

4. 실험 결과 (Results)

• 수렴성 검증: 다양한 초기 결합 (IMF 스타일, IPF 스타일, Identity, SDEdit 기반 등) 에서 시작하더라도 IPMF 는 모두 슈뢰딩거 브리지 해로 수렴함을 확인했습니다. 특히 가우시안 설정에서 이론적으로 예측된 기하급수적 수렴 속도를 관찰했습니다.
• 성능 비교 (SB 벤치마크):
  • DSBM (Diffusion SB Matching) 과 ASBM (Adversarial SB Matching) 솔버에 IPMF 를 적용했을 때, 기존 방법들보다 일관된 성능을 보였습니다.
  • 특히 고차원 (High-dimensional) 가우시안 문제에서 기존 방법들의 오차 누적 문제를 해결하고 안정적인 수렴을 보였습니다.
• 이미지 변환 (CelebA, MNIST):
  • CelebA (남자 $\to$ 여자): 다양한 초기화 전략을 테스트했습니다.
    • Identity 초기화: 입력과 출력의 유사성 (MSE) 이 매우 높았으나 생성 품질 (FID) 은 다소 낮았습니다.
    • SDEdit/DDPM 초기화: 생성 품질 (FID) 이 우수하면서도 유사성을 유지했습니다.
    • IMF-OT 초기화: 균형 잡힌 성능을 보였습니다.
  • Colored MNIST: 숫자 3 에서 2 로 변환 시, 초기 결합에 따라 색상이나 형태가 어떻게 유지되는지 시각화하여 IPMF 의 한계와 가능성을 보여주었습니다.
  • AFHQ (고양이 $\to$ 야생동물): 512x512 고해상도 이미지에서도 유사한 품질 - 유사성 트레이드오프 패턴을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 SB 기반 생성 모델 분야에서 다음과 같은 중요한 기여를 합니다:

1. 이론적 명확성: 실무에서 널리 쓰이던 '양방향 학습' 휴리스틱이 단순한 트릭이 아니라, IPF 와 IMF 를 통합한 강력한 수렴 알고리즘 (IPMF) 임을 이론적으로 뒷받침했습니다.
2. 오차 누적 해결: 기존 단일 방향 (One-directional) 방법론 (예: Rectified Flows) 이 겪는 오차 누적 및 발산 문제를 양방향 IPMF 를 통해 해결할 수 있음을 보였습니다. 이는 Stable Diffusion 3 과 같은 최신 생성 모델의 추론 가속화 (Distillation) 에도 중요한 시사점을 줍니다.
3. 유연한 제어: 초기 결합을 하이퍼파라미터처럼 활용하여, 사용자의 목적 (높은 유사성 vs 높은 생성 품질) 에 맞춰 모델을 커스터마이징할 수 있는 새로운 패러다임을 제시했습니다.

결론적으로, IPMF 는 이산 및 연속 시간 설정에서 슈뢰딩거 브리지 문제를 해결하기 위한 통일되고 이론적으로 검증된 프레임워크로서, 생성 모델 및 최적 수송 연구의 새로운 기준을 제시합니다.