Free Lunch for Stabilizing Rectified Flow Inversion

이 논문은 ICLR 2026에 발표된 것으로, Rectified Flow (RF) 기반 생성 모델의 역변환 (Inversion) 및 편집 (Editing) 작업에서 발생하는 안정성 문제를 해결하기 위한 새로운 방법론을 제안합니다. 저자들은 Proximal-Mean Inversion (PMI) 과 mimic-CFG라는 두 가지 훈련이 불필요한 (training-free) 기법을 도입하여, 기존 방법론의 근사 오차 누적 문제를 완화하고 재구성 및 편집 품질을 획기적으로 개선했습니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem Statement)

Rectified Flow (RF) 모델은 노이즈를 복잡한 데이터 분포로 변환하는 연속적인 속도장 (velocity field) 을 학습하여 고품질 생성과 훈련이 불필요한 역변환 (inversion) 을 가능하게 합니다. 그러나 기존 역변환 방법 (예: Vanilla RF inversion) 은 다음과 같은 근본적인 한계를 가집니다.

• 근사 오차의 누적: 역변환 과정에서 각 타임스텝마다 관측된 데이터를 사용하여 입력을 근사하게 되는데, 이로 인해 발생하는 오차가 단계별로 누적됩니다.
• 속도장의 불안정성: 오차 누적으로 인해 학습된 속도장이 교란 (perturbation) 되어, 역변환 경로가 원래의 단순한 노이즈 사전 (prior) 에서 벗어나게 됩니다.
• 낮은 밀도 영역으로의 이탈: 불안정한 경로는 데이터 분포의 낮은 밀도 영역 (low-density regions) 으로 빠져들게 되어, 재구성 (reconstruction) 시 디테일 손실이나 편집 (editing) 시 구조적 일관성 저하를 초래합니다.
• 기존 방법의 비효율성: 기존 오차 보정 방법들 (예: Fixed-Point Iteration 등) 은 정확도를 높이기 위해 추가적인 샘플링 단계나 신경망 함수 평가 (NFE) 를 요구하여 계산 비용이 증가하는 문제가 있습니다.

2. 제안 방법론 (Methodology)

저자는 추가적인 훈련 없이 기존 RF 솔버에 플러그 앤 플레이 (plug-and-play) 방식으로 적용 가능한 두 가지 핵심 기법을 제안합니다.

2.1 Proximal-Mean Inversion (PMI)

역변환 및 재구성 단계에서 속도장의 불안정성을 보정하기 위한 방법입니다.

• 핵심 아이디어: 현재 예측된 속도 벡터를 과거부터 현재까지의 이동 평균 속도 (running average of past velocities) 방향으로 유도하여, 속도장의 전역적 일관성을 유지합니다.
• 수식적 접근:
  • 목적 함수 $F(v)$는 이전 단계와의 국소적 일관성 ($\ell_1$ 정규화) 과 이동 평균 방향과의 전역적 일관성 ($\ell_2$ 거리) 을 균형 있게 최적화합니다.
  • 계산 효율성을 위해 목적 함수를 1 차 테일러 전개로 근사하고, 구형 가우시안 (spherical Gaussian) 제약 하에서 최적화 문제를 풉니다.
  • 구형 가우시안 제약: 역변환 이론의 불안정성 분석에 기반하여, 보정된 경로가 데이터의 낮은 밀도 영역으로 이탈하지 않도록 각 단계의 보정 반경 ($r_t$) 을 이론적으로 유도하여 제한합니다.
• 특징: 추가적인 NFE 없이 기존 솔버 (Euler, Heun, RF-Solver 등) 에 통합 가능하며, 역변환 경로의 안정성을 보장합니다.

2.2 mimic-CFG (Editing)

이미지 편집 작업에서 구조적 일관성과 편집 효과 사이의 균형을 맞추기 위한 경량 속도 보정 전략입니다.

• 동기부여: Classifier-Free Guidance (CFG) 의 구조를 모방하여, 현재 예측 속도와 그 이동 평균 방향에 대한 투영 (projection) 사이를 보간합니다.
• 작동 원리:
  1. 현재 예측 속도 $v_t$를 과거 이동 평균 속도 $\bar{v}^{edit}_t$ 방향으로 투영하여 $\bar{v}^{proj}_t$를 계산합니다.
  2. 최종 보정 속도 $\hat{v}_t$는 투영된 벡터와 원래 예측 벡터의 선형 보간으로 구합니다: $\hat{v}_t = (1-w)\bar{v}^{proj}_t + w v_t$.
  3. 여기서 $w$는 보정 강도를 조절하는 하이퍼파라미터입니다.
• 효과: 과도한 속도 교란으로 인한 배경 왜곡을 방지하면서도, 텍스트 프롬프트에 따른 의미 있는 편집을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. PMI 제안: 기울기 보정을 통해 속도장을 이동 평균 방향으로 유도하는 훈련 불필요 (training-free) 방법론을 제안하여 RF 기반 모델의 역변환 오차를 효과적으로 감소시켰습니다.
2. mimic-CFG 제안: CFG 구조를 모방한 경량 속도 보정 전략을 도입하여, 배경 보존 (structural consistency) 과 편집 품질 (editing fidelity) 간의 최적 균형을 달성했습니다.
3. 이론적 안정성: 역변환 중 샘플링 포인트가 고밀도 영역에 머무르도록 보장하는 구형 가우시안 반경에 대한 이론적 조건을 제시했습니다.
4. SOTA 성능 달성: PIE-Bench 벤치마크에서 기존 최첨단 방법들보다 더 적은 샘플링 단계로 더 높은 재구성 및 편집 성능을 달성했습니다.

4. 실험 결과 (Results)

저자들은 PIE-Bench (700 개의 이미지, 10 가지 편집 카테고리) 를 사용하여 광범위한 실험을 수행했습니다.

• 역변환 및 재구성 (Inversion & Reconstruction):

  • Euler, Heun, RF-Solver, FireFlow 등 다양한 솔버에 PMI 를 적용한 결과, 모든 솔버에서 PSNR, SSIM이 향상되고 MSE, LPIPS가 감소했습니다.
  • 특히 Heun 솔버의 경우 PSNR 이 1.22 포인트, RF-Solver는 1.55 포인트 크게 향상되었습니다.
  • 프롬프트가 없는 조건 (Unconditional) 에서도 기존 방법보다 우수한 성능을 보여 역변환 경로의 안정성이 입증되었습니다.

• 이미지 편집 (Editing):

  • mimic-CFG 를 적용한 결과, 배경 보존 지표 (PSNR, SSIM) 를 유지하거나 향상시키면서 CLIP 유사도 (편집된 영역의 의미 일치도) 를 크게 개선했습니다.
  • FireFlow의 경우, 기존 18 단계에서 더 적은 단계로 동등하거나 더 나은 품질을 달성하여 계산 효율성을 높였습니다.
  • 실제 이미지 및 벤치마크 이미지 모두에서 배경 왜곡이 줄고 편집의 정확도가 높아지는 정성적 개선을 보였습니다.

• 효율성: 추가적인 모델 훈련이나 NFE 증가 없이, 기존 솔버의 성능을 한 단계 업그레이드하여 더 적은 샘플링 단계로 SOTA 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성 모델의 역변환 및 편집 과정에서 발생하는 근사 오차 누적이라는 근본적인 문제를 이론적으로 분석하고, 훈련이 불필요한 보정 기법으로 해결했다는 점에서 의의가 큽니다.

• 실용성: 복잡한 파인튜닝 없이 기존 오픈소스 모델 (Flux, Stable Diffusion 등) 에 즉시 적용 가능하여 산업적 활용도가 높습니다.
• 이론적 엄밀성: 불안정성 분석을 기반으로 한 반경 제약과 근사 오차 분석을 통해 방법론의 신뢰성을 뒷받침했습니다.
• 미래 영향: 더 적은 계산 비용으로 고품질의 이미지 재구성과 정밀한 편집을 가능하게 함으로써, 생성형 AI 의 신뢰성과 제어 가능성 (controllability) 을 높이는 중요한 발걸음이 될 것으로 기대됩니다.

요약하자면, 이 연구는 PMI와 mimic-CFG를 통해 Rectified Flow 모델의 역변환 안정성을 획기적으로 개선하고, 더 적은 계산 비용으로 최첨단 (SOTA) 의 재구성 및 편집 품질을 달성하는 방법을 제시했습니다.