SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing

1. 연구 배경 및 문제 정의 (Problem)

최근 Rectified Flow (RF) 기반 생성 모델은 텍스트 기반 이미지 편집 (Text-guided Image Editing) 에서 훈련 없이 (training-free) 고품질의 결과를 보여주는 잠재 공간 역변환 (Inversion) 기법을 통해 주목받고 있습니다. 일반적인 역변환 기반 편집은 두 단계로 이루어집니다:

1. 역변환 (Forward Inversion): 원본 이미지를 노이즈 잠재 공간으로 매핑합니다.
2. 생성 (Backward Generation): 새로운 타겟 프롬프트 조건 하에 해당 잠재 공간에서 이미지를 재생성합니다.

그러나 기존 방법들은 원본 이미지의 충실도 (Source Fidelity) 를 유지하는 데 심각한 한계가 있었습니다. 주요 문제는 다음과 같습니다:

• 역변환 오차 (Inversion Error): 오일러 (Euler) 적분법의 이산화로 인해 발생하는 오차가 누적되어, 역변환된 잠재 공간이 원본 이미지를 완벽하게 재구성하지 못합니다.
• 궤적 발산 (Trajectory Divergence): 원본과 타겟의 속도 벡터 (Velocity) 가 다르기 때문에, 편집 과정에서 생성된 이미지가 원본의 구조 (자세, 배경 등) 에서 크게 벗어나는 현상이 발생합니다.
• 기존 해결책의 한계:
  • 고차 솔버 (Higher-order solvers): 오차를 줄이지만 추가적인 모델 추론 (NFEs) 이 필요해 계산 비용이 큽니다.
  • 절단 역변환 (Truncated inversion): 중간 단계에서 역변환을 멈추는 방식인데, 중단 시점을 잘못 설정하면 편집이 부족하거나 과도해집니다.
  • 특성 주입 (Feature injection): 주의도 맵 (Attention maps) 등을 주입하는 방식은 아키텍처에 의존적이며 (heuristic), 다른 모델로 전이하기 어렵습니다.

2. 제안 방법론: SteerFlow (Methodology)

저자들은 이러한 한계를 극복하기 위해 모델에 구애받지 않는 (Model-agnostic) 이론적 보장을 갖춘 SteerFlow 프레임워크를 제안합니다. 이는 크게 세 가지 핵심 구성 요소로 이루어집니다.

A. 전진 과정: 감가상각 고정점 솔버 (Amortized Fixed-Point Solver, AFP)

• 목적: 역변환 오차를 줄이고, 역변환된 잠재 공간이 원본 구조를 최대한 유지하도록 합니다.
• 원리: 기존 오일러 방법은 시간 단계마다 속도가 불일치하여 오차가 누적됩니다. SteerFlow 는 연속된 시간 단계에서 속도 일관성 (Velocity Consistency) 을 강제하여 전진 궤적을 직선화합니다.
• 구현:
  • 암시적 고정점 조건 $v^*_i = v_\theta(Z_{t_i} + \Delta t \cdot v^*_i, t_{i+1})$ 을 만족하는 속도를 찾습니다.
  • 모든 단계에서 반복 계산을 수행하면 비용이 너무 많이 들기 때문에, 첫 번째 시간 단계에서만 $K$ 번의 반복 계산을 수행하고, 이후 단계에서는 이전 단계의 속도를 '웜-스타트 (warm-start)' 초기값으로 사용하여 단일 반복만 수행합니다.
  • 이를 통해 이동하는 목표 (moving target) 문제를 해결하고, 계산 비용을 최소화하면서도 역변환 정확도를 극대화합니다.

B. 후진 과정: 궤적 보간 (Trajectory Interpolation)

• 목적: 편집된 이미지가 원본의 구조를 잃지 않도록 궤적 발산을 방지합니다.
• 원리: 타겟 프롬프트에 따른 편집 속도 ($V^{tar}$) 와 원본 재구성 속도 ($V^{src}$) 를 적응적으로 혼합합니다.
• 수식: $V^{edit}_t = V^{src}_t + \alpha_t \cdot (V^{tar}_t - V^{src}_t)$
  • $\alpha_t$ 는 시간 $t$ 에 따라 변하는 가중치로, 초기 단계에서는 원본 속도에 가깝게 ($\alpha \approx 0$) 유지하여 구조를 고정하고, 후기 단계에서는 타겟 속도로 점차 전환됩니다.
  • 적응적 스케줄링: $\alpha_t$ 는 시간 감쇠 (time-decay) 와 원본 - 타겟 속도 벡터 간의 코사인 유사도 (CosSim) 를 결합하여 정의됩니다. 구조적으로 안전한 영역에서는 타겟 편집을 허용하고, 구조가 변할 위험이 큰 영역에서는 원본 속도를 강력하게 유지합니다.

C. 적응적 마스킹 (Adaptive Masking)

• 목적: 배경이나 원하지 않는 영역이 편집되는 '누출 (Leakage)' 현상을 방지합니다.
• 원리:
  1. SAM3 기반 베이스 마스크: 편집 토큰 (예: '고양이') 을 입력받아 SAM3 모델을 통해 편집 대상의 기본 영역을 추출합니다.
  2. 속도 차이에 의한 정제: 생성 모델이 예측하는 원본과 타겟 간의 속도 차이 ($\Delta V = V^{tar} - V^{src}$) 를 분석하여, 구조적 변화가 필요한 영역을 자동으로 확장합니다.
  3. 마스킹 적용: 이 적응적 마스크는 궤적 보간 과정에 공간적 게이트 (Spatial Gate) 로 작용하여, 마스크 영역 밖의 배경은 원본 속도를 유지하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 분석: 역변환 오차와 궤적 발산에 대한 엄밀한 수학적 분석을 통해 오차 상한선을 유도하고, 이를 기반으로 한 프레임워크 설계의 이론적 근거를 제시했습니다.
2. SteerFlow 프레임워크:
   • 전진 과정의 AFP 솔버와 후진 과정의 궤적 보간을 결합하여 역변환 오차와 궤적 발산을 동시에 최소화합니다.
   • 적응적 마스킹을 통해 편집의 공간적 정밀도를 높이고 배경 보존을 강화합니다.
   • 아키텍처에 구애받지 않으며, 추가적인 모델 학습 없이도 적용 가능합니다.
3. 다중 턴 편집 (Multi-turn Editing) 확장: 단일 편집이 아닌 여러 번의 편집을 연속적으로 수행할 때, 이전 편집 결과를 새로운 '원본'으로 사용하여 누적된 드리프트 (Drift) 를 방지하는 자연스러운 확장성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: PIE-Bench 벤치마크를 사용하며, 최신 모델인 FLUX.1-dev와 Stable Diffusion 3.5 Medium에서 평가되었습니다.
• 성능:
  • 원본 보존 (Source Preservation): DinoDist, LPIPS, SSIM 등 구조적 유사성 지표에서 기존 방법 (UniEdit, FireFlow, RF-Solver 등) 보다 일관되게 우수한 성능을 보였습니다.
  • 타겟 정렬 (Target Alignment): CLIP Score 와 ImageReward 에서도 경쟁력 있는 수치를 기록하며, 원본 구조를 유지하면서도 프롬프트 요구사항을 잘 따르는 균형을 달성했습니다.
  • 재구성 품질: 이미지 재구성 (Reconstruction) 작업에서도 AFP 솔버의 효과로 인해 높은 PSNR 과 SSIM 을 기록했습니다.
• 비교: 기존 고차 솔버 방법들은 계산 비용이 높거나 구조 보존이 부족했고, 역변환 없는 (Inversion-free) 방법들은 일관성이 떨어지는 반면, SteerFlow 는 낮은 계산 비용으로 최고의 균형을 이루었습니다.

5. 의의 및 결론 (Significance)

SteerFlow 는 역변환 기반 이미지 편집의 근본적인 문제인 구조적 드리프트를 이론적으로 해결하고 실용적으로 구현한 획기적인 방법론입니다.

• 이론과 실전의 결합: 단순한 휴리스틱 (heuristic) 이 아닌, 오차 분석에 기반한 수학적 설계로 신뢰성을 높였습니다.
• 효율성: 고차 솔버의 높은 계산 비용 없이도 동급 이상의 정확도를 달성하여 실제 적용 가능성을 높였습니다.
• 확장성: 복잡한 다중 턴 편집 (Multi-turn editing) 과 다양한 아키텍처 (FLUX, SD3.5) 에서의 성공적인 적용은 이 방법론이 차세대 이미지 편집 표준으로 자리 잡을 수 있음을 시사합니다.

요약하자면, SteerFlow 는 "원본의 구조를 훼손하지 않으면서도 원하는 대로 이미지를 편집하는" 이상적인 균형을 이론적 보장과 효율적인 알고리즘을 통해 실현한 연구입니다.