FlowSlider: Training-Free Continuous Image Editing via Fidelity-Steering Decomposition

1. 문제 정의 (Problem Statement)

기존의 텍스트 기반 이미지 편집 기술은 사용자에게 편집 강도를 조절할 수 있는 '슬라이더' 형태의 인터페이스를 제공하지 못하는 경우가 많습니다.

• 기존 방법의 한계:
  • 학습 기반 (Learning-based) 슬라이더: 기존 슬라이더 방식 (Concept Sliders, Kontinuous Kontext 등) 은 합성 데이터나 프록시 감독을 통해 추가적인 모듈을 학습시켜야 합니다. 이는 훈련 오버헤드를 발생시키고, 편집 방향이나 도메인의 분포가 변할 때 신뢰성이 떨어지는 문제가 있습니다.
  • 무학습 (Training-free) 방법의 부재: Rectified Flow 기반의 FlowEdit 와 같은 무학습 편집기는 고품질 편집이 가능하지만, 편집 강도를 조절하는 원리적인 메커니즘이 부족합니다. 단순히 FlowEdit 의 업데이트 벡터에 스칼라 $s$를 곱하는 (Naive Scaling) 방식은 $s$가 커질수록 아티팩트 (링킹, 과도한 선명화 등) 가 발생하고 원본 이미지의 충실도 (Fidelity) 가 급격히 저하됩니다.
• 목표: 추가 학습 없이, 원본 이미지의 정체성과 구조를 유지하면서 편집 강도를 부드럽고 일관되게 조절할 수 있는 슬라이더 메커니즘을 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 FlowEdit 의 업데이트 벡터를 **신뢰도 (Fidelity)**와 조향 (Steering) 두 가지 성분으로 분해하여 이를 제어하는 FlowSlider를 제안합니다.

2.1 핵심 아이디어: Fidelity-Steering Decomposition

FlowEdit 의 속도 업데이트 $\Delta V$를 다음과 같이 수학적으로 정확히 분해합니다:
$$\Delta V = V_{\text{fid}} + V_{\text{steer}}$$

1. 신뢰도 항 (Fidelity Term, $V_{\text{fid}}$):

   • 역할: 원본 이미지 조건에 기반한 안정화기 (Stabilizer) 역할을 합니다.
   • 정의: 동일한 프롬프트 ($c_{\text{src}}$) 하에서, 원본 상태 ($z_{\text{src}}$) 와 고정된 타겟 상태 ($z_{\text{tar}}$) 간의 속도 차이입니다.
   • 기능: 편집 경로가 원본과 일관된 영역 (Source-consistent regime) 에 머무르도록 하여, 노이즈 소거 효과를 유지하고 원본의 정체성 (Identity) 과 구조를 보존합니다.

2. 조향 항 (Steering Term, $V_{\text{steer}}$):

   • 역할: 목표 편집 방향 ($c_{\text{src}} \to c_{\text{tar}}$) 으로 의미적 전환을 유도합니다.
   • 정의: 동일한 상태 ($z_{\text{tar}}$) 하에서, 원본 프롬프트와 타겟 프롬프트 간의 속도 차이입니다.
   • 기능: 편집의 강도와 방향을 결정하는 핵심 요소입니다.

2.2 강도 조절 메커니즘

FlowSlider 는 편집 강도 스칼라 $s$를 도입하여 조향 항 ($V_{\text{steer}}$) 만을 스케일링하고, 신뢰도 항 ($V_{\text{fid}}$) 은 고정합니다.
$$\Delta V_s = V_{\text{fid}} + s \cdot V_{\text{steer}}$$

• 기하학적 분석: 실험적 측정과 기하학적 분석을 통해 $V_{\text{fid}}$와 $V_{\text{steer}}$가 거의 **직교 (Orthogonal, 약 90 도)**함을 발견했습니다.
  • 두 성분이 직교하므로, 조향 항의 크기 ($s$) 를 변경해도 신뢰도 항의 안정화 효과에는 거의 영향을 미치지 않습니다.
  • 반면, 기존 방식인 $s \cdot \Delta V$ (전체 벡터 스케일링) 는 신뢰도 항까지 함께 증폭시켜 잔여 노이즈를 증대시키고 아티팩트를 유발합니다.

2.3 알고리즘

FlowSlider 는 FlowEdit 의 추론 과정에 약간의 수정을 가합니다. 각 스텝에서 세 가지 속도 필드를 계산합니다:

1. $V(z_{\text{tar}}, t, c_{\text{tar}})$: 타겟 조건 속도
2. $V(z_{\text{tar}}, t, c_{\text{src}})$: 원본 조건으로 계산된 타겟 상태 속도 (분해에 필요)
3. $V(z_{\text{src}}, t, c_{\text{src}})$: 원본 조건 속도
   이들을 조합하여 $V_{\text{fid}}$와 $V_{\text{steer}}$를 구한 뒤, 위 식 (7) 에 따라 $s$를 적용하여 ODE 경로를 적분합니다.

3. 주요 기여 (Key Contributions)

1. 학습이 필요 없는 (Training-Free) 슬라이더: 추가적인 데이터 수집이나 모델 학습 (Post-training) 없이, 사전 학습된 Rectified Flow 모델의 추론 동역학을 수정하여 슬라이더 기능을 구현했습니다.
2. 신뢰도 - 조향 분해 (Fidelity-Steering Decomposition): 편집 업데이트를 의미적 변화와 원본 보존 두 가지 직교하는 성분으로 분해하여, 편집 강도 조절 시 원본 충실도를 유지하는 이론적 근거를 제시했습니다.
3. 범용성: FLUX.1-dev 와 Stable Diffusion 3 Medium 등 다양한 Rectified Flow 백본에서 추가 학습 없이 즉시 적용 가능합니다.

4. 실험 결과 (Results)

저자들은 자체 구축한 연속 편집 벤치마크와 PIE-Bench 를 통해 FlowSlider 를 평가했습니다.

• 슬라이더 행동 (Slider Behavior):
  • 단조성 (Monotonicity): 편집 강도 $s$가 증가함에 따라 편집 효과가 일관되게 증가하는 정도에서 FlowSlider 가 기존 방법 (Kontinuous Kontext, SliderEdit 등) 보다 가장 높은 점수를 기록했습니다.
  • 부드러움 (Smoothness): 강도 변화에 따른 이미지 전환이 매끄럽고 갑작스러운 변화가 적었습니다.
• 편집 품질 (Edit Quality):
  • 원본 보존 (Fidelity): DreamSim 점수 (원본과의 유사성) 에서 가장 낮은 값을 기록하여 원본의 정체성과 구조를 가장 잘 유지했습니다.
  • 의미 일치 (CLIP-dir): 편집 의도와 이미지 변화 방향의 일치도는 학습 기반 방법들과 경쟁할 수 있는 수준을 유지했습니다.
• 비교 분석:
  • Naive Scaling: $s > 1$일 때 아티팩트가 심해지고 원본이 왜곡되었습니다.
  • 선형 보간 (Linear Interpolation): 편집이 미약하거나 목표 이미지가 일관되지 않았습니다.
  • FlowSlider: 모든 강도 구간에서 안정적이고 고품질의 편집 결과를 생성했습니다.

5. 의의 및 결론 (Significance)

FlowSlider 는 생성형 이미지 편집 분야에서 학습 비용 없이도 정교한 사용자 제어 (Slider Control) 를 가능하게 하는 새로운 패러다임을 제시합니다.

• 실용성: 사용자가 원본의 특성을 해치지 않으면서 편집 강도를 미세하게 조절할 수 있어, 인터랙티브한 이미지 편집 도구로 즉시 활용 가능합니다.
• 이론적 통찰: Rectified Flow 기반 편집에서 '신뢰도'와 '조향'이 기하학적으로 직교한다는 발견은 향후 무학습 편집 알고리즘 설계에 중요한 지침을 제공합니다.
• 확장성: 특정 도메인에 종속되지 않고 다양한 편집 작업 (계절 변경, 스타일 변환, 날씨 변화 등) 에 일관되게 적용 가능합니다.

요약하자면, FlowSlider 는 복잡한 학습 과정 없이도 원본의 충실도를 해치지 않으면서 편집 강도를 완벽하게 제어할 수 있는 최초의 실용적인 무학습 솔루션을 제시한 연구입니다.