기술 요약: FlowSteer: 일관된 이미지 복원을 위한 흐름장 조건부 제어

1. 문제 제기

흐름 기반 텍스트-이미지 (T2I) 모델은 확산 모델에 비해 뛰어난 효율성과 지각적 품질을 입증해 왔으나, 이미지 복원 (IR) 작업에서는 크게 어려움을 겪습니다. 핵심적인 도전 과제는 측정 충실도입니다. 흐름 모델은 퇴화 연산자 $A$에 의해 생성된 입력 측정값 $y$ (여기서 $y \approx Ax$) 에서 "벗어날" (drift away) 경향이 있습니다.

이러한 이탈을 완화하기 위한 기존 접근법은 두 가지 범주로 나뉘며, 모두 한계가 있습니다:

1. 암시적 조건부 제어: RF-Edit 과 같은 방법은 역변환된 잠재 특징과 어텐션 맵을 사용하여 재구성을 안내합니다. 이는 고수준의 레이아웃과 지각적 품질을 유지하지만, 픽셀 수준의 충실도를 강제하지 못해 종종 대상의 정체성 손실과 환각 생성으로 이어집니다.
2. 명시적 조건부 제어: PnP-Flow 와 같은 방법은 탈노이즈 경로의 모든 단계에서 픽셀 수준의 제약을 강제하려 시도합니다. 그러나 흐름 모델은 확산 모델에 내재된 노이즈 스케줄 ($\sigma_t$) 이 부재하기 때문에, 모든 단계에 이러한 제약을 적용하면 과도한 노이즈와 아티팩트가 발생하여 흐릿하거나 왜곡된 출력을 초래합니다.

또한, 기존 흐름 기반 복원 방법들은 종종 각 데이터셋이나 작업별로 특정 모델을 학습해야 하므로, 오프더셸 (off-the-shelf) T2I 모델이 가진 확장성과 제로샷 (zero-shot) 능력을 결여하고 있습니다.

2. 방법론: FlowSteer (FS)

저자들은 사전 학습된 흐름 모델의 샘플링 경로에 측정 사전 지식을 주입하는 학습이 필요 없는 제로샷 조건부 제어 방식인 FlowSteer를 제안합니다. 이 방법은 전체 해 궤적에 걸쳐 전방 모델 제약을 균일하게 적용할 수 없다는 중요한 관찰에 기반합니다.

주요 기술 구성 요소:

• 연산자 인식 조건부 제어: FlowSteer 는 텍스트 프롬프트와 공유 어텐션 특징을 통한 고정된 흐름 모델의 암시적 안내와 명시적 측정 제약 ($y = Ax$) 을 결합합니다.
• Flow-Steer 스케줄러: 모든 단계에서 충실도 업데이트를 적용하는 대신, FlowSteer 는 희소 파라미터 스케줄 $\{\lambda_i\}$을 도입합니다. 이 스케줄러는 재구성 경로 중 언제 명시적 조건부 제어를 적용해야 하는지를 결정합니다.
  • 초기 단계 ($t \approx 1$): 추정값은 아직 잠재 공간에 있습니다. 여기서 충실도 제약을 적용하는 것은 해롭습니다. 흐름 모델은 노이즈에 매우 민감하고 노이즈 버퍼가 부재하기 때문입니다. 너무 일찍 조건부 제어를 적용하면 유효 노이즈가 도입되어 궤적을 손상시킵니다.
  • 중간~후기 단계 ($t \to 0$): 추정값이 의미 있는 이미지로 변함에 따라, 스케줄러는 충실도 업데이트를 활성화합니다. 이는 색상과 질감을 확립하는 생성적 사전 지식을 방해하지 않으면서 궤적을 측정값 $y$ 쪽으로 유도합니다.
• 알고리즘 적응: 이 방법은 확산 모델의 "널-공간 업데이트 (null-space update)" 개념 (알고리즘 1) 을 흐름 모델에 적응시킵니다. 그러나 수치적 오류와 노이즈의 증폭을 방지하기 위해 초기 단계에서는 선형 투영 단계 ($\hat{x}_{0|t} \leftarrow A^\dagger y + (I - A^\dagger A)\hat{x}_{0|t}$) 를 피합니다. 업데이트는 스케줄러 $\lambda_i > 0$일 때만 수행되며, 일반적으로 전체 단계의 50% 에서 90% 사이에서 이루어집니다.
• 파이프라인: 시스템은 사전 학습된 Rectified Flow 모델 (특히 Flux-dev) 을 사용합니다. 역변환 - 재구성 파이프라인을 채택하여 역변환 경로에서 가져온 어텐션 맵을 레이아웃 안내를 위해 캐싱하는 반면, FlowSteer 는 픽셀 수준의 충실도를 처리합니다.

3. 주요 기여

1. 흐름 모델 민감도 분석: 이 논문은 흐름 모델이 균일한 충실도 업데이트에 노출될 때 취약한 이유를 규명하고 설명하며, 이를 확산 모델과 비교했을 때 내재된 노이즈 스케줄 ($\sigma_t$) 의 부재에 기인합니다.
2. FlowSteer 스케줄러: 명시적 측정 조건부 제어를 도입하는 최적의 시기를 결정하는 간단하고 효과적인 스케줄러를 제안합니다. 이를 통해 모델은 초기에는 생성적 사전 지식을 활용하다가 후기에는 물리적 제약을 강제할 수 있습니다.
3. 제로샷 보편성: FlowSteer 가 단일 사전 학습된 T2I 모델을 사용하여 재학습이나 작업별 어댑터 없이 다양한 복원 작업 (초해상도, 디블러링, 디노이징, 컬러화) 에 적용 가능한 보편적인 방식임을 입증했습니다.

4. 실험 결과

저자들은 AFHQ, CelebAHQ, 야생 동물 등의 데이터셋을 사용하여 컬러화, 초해상도 (4 배), 디블러링, 디노이징 네 가지 작업에서 FlowSteer 를 평가했습니다.

• 충실도 vs 지각적 품질: FlowSteer 는 기존 흐름 기반 방법 (D-Flow, FlowPriors, PnP-Flow) 과 확산 기반 베이스라인 (DDNM) 에 비해 우수한 균형을 달성합니다.
  • 정량적: 경쟁 방법들보다 높은 PSNR 과 SSIM(충실도) 및 낮은 LPIPS 와 높은 CLIP 유사도 (지각적 품질) 를 달성합니다. 예를 들어, 초해상도 작업에서 FlowSteer 는 PSNR 32.85와 LPIPS 0.17을 기록하여 PnP-Flow(31.20 PSNR, 0.175 LPIPS) 와 RF-Edit(22.32 PSNR, 0.28 LPIPS) 를 능가했습니다.
  • 정성적: 시각적 결과는 FlowSteer 가 대상의 정체성 (예: 얼굴 특징, 모피 질감) 을 유지하고 PnP-Flow 의 과도한 흐림이나 암시적 전용 방법의 환각 없이 풍부한 디테일을 생성함을 보여줍니다.
• 효율성: FlowSteer 는 30 단계로 작동하여 종종 100 단계가 필요한 확산 기반 대응물 (예: DDNM) 보다 훨씬 빠릅니다.
• 애블레이션 연구:
  • 타이밍: 충실도 업데이트를 너무 일찍 또는 너무 늦게 적용하면 성능이 저하됩니다. "중간~후기" 구간이 경험적으로 최적임이 검증되었습니다.
  • 투영: 초기 단계에서 $\hat{x}_{0|t}$로의 선형 투영을 피하는 것이 중요합니다. 이를 수행하면 잔여 노이즈와 아티팩트가 발생합니다.

5. 의의 및 주장

이 논문은 FlowSteer 가 흐름 기반 이미지 복원에서 생성적 품질과 측정 충실도 사이의 근본적인 긴장 관계를 해결한다고 주장합니다. 흐름 모델이 확산 모델과 다른 조건부 제어 전략, 구체적으로 지연되고 희소한 제약 적용을 필요로 한다는 점을 인식함으로써, FlowSteer 는 엄격한 제로샷 설정에서 강력한 사전 학습된 T2I 모델을 복원 작업에 활용할 수 있게 합니다.

저자들은 이 접근 방식이 재학습이 필요 없고, 어댑터가 필요 없으며, 기본 모델의 추론 이상의 추가 계산 비용이 들지 않는다고 강조합니다. 이는 흐름 모델이 물리적 전방 이미지 형성 모델을 존중하도록 효과적으로 "조종"될 수 있음을 보여주며, 이미지 복원을 위해 확산 모델보다 더 빠르고 고품질의 실현 가능한 대안이 될 수 있음을 시사합니다.

인정된 한계: 이 논문은 현재 스케줄러가 경험적이며 작업별임을 지적합니다. 향후 작업에는 이미지 적응형 스케줄러가 포함될 수 있습니다. 또한, 의사역연산자를 통한 명시적 조건부 제어는 특정 아티팩트 (예: 디블러링에서의 링잉, 초해상도에서의 블로킹) 를 도입할 수 있으며, 이는 전방 모델 역변환의 수학적 공식화에 내재된 것입니다.