💻 computer science

h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

이 논문은 Doob의 h-Transform을 활용하여 이미지 편집을 조건부 생성으로 재구성함으로써, 폐쇄형 가이드(closed-form guidance)와 속도 직교 분해(velocity orthogonal decomposition)를 통해 소스 일관성과 타겟 정렬에 대한 유연하고 강력한 제어를 가능하게 하는 훈련이 필요 없는 프레임워크인 h-Flow를 소개한다.

원저자: Zehui Guo, Zhen Wang, Junwei Shu, Yang Li, Changbo Wang, Long Chen

게시일 2026-07-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zehui Guo, Zhen Wang, Junwei Shu, Yang Li, Changbo Wang, Long Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 마법 같은 사진 편집기가 있다고 상상해 보세요. 문장 하나만 입력하면 강아지 사진을 고양이로 바꾸거나, 회색 바위를 오레오 쿠키 더미로 바꿀 수 있는 도구 말이죠. 하지만 여기에는 함정이 있습니다. 당신은 새로운 고양이가 원래의 강아지와 '중요하지 않은 모든 부분(포즈, 배경, 조명 등)'에서 똑같기를 원합니다. 오직 털과 얼굴만 바뀌어야 하죠.

오랫동안 이러한 작업을 수행하는 도구들은 마치 케이크를 다시 만들기 위해 밀가루를 되돌리려고 '케이크를 다시 굽지 않는 과정(un-bake)'을 거치는 것과 같았습니다. 이러한 "역변환 기반(inversion-based)" 방식들은 이미지를 노이즈 상태로 되돌렸다가 다시 재구축하려고 시도했습니다. 문제는 이 방식들이 레시피를 틀리게 적용하여 결과물이 원래와 전혀 다르게 보이게 만들거나, 아주 작은 설정(온도) 하나만 바꿔도 전체를 망쳐버릴 정도로 까다롭다는 점이었습니다. 다른 도구들은 이전 사진에서 새로운 사진으로 직접적인 경로를 그리려 했지만, 이는 마치 잘못된 길로 한 번만 들어서도 길을 잃어버리는 GPS처럼 원래 이미지의 구조를 잃어버리곤 했습니다.

여기, 복잡한 "되돌리기(un-baking)" 단계를 건너뛰는 새로운 사진 편집 방식인 h-Flow가 등장했습니다. h-Flow는 단순히 추측하는 대신, Doob의 h-Transform이라는 영리한 수학적 기법을 사용합니다. 이것은 마치 당신이 가고자 하는 목적지(새로운 프롬프트)를 정확히 알면서도, 동시에 당신이 어디서 시작했는지(원래의 사진)를 정확히 알고 있는 매우 똑똑한 가이드와 같습니다.

h-Flow가 어떻게 작동하는지 간단한 비유를 통해 설명해 보겠습니다.

당신이 자동차를 운전하고 있다고 상상해 보세요. 당신에게는 두 가지 목표가 있습니다:

길을 벗어나지 않기: 자동차가 원래 사진의 경로를 정확히 유지해야 합니다 (배경이 사라지지 않도록).
목적지 변경하기: 새로운 아이디어(예: "회색 바위"를 "오레오 쿠키"로 바꾸는 것)를 향해 핸들을 돌려야 합니다.

기존의 방법들은 이 두 가지를 모두 하기 위해 핸들을 두 방향으로 동시에 확 잡아당기려 했고, 그 결과 자동차가 미끄러지거나 충돌하곤 했습니다. 하지만 h-Flow는 특별한 **직교 분해(orthogonal decomposition)**를 사용합니다. 상상해 보세요, 핸들에는 두 개의 별개이고 보이지 않는 레버가 달려 있습니다:

하나의 레버는 **재구축(reconstruction)**을 제어합니다 (자동차가 길 위에 머물도록 유지).
다른 레버는 **편집(editing)**을 제어합니다 (새로운 목적지를 향해 이동).

h-Flow의 마법은 이 두 레버가 수학적으로 **완벽하게 수직(90도 각도)**임을 증명했다는 데 있습니다. 즉, 당신이 피사체를 바꾸기 위해 "편집" 레버를 아무리 세게 당기더라도, 그것이 실수로 "재구축" 레버를 건드리지 않는다는 뜻입니다. 덕분에 배경은 바위처럼 단단하게 유지되면서도, 피사체는 당신이 요청한 대로 정확하게 변형되는 완벽한 균형을 얻을 수 있습니다.

저자들은 이를 700개의 다양한 이미지(PIE-Bench)와 더 까다로운 다중 객체 편집(PIE-Bench++) 세트에서 테스트했습니다. 그 결과 h-Flow는 단순히 잘 작동하는 것을 넘어, 7개의 다른 최상위 방법들과 비교했을 때 9가지 지표 전반에서 일관되게 1위를 차지했습니다. h-Flow는 (PSNR 및 SSIM과 같은 지표로 측정되는) 원래 이미지의 구조를 유지하면서도, (CLIP 점수로 측정되는) 새로운 텍스트 설명을 완벽하게 구현해 냈습니다.

결정적으로, 이 논문은 이미지를 먼저 노이즈로 역변환하거나, 특정 카메라나 모델에만 적용되는 "휴리스틱(경험적)" 규칙에 의존할 필요가 없다는 주장을 펼칩니다. h-Flow는 학습이 필요 없는(training-free) 방식입니다. 즉, 새로운 것을 배울 필요 없이 기존 모델의 수학적 원리를 사용하여 편집을 유도합니다.

연구진은 이 방법이 어떤 방식으로 시작하든(특정 "역변환" 도구를 사용하든, 혹은 약간의 노이즈를 추가하든) 상관없이 작동한다는 것을 보여주었습니다. 테스트 결과, h-Flow를 구조를 파괴하는 경ical한 방법과 결합했을 때조차, h-Flow는 원래의 모습을 복구하면서도 편집을 수행하는 "구조적 안정제(structural stabilizer)" 역할을 수행했습니다.

따라서 다른 도구들이 캔버스를 번지게 만드는 서툰 화가라면, h-Flow는 움직일 필요가 없는 픽셀 하나도 건드리지 않고 정밀하게 절개하고 수정하는 숙련된 외과의사와 같습니다. 이는 "이것을 바꾸되, 나머지 모든 것은 정확히 똑같이 유지하라"는 말을 실제로 실현할 수 있는, 유연하고 수학적으로 근거가 확실한 방식입니다.

기술 요약: h-Flow: Doob의 h-변환을 이용한 유연한 흐름 기반 이미지 편집

문제 정의
사전 학습된 텍스트-이미지 Rectified Flow (RF) 모델을 사용하는 텍스트 기반 이미지 편집은 타겟 정렬(target alignment, 타겟 프롬프트에 충실히 따르는 것)과 소스 일관성(source consistency, 원본 이미지의 구조 및 편집되지 않은 영역을 보존하는 것) 사이의 근본적인 트레이드오프 문제에 직면해 있습니다. 기존 방식은 일반적으로 다음과 같은 뚜렷한 한계를 가진 두 가지 범주로 나뉩니다:

인버전 기반 방식(Inversion-based methods): 원본 이미지를 잠재 노이즈 분포로 역전(invert)시킨 후 다시 생성합니다. 높은 충실도를 목표로 하지만, 종종 휴리스틱하고 아키텍처 특정적인 설계에 의존하며, 인버전 과정 중 발생하는 오차 누적 문제로 인해 어려움을 겪습니다.
인버전 프리 방식(Inversion-free methods): 소스에서 타겟으로 가는 직접적인 변환 궤적을 구축합니다. 구조적 일관성을 강제하지만, 이론적 토대가 부족하여 하이퍼파라미터(예: 랜덤 시드, flow 단계)에 민감하고 불안정해지기 쉬운 경험적 휴리스틱에 의존하는 경우가 많습니다.

핵심 과제는 추가적인 학습을 요구하거나 취약한 휴리스틱 구축에 의존하지 않고, 이 두 가지 목적 사이의 제어 가능하고 견고한 균형을 달est하는 것입니다.

방법론
저자들은 **Doob의 h-변환(Doob's h-Transform)**에 근거하여, 이미지 편집을 다중 종단 이벤트(multiple terminal events) 하에서의 조건부 생성 문제로 재정의한 훈련 불필요(training-free) 프레임워크인 h-Flow를 제안합니다.

결정론적 RF로의 이론적 확장:
고전적인 Doob의 h-변환은 확산 계수(diffusion coefficient)가 0이 아닌 확률 미분 방정식(SDE)에 대해 정의됩니다. 그러나 RF 모델은 확산 계수가 $g(t) \equiv 0$ 인 결정론적 상미분 방정식(ODE)을 통해 작동하므로, 표준 h-변환을 적용할 수 없습니다. 이를 해결하기 위해, 저자들은 RF 역학(dynamics)과 동일한 주변 분포(marginal distributions)를 공유하면서도 0이 아닌 확산 계수( $g_{eq}(t) = \sqrt{2t/(1-t)}$ )를 갖는 **등가 SDE(equivalent SDE)**를 구축합니다. 이를 통해 결정론적 RF 프레임워크에 엄격한 h-변환 적용이 가능해집니다.
h-함수를 통한 이중 가이던스(Dual-Guidance):
편집 과정은 두 가지 종단 제약 조건에 대응하는 두 개의 조화 함수(harmonic functions, $h$ -functions)에 의해 가이드됩니다:

소스 일관성 ( $h_{rec}$ ): 최종 이미지가 소스 이미지 $x_0^{src}$ 와 일치해야 한다는 제약을 인코딩합니다. 이는 폐쇄형 재구성 가이던스 항 $v_{rec} = (x_t - x_0^{src})/t$ 를 생성하여 궤적을 소스로 정확하게 유도합니다.
타겟 정렬 ( $h_{edit}$ ): 타겟 프롬프트 $c^{edit}$ 로의 의미론적 전이를 인코딩합니다. 가이던스 신호는 타겟과 소스 프롬프트의 속도장(velocity fields)의 차이( $\Delta_{edit} = v_\theta^{edit} - v_\theta^{src}$ )로부터 유도되며, 이를 통해 공유된 콘텐츠는 버리고 의미론적 변화만을 분리해냅니다.

속도 직교 분해(Velocity Orthogonal Decomposition):
본 연구의 핵심 혁신은 편집 신호의 **직교 투영(orthogonal projection)**입니다. 편집 방향 $\Delta_{edit}$ 가 재구성 속도 $\tilde{v}_{rec}$ 와 평행한 성분을 포함할 수 있기 때문에, 단순히 이들을 더하는 것은 간섭을 일으킬 수 있습니다. 저자들은 $\Delta_{edit}$ 를 $\tilde{v}_{rec}$ 의 직교 보공간(orthogonal complement)으로 투영합니다:
$\Delta_{edit}^\perp = \Delta_{edit} - \frac{\langle \Delta_{edit}, \tilde{v}_{rec} \rangle}{\|\tilde{v}_{rec}\|^2} \tilde{v}_{rec}$
이를 통해 두 목적을 디커플링(decoupling)합니다. 즉, 재구성 속도는 소스의 구조를 보존하고, 직교하는 편집 성분은 의미론적 내용만을 수정합니다. 이를 통해 상호 저하 없이 하이퍼파라미터 $\lambda_{rec}$ 와 $\lambda_{edit}$ 를 통한 독립적인 제어가 가능해집니다.
플러그 앤 플레이 호환성(Plug-and-Play Compatibility):
h-Flow의 역방향 편집 ODE는 순방향 초기화(forward initialization) 방식에 구애받지 않습니다. h-Flow는 다양한 순방향 프로세스(예: RF-Inversion, SDEdit, ODE-Inv)와 플러그 앤 플레이 방식으로 매끄럽게 결합될 수 있습니다.

주요 기여

이론적 토대 마련: 본 논문은 결정론적 흐름 모델에 Doob의 h-변환을 적용한 첫 사례를 소개하며, 등가 SDE를 구축함으로써 ODE 기반 프레임워크 내에서 가이드된 생성을 위한 원칙적인 이론적 가교를 제공합니다.
디커플링된 제어: 전용 h-함수를 설계하고 속도 직교 분해를 채택함으로써, 재구성과 편집 방향을 명시적으로 분리하여 소스 충실도와 타겟 정렬 사이의 제어 가능한 트레이드오프를 가능하게 합니다.
훈련 불필요의 유연성: 이 접근 방식은 사전 학습된 모델에 대한 추가 학습이나 그래디언트 업데이트를 요구하지 않으며, 오직 속도 네트워크의 순방향 패스(forward pass)만을 활용합니다.

실험 결과
저자들은 PIE-Bench 및 PIE-Bench++ 데이터셋에서 h-Flow를 7개의 베이스라인(RF-Inversion, FlowEdit, SDEdit, UniEdit 포함)과 비교 평가했습니다.

정량적 성능: h-Flow는 두 벤치마크 모두에서 9가지 지표(PSNR, LPIPS, SSIM, CLIP 유사도, 미적 점수 포함)에 대해 평균 순위가 가장 높았습니다. 특히 소스 일관성과 타겟 정렬 사이의 균형 측면에서 베이스라인들을 크게 앞질렀습니다. 예를 들어, UniEdit는 높은 소스 일관성을 달성했지만 타겟 정렬에서 부진했고, 반대로 ODEInv는 높은 정렬도를 보였으나 이미지 품질이 저하되었습니다. h-Flow는 경쟁력 있는 소스 일관성을 유지하면서도 최상위 수준의 정렬도를 제공했습니다.
정성적 성능: 시각적 비교를 통해 h-Flow가 배경 구조와 편집되지 않은 영역을 엄격히 보존하면서도 복잡한 편집(예: 피사체 변환, 국소적 추가)을 수행할 수 있음을 입증하였으며, 다른 방법들에서 흔히 나타나는 아티팩트를 방지했습니다.
절제 연구(Ablation Studies):
- 호환성: 다양한 순방향 프로세스(RF-Inversion, SDEdit, ODE-Inv)와 h-Flow를 통합했을 때 편집 가능성과 충실도 사이의 트레이드오프가 일관되게 개선되었으며, 이는 불안정한 순방향 방식에 대한 구조적 안정제 역할을 함을 보여주었습니다.
- 직교 투영: 투영 단계를 제거하면 구조적 충실도가 개선되지 않으면서 텍스트 정렬 점수가 낮아졌으며, 이는 투영이 편집과 재구성 사이의 간섭을 효과적으로 제거함을 확인시켜 줍니다.
- 하이퍼파라미터: 연구 결과 $\lambda_{rec}$ 와 $\lambda_{edit}$ 가 각각의 목적을 독립적으로 제어함을 보여주어, 디커플링 전략의 유효성을 검증했습니다.

의의 및 주장
본 논문은 h-Flow가 기존 방식의 휴리스틱한 특성과 민감성을 극복하는, 흐름 기반 이미지 편집을 위한 통합적이고 이론적 근거가 확실한 프레임워크를 제공한다고 주장합니다. 결정론적 흐름에 Doob의 h-변환을 엄격하게 확장하고 직교 분해를 통해 편집과 재구성 목적을 분리함으로써, 이 방법은 다양한 시나리오에서 견고하고 유연하며 충실한 편집을 달성합니다. 저자들은 이 접근 방식이 훈련이 필요 없는(training-free) 플러그 앤 플레이 방식임을 강조하며, 아키텍처 수정 없이 기존 RF 모델에 즉시 적용 가능하다는 점을 밝히고 있습니다. 본 연구는 향-후 비디오나 3D 생성과 같은 다른 모달리티로 이 프레임워크를 확장할 수 있음을 시사합니다.

유사한 논문