Wavelet-Guided Semantic Signal Compensation for Inversion-Free Image Editing

기술 요약: 역전 없는 이미지 편집을 위한 웨이브릿 가이드 기반 시맨틱 신호 보상

문제 정의
FlowEdit와 같은 최근의 역전 없는(inversion-free) 이미지 편집 프레임워크는 명시적인 시맨틱 역전 과정 없이 소스(source)와 타겟(target) 궤적 사이의 속도 차이를 동적으로 추정함으로써 이미지를 수정하는 능력을 입증했습니다. 이러한 방식은 국소적인 편집에는 효과적이지만, 전역적인 시맨틱 수정(예: 전체적인 색상 속성 변경 또는 장면의 전체적인 테마 변경)에 적용될 때 결정적인 한계를 보입니다.

저자들은 고노이즈 영역(생성 초기 단계)에서 편집 궤적이 자연스러운 이미지 매니폴드로 이동하려는 "매니폴드 탐색 흐름(manifold-seeking flow)"에 의해 지배된다는 점을 지적합니다. 이 지배적인 흐름은 미세한 텍스트 조건부 시맨틱 신호를 압도합니다. 결과적으로, 편집 궤적은 소스 이미지의 구조적 사전 정보(structural priors)에 강하게 정렬되어 있어, 새로운 전역 속성을 향해 충분히 편향되지 못합니다. 노이즈 수준이 낮아지고 텍스트 조건의 영향력이 커질 때쯤에는 이미 전역적인 레이아웃과 색상 구성이 고정되어 버려, 대규모의 시맨틱 변화가 효과를 거두지 못하게 됩니다. 저자들은 이러한 현상을 **시맨틱 구별 불가능성(semantic indistinguishability)**이라고 명명했습니다.

방법론
제안된 방법인 **웨이브릿 가이드 기반 시맨틱 신호 보상(Wavelet-Guided Semantic Signal Compensation)**은 구조적 일관성을 유지하면서 생성 초기 단계의 유효 신호를 강화하기 위해 설계된 학습 불필요(training-free) 증강 기법입니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어집니다:

1. 동일 지점 시맨틱 프로빙 (Same-Point Semantic Probing):
   소스와 타겟 잠재 변수(latent) 사이의 공간적 분리로 인한 기하학적 혼란으로부터 시맨틱 신호를 분리하기 위해, 이 방법은 정확히 동일한 잠재 상태($x^{src}_{t_i}$)에서 소스 프롬프트($e_{src}$)와 타겟 프롬프트($e_{tar}$)를 모두 평가합니다. 이를 통해 공간적 변위로 인한 노이즈 없이 위치가 일치하는 프롬프트 유도 방향($v_{sem}$)을 얻어내어 시맨틱 차이만을 고립시킵니다.

2. 웨이브릿 기반 저주파 추출 (Wavelet-Based Low-Frequency Extraction):
   가공되지 않은 $v_{sem}$ 신호를 직접 주입하면 소스 이미지의 구조적 무결성을 해치는 고주파 섭동이 발생할 수 있습니다. 이를 해결하기 위해, 본 방법은 **2D 이산 하르 웨이브릿 변환(2D Discrete Haar Wavelet Transform, DWT)**을 사용합니다. 시맨틱 신호를 여러 레벨로 분해한 후, 고주파 세부 계수들을 제로화(zeroing out)합니다. 오직 저주파 근사 계수($cA$)만을 유지함으로써, 미세한 노이즈를 필터링하는 동시에 편집 신호의 공간적으로 일관된 전역적 성분(예: 전체적인 색상 분포, 거친 공간적 구성)만을 분리해냅니다.

3. 시간 모듈레이션 주입 (Time-Modulated Injection):
   추출된 저주파 신호는 수정된 업데이트 규칙을 통해 편집 흐름에 주입됩니다. 주입 강도는 이차 함수 형태의 시간 의존적 가중치 $w(t_i) = \lambda t_i^2$에 의해 제어됩니다.

   • 초기 타임스텝 ($t_i \approx 1$): 가중치가 최대가 되어, 기하학적 신호가 약하고 궤적이 소스 매니폴드에 가장 취약한 시기에 강력한 전역 보상을 제공합니다.
   • 후기 타임스텝 ($t_i \approx 0$): 가중치가 소멸하여, 표준 FlowEdit 업데이트가 지배하도록 함으로써 미세한 디테일과 질감의 충실도를 보존합니다.
   • 최종 업데이트는 원래의 기하학적 신호($\Delta v_t$)와 보상된 저주파 신호를 결합합니다.

주요 기여

• 한계 분석: 저자들은 정류 흐름 모델(rectified flow models)에서의 "시맨틱 구별 불가능성"을 식별하고 분석하여, 고노이즈 영역에서의 매니폴드 탐색 흐름의 지배력이 전역 속성 변화에 필요한 방향성 편차의 축적을 어떻게 제한하는지 입증했습니다.
• 새로운 보상 메커니즘: 동일한 잠재 상태로부터 저주파 방향을 추출하는 웨이브릿 기반 시맨틱 신호 보상 프레임워크를 제안합니다. 이 설계는 배경의 충실도를 희생하지 않으면서 전역적인 시맨틱 수정을 강화합니다.
• 포괄적인 평가: 다양한 편집 작업에 걸쳐 방법론의 유효성을 검증하기 위해 정량적 지표, 사용자 연구, 주파수 영역 분석을 포함한 광범위한 실험을 제공합니다.

실험 결과
PIE-Bench 데이터셋과 FLUX 모델(SD3 및 SD3.5에 대한 추가 결과 포함)을 사용하여 평가한 결과, 제안된 방법은 역전 기반(예: RF-Inv, DNA-Edit) 및 역전 없는(예: FlowEdit, FlowAlign) 베이스라인 모델들보다 우수한 성능을 보여주었습니다.

• 정량적 지표: 이 방법은 가장 높은 CLIP 유사도 점수(더 나은 텍스트-이미지 정렬을 나타냄)를 달성하는 동시에 배경 보존 지표(PSNR, SSIM, LPIPS)에서도 선두를 차지했습니다. 이는 강력한 시맨틱 편집과 구조적 일관성 사이의 균형을 성공적으로 맞추었음을 의미합니다.
• 정성적 결과: 시각적 비교를 통해, 본 방법이 기존의 역전 없는 방식에서 흔히 발생하는 실패 모드인 구조적 왜곡이나 시맨틱 표류 없이 일관된 전역 속성 변화(예: 색상 변화, 객체 교체)를 달elle 성함을 보여줍니다.
• 사용자 연구: 100개의 편집된 이미지 쌍을 대상으로 한 쌍체 비교(pairwise comparison)에서, 제안된 방법은 편집되지 않은 영역을 더 잘 보존하면서 타겟 편집을 반영한다는 점에서 인간 참가자들로부터 모든 베이스라인보다 높은 선호도를 얻었습니다.
• 주파수 분석: 전력 스펙트럼 밀도(Power Spectral Density) 분석은 본 방법이 고주파 영역의 구조적 디테일은 유지하면서 저주파 영역(전역적 변화)의 스펙트럼 에너지를 증가시킨다는 것을 확인시켜 줍니다.

의의 및 주장
본 논문은 주요 기여가 역전 없는 편집에서 전역 시맨틱 수정의 특정 병목 현상을 해결하는 데 있다고 주장합니다. 주파수 인지형 보상 전략을 도입함으로써, 본 방법은 고노이즈 영역에서의 구조적 사전 정보의 지배로 인해 어려움을 겪었던, 정류 흐름 모델이 생성 초기 단계에서 전역 속성(색상 및 구성 등)을 효과적으로 변화시킬 수 있도록 합니다. 저자들은 이 접근 방식이 모델 재학습, 어텐션 수정, 또는 명시적 역전을 요구하지 않고도 편집 능력을 향상시키므로, 기존의 플로우 기반 편집 파이프라인에 대한 실용적이고 효율적인 개선책임을 강조합니다.