LazyDrag: Enabling Stable Drag-Based Editing on Multi-Modal Diffusion Transformers via Explicit Correspondence

기술 요약: LazyDrag

문제 정의

확산 모델(Diffusion Models)에서의 드래그 기반 이미지 편집은 **어텐션 메커니즘을 통한 암시적 포인트 매칭(implicit point matching)**에 의존한다는 근본적인 병목 현상에 직면해 있습니다. 어텐션 공유(예: MasaCtrl)를 활용하는 기존 방식들은 어텐션 가중치를 의미적으로 연관된 영역이 아닌 공간적으로 인접한 영역에 할당합니다. 이는 불안정한 편집, 정체성(identity) 보존 저하, 그리고 인버전 강도(inversion strength)의 타협으로 이어집니다. 이러한 문제를 완화하기 위해 기존 접근 방식들은 종종 **테스트 시간 최적화(Test-Time Optimization, TTO)**를 사용하거나 인버전 강도를 약화시키는 방식을 취합니다. 이러한 타협은 신뢰할 수 없는 인페인팅, 억제된 텍스트 가이드 생성, 그리고 왜곡된 편집을 초래합니다. 나아가, U-Net 아키텍처에서 **멀티모달 확산 트랜스포머(Multi-Modal Diffusion Transformers, MM-DiTs)**로의 전환은 새로운 과제를 도입했습니다. MM-DiT에서 단순히 키(key)와 값(value) 토큰을 공유하는 것은 정체성을 효과적으로 보존하는 데 실패하며, 기존의 정체성 보존 방법(예: CharaConsist)은 풀 스트렝스 인버전(full-strength inversion) 하에서 불안정한 어텐션 유사도 매칭에 의존합니다.

방법론: LazyDrag

LazyDrag는 명시적인 대응 맵(explicit correspondence map)을 도입하여 암시적 포인트 매칭에 대한 의존성을 제거하도록 설계된 MM-DiT용 트레이닝 프리(training-free) 방법입니다. 이 방법은 TTO를 요구하지 않고 풀 스트렝스 인버전 하에서 작동합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다.

1. 명시적 대응 맵 생성

Lazy-Drag는 어텐션을 통해 매치를 추론하는 대신, 사용자 드래그 명령으로부터 직접 결정론적인 대응 맵을 도출합니다.

• 변위장 계산(Displacement Field Calculation): 이 방법은 승자 독식(Winner-Takes-All, WTA) 퓨전 전략을 사용하여 변위장을 계산합니다. 각 편집 가능한 포인트에 대해, 변위는 가장 가까운 핸들 포인트에 의해 결정되며, 이는 보로노이 경계(Vornoi boundaries)를 통해 잠재 그리드를 분할합니다. 이는 반대 방향의 드래그(예: 입을 벌리는 동작)가 발생할 때 발생하는 움직임의 상쇄를 방지합니다.
• 잠재 공간 초기화(Latent Initialization): 잠재 공간은 네 개의 별도 영역으로 분할됩니다:
  • 배경($R_{bg}$): 변경되지 않고 유지됩니다.
  • 목적지($R_{dst}$): 이동된 콘텐츠가 정체성을 보존하며 렌더링되는 곳입니다.
  • 인페인팅($R_{inp}$): 반복적인 아티팩트를 방지하고 고충실도 텍스트 가이드 생성을 가능하게 하기 위해 (보간법 대신) 가우시안 노이즈로 초기화됩니다.
  • 전이($R_{trans}$): 경계를 부드럽게 블렌딩합니다.
• 맵 공식화(Map Formalization): 이 과정은 매칭 포인트 맵 $M(x)$와 가중치 맵 $A(x)$를 생성하며, 이는 후속 어텐션 제어를 위한 신뢰할 수 있는 참조 역할을 합니다.

2. 대응 기반 어텐션 제어

명시적 맵은 MM-DiT의 싱글 스트림 어텐션(Single-Stream Attention, SS-Attn) 레이어 내에서 두 부분으로 구성된 어텐션 제어 메커니즘을 구동합니다.

• 입력 제어 (토큰 교체 및 결합):
  • 배경 보존: $R_{bg}$의 경우, 배경이 손상되지 않도록 인버전 과정에서 캐싱된 원본 토큰으로 어텐션 토큰($Q, K, V$)을 하드 교체(hard-replace)합니다.
  • 정체성 보존: $R_{dst}$ 및 $R_{trans}$의 경우, 이 방법은 캐싱된 소스 토큰(회전 임베딩으로 재인코딩됨)을 현재 토큰과 결합합니다. 이는 어텐션 계산에 강력한 대응 기반 신호를 주입하여, 일관된 적응을 허용하면서도 객체의 정체성을 보존합니다.
• 출력 정제 (게이트형 병합):
  • 어텐션 출력은 현재 출력과 매칭된 소스 포인트로부터의 캐싱된 출력 간의 게이트형 병합을 통해 정제됩니다.
  • 블렌딩 계수는 사전 계산된 매칭 가중치 $A(x)$와 시간 감쇠 인자(time-decaying factor)에 의해 게이트됩니다. 이는 핸들 포인트에서의 정밀한 제어를 보장하는 동시에 주변 영역에서의 자연스러운 완화를 허용하여, 다단계 잠재 최적화의 필요성을 제거합니다.

주요 기여

1. 드래그 편집에서의 첫 번째 풀 스트����스 인버전: LazyDrag는 모든 샘플링 단계에서 풀 스트렝스 인버전을 활용하여 TTO 없이 모델의 완전한 생성 능력을 끌어올린 최초의 MM-DiT용 드래그 기반 편집 방법입니다.
2. 암시적 매칭을 넘어선 명시적 대응: 취약한 어텐션 유사도 매칭을 명시적인 사용자 정의 대응 맵으로 대체함으로써, 이 방법은 이전 연구들의 핵심적인 불안정성을 해결하고 안정적인 편집과 충실한 인페인팅을 가능하게 합니다.
3. 텍스트 가이드를 통한 모호성 해소: 이 방법은 명시적 대응 맵을 텍스트 가이드와 결합하여, 의미론적으로 일관된 편집(예: 손을 주머니 속으로 넣느냐 혹은 등 뒤로 숨기느냐)과 복잡한 영역(예: 개의 입 내부)의 자연스러운 인페인팅을 가능하게 합니다.
4. 다중 라운드 및 다중 연산 지원: 프레임워크는 시각적 일관성을 유지하면서 동시에 이동(move) 및 스케일(scale) 연산을 지원하며, 다중 라운드 편집을 지원합니다.

실험 결과

DragBench(이미지 205장, 포인트 쌍 349개)에서 평가된 결과, LazyDrag는 정량적 및 정성적 지표 전반에서 8개의 베이스라인(DragDiffusion, GoodDrag, FastDrag, Inpaint4Drag 포함)을 능가했습니다.

• 정량적 성능: LazyDrag는 평균 거리(Mean Distance, MD) 21.49를 기록하며 차순위 베이스라인인 DragText(21.51)를 앞질러 SOTA(State-of-the-Art)를 달성했습니다. 또한 의미론적 일관성(SC: 8.205), 지각적 품질(PQ: 8.395), 종합 점수(O: 8.210)에서도 선두를 차지했습니다.
• 효율성: TTO(예: LoRA 파인튜닝 또는 다단계 최적화)가 필요한 베이스라인들과 달리, LazyDrag는 트레이닝 프리이며 이미지별 또는 명령별 최적화를 요구하지 않습니다.
• 사용자 조사: 32명의 전문가 참여자로 구성된 연구에서, LazyDrag는 비교 대상 중 **63.67%**에서 선호되었으며, 이는 모든 베이스라인을 유의미하게 능가하는 수치입니다.
• 정성적 우수성: 이 방법은 다른 방법들이 실패하는 복잡한 편집(예: 개의 입을 벌려 내부를 인페인팅하거나, 텍스트 가이드에 따라 "테니스 공"과 같은 새로운 객체를 생성하는 것)을 성공적으로 수행하는 동시에 배경의 무결성과 객체의 정체성을 유지합니다.

의의

본 논문은 **명시적 대응(explicit correspondence)**이 암시적 어텐션 매칭이라는 근본적인 병목 현상을 대체할 수 있음을 보여줌으로써, LazyDrag가 새로운 편집 패러다임을 개척하고 있다고 주장합니다. MM-DiT에서 안정적인 풀 스트렝스 인버전을 가능하게 함으로써, 이 방법은 TTO나 약화된 인버전으로 인해 억제되었던 생성 능력을 해방합니다. 이는 정밀한 기하학적 제어, 자연스러운 인페인팅, 그리고 테스트 시간 최적화의 비용 없이 견고한 텍스트 가이드 생성을 제공하며, 드래그 기반 편집의 새로운 SOTA를 구축합니다.