기술 요약: RoPEMover

문제 정의

단일 이미지 내에서 객체를 이동시키는 것은 단순한 공간적 변위 이상의 것을 요구하는 복잡한 이미지 편집 작업입니다. 성공적인 편집을 위해서는 객체의 정체성을 보존하고, 원근 및 스케일 변화에 적응하며, 이전에 가려져 있던 영역을 그럴듯하게 채우고, 그림자, 반사, 조명과 같은 장면 의존적 효과를 일관되게 유지해야 합니다. 기존 방식들은 이러한 수준의 일관성을 달하는 데 종종 실패합니다. 2단계 방식(제거 후 삽입)은 그림자 처리와 객체 정체성 보존에 어려움을 겪는 경우가 많습니다. 조화(harmonization)를 결합한 복사 및 붙여넣기 기술은 원근 변화를 고려하지 못해 물리적으로 일관되지 않은 편집(예: 떠 있는 객체)을 초래하곤 합니다. 최근의 생성적 접근 방식들은 대규모 합성 데이터나 비디오 확산 모델을 활용하여 모션 프라이어를 학습하지만, 이는 값비싼 데이터 구축, 복잡한 파이프라인 또는 단일 이미지 편집에는 불필요한 시간적 모델링을 요구합니다.

방법론

RoPEMover는 확산 트랜스포머(diffusion transformers)의 내부 표현, 특히 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)을 직접 조작하는 기하학 인지형 객체 모션 방법을 도입합니다. 이 접근 방식은 이미 사전 학습된 모델에 인코딩된 강력한 공간적 프라이어를 활용함으로써, 명시적인 3D 재구성이나 대규모 모션 데이터셋의 필요성을 피합니다.

핵심 메커니즘: RoPE 조작

이 방법은 RoPE가 확산 트랜스포머의 어텐션 레이어 내에 구조화된 공간 필드를 정의한다는 통찰에 기반합니다. 이러한 위치 임베딩을 워핑(warping)함으로써, 모델이 제어된 움직임과 함께 새로운 위치에 객체를 합성하도록 유도할 수 있습니다.

1. 드래그 신호 인코딩: 사용자는 픽셀 공간의 변위와 스케일 비율을 나타내는 삼중항 $(dx, dy, s)$로 정의된 드래그 신호를 제공합니다. 이 매개변수들은 토큰 그리드 오프셋과 스케일링 인자로 변환됩니다.
2. RoPE 워핑: 소스 객체 마스크 내의 토큰들에 대해, RoPE 인코딩은 타겟 위치에 대해 계산된 값으로 교체됩니다. 구체적으로, 행과 열 인덱스 $(r, c)$는 변위와 스케일에 따라 $(r', c')$로 변환됩니다. 이 워핑은 구조적 레이아웃을 역확산 과정 초기 단계(예: 첫 20단계)에 확립하기 위해 초기 디노이징 단계 동안에만 적용됩니다.

깊이 인지 3D RoPE

가려짐(occlusion)과 깊이 순서(객체를 장면 요소의 앞 또는 뒤에 배치)를 처리하기 위해, 이 방법은 2D RoPE를 깊이 인지형 공식으로 확장합니다:

• 시간 축의 재용도 설정: Qwen-Image와 같은 모델에서 사용되는 요인화된 3D RoPE에서 시간 축은 일반적으로 단일 이미지 타겟을 위해 사용되지 않습니다. RoPEMover는 이 축을 활용하여 미터법 깊이 정보를 주입합니다.
• 깊이 추정 및 합성: 소스 이미지에 대한 미터법 깊이 맵이 추정됩니다. 추론 시, 다음과 같이 타겟 깊이 맵이 합성됩니다:
  • 객체가 떠난 영역을 채우기 위해 배경 깊이를 인페인팅합니다(라플라스 방정식을 해결).
  • 드래그 신호에 따라 객체의 깊이 맵을 워핑하고 사용자가 지정한 깊이 오프셋($\Delta z$)을 적용합니다.
  • Z-버퍼 테스트를 사용하여 가려짐 순서를 결정함으로써 워핑된 객체 깊이를 배경에 합성합니다.
  • 마스크 경계에서의 깊이 불연속성을 블렌딩합니다.
• 주입: 합성된 깊이 값은 정규화되어 RoPE 주파수 텐서의 시간 축의 첫 번째 복소수 성분에 주입됩니다. 이는 모델에 명시적인 3D 기하학적 맥락을 제공하여, 가려짐 및 장면 의존적 효과를 일관되게 처리할 수 있게 합니다.

학습 전략

모델은 데이터 효율적인 2단계 커리큘럼을 사용하여 학습됩니다:

1. 1단계 (합성 데이터): 모델은 CLEVR로부터 생성된 합성 장면의 대규모 데이터셋으로 학습됩니다. 이 장면들은 객체 모션, 디스오클루전(disocclusion), 깊이에 대한 픽셀 단위의 완벽한 그라운드 트루스를 제공하여, 모델이 현실적인 렌더링 오버헤드 없이 정밀하고 제어 가능한 편집 동작을 학습할 수 있게 합니다.
2. 2단계 (실제 데이터 미세 조정): 165개의 실제 세계 쌍을 이룬 사진 데이터셋을 사용하여 경량 미세 조정 단계가 수행됩니다. 이 단계는 도메인 간극을 메워 시각적 충실도, 정체성 보존, 복잡한 실제 조명 및 재질 처리를 개선합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 표현 조작을 통한 기하학 인지 객체 모션: 3D 재구성이나 비디오 모델링을 요구하지 않고 RoPE를 직접 조작하여 객체 이동을 가능하게 하는 새로운 방법론을 제시합니다.
2. 깊이 가이드 공간 변환: 깊이 인지형 컨디셔닝이 포함된 RoPE 조작의 확장입니다. 이를 통해 기하학적으로 일관된 변위, 정확한 가려짐 처리(객체를 다른 요소의 뒤 또는 앞에 배치), 그리고 새롭게 드러난 영역에서의 일관된 콘텐츠 생성이 가능합니다.
3. 데이터 효율적 학습: 단순한 합성 데이터와 최소한의 실제 이미지를 통해 효과적인 모션 동작을 학습함으로써, 대규모 모션 데이터셋이나 복잡한 비디오 기반 학습 파이프라인을 피합니다.
4. 최첨단 성능: 본 방법은 객체 모션 작업에서 우수한 결과를 달eric하며, 그림자와 조명의 물리적으로 일관된 전파를 포함한 고충실도 편집을 생성하여 시각적 품질과 기하학적 일관성 모두에서 기존 방식들을 능가합니다.

결과 및 평가

본 방법은 ObjMove-A 및 ObjMove-B 벤치마크에서 평가되었습니다.

• 정량적 성능: ObjMove-A에서 RoPEMover는 CLIP Score, DINO Score, DreamSim, PSNR을 포함한 모든 지표에서 최첨단(SOTA) 결과를 달성했습니다. 특히 객체 정체성 보존(높은 DINO/CLIP 점수) 및 배경 일관성 측면에서 ObjectMover, FreeFine, MagicFixup, GeoDiffuser와 같은 베이스라인 모델들을 크게 앞질렀습니다.
• 정성적 성능: 시각적 비교를 통해 RoPEMover가 투명한 표면 뒤로 객체를 이동시키거나, 작고 구조적인 객체를 재배치하고, 일관된 그림자와 반사를 유지하는 등 까다로운 시나리오를 올바르게 처리함을 입증했습니다. 종종 "떠 있는" 객체나 복사-붙여넣기 아티팩트를 생성하는 2단계 방식과 달리, RoPEMover는 물리적으로 근거가 있고 장면을 인식하는 편집을 생성합니다.
• 절제 연구(Ablation Studies): 실험을 통해 RoPE 워핑과 깊이 컨디셔닝이 모두 필수적임을 확인했습니다. 워핑을 제거하면 공간 제어가 저하되었고, 깊이 컨디셔닝을 제거하면 깊이 순서와 가려짐 처리에 오류가 발생했습니다. 또한, 실제 데이터에 대한 2단계 학습이 합성 데이터만으로 학습했을 때보다 정체성 보존과 시각적 충실도를 향상시키는 데 필수적임을 보여주었습니다.
• 사용자 연구: 세 가지 강력한 베이스라인과 비교한 20명의 참가자 대상 연구에서, RoPEMover는 편집 충실도, 사실성, 배경 일관성 지표 전반에 걸쳐 83.4%의 선택을 받았습니다.

의의

RoPEMover는 확산 트랜스포머의 내부 위치 표현을 직접 조작함으로써 정밀하고 기하학을 인지하는 객체 재배치가 가능하다는 것을 보여줍니다. RoPE를 조작 가능한 공간 필드로 해석하고 여기에 깊이 정보를 보강함으로써, 이 방법은 장면의 기하학, 가려짐, 조명을 존중하는 제어된 객체 이동을 가능하게 합니다. 이 접근 방식은 비디오 프라이어나 대규모 모션 데이터셋에 의존하는 방법보다 더 효율적이고 효과적인 대안을 제공하며, 물리적 일관성이 매우 중요한 콘텐츠 제작, 시각 효과 및 인터랙티브 디자인을 위한 강력한 솔루션을 제공합니다. 저자들은 이 방법이 제어 가능성을 개선하지만, 확산 샘플링의 계산 비용과 기본 생성 모델의 잠재적 편향을 그대로 계승한다는 점을 언급했습니다.