Ctrl&Shift: 시각 생성에서의 고품질 기하학적 인식 객체 조작에 대한 기술 요약

이 논문은 ICLR 2026 에 발표된 **"Ctrl&Shift"**라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 이미지 및 비디오 내에서 객체의 위치를 이동하거나 회전시키되, 배경의 사실성과 기하학적 일관성을 유지하는 **객체 레벨의 조작 (Object-level Manipulation)**을 가능하게 합니다.

기존 방법론들이 직면한 '정밀한 기하학적 제어'와 '실제 환경에서의 일반화' 사이의 트레이드오프를 해결하기 위해, 명시적인 3D 재구성을 inference 단계에서 요구하지 않으면서도 정밀한 시점 제어를 구현하는 혁신적인 접근법을 제시합니다.

1. 문제 정의 (Problem Statement)

시각 편집 분야에서 객체를 이동하거나 회전시키는 작업은 영화 포스트 프로덕션, 증강 현실 (AR), 창의적 편집 등에서 핵심적입니다. 그러나 기존 기술들은 다음과 같은 근본적인 딜레마에 직면해 있습니다.

• 기하학적 기반 방법 (Geometry-based): 3D 재구성이나 다중 뷰 최적화를 통해 정밀한 제어가 가능하지만, 합성 데이터에 의존하거나 장면별 최적화가 필요하여 확장성이 낮고 실제 자연 이미지 (in-the-wild) 에서는 일반화가 어렵습니다.
• 확산 기반 방법 (Diffusion-based): 자연스러운 일반화 능력을 갖추고 있지만, 객체의 자세 (pose) 나 미세한 기하학적 변형을 정밀하게 제어하는 데 한계가 있어, 왜곡된 객체나 비현실적인 배경 아티팩트가 발생할 수 있습니다.

핵심 문제: 명시적인 3D 모델링 없이도, 배경 보존, 시점 이동에 따른 기하학적 일관성, 그리고 사용자 제어 가능한 변형을 동시에 달성하는 방법론의 부재입니다.

2. 방법론 (Methodology)

Ctrl&Shift 는 객체 조작을 **객체 제거 (Object Removal)**와 **참조 이미지 기반 인페인팅 (Reference-guided Inpainting)**이라는 두 단계로 분해하여, 이를 명시적인 카메라 포즈 제어 하에 통합된 확산 (Diffusion) 프로세스로 모델링합니다.

2.1 네트워크 아키텍처

• DiT 기반 구조: Wan-1.3B 백본을 기반으로 하며, ControlNet 스타일의 컨트롤 브랜치와 메인 브랜치를 가집니다.
• 입력 조건:
  • 소스 프레임 ($X_{src}$): 배경 컨텍스트 제공.
  • 참조 이미지 ($I_{ref}$): 객체의 정체성 (Identity) 을 명확히 함.
  • 마스크 ($M_{src}, \hat{M}_{tgt}$): 제거할 영역과 대상 영역을 지정. (VAE 인코딩 대신 픽셀 언셔플을 사용하여 이진 구조 보존).
  • 상대 카메라 포즈 ($f$): 소스와 타겟 뷰포인트 간의 기하학적 변환을 인코딩 (8 차원 벡터: 회전, 이동, NDC 시프트).
• 조건부 제어: 카메라 포즈는 Cross-Attention 을 통해 주입되며, 마스크와 이미지는 ControlNet 스타일의 컨볼루션을 통해 주입됩니다.

2.2 멀티태스크 및 멀티스테이지 학습 전략

모델이 다양한 조건 신호 (배경, 객체 정체성, 마스크, 시점) 를 명확히 구분하고 활용하도록 설계되었습니다.

1. 메인 태스크 (Main Task): 객체 제거와 인페인팅을 동시에 수행하여 객체를 새로운 위치/시점으로 이동.
2. 보조 태스크 1 (Auxiliary Task 1 - Object Removal): 객체 제거만 수행 (백그라운드 복원).
3. 보조 태스크 2 (Auxiliary Task 2 - Reference Inpainting): 배경 제거 없이 참조 객체를 카메라 제어 하에 삽입.

학습 단계:

• Stage 1 (사전 학습): 대규모 합성 데이터 (3D 메쉬 랜덤 시점 렌더링) 를 사용하여 객체 사전 지식 (Object Priors) 과 카메라 포즈 제어 능력을 학습.
• Stage 2 (미세 조정): 고화질의 실제 자연 이미지/비디오 데이터로 미세 조정. 이 단계에서는 메인 브랜치는 고정하고 컨트롤 브랜치만 업데이트하여 배경 일관성과 사실성을 극대화합니다.

2.3 데이터 구축 파이프라인

실제 데이터의 부족과 카메라 주석 부재를 해결하기 위해 확장 가능한 데이터 구축 파이프라인을 개발했습니다.

1. 3D 메쉬 재구성: 소스 이미지에서 Hunyuan3D-2 를 이용해 객체 메쉬를 생성.
2. 카메라 포즈 추정: 차분적 래스터라이제이션 (Differentiable Rasterization) 을 통해 메쉬와 실제 실루엣을 정합하여 소스 카메라 포즈를 추정.
3. 타겟 뷰 합성: 새로운 카메라 포즈로 메쉬를 렌더링하고, 학습된 '객체 페이스팅 (Object Pasting)' 모델을 사용하여 배경과 자연스럽게 합성.

3. 주요 기여 (Key Contributions)

1. 개념적 혁신: inference 단계에서 명시적인 3D 재구성이 필요 없으면서도, 2D 확산 과정에 상대 카메라 포즈 제어를 직접 주입하여 기하학적 일관성을 확보하는 최초의 프레임워크.
2. 아키텍처 설계: 객체 조작의 의미론적 구조에 맞춰 배경, 객체 정체성, 공간 마스크, 기하학적 변형을 분리하는 멀티태스크/멀티스테이지 학습 전략 도입.
3. 데이터 구축 파이프라인: 3D 메쉬 재구성, 차분적 렌더링 기반 포즈 추정, 학습된 합성 모델을 통해 대규모의 실제 기반 쌍 (paired) 데이터와 정확한 카메라 제어 주석을 생성하는 방법론 제시.
4. 체계적인 벤치마크: GeoEditBench 라는 새로운 벤치마크를 도입하여, 기존 방법론들보다 뛰어난 사실성, 제어 가능성, 시점 일관성을 입증.

4. 실험 결과 (Results)

GeoEditBench 및 ObjectMover-A 벤치마크 평가:

• 정량적 평가:
  • 배경 보존 (PSNR): 28.71 (기존 최상위 모델 대비 우세).
  • 객체 정체성 유지 (DINO, CLIP, DreamSim): 모든 지표에서 SOTA 성능 달성 (예: DreamSim 0.112, 낮을수록 좋음).
  • 카메라 제어 정밀도 (Pose MAPE): 17.70% 로 기존 방법론 (Drag-Anything: 46.81%, 3DiT: 51.62%) 보다 월등히 정확함.
  • 객체 IoU: 0.83 로 가장 높은 정확도를 보임.
• 정성적 평가:
  • 배경의 왜곡 없이 객체를 정밀하게 이동 및 회전시킴.
  • DragAnything, VACE, Flux-Kontext 등 최신 모델들이 보인 배경 손상, 객체 정체성 손실, 시점 제어 실패 문제를 해결.

5. 의의 및 한계 (Significance & Limitations)

의의:
Ctrl&Shift 는 기하학적 기반 방법의 정밀함과 확산 모델의 확장성을 통합하여, 3D 모델링 없이도 전문적인 수준의 객체 조작을 가능하게 합니다. 이는 영화 제작, AR, 콘텐츠 생성 분야에서 혁신적인 도구가 될 것으로 기대됩니다.

한계 및 향후 과제:

• 비강체 (Non-rigid) 객체: 의류, 머리카락 등 변형 가능한 객체에는 적용이 제한적임.
• 투명/반사 물체: 3D 재구성 과정에서 배경 텍스처가 객체에 '베이킹 (baking)'되는 오류로 인해 유리나 거울 같은 물체 처리에 아티팩트가 발생.
• 물리적 현실성: 조명, 그림자, 반사광 등 물리적 상호작용을 명시적으로 모델링하지 않아 극단적인 조명 변화 시 불일치가 발생할 수 있음.
• 사용자 인터페이스: 현재 8 차원 상대 포즈 벡터를 직접 입력해야 하므로, 마우스 드래그나 3D 가젯과 같은 직관적인 인터페이스로 변환하는 연구가 필요함.

결론적으로, Ctrl&Shift 는 시각 생성 분야에서 기하학적 제어와 실제 세계 일반화를 동시에 달성한 중요한 이정표로 평가됩니다.