기술 요약: Real2SAM2Real

문제 정의

비디오 확산 모델(Video Diffusion Models, VDMs)은 방대한 데이터셋으로부터 학습된 풍부한 시공간적 사전 지식(priors)을 활용하여 고충실도의 비디오 합성을 달acia 성취했습니다. 그러나 카메라 궤적과 장면 역동성에 대한 정밀한 제어를 가능하게 하는 것은 여전히 중요한 과제로 남아 있습니다. 기존의 접근 방식은 일반적으로 두 가지 패러다임으로 나뉘며, 두 방식 모두 복잡한 시나리오에서 결정적인 한계를 보입니다:

1. 매개변수화된 카메라 임베딩(Parameterized Camera Embeddings): 수치적 카메라 포즈(예: 외적 행렬)를 모델에 주입하는 방법은 규모 모호성(scale ambiguity)과 추상적 포즈와 밀집된 시각적 특징 사이의 큰 교차 모달리티 간극(cross-modal gap)으로 인해 어려움을 겪으며, 이는 느린 적응력과 사전 학습된 사전 지식의 저하로 이어집니다.
2. "워프 앤 인페인트(Warp-and-Inpaint)" 전략: 이 방법들은 명시적인 픽셀 단위 3D 재구성(예: 포인트 클라우드)을 사용하여 생성을 유도합니다. 이 방식은 모달리티 간의 간극을 줄여주기는 하지만, 불완전한 기하학적 구조(닫히지 않은 가시적 껍질)에 의존합니다. 이는 관점의 모호성(구조적 구멍, 잘못된 파사드)과 비람베르트(non-Lambertian) 영역(반사, 굴절)에서의 오도하는 단서를 유발합니다. 결정적으로, 두 패러다임 모두 관찰되지 않은 영역에 대해 신뢰할 수 있는 3D 컨텍스트를 제공하지 못하며, 이로 인해 VDM이 누락된 콘텐츠를 "환각(hallucinate)"하게 만들어 고역동 움직임이나 심한 폐색(occlusion) 상황에서 필연적인 구조적 붕괴를 초래합니다.

식별된 핵심 문제는 VDM이 2D 시공간 및 의미론적 사전 지식에는 강력하지만, 복잡한 공간적 역동성을 아티팩트 없이 탐색하는 데 필요한 보조적인 3D 인식 가이드가 부족하다는 점입니다.

방법론

저자들은 생성적 3D 리프팅 모델을 활용하여 명시적으로 편집 가능하고 인스턴스 완결성을 갖춘 3D 기하학 캐시를 생성하는 프레임워크인 Real2SAM2Real을 제안합니다. 이 캐시는 공간 레이아웃을 외양(appearance)과 분리하여 VDM을 위한 견고한 기하학적 스캐폴드(scaffold) 역할을 합니다.

1. 인스턴스 완결형 3D 기하학 캐시

단일 이미지로부터 전체 장면(무한한 깊이의 배경 포함)을 재구성하려고 시도하는 대신, 이 프레임워크는 명시적 기하학적 모델링을 전경 엔티티(foreground entities)로 제한합니다.

• 구축: 단일 참조 이미지로부터 레이아웃 인식 3D 생성 프레임워크(예: SAM3D)를 사용하여 분리된 토폴로지 폐쇄형 3D 전경 메쉬($O_k$)의 합집합을 추출합니다.
• 동적 구성: 사용자 지정 공간 조작(예: 6-DoF 강체 변환)이 이러한 인스턴스들에 적용됩니다. 각 인스턴스가 폐쇄된 3D 자산이기 때문에, 결과적인 장면 구성($S^{(t)}_{3D}$)은 관찰되지 않은 뒷면을 본질적으로 고려하며, 단일 이미지 워핑에서 흔히 발생하는 "판지 효과(cardboard effect)"와 구조적 구멍을 우회합니다.

2. 3D-Free 데이터 큐레이션 및 섭동(Perturbation)

명시적 3D 사전 지식과 VDM의 시각적 도메인 사이의 간극을 메우기 위해, 시스템은 **인스턴스 마스크 노멀 맵(instance-masked normal maps)**을 교차 모달리티 브리지로 사용합니다.

• 표현: 노멀 맵은 RGB 공간과 유사한 밀집되고 스케일 불변적인 기하학적 기술자(descriptor)로서 도메인 간극을 줄여줍니다.
• 데이터 파이프라인: 저자들은 "3D-free" 자동 큐레이션 전략을 채택합니다. 기성 2D 밀집 예측(NormalCrafter)과 인스턴스 세그멘테이션(SAM 3, VLM)을 사용하여 모노큘러 비디오 데이터셋으로부터 의사 노멀 시퀀스를 추출합니다. 이는 합성 3D 데이터셋과 관련된 도메인 간극을 피할 수 있게 합니다.
• 섭동: 추론 시 단일 이미지 3D 리프팅의 노이즈가 많고 거친 경계와 깨끗한 훈련 데이터 사이의 불일치를 해결하기 위해, 훈련 중에 인스턴스 수준의 무작위 섭동 전략(탄성 변형, 형태학적 연산)이 적용됩니다. 이를 통해 VDM이 노멀 맵을 엄격한 픽셀 단위 제약이 아닌 회복 탄력성이 있는 거친 앵커로 취급하도록 학습시킵니다.

3. 소프트 공간 정렬 주입(Soft Spatial-Aligned Injection) 및 미세 조정

이 프레임워크는 제로샷 일반화 능력을 보존하기 위해 기초 VDM(Wan 2.2 Image-to-Video DiT)에 대한 최소 침습적 미세 조정 전략을 사용합니다.

• 이중 경로 주입:
  • 외양 ($c_{app}$): 이중 경로 메커니즘(시퀀스에 선행되는 VAE 잠재 변수 및 크로스 어텐션을 통한 CLIP 특징)을 통해 주입됩니다.
  • 기하학 ($c_{geo}$): 소프트 공간 정렬(Soft Spatial-Aligned) 메커니즘을 통해 주입됩니다. 노멀 맵 시퀀스는 동결된 VAE에 의해 인코딩되고, 학습 가능한 3D 컨볼루션 패치 임베딩 레이어를 거쳐, DiT 은닉 상태(hidden states)에 **가산적으로 주입(additively injected)**됩니다.
• 분리: 결정적으로, 기하학적 조건은 선행되는 외양 토큰을 우회합니다. 이는 거친 기하학적 경계가 텍스처에 "구워지는(baking)" 것을 방지하여 외양 왜곡과 색상 번짐을 피합니다.
• 효율성: 백본, VAE 및 인코더는 동결된 상태로 유지하면서, 약 1.8%의 네트워크 파라미터(패치 임베딩 레이어 및 LoRA 모듈)만 학습 가능합니다.

주요 기여

1. 인스턴스 완결형 3D 기하학 캐시: 보완적인 인컨텍스트 가이드 역할을 하는 명시적으로 편집 가능한 인스턴스 완결형 3D 프록시를 도입했습니다. 이 공식은 관점의 모호성과 픽셀 수준 재구성의 아티팩트를 우회하면서 고역동 생성 능력을 실현합니다.
2. 노멀 맵을 통한 교차 모달리티 브리지: 명시적인 3D 가이드를 주입하기 위해 인스턴스 마스크 노멀 맵을 사용합니다. 이 표현은 외양 세부 사항을 제외하면서도 높은 기하학적 밀도와 스케일 불변성을 제공하여, 특징 경쟁을 피하는 직교적 가이드를 제공합니다. 수반되는 3D-free 데이터 큐레이션 전략은 2D 모델만을 사용하여 자동화된 데이터셋 구축을 가능하게 합니다.
3. 소프트 공간 정렬 주입 및 최소 미세 조정: 사전 학습된 사전 지식의 보존을 극대화하는 새로운 주입 메커니즘과 미세 조정 패러다임을 제공합니다. 이 접근 방식은 현재 3D 생성 모델의 불완전성에 대한 내재적 결함 허용 능력을 제공하며, 퓨샷(few-shot) 데이터에 대한 빠른 적응을 달성합니다.

실험 결과

광범위한 실험을 통해 Real2SAM2Real이 카메라 제어 및 엔티티 조작 측면에서 최신 베이스라인(예: ReCamMaster, ViewCrafter, TrajectoryCrafter, WorldForge)보다 우수한 성능을 보임을 입증했습니다.

• 카메라 제어: 큰 뷰포인트 변화가 있는 100개의 인 더 와일드(in-the-wild) 이미지 테스트 세트에서, 제안된 방법은 충실한 외양과 시공간적 일관성을 유지합니다. 베이스라인 방법들은 유사한 조건에서 연쇄적인 아티팩트와 구조적 붕괴를 보였습니다. 정량적 지표(ATE, RPE-T, RPE-R)는 우수한 카메라 충실도를 보여줍니다.
• 엔티티 모션: 무작위 객체 이동 및 회전이 포함된 시나리오에서, Real2SAM2Real은 베이스라인에 비해 현저히 낮은 회전 및 이동 오차를 달로 성취했습니다. 또한 복잡한 폐색과 다중 엔티티의 동시 조작을 구조적 저하 없이 성공적으로 처리합니다.
• 어블레이션 연구(Ablation Studies):
  • 소프트 공간 정렬 주입을 제거하면(채널 연결 방식으로 회귀) 외양 왜곡과 색상 번짐이 발생하여, 외양과 기하학을 분리하는 것의 필요성을 확인시켜 줍니다.
  • 인스턴스 수준 섭동을 제거하면 훈련-추론 간의 불일치로 인해 모델이 거친 경계에 엄격하게 고착되어 시각적 저하와 시간적 깜빡임(flickering)이 발생합니다.
  • 전체 모델은 일관성, 모션 부드러움 및 미적 품질에 대한 VBench 지표에서 가장 높은 점수를 기록했습니다.

의의 및 주장

본 논문은 Real2SAM2Real이 기하학을 외양으로부터 분리함으로써 현재 비디오 생성의 한계를 근본적으로 해결한다고 주장합니다. 생성적 3D 캐시를 보완적 컨텍스트로 활용함으로써, 이 프레임워크는 다음과 같은 성과를 냅니다:

• 아티팩트 제거: 전통적인 "워프 앤 인페인트" 파이프라인을 괴롭히는 구조적 구멍과 잘못된 파사드로 인한 관점의 모호성, 그리고 비람베르트 표면(반사, 굴절)으로부터 오는 오도하는 단서를 제거합니다.
• 정밀한 제어 가능: 큰 카메라 변화와 심한 폐색 상황에서도 카메라 궤적과 다중 엔티티 모션에 대한 정밀하고 분리된 제어를 허용합니다.
• 사전 지식 보존: 최소 침습적 미세 조정과 소프트 주입을 통해 기초 VDM의 강력한 제로샷 일반화 및 포토리얼리스틱 렌더링 능력을 유지합니다.
• 3D 제어의 민주화: 3D-free 데이터 큐레이션과 퓨샷 적응을 통해 대규모 쌍을 이룬 3D 데이터셋 없이도 프레임워크를 사용할 수 있게 합니다.

저자들은 이 작업이 2D 사전 지식만으로는 공급할 수 없는 필수적인 3D 인식 가이드를 제공함으로써, VDM을 프로덕션 수준의 제어 가능성을 갖춘 모델로 "길들이는(taming)" 단계로 향하는 발걸음이라고 규정합니다.