기술 요약: 기하학적 지시 기반 비디오 편집 (GIVE)

1. 문제 정의

객체 수준의 기하학적 편집—예를 들어 객체의 이동, 회전, 크기 조절, 복제 또는 제거—은 전통적인 디지털 콘텐츠 제작(DCC) 워크플로우에서는 일상적인 작업이지만, 현재의 생성형 비디오 편집 시스템에서는 신뢰도가 낮습니다. 기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

• 3D 상태의 모호성: 이미지 공간 또는 시맨틱 제어(텍스트 프롬프트, 마스크)는 대상 객체의 편집 전후 3D 상태를 명시적으로 정의하지 않습니다. 이는 모델이 작업을 충분히 수행하지 못하거나, 기하학적 변화에 따른 부차적 효과(예: 그림자, 반사)를 일관되게 업데이트하지 못하는 약한 제약 조건으로 이어집니다.
• 3D 재구성의 취약성: 명시적인 3D 재구성(예: 3D 프록시로 리프팅)에 의존하는 방법들은 비용이 많이 들고, 비디오마다 최적화가 필요하며, 복잡한 실제 역동성 하에서 취약합니다. 부정확한 프록시는 오류를 전파하여 신뢰할 수 없는 편집과 일관성 없는 부차적 효과를 초래합니다.

핵심 과제는 취약한 per-video 재구성에 의존하지 않으면서, 비전(viewpoint)과 시간 전반에 걸쳐 대상 객체의 3D 상태 변화를 모호함 없이 지정하고, 편집되지 않은 영역을 보존하며 시간적 일관성을 확보하는 것입니다.

2. 방법론

저자들은 편집을 편집 전후의 객체 상태 간의 전이(transition)로 표현하는 기하학적 지시 기반 비디오 편집 프레임워크인 GIVE를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

A. 통합된 객체 상태 표현 (Unified Object-State Representation)

GIVE는 작업별 레이블 대신, 3D 지향 바운딩 박스(oriented bounding boxes)에서 유도된 두 가지 경량 비디오 정렬 기하학 지시 스트림을 통해 편집을 정의합니다:

1. Depth-Box 스트림: 카메라 좌표계에서의 객체의 거친 3D 배치와 공간적 범위를 인코딩합니다. 이는 $[0, 1]$로 정규화된 깊이 맵(z-buffer)으로 래스터화됩니다.
2. Orientation-Box 스트림: 외형에 구애받지 않는 방식으로 객체의 헤딩(heading)을 인코딩합니다. 객체의 텍스처가 유출되지 않도록 고정된 정준 면(canonical face) 식별 색상을 사용하여 3D 박스를 렌더링합니다.

이 스트림들은 편집 전(소스)과 편집 후(타겟) 상태 모두에 존재합니다. 편집 연산자는 이 두 상태 사이의 차이에 의해 암시적으로 유도됩니다. 제거(빈 편집 후 스트림)나 복제(여러 개의 편집 후 인스턴스)와 같은 특수 사례들도 이 공식 내에서 자연스럽게 처리됩니다.

B. 기하학 지시 비디오 확산 모델 (Geometry-Instructed Video Diffusion Model)

GIVE는 편집기를 조건부 잠재 비디오 확산 모델(Video DiT)로 구현합니다:

• 아키텍처: 입력 RGB 비디오와 4개의 기하학 지시 스트림(전/후 depth 및 orientation)은 공유된 Video VAE에 의해 시공간 토큰으로 인코딩됩니다.
• 토큰화: 이 토큰들은 노이즈가 섞인 편집된 비디오 잠재값(latent)과 결합됩니다. 시퀀스는 비디오 확산 트랜스포머(Video Diffusion Transformer)에 의해 처리됩니다.
• RoPE 상태 정렬: 서로 다른 스트림(소스 vs 타겟)의 토큰이 동일한 시공간 위치에 대응하도록 하기 위해, 저자들은 모든 스트림 간의 회전 위치 인코딩(RoPE) 인덱스를 정렬합니다. 상수 상태 오프셋(constant state offset)이 소스 상태 토큰과 타겟 상태 토크를 구분하여, 모델이 명시적인 연산자 레이블 대신 객체 상태 간의 관계로부터 의도된 편집을 추론할 수 있게 합니다.
• 추론: 추론 시, 시스템은 SAM 2(세그멘테이션), Geo4D(depth/pose 추정)와 같은 기성 도구를 사용하여 사용자 입력으로부터 기하학 스트림을 생성하며, 이는 per-video 최적화나 엔진 버퍼를 요구하지 않습니다.

C. 확장 가능한 절차적 데이터 합성 (Scalable Procedural Data Synthesis)

실제 비디오의 통제된 쌍 데이터(paired supervision) 부족 문제를 해결하기 위해, 저자들은 그래픽 엔진(Unreal Engine) 기반의 확장 가능한 파이프라인을 구축하여 GIVE-Data를 생성했습니다:

• 프로세스: 파이프라인은 장면, 에셋, 카메라 궤적, 그리고 편집 프로그램(이동, 회전, 스케일링 등)을 샘플링합니다. 편집 프로그램은 배경, 카메라, 조명 등을 일정하게 유지하면서 타겟 객체에 실행됩니다.
• 출력: 이는 제어된 전/후 비디오 쌍($V, V'$)과 동기화된 기하학 지시 스트림을 함께 렌더링합니다.
• 물리: 물리 기반 렌더링을 통해 기하학적 변화에 따라 부차적 효과(그림자, 반사)가 일관되게 변화하도록 하여, 충실한 편집을 위한 직접적인 감독(supervision)을 제공합니다.

3. 주요 기여

1. 통합된 객체 상태 공식화: 편집 전/후 기하학 스트림(depth 및 orientation box)을 사용하여 객체 상태 전이를 정의함으로써, 다양한 DCC 스타일의 연산을 단일 프레임워크 내에서 지원하는 새로운 표현 방식을 제시합니다.
2. 확장 가능한 절차적 감독: 그래픽 엔진 파이프라인을 통해 생성된 대규모 데이터셋(GIVE-Data, 202k 쌍 클립)과 벤치마크(GIVE-Bench)를 구축하여, 기하학적 편집을 격리하고 일관된 부차적 효과를 보장합니다.
3. 기하학 지시 확산 모델: RoPE 상태 정렬을 통해 기하학 스트림을 통합하는 Video DiT 아키텍처를 구현하여, 단일 모델이 이동, 회전, 스케일링, 복제, 제거 및 궤적 편집을 수행할 수 있게 합니다.
4. 강력한 실제 환경 성능: per-video 3D 재구성이 필요 없이, 실제(in-the-wild) 비디오에서 높은 편집 충실도와 시간적 일관성을 달달성합니다.

4. 실험 결과

본 논문은 합성 데이터인 GIVE-Bench와 240개의 실제 비디오 모두에서 GIVE를 평가합니다.

• 정량적 성능 (GIVE-Bench): GIVE는 PSNR, SSIM, LPIPS 측면에서 모든 연산자(DragVideo, Kling-O1, ProPainter, ROSE, DaS 포함)에 대해 대표적인 베이스라인들을 능가합니다. 특히 스케일링 및 이동과 같이 기하학적 의존도가 높은 작업에서, 베이스라인들이 흔히 겪는 드리프트 현상이나 부차적 효과 업데이트 실패를 극복하며 유의미한 성능 향상을 보였습니다.
• 실제 비디오 평가:
  • VBench 점수: GIVE는 시간적 일관성과 비디오 품질에서 경쟁력 있는 점수를 기록했으며, 종종 베이스라인에 비해 일관성 지표를 개선했습니다.
  • 사용자 조사: 블라인드 테스트 기반의 best-of-$K$ 사용자 조사에서, GIVE는 모든 연산자에 대해 가장 높은 승률(WinRate)을 기록했습니다 (예: 회전 66.75%, 제거 76.42%, 궤적 편집 85.92%). 이는 인지된 편집 충실도가 더 높음을 나타냅니다.
• Ablation 연구: Orientation-box 또는 Depth-box 스트림 중 하나라도 제거하면 성능이 저하되어, 두 스트림의 상호 보완적인 역할을 확인했습니다. RoPE 상태 정렬은 시공간적 대응을 유지하고 메트릭 점수를 높이는 데 결정적임이 입증되었습니다.

5. 의의 및 주장

본 논문은 TREATY(취약한 3D 재구성)에서 경량 기하학 가이드에 의한 통합된 객체 상태 공식화로 전환함으로써, 객체 수준의 비디오 기하학적 수정을 해결한다고 주장합니다.

• 충실도(Faithfulness): 전/후 상태를 명시적으로 정의함으로써, GIVE는 의도된 3D 변화가 정확하게 실행되도록 보장하며, 부차적 효과(그림자, 반사)가 변환과 일관되게 업데이트되도록 합니다.
• 확장성(Scalability): 절차적 데이터 합성 파이프라인을 통해 인간의 주석 없이도 대규모의 통제된 학습 데이터를 생성할 수 있어, 복잡한 기하학적 전이를 학습할 수 있습니다.
• 범용성(Generality): 단일 모델 내에서 광범위한 DCC 스타일 연산(회전, 스케일링, 제거 등)을 지원하여, 작업별 인터페이스가 필요하지 않습니다.

저자들은 현재 계산 효율성 측면의 한계를 인정하며, 여러 기하학 스트림을 결적으로 결합하는 것이 시퀀스 길이와 지연 시간을 증가시킨다는 점을 언급하였고, 이를 향후 연구 방향으로 제시하였습니다.