기술 요약: CinemaTraj

문제 정의

본 논문은 자연어 설명을 기반으로 3D 장면 내에서 영화적으로 표현력이 풍부하고 물리적으로 타당한 카메라 궤적을 자동으로 생성하는 과제를 다룹니다. 기존 방식들은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 3D 공간 인지 능력 부족: 2D 이미지 사전 지식(prior)이나 피드포워드 네트워크에 의존하는 언어 가이드 방식은 입체적인 표면을 인식하지 못해, 궤적이 장면의 기하학적 구조와 충돌하거나 객체 수준의 프레이밍을 달성하지 못하는 경우가 많습니다.
2. 영화적 의미론과의 단절: 궤적 생성을 순수하게 기하학적 최적화 문제로 취급하는 3D 인식 방식은 장애물을 피해 이동할 수는 있지만, 자연어로부터 고차원의 영화적 의도(예: 달리, 오빗, 크레인과 같은 특정 샷 유형)를 해석하지 못합니다.

3D 장면 구조와 영화적 의도를 결합하여 추론함으로써 충돌이 없고 서사적으로 일관된 카메라 경로를 생성하는 데에는 중요한 격차가 존재합니다.

방법론

CinemaTraj는 카메라 궤적 계획을 언어에 기반한 공간 추론 문제로 재정의합니다. 이 프레임워크는 네 가지 순차적 모듈로 구성됩니다:

1. 장면 그래프 추출기 (Scene Graph Extractor)

시스템은 RGB-D 입력 이미지를 처리하여 계층적 3D 장면 그래프($G = (N, E)$)를 구축합니다.

• 노드(Nodes): 방, 객체, 구조물을 나타내며, 각 노드는 시맨틱 레이블과 지향성 경계 상자(Oriented Bounding Boxes, OBB)로 주석이 달립니다.
• 에지(Edges): 카메라 움직임과 관련된 특정 관계를 인코딩합니다:
  • 방-객체 포함 관계 (Room-Object Containment): 카메라가 탐색해야 하는 특정 공간 영역을 결정합니다.
  • 객체-구조물 관계 (Object-Structure Relations): 객체를 "벽 인접(wall-adjacent)" 또는 "천장 부착(ceiling-attached)"으로 레이블링합니다. 이러한 레이블은 가능한 움직임을 직접적으로 제한합니다 (예: 벽 인접 객체는 전체 오빗 이동을 금지하며, 천장 객체는 크레인 샷을 금지함).
• 기하학 (Geometry): 구조적 경계 상자는 수밀(watertight) 인클로저를 형성하도록 확장되어, 이후 사용될 부호 거리 함수(Signed Distance Field, SDF)에 누출이 발생하지 않도록 보장합니다.

2. 사용자 프롬프트 번역기 (LLM 에이전트)

LLM 에이전트는 장면 그래프와 사전 정의된 "영화적 도구 세트(Cinematographic Toolset)"를 갖추고, 자유 형식의 텍스트 프롬프트를 구조화된 일련의 원자적 명령으로 분해합니다.

• 도구 세트:
  • 앵커 선택기 (Anchor Selector, $A$): 점수 산정 방식(가시성, 거리, 고도, 개방성)을 기반으로 충돌 없는 초기 뷰포인트를 선택합니다.
  • 객체 수준 궤적 (Object-level Trajectories, $T_o$): 특정 샷 유형(오빗, 달리, 크레인, 팬, 틸트, 줌, 정지)을 포함합니다.
  • 전이 궤적 (Transitional Trajectories, $T_t$): 객체들을 연결하는 매개변수화된 호(arc)입니다.
• 출력: 의도 이해와 궤적 생성을 분리하는 $3N-1$ 단계의 원자적 단계 시퀀스(앵커 $\to$ 객체 궤적 $\to$ 전이 $\to$ 앵커...)를 생성합니다.

3. 매개변수 기반 원자적 궤적 빌더 (Parametric Atomic Trajectory Builder)

이 모듈은 매개변수 표현을 사용하여 원자적 명령을 연속적인 카메라 경로로 구체화합니다.

• 표현: 각 궤적 $\tau(t; \theta_{fix}, \theta_{free})$는 고정 파라미터(앵커, 기하 구조)와 자유 파라미터(최적화 가능)에 의해 정의됩니다.
• 모션 프로파일: 매개변수 설계는 제약 없는 6-DoF 포즈를 생성하는 대신, 특유의 영화적 모션 프로파일(예: 부드러운 오빗 아크, 점진적인 달리 접근)을 보존합니다.
• 유형:
  • 오빗/달리/크레인: 반경, 높이, 스윕 각도, 고도로 정의됩니다.
  • 팬/틸트/줌: 방향 또는 초점 거리의 보간으로 정의됩니다.
  • 전이 (Transition): 곡률 각도 $\alpha$를 가진 매개변수화된 호로 모델링됩니다.

4. 충돌 및 폐쇄 방지 궤적 최적화기 (Collision and Occlusion-Free Trajectory Optimizer)

복잡한 기하 구조와의 충돌을 방지하고 타겟 가시성을 확보하기 위해, 시스템은 미분 가능한 최적화를 통해 자유 파라미터($\theta_{free}$)를 정교화합니다.

• SDF 구축: OBB 메쉬로부터 부호 거리 함수(SDF)를 계산하여, 노이즈가 많은 3D 가우시안 스플래팅 밀도 필드보다 우수한, 매끄럽고 기하학적으로 충실한 그래디언트를 제공합니다.
• 비용 함수 (Cost Function): 다음의 조합을 최소화합니다:
  • 충돌 비용 ($C_{sdf}$): 지점이 장면의 기하 구조를 침범하거나 접근하는 것에 대해 페널티를 부여합니다.
  • 폐쇄 비용 ($C_{occl}$): 레이 마칭(ray marching)과 투과도 가중치를 사용하여 타겟 객체의 시야가 차단되는 것에 대해 페널티를 부여합니다.
  • 정규화 ($C_{reg}$): 최적화된 궤적이 초기 매개변수 형태에 가깝게 유지되도록 합니다.
• 2단계 최적화:
  1. 전체 비용(폐쇄 비용 포함)을 적용하여 객체 수준의 세그먼트를 최적화합니다.
  2. 문(doorway) 웨이포인트를 통해 방 사이의 경로를 나누어, 폐쇄 비용 없이 전이 아크를 재구축하고 최적화합니다.

5. 자막 및 내레이션 생성기 (Subtitle and Voiceover Generator)

(선택 사항) 시각-언어 모델(VLM)이 키프레임을 분석하여 동기화된 자막과 음성 내레이션을 생성함으로써 영화적 결과물을 향상시킵니다.

주요 기여

1. 프레임워크 공식화: 3D 장면으로부터 언어 가이드 기반의 영화적 비디오 생성을 위한 엔드-투-엔드 프레임워크를 제시하며, 궤적 계획을 공간 추론 문제로 다룹니다.
2. 구조화된 3D 사전 지식: LLM의 추론을 정확한 기하학적 및 시맨틱 지식에 접지시키기 위해 3D 장면 그래프를 구조적 사전 지식으로 사용하며, 전문적인 카메라 관례에 기반한 매개변수 궤적 표현을 결합합니다.
3. 미분 가능한 최적화: 영화적 샷의 스타일을 보존하면서 물리적 안전을 보장하기 위해 SDF를 활용하여 설계된, 새로운 폐쇄 및 충돌 방지 최적화 방법을 제안합니다.
4. 포괄적인 평가: 프롬프트 정렬, 궤적 품질 및 안전 지표 측면에서 본 방법의 우수성을 입증하는 광범위한 실험을 수행합니다.

실험 결과

본 방법은 ScanNet++ 데이터셋의 50개 장면에 대해 세 가지 수준의 프롬프트 구체성(완전 지정, 부분 지정, 개방형)으로 평가되었습니다.

• 베이스라인: 3D 기하 구조가 없는 텍스트 조건부 확산 모델인 ChatCam + GenDoP 및 명시적인 영화적 제약이 부족한(기하학은 인식하지만) CCTG와 비교되었습니다.
• 정량적 성능:
  • 모션 충실도 (Motion Fidelity): CinemaTraj는 가장 낮은 Motion MSE(1.741)를 기록하며, 베이스라인(ChatCam: 7.741, CCTG: 9.143)을 크게 앞질렀습니다.
  • 안전성 (Safety): "w/o Anchor" 어블레이션 모델이 약간 더 낮은 충돌율을 보였으나, CinemaTraj는 ChatCam(0.209)에 비해 매우 낮은 충돌율(0.056)을 유지했습니다.
  • 시맨틱 정렬 (Semantic Alignment): 가장 높은 CLaTr 점수(28.982)를 달려, 생성된 궤적과 텍스트 프롬프트 간의 강력한 정렬을 입증했습니다.
  • 커버리지 (Coverage): 완전 지정 프롬프트에서 100% 객체 커버리지를 달성했습니다.
• 사용자 연구: 40명의 참가자를 대상으로 한 연구에서, CinemaTraj는 프롬프트 정렬, 충돌/폐쇄 회피, 영화적 품질 측면에서 모든 베이스라인 및 어블레이션 변형 모델보다 강력하게 선호되었습니다.

의의 및 주장

본 논문은 CinemaTraj가 자연어 지시와 물리적으로 유효하고 전문적인 스타일의 카메라 움직임 사이의 간극을 성공적으로 메운다고 주장합니다. LLM 에이전트를 구조화된 3D 장면 그래프에 접지시키고 SDF를 통해 최적화되는 매개변수 표현을 활용함으로써, 시스템은 다음과 같은 궤적을 생성합니다:

• 프롬프트 충실도 (Prompt-Faithful): 특정 영화적 지시(예: "오빗", "크레인")를 정확하게 실행합니다.
• 충돌 방지 (Collision-Free): 기하 구조와 충돌하지 않고 복잡하고 혼잡한 실내 환경을 탐색합니다.
• 영화적 근거 (Cinematically Grounded): 기하학 중심 또는 텍스트 중심의 접근 방식과 달리, 전문적인 영화 촬영의 부드러운 모션 프로파일과 시각적 의미론을 보존합니다.

저자들은 현재 작업이 정적인 3D 장면과 기초적인 움직임 유형에 집중하고 있으며, 동적 장면, 피사체 상대적 샷(트래킹, 오버 더 숄더), 그리고 다중 샷 편집 문법(예: 180도 법칙)을 향후 연구 방향으로 남겨두고 있다고 언급했습니다.