💻 computer science

LooseControlVideo: Directorial Video Control using Spatial Blocking

LooseControlVideo는 희소하고 방향성이 있는 3D 박스를 '블로킹(blocking)' 프록시로 사용함으로써 기존의 2D 기반 방식에 비해 궤적 정확도, 움직임 일관성 및 가려짐 처리를 크게 향상시켜, 텍스트-투-비디오 생성에서 직관적이고 정밀한 3D 공간 제어를 가능하게 하는 새로운 프레임워크입니다.

원저자: Shariq Farooq Bhat, Niloy J. Mitra, Kalyan Sunkavalli

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shariq Farooq Bhat, Niloy J. Mitra, Kalyan Sunkavalli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 장면을 촬영하려는 영화 감독이라고 상상해 보십시오. 예를 들어 독수리가 급강하하여 토끼를 낚아채거나, 말이 울타리를 뛰어넘는 장면입니다. 현실 세계라면 당신은 배우들에게 모든 날갯짓의 정확한 각도나 모든 근육 수축의 정밀한 물리학을 계산하라고 요구하지 않을 것입니다. 대신, 당신은 **"블로킹(blocking)"**을 사용할 것입니다. 당신은 배우들에게 "여기에 서서, 저기로 걸어가고, 이 순간에 점프해"라고 말하며, 단순하고 대략적인 움직임을 통해 무대를 설정할 것입니다. 그러면 배우들(그리고 카메라 팀)이 날갯짓, 털에 휘날리는 바람, 그림자와 같은 사실적인 세부 사항들을 채워 넣습니다.

**LooseControlVideo (LCV)**는 이러한 "감독의 블로킹" 개념을 컴퓨터 생성 비디오에 도입한 새로운 AI 도구입니다. 이 도구는 사용자가 단순한 3D 박스를 사용하여 복잡하고 다중 객체인 비디오를 연출할 수 있게 해주며, 그 과정에서 AI가 모든 것을 사실적으로 보이게 만드는 어려운 작업을 처리합니다.

다음은 일상적인 비유를 사용하여 이 기술이 어떻게 작동하는지 설명한 내용입니다.

1. 문제점: "너무 많고, 너무 어려운" 딜레마

현재의 AI 비디오 생성기들은 사물을 실제처럼 만드는 데는 뛰어나지만, 사물이 어디로 움직이는지에 대한 구체적인 지시를 따르는 데는 매우 서툽니다.

텍스트는 너무 모호합니다: 만약 당신이 "독수리가 토끼를 잡는다"라고 입력하면, AI는 독서가 엉뚱한 방향으로 날아가거나 토끼를 놓치는 등의 실수를 할 수 있습니다.
상세한 지도는 너무 어렵습니다: 만약 당신이 모든 프레임에 대해 정밀한 3D 지도(깊이 맵 등)를 그리려 한다면, 이는 감독에게 영화를 시작하기도 전에 독수리 날개의 깃털 하나하나를 다 그리라고 요구하는 것과 같습니다. 이는 너무 많은 작업이며 불가능한 일입니다.

2. 해결책: "3D 프록시" (초안/러프 드래프트)

LCV는 **희소하고 방향성이 있는 3D 박스(sparse, oriented 3D boxes)**를 사용하는 방식으로 이 문제를 해결합니다.

비유: 이 박스들을 리허설 단계의 "대역 배우(stand-ins)" 또는 "더미 배우"라고 생각하십시오. 당신은 그들에게 옷을 입히거나 얼굴을 만들어 줄 필요가 없습니다. 단지 이렇게만 말하면 됩니다. "이 박스(독수리)는 여기서 시작해서, 이렇게 회전하며, 저 지점으로 이동해."
마법 같은 효과: 당신은 고차원의 안무(경로, 타이밍, 일반적인 형태)를 제공하고, AI는 저차원의 세부 사항(깃털, 근육의 움직임, 사실적인 그림자)을 채워 넣습니다.

3. 핵심 비결: DNOCS (The "Color-Coded Map")

가장 큰 과제는 단순한 3D 박스가 객체의 깊이나 카메라에 대한 상대적 회전각을 AI에게 알려주지 못한다는 점입니다. 이를 해결하기 위해 연구진은 이 박스들을 DNOCS라고 불리는 특별한 방식으로 색칠하는 방법을 발명했습니다.

작동 방식: 3D 박스에 특별한 색상 코드를 칠한다고 상상해 보십시오.
- 색조 (Hue): 객체가 어느 방향을 향하고 있는지 알려줍니다 (나침반처럼).
- 밝기 (Brightness): 객체가 얼마나 멀리 떨어져 있는지 알려줍니다 (밝을수록 가깝고, 어두울수록 멉니다).
결과: AI는 색상 코드가 입혀진 지도를 보고, 별도의 추측 없이도 3D 레이아웃, 깊이, 방향을 즉각적으로 이해합니다. 이는 마치 당신의 거친 3D 박스를 비디오 생성기가 완벽하게 이해할 수 있는 언어로 번역해 주는 "치트 시트"를 제공하는 것과 같습니다.

4. 무엇을 할 수 있는가?

이 논문은 이 방법이 두 가지 주요 작업에서 강력하다는 것을 보여줍니다.

새로운 비디오 생성: 자동차가 교통 체증 사이를 헤치고 나가는 경로를 그리거나 개가 점프하는 경로를 그리면, AI는 자동차가 현실적으로 드리프트하고 개의 털이 자연스럽게 움직이는 사진처럼 사실적인 비디오를 생성합니다.
기존 비디오 편집: 말이 점프하는 기존 영상을 가져와서 이 3D 박스를 사용하여 말의 경로를 바꿀 수 있습니다. 만약 당신이 박스를 움직여 말이 더 높이 점프하게 만든다면, AI는 말이 새로운 점프를 실제처럼 보이도록 몸의 움직임, 그림자, 배경을 모두 조정합니다.

5. 결과: 경쟁 모델보다 우수함

연구진은 2D 드로잉이나 흐름 맵(flow maps)을 사용하는 다른 방법들과 비교 테스트를 진행했습니다.

비유: 도시를 항해한다고 상상해 보십시오. 다른 방법들은 평면적인 2D 종이 지도를 주는 것과 같습니다 (어떤 건물이 앞에 있는지 알기 어려워 혼란스럽습니다). 반면 LCV는 명확한 깊이 표시가 있는 3D 모델을 제공합니다.
성과: LCV는 다음 항목에서 현저히 우수한 성능을 보였습니다.
- 궤적 (Trajectory): 객체가 당신이 그린 경로를 그대로 유지했습니다 (1.2배에서 3배 더 정확함).
- 폐쇄/가림 (Occlusion): 객체들이 서로를 올바르게 가렸습니다 (예: 나무가 자동차를 뒤에서 올바르게 가리는 현상 등, 이전보다 1.5배에서 2배 더 뛰어남).
- 움직임 (Motion): 움직임이 "흔들리는" 느낌이 아니라, 실제 물리 법칙처럼 견고하고 일관되게 느껴졌습니다.

요약

LooseControlVideo는 감독에게 장면을 배치하기 위한 단순한 3D 블록 세트를 주는 것과 같습니다. 감독은 이야기와 움직임을 결정하고, AI는 특수 효과 팀이 되어 사실적인 세부 사항, 그림자, 물리 법칙을 채워 넣습니다. 이 도구는 "나는 창의적인 아이디어가 있다"와 "나는 전문가 수준의 비디오를 가지고 있다" 사이의 간극을 메워주며, 사용자가 3D 모델링 전문가가 될 필요 없이 이를 가능하게 합니다.

기술 요약: LooseControlVideo

문제 정의

텍스트 기반 비디오 생성에서 정밀한 3D 공간 오케스트레이션은 여전히 중요한 과제로 남아 있으며, 특히 의미론적 레이아웃과 시간적 역동성이 얽혀 있는 다중 객체 장면에서 더욱 그러하다. 기존의 제어 방식은 어려운 트레이드오프를 제시한다: 자연어는 정확한 공간 궤적을 표현하기에 너무 부정확하며, 조밀한 비디오 신호(예: 프레임당 깊이 또는 에지 맵)는 동적인 장면을 위해 사용자가 수동으로 작성하는 것이 거의 불가능하다. 현재의 깊이 조건부 모델은 구조적 충실도는 달성하지만, 노동 집약적이고 프레임 단위로 정확한 가이드가 필요하다. 또한, 기존의 구조 가이드는 두 가지 별개의 제어 축을 혼동한다: (i) 카메라와 객체의 레이아웃, 움직임, 상호작용, 그리고 (ii) 이러한 상호작용으로부터 발생하는 미세한 객체 포즈 및 변형이다. 이는 사용자가 복잡한 물리적 사건을 구동하는 데 필요한 상세한 기하학적 데이터(예: 독수리의 날갯짓 하나하나를 포착하는 것)를 제공하는 것을 비현실적으로 만든다.

방법론

저자들은 "블로킹(blocking)" 대리물로서 희소하고 방향성을 가진 3D 박스를 사용하여 직관적이고 표현력 있는 제어를 가능하게 하는 프레임워크인 **LooseControlVideo (LCV)**를 제안한다. 이 접근 방식은 고차원적인 안무(레이아웃, 움직임 경로, 타이밍)를 보조적인 역동성 및 현실적인 변형으로부터 분리하며, 후자는 생성 모델에 의해 추론된다.

1. DNOCS 표현

조잡한 3D 대리물과 고충실도 합성을 연결하기 위해, 저자들은 **Depth-modulated Normalized Object Coordinate Space (DNOCS)**를 도입한다. 이는 국부적 방향성과 전역적 깊이를 단일 3채널 이미지 신호로 결합하여 인코딩하는 새로운 인코딩 방식이다.

방향성(Orientation): NOCS 맵에서 영감을 받아, 각 3D 박스는 국부적 정규화 좌표계를 사용하여 색상이 지정되며, 이를 통해 모델은 객체의 방향과 상대적 포즈를 추론할 수 있다.
깊이 변조(Depth Modulation): 색상 강도는 카메라에 대한 객체의 깊이에 따라 변조되어, 표준 NOCS가 결여하고 있는 전역적 거리 힌트를 제공한다.
렌더링: 3D 박스는 타겟 카메라의 관점에서 2D 제어 신호( $v_{ctrl}$ )로 렌더링된다. 이 사전 계산된 렌더링은 깊이 순서, 폐쇄(occlusion), 원근 힌트를 명시적으로 노출하여, 제어 표현을 베이스 비디오 모델의 2D 이미지 도메인과 일치시킨다.

2. 아키텍처 및 학습

백본(Backbone): 이 방법은 Wan 2.2 백본(특히 Diffusion Transformer의 ControlNet 스타일 적응형인 VACE 아키텍처)을 미세 조정한다.
조건화(Conditioning): 렌더링된 DNOCS 제어 신호( $v_{ctrl}$ )는 표준 VACE 조건화 경로를 통해 백본 DiT 모델에 주입된다. 베이스 모델은 동결된 상태를 유지하며, VACE 모듈만 LoRA(rank 64)로 미세 조정된다.
데이터 파이프라인: 수동 3D 주석 작업을 피하기 위해, 저자들은 대규모 야생 비디오 데이터셋(nuScenes, HO-3D, BEHAVE)으로부터 시간적으로 추적된 3D 방향성 박스를 추출하는 자동화된 파이프라인을 개발했다. 이 파이프라인은 GroundingDINO, SAM, 단안 깊이 예측, 3D 칼만 필터를 사용하여 약 1만 개의 정렬된 RGB-DNOCS 비디오 쌍으로 구성된 학습 코퍼스를 생성한다.
다재다능함(Versatility): 시스템은 비디오 생성(DNOCS 렌더만 사용)과 비디오 편집(DNOCS 렌더를 입력 비디오 프레임과 합성하여 사용자가 유지, 제거 또는 채울 영역을 지정할 수 있음)을 모두 지원한다.

주요 기여

3D 인식 공간 블로킹 패러다임: 밀집한 3D 리깅 없이도 복잡한 다중 객체 이벤트를 저작할 수 있도록, 방향성을 가진 3D 박스를 사용하여 안무와 국부적 변형을 분리하는 방법.
특화된 제어 메커니즘 (DNOCS): 방향, 깊이, 폐쇄를 명시적으로 전달하는 2D 신호로 3D 프리미티브를 렌더링하여 직관적인 "느슨한(loose)" 제어를 제공하는 Diffusion Transformer를 위한 새로운 인코딩.
자동화된 학습 파이프라인: 2D 비디오 데이터셋을 3D 조건부 학습 세트로 격상시켜 수동 3D 주석의 필요성을 제거하는 시스템.
평가 지표: 궤적 오차(Trajectory Error), 폐쇄 정확도(Occlusion Accuracy), 강체 운동 일관성(Rigid Motion Consistency)을 포함하여 공간 블로킹 준수 여부를 평가하는 새로운 지표.

결과

nu_scenes(내비게이션), HO-3D(손-객체 상호작용), BEHAVE(전신 인간 상호작용)에 대한 광범적인 평가는 LCV가 기존의 2D 박스 및 플로우 기반 베이스라인보다 크게 우수함을 입증한다.

궤적 오차: 최첨단 레이아웃 조건부 모델 대비 1.2~3배의 개선을 달행한다.
강체 운동 일관성: 2배의 개선을 보인다.
폐쇄 정확도: 1.5~2배 증가한다.
정성적 성능: 모델은 희소한 3D 입력을 바탕으로 현실적인 폐쇄, 시간적 동기화 및 보조 역동성(예: 타이어 스키드, 형태적 변형)을 성공적으로 생성한다. 또한 말의 점프 궤적이나 차량의 경로를 수정하는 편집 작업 시 시각적 정체성과 장면 일관성을 유지한다.

의의 및 주장

본 논문은 방향성을 가진 3D 프리미티브가 복잡한 다중 에이전트 비디오 저작을 위한 견고한 기하학적 사전 정보(prior)를 제공한다고 주장한다. 전문적인 촬영 기법의 "블로킹" 메타포를 채택함으로써, LCV는 캐주얼한 저작과 영화적 정밀함 사이의 간극을 메운다. 저자들은 자신들의 접근 방식이 기하학적 모델링과 복잡한 객체 변형의 부담을 확산 과정(diffusion process)으로 효과적으로 넘겨줌으로써, 사용자가 고차원적인 의도에 집중할 수 있게 한다고 주장한다.

이 연구는 복잡한 물리적 상호작용을 사진 같은 사실성과 구조적 엄격함을 희생하지 않고도 쉽게 저작할 수 있는, 직관적인 "디렉터 인 더 루프(director-in-the-loop)" 패러다임을 향한 단계로 자리매김한다. 저자들은 한계점(특히 잔차 아키텍처의 과제로서 특정 3D 박스에 시각적 정체성을 명시적으로 결합하지 못한다는 점)을 인정하면서도, 사용자가 여전히 상호작용의 시간적 리듬을 저작해야 함을 언급했으나, 향후 연구를 통해 희소한 공간 궤적으로부터 타이밍을 추론할 수 있을 것임을 시사했다.