💻 computer science

Cinematic Compositing Using Character-Environment-Harmonized Video Generation Models

본 논문은 삼중 마스크 가이드 아키텍처, RGB-D 공동 디노이징, 그리고 참조 조건부 메커니즘을 통해 캐릭터와 환경 간의 물리적 상호작용 및 환경과 캐릭터 간의 조명 조화를 공동으로 모델링함으로써 고품질의 시네마틱 합성(cinematic compositing)을 달성하는 엔드 투 엔드 비디오 확산 프레임워크를 제안한다.

원저자: Tianyi Xiang, Mingming He, Li Ma, Jing Liao

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyi Xiang, Mingming He, Li Ma, Jing Liao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 세트장의 감독이라고 상상해 보십시오. 거대하고 비싼 성이나 미래 도시를 짓는 대신, 당신에게는 그린 스크린과 재능 있는 배우 한 명뿐입니다. 영화 제작의 마법은 종종 '컴포지팅(compositing)'—즉, 배우를 완전히 새로운 세계 속으로 결합하는 기술—에 달려 있습니다. 수십 년 동안 이 과정은 마치 서툰 퍼즐 맞추기와 같았습니다. 전통적인 방식은 배우를 초록색 배경에서 잘라내어 새로운 장면 위에 붙일 수는 있었지만, 현실을 하나로 묶어주는 보이지 않는 접착제인 빛과 물리 법칙을 다루는 데 어려움을 겪었습니다. 만약 배우가 어두운 동굴로 걸어 들어간다면, 기존 방식으로는 배우의 얼굴에 그림자를 드리우게 만들 수 없었습니다. 또한 배우가 벽에 기대더라도, 벽이 그 무게에 반응하게 만들 수도 없었습니다. 그것은 마치 그림 위에 스티커를 붙이는 것과 같았습니다. 스티커는 주변 세계를 무시한 채 평평하고 밝은 상태 그대로 남아 있었기 때문입니다.

이를 해결하기 위해, 과학자들은 이제 '비디오 확산 모델(video diffusion models)'이라는 유형의 인공지능을 사용하고 있습니다. 이는 무작위 노이즈에서 시작하여 조각가가 돌을 깎아내어 조각상을 드러내는 것처럼, 이미지가 선명해질 때까지 노이즈를 천천히 제거하며 영상을 생성하는 법을 배우는 일종의 AI입니다. 이러한 모델들은 전체 장면을 처음부터 생성하는 데 점점 더 능숙해지고 있습니다. 하지만 큰 과제는 배우와 새로운 세계가 서로 대화하게 만드는 것이었습니다. 배우는 새로운 바닥에 그림자를 드리워야 하고(물리적 상호작용), 새로운 방의 빛은 배우의 피부에 반사되어야 합니다(조명 상호작관). 만약 AI가 이를 잘못 처리하면, 장면은 실제 사진에 게임 캐릭터를 붙여놓은 것처럼 가짜처럼 보이게 됩니다. 이것이 바로 새로운 논문이 다루는 문제입니다. 어떻게 하면 배우와 환경이 단순히 옆에 서 있는 것이 아니라, 완벽하게 함께 춤을 추게 할 것인가 하는 점입니다.

이 논문의 저자인 샹 티엔이(Tianyi Xiang)와 그의 팀은 배우와 배경 모두를 조종하는 숙련된 인형술사 역할을 하는 새로운 AI 프레임워크를 구축했습니다. 그들의 시스템은 배우와 배경을 단순히 붙여야 할 두 개의 별개 요소로 취급하는 대신, 이들을 동시에 생성하여 실시간으로 서로 반응하도록 보장합니다. 그들은 이를 '양방향(bidirectional)' 상호작용이라고 부릅니다. 한쪽에서는 배우가 세상에 영향을 미칩니다(C2E). 예를 들어 배우가 소품을 들고 있다면, AI는 그 소품의 형태는 유지하되 새로운 방의 빛에 맞춰 색상을 변경해야 한다는 것을 인지합니다. 다른 한쪽에서는 세상이 배우에게 영향을 미칩니다(E2C). 만약 새로운 장면이 촛불이 켜진 어두운 방이라면, AI는 자동으로 배우의 얼굴을 어둡게 만들고 실제 빛처럼 따뜻한 오렌지색 반사를 추가합니다.

이를 구현하기 위해 팀은 영리한 '트라이 마스크(tri-mask)' 시스템을 발명했습니다. 이것은 AI의 주의력을 조절하는 교통 신호등과 같습니다. 빨간불은 AI에게 배우의 얼굴과 실제 물체들을 형태 그대로 유지하되 조명만 바꾸라고 지시합니다. 노란불은 AI에게 물체의 형태(예: 초록색 스크린의 검 모양 홀더)는 유지하되, 그것을 실제 검처럼 보이도록 완전히 다시 칠하라고 지시합니다. 초록불은 AI에게 존재하지 않았던 떠 있는 수정구슬처럼 완전히 새로운 것을 창조하라고 지서합니다. 이를 통해 시스템은 실제 소품, 가짜 소품, 그리고 상상의 소품을 혼동 없이 동시에 처리할 수 있습니다.

이 논문은 이전의 방식들이 왜 실패했는지도 지적합니다. 기존 방식들은 두 단계로 나누어 작업을 수행하려고 했기 때문입니다. 먼저 배경을 생성한 다음, 배우의 조명을 수정하려고 시도했습니다. 저자들은 이러한 '계단식(cascaded)' 접근 방식이 벽을 먼저 칠한 다음, 그 앞에 서 있는 사람에게 페인트가 튀지 않게 하려 노력하며 사람을 칠하는 것과 같다고 주장합니다. 이는 배우가 공중에 떠 있는 것처럼 보이거나 그림자가 맞지 않는 등의 오류를 초래합니다. 대신, 이 새로운 프레임워크는 '결합 디노이징(joint denoising)' 과정을 사용하여 모든 것을 한 번에 수행합니다. 이것은 AI가 배우와 배경을 동시에 그리는 법을 배우는 것과 같으며, 거리감(깊이)을 나타내는 특수한 지도를 사용하여 배우의 손이 실제로 테이블에 닿고 적절한 그림자를 드리우도록 만듭니다.

이 AI를 학습시키기 위해, 연구진은 가능한 모든 조명 조건에서 배우를 촬영할 수 없었습니다(그것은 너무 비용이 많이 들고 느리기 때문입니다). 대신 그들은 스마트한 데이터 파이프라인을 만들었습니다. 그들은 기존 영상들을 가져와 다른 AI 도구들을 사용하여 다양한 조명 시나리오를 시뮬레이션했고, 결과적으로 배우가 가상 스튜디오에서 '재조명'되는 수천 번의 연습 세션을 만들어냈습니다. 그들은 이 시뮬레이션 중 가장 현실적인 것들만 필터링하여, 거대한 촬영팀 없이도 AI가 고품질의 예시로부터 배울 수 있도록 했습니다.

시스템을 테스트했을 때 결과는 인상적이었습니다. 다른 방법들과의 정면 승부에서 그들의 방식은 압도적인 승리를 거두었습니다. 배우의 정체성을 더 잘 보존했고, 조명을 더 자연스럽게 만들었으며, 스토리 프롬프트에 더 정확하게 부합하는 배경을 생성했습니다. 사람들이 최고의 영상을 투표하는 사용자 연구에서, 그들의 방식은 전체적인 품질 면에서 60% 이상의 선택을 받으며 다음으로 우수한 옵다를 크게 앞질렀습니다. 이 논문은 이러한 통합적 접근 방식이 중요한 진전임을 시사하며, 배우와 환경이 함께 상호작용하는 법을 배울 때의 결과물이 단순한 기술적 트릭이 아닌 진정한 시네마틱 경험이 된다는 것을 증명했습니다. 다만, 저자들은 현재 시스템에 여전히 한계가 있다고 언급했습니다. 아직 초고화질 4K 영상을 처리하거나 매우 긴 영화를 다룰 수는 없는데, 이는 마법은 작동하고 있지만, 거대한 블록버스터를 감당하기에는 엔진에 더 많은 힘이 필요함을 시사합니다.

기술 요약: 캐릭터-환경 조화 비디오 생성 모델을 이용한 시네마틱 합성

1. 문제 정의

시네마틱 합성(Cinematic compositing)은 그린 스크린 전경 캐릭터를 새로운 배경 환경에 통합하는 과정을 포함한다. 전통적인 방식은 픽셀 단위의 블렌딩을 위해 알파 채널 마팅(alpha-channel matting)에 의존하지만, 물리적 및 광학적 사실성에 필요한 복잡한 양방향 상호작용을 모델링하는 데 실패한다. 구체적으로, 기존 접근 방식은 다음과 같은 문제점을 겪는다:

캐릭터-환경(C2E) 물리적 상호작용: 캐릭터의 기하학적 구조와 움직임이 주변 환경(예: 폐쇄/가림, 공간적 접촉 및 환경적 반응)에 미치는 영향을 시뮬레이션하지 못함.
환경-캐릭터(E2C) 조명 조화: 환경의 조명을 캐릭터에 투사하거나 캐릭터로부터 반사시키는 기능이 미흡하여, 종종 일관되지 않은 조명 결과를 초래함.
소품 처리: 현재의 방식은 일반적으로 단일 이진 마스크를 사용하는데, 이는 다양한 제작 시나리오를 다루기에 불충분하다. 즉, 실제 소품의 RGB 콘텐츠를 보존하면서 재조명(relighting)하는 것과, 그린 스크린 프록시(proxy)의 외형은 제거하되 상호작용 인지형 교체를 위한 기하학적 구조는 유지하는 것을 동시에 수행할 수 없다.
태스크 격리: 기존의 비디오 인페인팅 모델은 E2C 조화 기능이 부족하며, 재조명 모델은 캐릭터의 움직임에 따른 동적인 배경 반응을 생성할 수 없다. 계단식 파이프라인(Cascaded pipelines)은 통합된 양방향 조화를 달성하지 못한다.

2. 방법론

저자들은 단일 아키텍처 내에서 C2E 및 E2C 상호작용을 공동으로 모델링하는 엔드 투 엔드 비디오 확산(diffusion) 프레임워크를 제안한다.

A. 문제 정식화: 트리 마스크(Tri-Mask) 가이드

이진 마스크의 한계를 해결하기 위해, 저자들은 서로 다른 제작 의도를 특정 모달리티로 매핑하는 트리 마스크( $M_t$ ) 정식화를 도입한다:

$M_t = 1$ (보존 및 재조명): RGB 콘텐츠는 유지하되(예: 캐릭터 얼굴, 실제 소품) 대상 환경에 맞춰 광학적으로 조화되는 영역.
$M_t = 0$ (기하학 보존): 깊이 앵커(depth anchors)는 유지되지만(예: 그린 스크린 프록시 소품) RGB 외형과 재질 특성은 완전히 재생성되는 영역.
$M_t = -1$ (전체 생성): 물리적 캡처 대응물 없이 완전히 처음부터 콘텐츠가 생성되는 영역(예: 배경, 가상 소품).

이 정식화를 통해 모델은 단일 인터페이스 내에서 실제 소품, 프록시 교체, 가상 생성을 적응적으로 처리할 수 있다.

B. 학습 데이터 큐레이션

프레임워크는 5개 요소로 구성된 학습 데이터 구조 $X = (V_{gt}, V_{aug}, D, M_t, T)$ 를 활용한다:

$V_{gt}$ : 그라운드 트루스(Ground-truth) 비디오.
$V_{aug}$ : 조명이 증강된 대응 비디오.
$D$ : 비디오 깊이(Depth).
$M_t$ : 트리 마스크.
$T$ : 텍스트 프롬프트.

데이터셋은 두 가지 소스로 구축된다:

기본 서브셋(Base Subset): 정체성 일관성(identity consistency)을 위해 필터링된 HOIGen1M에서 유도되었으며, C2E 모델링을 위한 현실적인 인간 움직임과 접촉 단서를 제공한다.
다중 조명 서브셋(Multi-Illumination Subset): 고가의 렌더링 엔진 없이도 다양한 시네마틱 조명 조건이 적용된 고품질 비디오를 합성하기 위해 사전 기반 파이프라인(Wan 2.2 및 IC-Light 활용)을 사용하여 생성되었다. 이 서브셋은 E2C 조화 감독(supervision)을 풍부하게 한다.

C. 아키텍처: 트리 마스크 가이드 RGB-D 확산

핵심 아키텍처는 병렬 컨텍스트 브랜치를 가진 사전 학습된 텍스트-투-비디오 확산 트랜스포머(DiT)를 기반으로 한다:

트리 마스크 가이드 토큰 생성(TMGTG): 트리 마스크를 RGB( $M_{rgb}$ $M_{r g b}$ ) 및 깊이( $M_d$ $M_{d}$ )를 위한 모달리티별 마스크로 변환한다.
- $M_{rgb}$ 는 $M_t=1$ 인 경우 RGB를 보존한다.
- $M_d$ 는 $M_t \geq 0$ 인 경우 깊이를 보존한다.
- 프록시 소품( $M_t=0$ )의 경우, 거친 기하학적 구조는 유지하면서 외형을 과도하게 제약하지 않도록 희소 깊이 마스크(sparse depth mask)를 적용한다.
RGB-D 공동 디노이징: RGB 전용 디노이징 대신, 노이즈가 섞인 RGB 및 깊이 잠재 시퀀스( $z_{rgb}^t, z_d^t$ )를 시퀀스 차원을 따라 결합한다. 이를 통해 트랜스포머가 단일 잠재 프로세스 내에서 외형과 기하학을 공동으로 추론할 수 있게 한다.
참조 주입(Reference Injection): 제어 가능한 환경 합성 및 정밀한 소품 교체를 가능하게 하기 위해 참조 이미지와 명시적인 "RGB 캔버스" 토큰(첫 프레임 레이아웃을 나타냄)을 주입하는 선택적 메커니즘이다.

D. 손실 함수(Loss Function)

모델은 **마스크 가이드 RGB-D 속도 손실(velocity loss)**을 사용하여 학습된다. 이 손실은 오류 계산을 전경 영역(캐릭터 및 상호작용 영역 강조)과 배경 영역으로 분리하며, 전경 강조 스케일( $s$ )에 의해 가중치가 부여되어 핵심 상호작용 구역에서의 학습을 개선하면서 최적화를 안정화한다.

3. 주요 기여

통합 프레임워크: 그린 스크린 합성을 C2E 물리적 상호작용과 E2C 조명 조화를 공동으로 모델링하는 양방향 캐릭터-환경 생성 작업으로 정식화하였다.
트리 마스크 가이드 아키텍처: 서로 다른 소품 처리 의도(보존, 교체, 생성)를 특정 RGB 및 깊이 조건으로 변환하고, 물리적으로 일관된 합성을 위해 결합된 RGB-D 디노이징을 결합한 제작 지향적 아키텍처를 도입하였다.
사전 기반 데이터 파이프라인: 고가의 렌더링 파이프라인에 의존하지 않고 고품질의 다중 조명 학습 쌍을 구축하는 효율적인 방법을 제안하였다.
참조 조건 메커니즘: 참조 예시와 공간적 사전 정보를 통해 맞춤형 환경 합성 및 상호작용 소품에 대한 세밀한 제어를 가능하게 한다.

4. 실험 결과

프레임워크는 합성 벤치마크(그라운드 트루스 포함)와 실제 환경 벤치마크(그라운드 트루스 미포함) 모두에서 평가되었다.

정량적 성능:
- 합성 벤치마크에서, 본 방법은 정체성 보존(0.637), 전경 유사도(0.642), **배경 유사도(0.704)**에서 VACE, VACE+ICLight, FlowPortal과 같은 베이스라인을 능가하며 최첨단(SOTA) 결과를 달성했다.
- 실제 환경 벤치마크에서, 프롬프트-비디오 일관성(0.209), 피사체 일관성(0.954), **배경 일관성(0.934)**에서 가장 높은 수치를 기록했다.
사용자 연구: 62명의 참가자를 대상으로 한 연구에서, 제안된 방법은 다섯 가지 기준 모두에서 가장 높은 선택율을 보였다: 정체성 보존(61.29%), 상호작용 사실성(56.45%), 조명 사실성(48.39%), 프롬프트 정렬(53.23%), 그리고 전반적인 품질(59.68%).
절제 연구(Ablation Studies):
- RGB-D 공동 디노이징: 깊이를 단순히 입력 조건으로 추가하는 것은 미미한 이득만 주는 반면, 공동 디노이징을 통해 생성 목적 함수에 기하학을 통합하는 것이 전경/배경 유사도와 프롬프트 정렬을 크게 향상시킨다는 것을 입증했다.
- 다중 조명 데이터: 다중 조명 서브셋을 통한 학습이 배경의 미적 품질과 전경 재조명 및 배경 간의 조화를 모두 개선함을 확인했다.

5. 의의 및 주장

본 논문은 시네마틱 품질의 동적 비디오 합성을 위한 새로운 최첨단(SOTA)을 구축한다고 주장한다. 물리적 상호작용과 조명 조화를 통합함으로써, 이 프레임워크는 고립된 전경 캡처와 통합된 시네마틱 내러티브 사이의 간극을 메운다. 특히, 배경 합성과 전경 재조명을 독립적인 작업으로 취급하여 접촉 영역에서 아티팩트를 발생시키던 기존 방식의 한계를 해결한다.

저자들은 본인의 접근 방식이 상호작용 소품을 다루는 데 있어 특히 유의미하다고 언급하는데, 이는 기존의 이진 마스크 방식이 실제 객체 보존, 프록시 교체, 가상 요소 생성을 구분하지 못했던 시나리오를 해결한다.

한계점: 저자들은 현재 구현이 컴퓨팅 자원에 의해 제한되어 있어, 4K 초고해상도 또는 장편 비디오 합성을 지원하지 못함을 인정한다. 향데 연구는 고해상도, 장기 비디오 합성을 위한 효율적인 아키텍처 및 확장 가능한 학습 전략 개발에 집중할 것이다.