🤖 AI

Controllable Video Object Insertion via Multi-View Priors

본 논문은 정체성 드리프트(identity drift) 및 경계 아티팩트(boundary artifacts)와 같은 기존 방식의 한계를 극복하기 위해 다각도 객체 사전 정보(multi-view object priors)와 시점 일관적 조건화(view-consistent conditioning)를 활용하는 비디오 객체 삽입 프레임워크를 제안하며, 이를 통해 우수한 시각적 품질, 정체성 일관성, 그리고 매끄러운 전경-배경 통합을 달성한다.

원저자: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 세트장에서 감독이라고 상상해 보세요. 하지만 거대한 세트를 짓는 대신, 당신은 컴퓨터 화면 속에서 작업하고 있습니다. 당신에게는 북적이는 거리의 영상이 있고, 당신은 그 교통 흐름 사이를 가로질러 걸어가는 거대한 코끼리 같은 완전히 새로운 캐릭터를 추가하고 싶습니다. 이것이 바로 컴퓨터 비전의 한 분야인 **비디오 객체 삽입(video object insertion)**의 세계입니다. 과학자들은 AI에게 기존 영상 속에 새로운 것을 붙여넣는 법을 가르치고 있습니다. 까다로운 점은 영상은 살아있다는 것입니다. 카메라는 움직이고, 태양 빛은 변하며, 물체들은 회전합니다. 만약 당신이 코끼리의 평면 사진을 움직이는 영상에 그냥 붙여넣기만 한다면, 그것은 어울리지 않는 스티커처럼 보일 것입니다. 코끼리가 고개를 돌릴 때 모습이 이상해 보이거나, 땅 위를 걷는 대신 공중에 떠 있는 것처럼 보일 수도 있습니다. 이를 해결하기 위해 초기 방법들은 코끼리의 사진 한 장이나 단순한 텍text 설명만을 사용하려 했지만, 이는 마치 조각상의 앞모습만 보고 뒷모습을 추측하려는 것과 같습니다. 그 결과는 종-종 형태나 색상이 변하며 흔들리고 결함이 많은 엉망진창인 상태가 됩니다.

하지만 이제, 이 "스티커 문제"를 기발한 트릭으로 해결하기로 결심한 상하이 공과대학교(ShanghaiTech University)의 새로운 연구팀을 만나보세요. 그들은 움직이는 영상 속에서 물체가 실감 나게 보이려면, 단 하나의 각도가 아니라 모든 각도에서 물체가 어떻게 보이는지 알아야 한다는 사실을 깨달았습니다. 그들의 해결책은 AI가 영상을 시도하기도 전에 물체에 대한 360도 투어를 제공하는 것과 같습니다. AI에게 단 한 장의 평면 사진을 보여주는 대신, 그들은 먼저 그 사진을 3D 모델로 변한 뒤 다양한 방향에서 수백 개의 "스냅샷"을 찍습니다. 그들은 이것을 **다중 뷰 사전 정보(Multi-View Priors)**라고 부릅니다. 이것은 화가에게 얼굴 사진 한 장을 건네주는 것과 살아있는 모델을 주어 주변을 걸어 다니며 관찰하게 하는 것의 차이와 같습니다.

하지만 이 모든 추가 사진을 가지고 있는 것만으로는 충분하지 않습니다. AI는 정확히 어느 순간에 어떤 사진을 사용해야 할지 알아야 합니다. 만약 영상 속 코끼리가 왼쪽으로 몸을 돌린다면, AI는 기억 저장소에서 '앞모습'이 아닌 '왼쪽 측면' 사진을 즉시 가져와야 합니다. 연구진은 초지능적인 사서 역할을 하는 특별한 **뷰 일관성 조건화 모듈(View-Consistent Conditioning Module)**을 구축했습니다. 영상 카메라가 움직일 때, 이 사서는 장면과 일치하는 코끼리의 완벽한 각도를 즉시 찾아냅니다. 또한 그들은 "품질 검사" 시스템도 추가했습니다. 때때로 평면 사진을 3D 모델로 변환하는 과정에서 오류가 발생하여 이상하거나 흐릿하거나 부분이 누락된 결과물이 나올 수 있습니다. AI는 이러한 좋지 않은 스냅샷을 무시하고 명확한 스냅샷에만 집중하도록 학습되어, 코끼리가 갑자기 픽셀 덩어리로 변하는 것을 방지합니다.

마지막으로, 코끼리가 공중에 떠 있거나 이상한 후광과 함께 빛나 보이지 않도록 하기 위해, 그들은 **통합 인식 일관성 모듈(Integration-Aware Consistency Module)**을 추가했습니다. 이 시스템의 이 부분은 깊이 감지 탐정처럼 작동합니다. 이 모듈은 배경의 나무나 자동차와 비교하여 코끼리의 깊이가 어느 정도인지 확인하며, 코끼리가 나무 뒤로 걸어갈 때 나무 뒤로 숨겨지게 하고 적절한 그림자를 드리우게 합니다. 또한 코끼리가 프레임 사이에서 깜빡거리거나 떨리지 않도록 규칙을 추가하여, 움직임을 부드럽고 자연스럽게 유지했습니다.

그들이 새로운 프레임워크를 테스트했을 때, 결과는 인상적이었습니다. 실험에서 그들의 방식은 이전의 시도들보다 훨씬 더 사실적인 영상을 만들어냈습니다. 삽입된 물체들은 카메라가 회전하더라도 원래의 모습(정체성 일관성)을 유지했으며, 잘라 붙인 듯한 느낌 없이 배경에 자연스럽게 녹아들었습니다. 예를 들어, 그들이 DAVIS라는 데이터셋을 사용하여 테스트했을 때, 그들의 방식은 이미지 선명도(PSNR)에서 23.22, 구조적 유사도(SSIM)에서 0.9026을 기록하며 다른 최고 수준의 방법들을 앞질렀습니다. 그들은 심지어 텍스트 설명만으로도 시스템이 작동할 수 있음을 보여주었는데, 이는 단어를 3D 모델로, 그리고 다시 영상으로 변환함으로써 항상 완벽한 사진이 있어야 시작할 수 있는 것은 아님을 증명했습니다. 비록 이 시스템이 완벽하지는 않으며 여전히 초기 3D 변환의 품질에 의존하고 있지만, 연구진은 이러한 다중 뷰 "메모리 뱅크"를 사용하는 것이 영상 편집을 결함투성이의 퍼즐이 아닌 마법처럼 느껴지게 만드는 데 있어 중요한 진전이라고 제안합니다.

기술 요약: 다중 뷰 프라이어를 통한 제어 가능한 비디오 객체 삽입

문제 정의
비디오 객체 삽입은 사용자가 지정한 객체를 기존의 동적인 장면 속에 시각적 일관성을 유지하며 통합하는 것을 목표로 합니다. 현재의 방식들은 일반적으로 객체의 외형을 정의하기 위해 텍스트 프롬프트나 단일 참조 이미지를 활용합니다. 이러한 접근 방식은 다음과 같은 상당한 한계를 야기합니다:

정체성 드리프트 및 왜곡(Identity Drift and Distortion): 단일 뷰 관측은 시점 변화에 따른 객체의 외형을 구속하지 못하므로, 정체성 드리프트, 기하학적 왜곡, 그리고 보이지 않는 각도에서의 아티팩트를 초래합니다.
통합 실패(Integration Failures): 기존의 많은 방식은 전경-배경 상호작용을 명시적으로 모델링하지 않습니다. 결과적으로 카메라 움직임과 시점 변화는 잘못된 레이어링(예: 가려지는 배경 요소 앞에 객체가 나타나는 현상), 경계 아티팩트, 시간적 깜빡임(flickering)을 발생시킵니다.
제약 부족 생성(Underconstrained Generation): 다중 뷰 정보의 부재는 삽입된 객체의 정체성을 보존하고 동적인 환경에서 그럴듯한 폐쇄(occlusion) 관계를 보장하는 것을 어렵게 만듭니다.

방법론
저자들은 **3D 유도 다중 뷰 프라이어(3D-derived multi-view priors)**를 특화된 컨디셔닝 및 일관성 모듈과 함께 결합하여 이러한 한계를 해결하는 비디오 객체 삽입 프레임워크를 제안합니다. 이 프레임워크는 소스 비디오 시퀀스, 전경 참조 이미지, 텍스트 프롬프트, 그리고 시공간 제어 신호(마스크 또는 바운딩 박스)를 기반으로 작동합니다.

아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

다중 뷰 참조 생성 (Multi-View Reference Generation):
- 단일 2D 참조 이미지는 사전 학습된 3D 재구성 도구(Hunyuan3D 2.0)를 사용하여 3D 텍스처 메쉬로 "리프팅(lifted)"됩니다.
- 메쉬는 균일하게 분포된 카메라 외적 파라미터를 사용하여 $N$ 개의 뷰로 구성된 다중 뷰 이미지 세트로 렌더링됩니다. 이는 생성 모델이 단일 정적 뷰에 의존하는 대신, 다양한 관점으로부터 풍부한 외형 및 기하학적 정보를 제공하도록 합니다.
뷰 일관적 컨디셔닝 모듈 (View-Consistent Conditioning Module):
- 이중 경로 참조 주입 (Dual-Path Reference Injection): 다중 뷰 데이터를 안정성을 해치지 않으면서 효과적으로 활용하기 위해, 모듈은 두 가지 상호 보완적인 경로를 채택합니다:
  - 정체성 보존 잠재 주입 (Identity-Preserving Latent Injection, IPLI): 공유된 비주얼 인코더가 소스 비디오와 다중 뷰 렌더링을 처리합니다. 결합된 표현은 디노이징 DiT 블록에 직접 주입되어 프레임 전반에 걸쳐 객체의 외형을 고정합니다.
  - 다중 뷰 특징 뱅크 (Multi-View Feature Bank, MVFB): 다중 뷰 이미지는 키-값(key-value) 쌍으로 구성된 검색 가능한 지식 베이스로 인코딩됩니다. 크로스 어텐션을 통해 모델은 이 뱅크로부터 시점 관련 텍스처와 기하학적 단서를 동적으로 검색하여, 객체가 회전하거나 이동함에 따라 적응형 외형 생성을 수행합니다.
- 품질 인식 가중치 부여 (Quality-Aware Weighting): 3D 리프팅이 불완전한 재구성(예: 누락된 기하 구조, 왜곡된 텍스처)을 생성할 수 있음을 인지하여, 프레임워크는 다음과 같은 강건성 메커니즘을 구현합니다:
  - 합성된 아티팩트 증강 (Synthesized Artifact Augmentation): 학습 시 자연스럽게 불완전한 렌더링을 유지하여 모델이 실제적인 재구성 노이즈에 노출되도록 합니다.
  - 의미론적 일관성 체크 (Semantic Consistency Check, SCC): CLIP 기반 모듈이 텍스트 프롬프트와 각 렌더링된 뷰 사이의 코사인 유사도를 계산합니다. 이 일관성 점수는 참조 스케일( $\alpha_{ref}$ )을 조절하고 개별 특징 토큰을 스케일링합니다. 이를 통해 의미론적으로 정렬되지 않거나 노이즈가 있는 뷰의 영향력을 억제하는 동시에 신뢰할 수 있는 증거는 유지합니다.
통합 인식 일관성 모듈 (Integration-Aware Consistency Module):
- 기하학적 그라운딩 (Geometric Grounding): 두 개의 보조 헤드(Depth Head 및 Contour Head)가 공간적 사실성을 높이기 위해 잠재 공간에서 작동합니다.
  - Depth Head는 의사 정답(pseudo-ground-truth) 깊이 맵에 의해 감독되어 올바른 깊이 순서와 폐쇄 관계를 강제합니다.
  - Contour Head는 세그멘테이션 마스크의 불일치를 최소화하여 더 날카로운 객체 경계를 생성하고 색 번짐(color bleeding)을 줄입니다.
- 시간적 일관성 최적화 (Temporal Consistency Optimization): 미세 조정 단계에서 Lucas-Kanade 광학 흐름(optical flow)을 사용하는 시간적 손실(temporal loss)이 적용됩니다. 이는 디코딩된 예측값을 후속 프레임으로 워핑(warp)하여 프레임 간 깜빡임을 최소화하고 움직임의 연속성을 보장합니다.

핵심 기여

다중 뷰 프라이어 프레임워크: 동적인 장면에서 외형 일관성과 전경-배경 통합을 개선하기 위해 2D 참조를 다중 뷰 표현으로 리프팅하는 새로운 접근 방식을 제시했습니다.
뷰 일관적 컨디셔닝: 정체성 안정을 위한 직접적인 잠재 주입과 뷰 적응형 검색을 위한 특징 뱅크를 결합한 이중 경로 메커니즘을 제공하며, 불완전한 3D 재구성을 처리하기 위한 품질 인식 가중치 시스템을 지원합니다.
통합 인식 일관성: 잠재 깊이 및 윤곽 감독과 함께 시간적 제약을 도입하여, 폐쇄를 명시적으로 모델링하고 경계를 날카롭게 하며 깜빡임을 줄입니다.
포괄적 평가: DAVIS, VIPSeg, MagicBench 등 여러 벤치마크를 통한 검증을 통해 시각적 품질, 제어 가능성, 정체성 보존 및 지각적 통합의 향상을 입증했습니다.

실험 결과
본 프레임워크는 DAVIS 2017, VIPSeg, MagicBench에서 7개의 베이스라인 방법(AnyV2V, UniVideo, VACE, MagicMotion, LoRA-Edit, PISCO 포함)과 비교 평가되었습니다.

정량적 성능: 제안된 방법은 재구성 충실도(PSNR: 23.22, SSIM: 0.9026)와 지각적 품질(최저 LPIPS 및 FVD 점수)에서 최첨단(SOTA) 결과를 달왔습니다. 또한 공간 제어 가능성(Mask_IoU 및 Box_IoU)에서도 베이스라인들을 능가했습니다.
참조 없는 지표 (Reference-Free Metrics): 지각적 비디오 품질 측면에서, 본 방법은 가장 높은 Subject Consistency 및 Temporal Flickering 점수를 기록하여 우수한 정체성 보존과 매끄러운 전환을 보여주었습니다.
절제 연구 (Ablation Studies): 핵심 구성 요소(다중 뷰 프라이어, 이중 경로 주입, SCC, 또는 기하학적 그라운딩) 중 하나라도 제거하면 성능이 측정 가능한 수준으로 저하되었으며, 이는 각 모듈의 필요성을 확인시켜 줍니다. 예를 들어, 다중 뷰 특징 뱅크를 제거하면 회전 시 정체성 드리프트가 발생했고, Semantic Consistency Check를 제거하면 모델이 결함이 있는 3D 재구성을 따르는 문제가 발생했습니다.
텍스트 기반 능력: 텍스트로부터 참조 이미지를 3D 리프팅 전에 합성하는 텍스트 기반 변형(Ours t2i) 역시 경쟁력 있는 성능을 유지하여, 파이프라인의 도메인 변화에 대한 강건성을 입증했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 동적인 장면 내에서 삽입된 객체의 정체성을 유지하면서 시점 변화에 따른 외형 일관성을 확보하는 핵심 과제를 효과적으로 해결한다고 주장합니다. 다중 뷰 프라이어를 통합 인식 일관성과 결합함으로써, 단일 뷰 컨디셔닝의 한계인 정체성 드리프트, 기하학적 왜곡, 경계 아티팩트를 극복합니다. 저자들은 이 연구가 영화 포스트 프로덕션, 몰입형 AR/VR 콘텐츠 제작, 자율 주행 시뮬레이션 등 객체가 복잡한 장면 속에서 시간의 흐름에 따라 시각적 일관성을 유지해야 하는 분야를 위한 현실적이고 제어 가능한 비디오 편집의 중요한 진전이라고 위치시킵니다. 본 프레임워크는 전체 장면 재구성 없이도 거친 바운딩 박스 제어와 세밀한 마스크 제어를 모두 지원합니다.

유사한 논문