기술 요약: ScaleVid

문제 정의

본 논문은 **기하학적 인지 비디오 객체 스케일링(geometry-aware video object scaling)**이라는 과제를 다룹니다. 이 작업은 대상 객체를 객체 중심 축(너비, 높이, 깊이)을 따라 이방성(anisotropically)으로 크기를 조절하면서도, 기하학적 타당성, 시간적 일관성 및 배경의 일관성을 유지해야 하는 과업입니다.

기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 텍스트 가이드 방식은 주로 2D 이미지 평면에서 작동하며, 3D 기하학적 변환에 대한 정밀한 제어 능력이 부족합니다.
• 깊이(Depth) 가이드 방식은 거친 수준의 기하학적 제어만을 제공합니다.
• 메쉬(Mesh) 기반 방식은 추론 시 비용이 많이 드는 3D 재구성, 카메라 추정, 그리고 명시적인 메쉬-픽셀 정렬을 필요로 하며, 이는 확장성과 실용적인 적용을 저해합니다.
• 데이터 부족: 객체가 3D로 스케일링되는 동안 배경은 일관되게 유지되는 쌍을 이룬 실제 학습용 비디오가 부족하여 지도 학습(supervised learning)이 어렵습니다.

목표는 추론 과정에서 명시적인 3D 재구성이나 카메라 추정에 의존하지 않고, 사용자가 지정한 3D 인자($s_x, s_y, s_z$)에 따라 객체의 크기를 조절하는 것입니다.

방법론

ScaleVid는 의사 소스 재구성(pseudo-source reconstruction) 전략을 사용하여 기하학적 변환과 사실적인 비디오 합성을 분리하는 단계적 2단계 학습 프레임워크를 도입합니다. 핵심 통찰은 실제 비디오로부터 기하학적으로 섭동(perturbed)된 의사 소스를 구축하는 동시에, 원래의 완전한 비디오를 재구성 대상으로 유지하는 것입니다. 이를 통해 모델은 명시적인 메쉬-픽셀 정렬 없이도 합성된 감독(synthetic supervision)으로부터 기하학적 제어를 배우고, 실제 비디오 데이터로부터 사실적인 구성을 배울 수 있습니다.

1. 기하학 인지 가이드 모듈 (Deformer & Masker)

이 모듈들은 3D 메쉬(Hunyuan3D를 통해 재구성됨)로 구축된 대규모 합성 데이터셋에서 학습되며, 제어된 이방성 스케일링으로 렌더링됩니다.

• 정준 축 정렬 (Canonical Axis Alignment): 다양한 객체에 대해 일관된 스케일링 의미론을 보장하기 위해, 방법론은 객체의 지향 바운딩 박스(OBB) 축을 렌더러의 정준 프레임(수직 $y$, 너비 $x$, 깊이 $z$)에 정렬합니다.
• Deformer: 연속적인 이방성 스케일링 파라미터에 따라 전경 비디오를 변형하는 법을 학습하는 잠재 공간 조건부 플로우 모델(latent-space conditional flow model)입니다. 이는 변환 일관성을 보장하고 공간적 드리프트(spatial drift)를 줄이기 위해 양방향 학습 목적 함수(순방향 및 역방향 스케일링)를 채택합니다.
• Masker: 변형된 전경의 시간적으로 일관된 공간적 서포트(mask)를 예측합니다. 효율성을 위해 3단계 생성기로 증류(distilled)됩니다.

2. 메인 모델의 단계적 학습

메인 모델은 2D에서 3D 변환으로 점진적으로 학습하기 위해 두 단계로 학습됩니다:

• 1단계 (2D-평면 스케일링): 모델은 평면 변환을 사용하여 견고한 전경-배경 구성을 학습합니다. 의사 소스는 전경에 2D 스케일링을 적용하고 배경의 해당 영역을 마스킹함으로써 구축됩니다. 이 단계는 누락된 영역을 완성하고 장면을 보존하는 강력한 사전 지식(prior)을 확립합니다.
• 2단계 (3D-인지 스케일링): 모델은 객체 중심의 3D 변형 가이드를 통합합니다. Deformer는 기하학적으로 변형된 전경($F_{src}$)을 생성하고, Masker는 그 서포트를 예측합니다. 결정적으로, 메인 모델은 $F_{src}$에 역방향 스케일링을 적용하여 생성된 타겟 정렬 가이드($F_{tgt}$)에 의해 조건화됩니다. 이는 메인 모델이 단순히 입력을 복사하는 것이 아니라, 변형된 전경을 정교화하고 이를 배경과 매끄럽게 합성해야 하는 비자명한(non-trivial) 학습 신호를 생성합니다.

3. 추론 파이프라인

추론 시 프로세스는 간소화되며 메쉬를 사용하지 않습니다:

1. 사용자가 객체를 선택하고(SAM2를 통해) 스케일링 인자 $s$를 지정합니다.
2. 배경을 추출합니다(Minimax Remover 사용).
3. Deformer를 단 한 번 적용하여 타겟 정렬된 전경을 생성합니다.
4. 메인 모델이 이 전경을 배경과 통합하여 최종 비디오를 생성합니다.
5. Masker와 역변형(inverse deformation)은 추론 시 필요하지 않으며, 이는 계산 비용을 크게 줄여줍니다.

주요 기여

1. 비디오 객체 스케일링의 공식화: 본 논문은 객체 중심의 이방성 인자를 사용하여 비디오 객체 스케일링 과제를 공식화하며, 추론 시 명시적인 3D 재구성 없이 투영된 기하학적 효과를 학습합니다.
2. 점진적 2D-to-3D 학습 전략: 의사 소스를 구축하면서 동시에 원래의 실제 비디오를 타겟으로 사용하는 새로운 프레임워크를 제시합니다. 이를 통해 평면 변환으로부터 견고한 구성을 배우고(1단계), 3D 변형 가이도로부터 기하학 인지 스피케일링을 학습할 수 있습니다(2단계).
3. 포괄적인 벤치마크: 저자들은 세 가지 상호 보완적인 벤치마크를 구축했습니다:
   • 기하학 벤치마크: 균일한 배경 위에서 기하학적 정확도와 전경 충실도를 격리하여 측정합니다.
   • 실제 배경 벤치마크: 렌더링된 객체를 실제 세계 배경에 합성하여 배경 보존 능력을 테스트합니다.
   • 실제 세계 벤치마크: 지각적 품질과 시간적 일관성에 초점을 맞추어 야생(in-the-wild) 비디오(Pexels, DAVIS)에서의 성능을 평가합니다.

실험 결과

광범적인 실험을 통해 ScaleVid가 여러 지표에 걸쳐 기존의 최첨단 방식들(텍스트 가이드, 깊이 가이드 및 메쉬 기반 방식 포함)보다 우수한 성능을 보임을 입증했습니다:

• 기하학적 정확도: ScaleVid는 텍스트 프롬프트나 깊이 맵에 의존하는 방식에 비해 더 우수한 스케일 정확도와 기하학적 정렬(마스크 IoU, 면적 오차, 카메라 포즈 피팅 오차로 측정)을 달s합니다.
• 전경 충실도: 이 방법은 합성 및 실제 배경 벤치마크 모두에서 픽셀 수준 오차(MSE, PSNR)와 지각적 유사성(DINO, DreamSim) 측면에서 최고의 결과를 냅니다.
• 배경 보존: 객체-장면 상호작용이나 경계 누출(boundary leakage)로 어려움을 겪는 방식들보다 높은 배경 일관성을 유지합니다.
• 시간적 일관성: ScaleVid는 경쟁력 있는 Ewarp 점수를 달성하여, 이미지 기반 또는 텍스트 기반 방식에서 나타나는 깜빡임(flickering) 없는 안정적인 시간적 일관성을 보여줍니다.
• 효율성: 추론 시 명시적인 3D 재구성과 메쉬 렌더링을 피함으로써, ScaleVid는 메쉬 기반 파이프라인에 비해 더 빠르고 실용적인 추론을 제공합니다.

의의 및 주장

본 논문은 ScaleVid가 기하학적 변환과 고충실도 비디오 합성을 성공적으로 분리함으로써 제어 가능한 비디오 편집의 중요한 진전을 이루었다고 주장합니다. 그 의의는 다음과 같습니다:

• 추론 병목 현상 제거: 생성 단계에서 3D 재구성이나 카메라 추정의 계산 오버헤드 없이 기하학 인지 스케일링을 달성합니다.
• 데이터 부족 문제 해결: 의사 소스 재구성 공식화 덕분에, 쌍을 이룬 실제 스케일링 타겟이 없는 상황에서도 실제 비디오로부터 학습할 수 있습니다.
• 실용적 적용 가능성: 이 방법은 객체의 크기가 구성과 시각적 강조에 영향을 미치는 숏폼 비디오 편집, 광고, AR/VR 애플리케이션에 적합하며, 기존 방식들이 동시에 달성하지 못했던 기하학적 제어와 사실적 외관 사이의 균형을 제공합니다.

저자들은 메쉬로 렌더링된 학습 데이터와 실제 픽셀 공간 비디오 사이의 분포 차이, 그리고 대칭 객체(예: 구형)의 정준 축 모호성 등에 관한 한계를 인정합니다. 그러나 제안된 프레임워크가 기하학 인지 비디오 객체 스케일링을 위한 견고하고 실용적인 솔루션을 제공한다고 단언합니다.