기술 요약: GeoT2V-Bench

문제 정의

텍스트-비디오(T2V) 모델은 가상 카메라 캡처를 합성하기 위해 카메라 움직임 지시어(예: "동상을 중심으로 회전하라", "방 안을 따라 달리듯 이동하라")를 포함한 프롬프트를 점점 더 많이 사용하고 있습니다. 기존 벤치마크들은 시각적 그럴듯함(plausibility), 시간적 매끄러움(smoothness), 텍스트 정렬(alignment)을 평가하지만, 생성된 프레임이 단일 정적 3D 장면을 위한 일관된 다중 뷰 증거를 구성하는지 여부는 검증하지 못합니다. 시각적으로 그럴듯해 보이는 비디오라 할지라도, 텍스트가 표면적으로 흐르거나(drifting textures), 2D 패럴랙스(parallax)를 모사하거나, 비물리적인 장면 변형을 보이는 등 전역적 3D 일관성을 위반할 수 있습니다. 또한, 재구성 기반의 평가는 본질적으로 취약합니다. 카메라 포즈 추정이 약한 패럴랙스로 인해 실패할 수 있고, 정적 3D 재구성이 프레임이 안정적인 장면에 대응하지 않을 경우 실패할 수 있기 때문입니다. 현재의 메트릭들은 종종 비디오 생성의 실패를 재구성 백엔드의 실패와 혼동하거나, 전역적인 정적 장면 설명 가능성을 보장하지 못하는 국소적 기하학적 일관성(예: GeCo)에 의존합니다.

방법론: GeoT2V-Bench

저자들은 카메라 프롬프트가 적용된 T2V 출력을 합성된 정적 장면 획득 과정으로 평가하는 재구성 기반 진단 벤치마크인 GeoT2V-Bench를 소개합니다. 이 벤치마크는 단순히 합격/불합격의 스칼라 라벨을 생성하는 대신, **연속적인 재구성 프로파일(continuous reconstruction profile)**을 생성합니다.

파이프라인 개요

평가 파이프라인은 생성된 비디오 $V$와 프롬프트 $p$를 다음 단계들을 통해 처리합니다:

1. 카메라 추정 (VGGT):
   시스템은 피드포워드 기하학 추정기인 VGGT [33]를 사용하여 프레임별 카메라 내부 파라미터($K_t$)와 포즈($T_t$)를 추정합니다. 이를 통해 후보 카메라 궤적을 설정합니다. 파이프라인은 먼저 "활성 획득 증거(active acquisition evidence)"(충분한 겉보기 움직임 및 일관된 궤적)를 확인하여 비디오가 사소하게 정적인 상태가 아닌지 확인합니다.

2. 유연한 피팅 (DeformableGS):
   추정된 카메라를 사용하여 과잉 매개변수화된 DeformableGS [40] 표현을 피팅합니다. 이 유연한 4D 모델은 시간적 변화(예: 뷰 의존적 재채색, 비물리적 드리프트)를 불일치로 흡수할 수 있습니다. 이 피팅의 렌더링 오차($E_{fit}$)는 임의의 시간 가변적 기하 구조에 의해 비디오가 얼마나 잘 설명될 수 있는지에 대한 기준점이 됩니다.

3. 정적 대리물 (MedianGS):
   정적 장면 설명 가능성을 테스트하기 위해, 시스템은 DeformableGS 파라미터(위치, 회전, 스케일 오프셋)에 시간적 중앙값 집계(temporal-median aggregation)를 적용하여 MedianGS 대리물($G_{med}$)을 도출합니다. 이는 시퀀스의 시간적으로 안정적인 구성 요소를 나타내는 정적 3D 표현을 생성합니다.

4. 동일 카메라 비교:
   MedianGS 대리물을 원래의 VGGT 추정 카메라 경로를 따라 렌더링합니다. 시스템은 이 정적 렌더링을 생성된 비디오와 비교하여 정적 장면이 관측치를 얼마나 잘 설명하는지 측정합니다.

주요 메트릭

벤치마크는 다음과 같은 연속적 진단 프로파일을 보고합니다:

• $E_{LPIPS}^{med}$ (MedianGS 정적 렌더링 오차): 생성된 비디오와 정적 MedianGS 렌더링 간의 프레임별 외관 차이를 측정합니다.
• CEMR (카메라 설명 움직임 비율): 생성된 비디오의 광학 흐름(optical flow)과 정적 MedianGS 렌더링에 의해 유도된 광학 흐름을 비교합니다. 높은 CEMR은 정적 장면이 시간적 움직임을 설명함을 나타내며, 낮거나 음수인 CEMR은 움직임이 정적 기하 구조로 설명되지 않음을 나타냅니다.
• $\Delta_{stat}$ (정적-대-유연 갭): $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$으로 정의됩니다. 큰 갭은 유연한 시간 가변적 표현이 정적 표현보다 비디오를 훨씬 더 잘 설명함을 의미하며, 이는 비물리적인 장면 변화를 시사합니다.
• 변형 에너지 ($E_{deform}$): DeformableGS 피팅에서의 시간적 오프셋 크기를 정량화하여 정적-대-유연 갭에 대한 맥락을 제공합니다.
• 활성 증거 기술자 (Active Evidence Descriptors): 평균 광학 흐름 크기($\bar{F}_{orig}$)와 평활화된 누적 카메라 회전($\Theta_s$)을 포함하여 획득 증거의 존재를 검증합니다.

ControlBench

이 진단 항목들을 해석하기 위해, 저자들은 실제 정적 획득 데이터와 실제 유도된 변환(고정된 비디오, 디지털 줌, 측면 워프, 텍스처 재채색, 전경 변형)을 사용하는 스트레스 테스트 스위트인 ControlBench를 도입합니다. 이 스위트는 메트릭들이 알려진 기하학적 및 외관 변화에 대해 타당하게 반응하는지 검증합니다.

실험 설정

• 데이터셋: 12개의 오픈 웨이트 모델 구성(CogVideoX, HunyuanVideo, LTX-Video, MAGI-1, Open-Sora, SkyReels, Wan 포함)과 4개의 생성 시드에 대해 80개의 제어된 정적 장면 프롬프트(GeCo-Eval [9]에서 추출)로부터 생성된 3,840개의 클립.
• 형식: 모든 클립은 49 프레임, 256×256 해상도, 8 fps로 표준화되었습니다.
• 비교: 결과는 국소적 기하학적 일관성에 초점을 맞춘 선행 연구인 GeCo [9]와 비교됩니다.

주요 결과

평가는 단일 스칼라 순위가 오해의 소지가 있으며, 서로 다른 실패 모드들이 종종 직교(orthogonal)함을 보여줍니다:

• 발산하는 실패 모드: 낮은 정적 렌더링 오차를 보이는 모델(예: MAGI-1)은 종종 활성 증거 검사를 통과하지 못하거나 낮은 CEMR(불일치하는 시간적 움직임)을 보입니다. 반대로, 활발한 움직임을 가진 모델(예: HunyuanVideo-1.5)은 높은 정적 렌더링 오차와 높은 변형 에너지를 보일 수 있습니다.
• GeCo와의 상보성: GeoT2V-Bench는 GeCo가 놓치는 실패 모드를 포착합니다. 클립은 낮은 국소적 기하 불일치(좋은 GeCo 점수)를 가질 수 있지만, 전역적 재구성 감사(낮은 CEMR 또는 높은 정적-유연 갭)에서 실패할 수 있으며, 이는 국소적 일관성이 전역적인 코히런트한 카메라 궤적이나 정적 장면을 보장하지 않음을 나타냅니다.
• 메트릭 상호 의존성: 낮은 프레임별 LPIPS가 시간적 일관성을 보장하지는 않습니다. CEMR은 단순히 정적으로 보이는 클립과 카메라 움직임 하에서 실제로 정적 3D 설명을 지원하는 클립을 구분하는 데 결정적입니다.

의의 및 주장

본 논문은 GeoT2V-Bench가 평가 패러다임을 "비디오 그럴듯함"에서 "재구성 가능한 다중 뷰 증거"로 전환한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 정식화: 카메라 프롬프트가 적용된 T2V 평가를 추정된 카메라 경로를 따른 단일 정적 장면의 관측을 설명할 수 있는지에 대한 테스트로 정의했습니다.
2. 단계별 난이도 특성화: 카메라 포즈 추정과 3D 재구성이 모두 측정하고자 하는 불일치로 인해 실패할 수 있는 취약한 단계임을 강조했습니다.
3. 진단 프로파일: 활성 증거, 정적 재구성 동작, 그리고 시간적 움직임 설명을 분리하여, 서로 다른 실패 유형의 혼동을 피하는 연속적인 프로파일(MedianGS 오차, CEMR, 정적-유연 갭)을 도입했습니다.
4. 상보적 진단: GeoT2V-Bench가 GeCo와 같은 국소 기하 메트릭이 감지하지 못하는 실패 모드(전역 궤적 불일치, 비물리적 장면 변화)를 드러낸다는 것을 입증했습니다.

저자들은 이 벤치마크가 시각적 품질 순위 도구가 아니라 진단 도구임을 강조합니다. 낮은 잔차(residual)는 높은 품질보다는 약한 획득 증거를 나타낼 수 있으며, 높은 잔차는 생성 실패보다는 백엔드의 한계나 복잡한 움직임에서 기인할 수 있습니다. 이 작업은 ControlBench 스트레스 테스트를 통해 이러한 진단 결과의 해석을 뒷받침합니다.