기술 요약: VideoCoCo

문제 정의

현재의 텍스트-비디오(T2V) 모델들은 높은 시각적 충실도를 달а성했으나, 물리적으로 일관된 역학(physically consistent dynamics) 구현에는 어려움을 겪고 있다. 이 문제의 핵심은 **인과적 불투명성(Causal Opacity)**이라 불리는 현상으로, 텍스트 프롬프트가 복잡한 물리적 사건을 매우 추상적인 의미론적 묘사로 압축하기 때문에 발생한다. 결과적으로, 모델은 기저에 깔린 물리 법칙에 대한 명시적인 가이드 없이 전체 시공간적 진화 과정을 암묵적으로 추론해야만 한다.

기존의 사고의 사슬(Chain-of-Thought, CoT) 접근 방식은 텍나적 계획, 레이아웃 또는 키프레임과 같은 중간 표현을 도입하여 이를 완화하려 시도한다. 그러나 이러한 중간 표현들은 대개 실행 불가능(정밀한 물리적 제약이 결여됨)하거나 시간적으로 희소(연속적인 진화를 포착하지 못함)하다는 문제가 있다. 또한, 테스트 단계의 탐색이나 시각적 상태 추론에 의존하는 방법들은 완전하고 검사 가능한 프로세스를 구축하기보다는 기술적이거나 선택적인 수준에 머무는 경우가 많다. 이는 비디오가 물리 법칙을 엄격히 준수하며 시공간적으로 진화하도록 만드는 데 있어 공백을 남긴다.

방법론: VideoCoCo

저자들은 실행 가능한 코드를 프로세스 수준의 Chain-of-Thought로 활용하는 에이전트 기반 듀얼 엔진 프레임워크인 VideoCoCo를 제안한다. 이 시스템은 프로세스 수준의 추론과 고충실도 시각적 실현을 두 개의 별도 단계로 분리한다.

1. 실행 가능한 시뮬레이션 엔진 (프로세스 추론)

비디오 생성 모델에게 역학을 추론하도록 요청하는 대신, 코딩 에이전트가 사용자 프롬프트를 바탕으로 독립적인 Blender Python 프로그램을 합성한다.

• Code-as-CoT: 에이전트는 객체, 물리적 속성, 시간적 진화를 명시적으로 정의하는 코드를 작성한다. 이 표현 방식은 명시적이고(미지정 사항이 없음), 실행 가능하며(구체적인 프로세스를 확정함), 검사 가능하다(inspectable)는 장점이 있다.
• 샌드박스 실행: 생성된 코드는 격리된 Blender 환경에서 실행되어 **결정론적인 시공간 초안(spatiotemporal draft)**을 생성한다.
• 초안의 특성: 출력물은 저충실도의 "백토(white-clay)" 시뮬레이션이다. 사실적인 질감이나 조명은 부족하지만, 시간적으로 밀도가 높으며, 픽셀이 합성되기 전에 무엇이 언제 일어나는지에 대한 정밀한 구조적 스캐폴드(scaffold)를 제공하여 물리적 일관성을 보장한다.

2. 생성형 비디오 엔진 (시각적 실현)

두 번째 엔진은 이미 결정된 프로세스를 사실적인 비디오로 변환하는 데에만 집중하며, 역학에 대해 다시 추론할 필요를 없앤다.

• 지침 구성: 지침 에이전트는 원래의 프롬프트($p$)와 렌더링된 초안($d$)을 바탕으로 편집 지침($e$)을 구성한다. 이 지침은 초안에 이미 존재하는 움직임을 재정의하지 않으면서 외양(재질, 조명, 스타일)을 명시적으로 설명한다.
• 초안 조건부 편집: 비디오 편집 모델($G_\theta$)은 초안($d$)과 지침($e$)을 조건으로 받아 최종 고충실도 비디오($\hat{v}$)를 생성한다. 초안은 시공간적 구조를 고정(anchor)하고, 모델은 사실적인 외양을 처리한다.

3. 데이터 구축: VideoCoCo-3K

비디오 에디터가 시뮬레이션된 초안(자연스러운 비디오 분포와 크게 다름)을 수용할 수 있도록 학습시키기 위해, 저자들은 VideoCoCo-3K를 구축하였다.

• 파이프라인: 3,000개의 프롬프트에 대해 시뮬레이션 엔진이 초안을 생성하고, 지침 에이전트가 편집 프롬프트를 생성한다.
• 교사 모델 증류(Teacher Distillation): 고충실도 교사 에디터인 Seedance 2.0이 초안 및 지침을 조건으로 하여 대상이 되는 사실적인 비디오($y$)를 생성한다.
• 결과: 물리적으로 근거가 있는 프로세스와 그 사실적인 실현을 정렬하는 $(d, e, y)$ 삼중항(triplet) 데이터셋이 완성된다.

4. 학습 및 추론

• 학습: 에디터는 VideoCoCo-3K 데이터셋 상에서 표준적인 조건부 디노이징 목적 함수를 사용하여 학습된다. 실험에서는 전체 파인튜닝(full fine-tuning)과 매개변수 효율적인 LoRA 적응(adaptation) 방식을 비교한다.
• 추론: 시스템은 텍스트 프롬프트만으로 엔드-투-엔드로 작동한다. 코딩 에이전트가 코드를 생성하고, 샌드박스가 초안을 렌더링하며, 지침 에이전트가 프로프트를 구성하고, 적응된 에디터가 최종 비디오를 생성한다. 추론 시에는 정답 초안이나 인간의 주석이 필요하지 않다.

주요 기여

1. VideoCoCo 프레임워크: 실행 가능한 Blender 코드를 프로세스 수준의 Chain-of-Thought로 사용하여, 시공간 시뮬레이션과 사실적인 편집을 분리하는 에이전트 기반 듀얼 엔진 시스템을 제안한다.
2. VideoCoCo-3K 데이터셋: 에이전트 파이프라인을 통해 생성된 초안-지침-대상 삼중항으로 구성된 큐레이션된 데이터셋으로, 생성형 비디오 엔진을 시뮬레이션된 초안에 적응시키는 데 필요한 감독(supervision)을 제공한다.
3. 최첨단 성능(SOTA): 이 프레임워크는 PhyGenBench와 VBench-2.0 모두에서 최고의 평균 점수를 기록하며, 실행 가능한 코드가 물리적으로 일관된 비디오 생성을 위한 효과적이고 제어 가능하며 검사 가능한 중간 표현 역할을 수행함을 입증했다.

실험 결과

본 논문은 VideoCoCo를 다양한 폐쇄형 소스(예: Sora, Kling, Gen-3) 및 오픈 소스(예: HunyuanVideo, CogVideoX, Wan2.2) 베이스라인과 비교 평가한다.

• PhyGenBench: VideoCoCo는 OmniWeaving 베이스라인의 평균 점수를 0.475에서 0.558로 향상시켜 전체 최고 점수를 달성했다. 특히 외형 중심의 사전 지식(prior)이 실패하기 쉬운 카테고리인 재질(Material)(+0.133) 및 열역학(Thermal)(+0.078) 역학에서 유의미한 이득을 보였다.
• VBench-2.0: 프레임워크는 물리적 타당성 평균 점수를 52.18%에서 77.88%로 개선(25.70 포인트 상승)했다. 특히 역학(Mechanics)(92.31%)과 열역학(Thermotics)(72.92%) 분야에서 최고 점수를 기록했다.
• 절제 연구(Ablation Studies):
  • 초안의 기여도: 에디터를 미세 조정하지 않은 경우(Tuning-Free)에도, 실행 가능한 초안만으로 평균 점수가 0.475에서 0.506으로 향상되어 초안이 물리적 역학을 제공함을 확인했다.
  • 적응 전략: LoRA 적응이 전체 파인튜닝(0.535)보다 우수한 결과(0.558)를 냈다. 저자들은 이를 작업의 성격(시뮬레이션을 리스타일링하는 것) 때문으로 보는데, LoRA는 기본 모델의 강력한 시각적 사전 지식을 유지하면서 초안-실제 매핑을 학습하는 반면, 전체 파인튜닝은 과적합의 위험이 있기 때문이다.

의의 및 주장

본 논문은 실행 가능한 코드가 텍스트 계획이나 희소한 시각적 상태보다 비디오 생성을 위한 더 우수한 중간 표현을 제공한다고 주장한다. 인과적 과정을 결정론적인 시뮬레이션으로 외재화함으로써, VideoCoCo는 텍스트-비디오 생성의 "인과적 불투명성" 문제를 해결한다.

저자들은 이 접근 방식이 다음과 같음을 강조한다:

• 물리적 역학과 사실적인 외양이라는 어려운 과제를 분리하여, 각 전문 엔진이 이를 처리할 수 있게 한다.
• 시각적 합성이 시작되기 전에 물리적 진화가 명시적으로 정의되고 검사될 수 있도록 보장한다.
• "Code-as-CoT"가 이미지 프리뷰를 넘어 완전한 시간적 프로세스로 확장될 수 있음을 보여주며, 더 제어 가능하고 물리적으로 근거 있는 생성적 월드 모델링(generative world modeling)을 향한 경로를 제시한다.

본 논문은 이 접근 방식이 추론 지연(latency)을 유발하며, 난류 유체와 같이 매우 복잡한 현상에 대해서는 Blender 시뮬레이터의 표현력에 제한을 받는다는 한계점을 인정한다. 향후 연구로는 전문적인 물리 엔진(예: Taichi)의 통합과, 이러한 사전 지식을 엔드-투-엔드 모델에 직접 내재화하기 위한 지식 증류(knowledge distillation)를 탐구할 것을 제안한다.