기술 요약: StateFlow

문제 정의

프리비즈(previsualization, previs)는 영화, 게임 개발, 건축 설계에서 매우 중요한 중간 단계로, 최종 제작에 들어가기 전 장면, 동작, 카메라 및 시공간적 역동성을 반복적으로 정교화할 수 있게 해줍니다. 그러나 기존의 생성형 프리비즈 방식은 이러한 반복적인 프로세스에 적합하지 않습니다. 현재의 접근 방식은 단일 프롬프트가 장면의 내용, 레이아웃, 움직임, 카메라 파라미터를 동시에 지정해야 하는 일회성(one-shot) 이미지 또는 비디오 합성 방식에 의존합니다. 이러한 방식들은 지속적인 작업 상태(working state)를 갖추지 못하여 다음과 같은 문제를 야기합니다:

• 제어력 약화: 전체 출력을 다시 생성하지 않고 국소적인 편집을 수행하거나 특정 디자인 선택을 검증하는 데 어려움이 있음.
• 불일치성: 콘텐츠가 수정, 확장되거나 다른 각도에서 관찰될 때 시공간적 불일치, 정체성 표류(identity drift), 세부 사항의 불안정성이 발생함.
• 구조적 결여: 세계를 재사용하고 재조합할 수 있는 기하학적 구조, 외형, 카메라 설정의 공유된 상태가 아닌, 고립된 시각적 출력의 연속으로 취급함.

본 논문은 생성형 프리비즈에서 누락된 요소가 세계의 정의와 그 진화 및 관찰을 분리하는 명시적이고 지속적인 작업 상태(구조화된 3D 세계)라고 주장합니다.

방법론: StateFlow

StateFlow는 목표를 일회성 시각적 합성을 넘어 편집 가능한 3D 세계를 구축하고, 진화시키고, 접근하는 것으로 전환하는 상태 중심 프레임워크입니다. 이 프레임워크는 임의의 시간 $t$에서의 세계 상태 $W_t$를 객체 엔티티 $o_i = (g_i, p_i, s_i)$의 집합으로 표현하며, 여기서 $g$는 기하학(geometry), $p$는 공간적 포즈(spatial pose), $s$는 의미론적 속성(semantic attributes)을 나타냅니다. 프레임워크는 세 단계로 작동합니다:

1. 상태 구축 (State Construction)

이 단계는 사용자의 자연어 의도로부터 세계 상태 $W_0$를 초기화합니다.

• 이중 뷰 초기화 (Dual-View Initialization): 단일 뷰 생성의 한계(글로벌 레이아웃이나 객체 디테일 중 하나를 희생하는 문제)를 극복하기 위해, 시스템은 두 개의 상호 보완적인 뷰를 생성합니다: 객체의 자산과 외형을 위한 **정면 뷰(front-view)**와 공간적 레이아웃 및 지면 배치(ground-plane placement)를 위한 **버드 아이 뷰(Bird's-Eye View, BEV)**입니다.
• 충돌 인지 조정 (Conflict-Aware Reconciliation): 두 뷰가 독립적으로 생성되기 때문에 객체 수나 공간적 가설에서 충돌이 발생할 수 있습니다. StateFlow는 의미론적-물리적 사전 지식을 갖춘 시각-언어 모델(VLM)을 사용하여 이러한 충돌을 탐지하고 해결합니다.
  • 일치하는 객체: 정면 뷰의 자산은 BEV 레이아웃 박스에 따라 배치됩니다.
  • BEV 전용 객체: VLM은 이것이 타당한 맥락적 요소인지 아니면 환각(hallucination)인지 검증합니다.
  • 정면 전용 객체: 의미론적 앵커로 취급되며, 프롬프트와 맥락으로부터 추론된 잠정적인 레이아웃 가설이 적용됩니다.
• 3D 리프팅 및 최적화 (3D Lifting & Optimization): 접지 인식 리프팅 연산자(grounding-aware lifting operator)가 BEV 박스를 3D 배치로 변환합니다. 학습이 필요 없는 경량 최적화 과정은 정면 뷰의 정체성, BEV 레이아웃, VLM 접지 사전 지식 및 물리적 제약 조건(예: 충돌)과 관련된 손실을 최소화함으로써 3D 박스를 정교화합니다.

2. 상태 진화 (State Evolution)

이 단계는 전체 장면을 재생성하는 대신 사용자의 의도에 따라 세계 상태 $W_t$를 $W_{t+1}$로 업데이트합니다.

• 의도 유도 구조적 상태 전이 (Intent-Guided Structured State Transition): 역동성을 암시적으로 시뮬레이션하는 대신, VLM이 구조화된 상태 테이블을 쿼리하여 압축된 전이 계획($\Delta_t$)을 생성합니다.
• 업데이트 메커니즘:
  • 장면 레벨: 원래의 공간적 지원과 객체 정체성을 유지하면서 글로벌 확장(새로운 영역 인스턴스화) 및 스타일 변경(기술자 재작성)을 지원합니다.
  • 객체 레벨: 정적 움직임(포즈 $p_i$ 업데이트), 캐릭터 진화(포즈/궤적 업데이트), 그리고 자산 치환(정체성과 배치는 유지하면서 $g_i$를 교체하는 방식의 이산적 이벤트, 예: 폭발)을 처리합니다.
• 이 접근 방식은 세계가 편집 가능하고, 메모리를 인지하며, 재사용 가능하도록 보장합니다.

3. 상태 접근 (State Access)

이 단계는 주로 카메라 궤적을 통해 세계에 어떻게 접근할지를 결정합니다.

• 세계 상태 카메라 계획 (World-State Camera Planning): 시스템은 VLM 기반의 의미론적 추론과 기하학적 피드백을 결합합니다.
• 렌더링 피드백 반영 (Render-Feedback Reflection):
  1. VLM은 감독의 의도와 세계 상태를 바탕으로 초기 카메라 궤적($\pi^0$)을 제안합니다.
  2. 궤적은 렌더링 엔진에서 실행되어 관측치를 생성합니다.
  3. 시스템은 가시성, 폐쇄(occlusion), 프레이밍, 충돌과 같은 문제를 평가하기 위해 렌더링된 결과를 검토합니다.
  4. 반영 메커니즘은 특정 문제를 해결하기 위해 로컬 복구 후보(예: 거리, 바라보기 대상, 방위각 조정)를 생성합니다.
  5. 실행 가능한 궤적이 발견될 때까지 이 과정을 반복하여, 특정 카메라 정책을 학습시키지 않고도 카메라 계획이 시각적으로 근거를 갖도록 보장합니다.

주요 기여

1. 새로운 정식화: 본 논문은 생성형 프리비즈를 지속적인 3D 세계 상태 모델링으로 모델링할 것을 제안하며, 초점을 고립된 시각적 합성에서 편집 가능하고 진화 가능하며 재사용 가능한 3D 세계 구축으로 전환합니다.
2. StateFlow 프레임워크: 다음을 통해 3D 세계 상태를 구축, 진화 및 접근하는 통합 프레임워크를 제공합니다:
   • 사전 지식 유도 및 충돌 인지형 이중 뷰 초기화.
   • 의도 유도 구조적 상태 전이.
   • 렌더링 피드백 기반 카메라 계획.
3. 다운스트림 애플리케이션: 프레임워크는 두 가지 대표적인 애플리케이션을 자연스럽게 지원합니다:
   • 비디오 제작: 스토리보드 생성, 샷 계획 및 비디오 제작을 포함합니다.
   • 3D 게임 프로토타이핑: 인터랙티브 콘텐츠 디자인 및 탐색을 위함입니다.

실험 결과

저자들은 StateFlow를 최신 3D 생성 베이스라인(SynCity, SAM3D, PartCrafter) 및 비디오 생성 방법(Animaker, MovieAgent, Wan2.2, Seedance2.0)과 비교 평가했습니다.

• 정량적 성능:
  • 장면 생성: StateFlow는 베이스라인에 비해 CLIP-I (0.788) 및 CLIP-T (30.214)에서 우수한 점수를 기록하여, 더 나은 시각적 및 텍스트 정렬을 보여주었습니다. 또한 레이아웃 타당성, 완결성 및 기하학적 품질에 대한 사용자 연구에서도 높은 점수를 받았습니다.
  • 비디오 생성: VBench 메트릭에서 StateFlow는 평균 점수(0.8484)에서 가장 높은 성적을 거두었으며, 특히 피사체 일관성, 배경 일치성, 움직임의 부드러움 및 플리커(flicker) 감소 측면에서 탁월한 성능을 보였습니다.
• 정성적 분석: 시각적 비교를 통해 StateFlow가 일관된 공간 레이아웃과 안정적인 객체 정체성을 가진 장면을 생성함을 입증했습니다. 카메라가 이동할 때 발생하는 시공간적 불일치와 정체성 표류 문제를 겪는 베이스라인들과 달리, StateFlow는 기하학-외형 일관성을 유지합니다.
• 어블레이션 연구 (Ablation Studies): BEV 레이아웃 접지 또는 충돌 해결을 제거하면 글로벌 레이아웃과 객체 관계가 크게 저하되었습니다. 카메라 계획에서 렌더링 피드백 반영을 제거하면 가시성 및 충돌 문제가 발생하여, 제안된 구성 요소들의 필요성을 확인했습니다.

의의 및 주장

본 논문은 명시적이고 지속적인 3D 상태를 도입함으로써 생성형 프리비즈의 근본적인 간극을 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

• 반복적 워크플로우 가능: 세계 상태를 시각적 출력과 분리함으로써, 제작자는 일관성을 잃지 않고 장면, 동작, 카메라를 반복적으로 정교화할 수 있습니다.
• 생성과 제작의 가교 역할: 이 프레임워크는 생성 모델과 제작 지향적 창의적 워크플로우 사이의 중간 표현 역할을 하며, 영화적 비디오 제작과 인터랙티브 게임 프로토타이핑을 모두 지원합니다.
• 세계 인지형 생성: 비디오를 명시적인 세계 상태의 관찰로 취급하는 것이 직접적인 비디오 합성보다 더 제어 가능하고, 구조적이며, 물리적으로 타당한 결과를 낳는다는 것을 보여줍니다.

저자들은 이 방법이 프리비즈를 몇 주에서 몇 분으로 단축시키지만, 현재는 제3자 모델의 추론 속도에 의해 제한되며 아직 완전한 실시간 상호작용을 지원하지는 못한다고 언급했습니다. 향endo 작업은 더 빠른 모델 배포를 통해 효율성을 개선하는 데 집중할 예정입니다.