1. 문제 정의 (Problem Statement)

최근 확산 모델 (Diffusion Models) 을 이용한 비디오 생성 기술이 발전했지만, 여전히 다음과 같은 한계가 존재합니다.

• 자기회귀 (Autoregressive, AR) 샘플링의 한계: 기존 장편 비디오 생성 방법은 주로 자기회귀 방식을 사용합니다. 이는 과거의 프레임을 기반으로 다음 프레임을 생성하는 방식인데, 미래의 조건 (Future Conditioning) 을 알 수 없습니다.
• 충돌 및 붕괴 (Collision & Collapse): 사전 정의된 카메라 경로 (예: 계단 오르기, 원형 이동) 를 따를 때, AR 방식은 미래의 카메라 위치를 예측하지 못해 생성된 장면과 카메라가 충돌하는 상황을 초래합니다. (예: 벽을 통과해야 하는 상황)
• 노출 편향 (Exposure Bias): 일단 충돌이 발생하면 생성된 프레임이 모델의 학습 분포에서 벗어나게 되어 (Out-of-Distribution), 이후 생성이 급격히 붕괴됩니다.
• 기존 스티칭 (Stitching) 방법의 부적합성: 이미지 생성용 확산 스티칭 기법들은 시간적 일관성 (Temporal Consistency) 이 부족하거나, 비디오 생성에 특화된 전용 모델을 훈련시켜야 하는 비용이 너무 큽니다.

2. 제안 방법: Generative View Stitching (GVS)

저자들은 **Generative View Stitching (GVS)**을 제안하여, 사전 정의된 전체 카메라 경로를 고려하여 비디오를 병렬적으로 생성하는 방법을 개발했습니다.

핵심 아이디어

1. 병렬 샘플링 (Parallel Sampling): 전체 시퀀스를 한 번에 생성하되, 시퀀스를 겹치는 오버랩 구간 (Chunks) 으로 나누어 각 구간을 동시에 디노이징 (Denoising) 합니다.
2. 훈련 불필요 (Training-Free): 기존에 훈련된 Diffusion Forcing (DF) 기반 비디오 모델과 호환됩니다. 별도의 모델 재훈련 없이, 샘플링 알고리즘만 변경하여 적용 가능합니다.
3. 과거와 미래의 조건 동시 활용: 현재 생성 중인 프레임 (Target Chunk) 을 과거 (Past) 와 미래 (Future) 의 오버랩 구간과 함께 디노이징하여, 미래의 카메라 경로에 맞춰 현재 장면을 생성합니다.

주요 구성 요소

A. 범용 비디오 모델 활용 (General-Purpose Video Models)

• Diffusion Forcing (DF) 프레임워크를 사용하는 모델은 토큰별로 독립적인 노이즈 레벨을 가지며, 맥락 윈도우 내의 일부 프레임을 노이즈로 마스킹할 수 있습니다.
• GVS 는 이 특성을 활용하여, 타겟 구간과 그 이웃 구간 (과거/미래) 을 하나의 입력 시퀀스로 결합하여 디노이징합니다.
• 디노이징 후 타겟 구간의 결과만 업데이트하고, 조건부로 사용된 이웃 구간은 폐기합니다.

B. 오미 가이드 (Omni Guidance)

• 문제: 단순한 병렬 디노이징만으로는 시간적 일관성이 부족하고, 과도한 노이즈로 인해 장면이 흐릿해지거나 (Oversmoothing) 일관성이 깨질 수 있습니다.
• 해결: Omni Guidance를 도입하여 과거와 미래 조건에 대한 의존성을 강화합니다.
  • 기존 Classifier-Free Guidance 와 달리, GVS 의 가이드 신호는 모델이 생성 중인 이웃 노이즈에 의존하므로 이를 직접 수정합니다.
  • 수식적으로 타겟 구간의 스코어 함수를 과거/미래 이웃과의 일관성을 높이는 방향으로 조정합니다.
  • 이를 통해 **부분적 확률성 (Partial Stochasticity)**을 유지하면서도 일관성을 높이고, 과도한 흐림 현상을 방지합니다.

C. 루프 클로징 (Loop Closing via Cyclic Conditioning)

• 문제: 이론적으로는 전역적 수용 영역 (Global Receptive Field) 이 확보되지만, 실제로는 긴 비디오가 시작점으로 시각적으로 돌아오지 못합니다 (루프 실패).
• 해결: 순환 조건부 (Cyclic Conditioning) 메커니즘을 도입합니다.
  • 시간적 윈도우 (Temporal Window): 인접한 시간적 이웃에 조건부.
  • 공간적 윈도우 (Spatial Window): 시간적으로는 멀지만 공간적으로 가까운 (예: 원형 경로의 시작과 끝) 프레임을 이웃으로 간주하여 조건부.
  • 이 두 가지 윈도우를 교대로 사용하여 디노이징 과정을 수행함으로써, 전체 비디오의 일관성을 보장하고 루프를 성공적으로 닫습니다.

3. 주요 기여 (Key Contributions)

1. 훈련 불필요한 스티칭 기법: Diffusion Forcing 기반의 오프더셸 (Off-the-shelf) 비디오 모델과 호환되는 최초의 카메라 가이드 비디오 생성 스티칭 방법론을 제안했습니다.
2. Omni Guidance: 과거와 미래 조건을 동시에 강화하여 시간적 일관성을 극대화하고, 과도한 흐림 현상을 줄이는 새로운 가이드 기법을 개발했습니다.
3. 루프 클로징 메커니즘: 순환 조건부 (Cyclic Conditioning) 를 통해 장거리 일관성을 보장하고, '불가능한 계단 (Impossible Staircase)'과 같은 복잡한 기하학적 구조에서도 루프를 닫는 데 성공했습니다.
4. 충돌 없는 장편 생성: 사전 정의된 카메라 경로에 따라 수백 프레임에 달하는 비디오를 생성할 때, 카메라와 생성된 장면 간의 충돌을 방지하고 안정적인 생성을 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 다양한 카메라 경로 (직선, 원형, 계단, 불가능한 계단 등) 에 대해 GVS 를 평가했습니다.

• 비교 대상: 자기회귀 (AR) 샘플링, StochSync (이미지 생성용 스티칭).
• 성능 지표:
  • 프레임 간 일관성 (F2FC): GVS 가 AR 및 StochSync 보다 우수한 일관성을 보였습니다.
  • 장거리 일관성 (LRC): 루프 닫기 (Loop Closing) 테스트에서 GVS 는 StochSync 가 장면의 형태를 왜곡하여 일관성을 맞추는 것과 달리, 자연스러운 일관성을 유지하며 루프를 닫았습니다.
  • 충돌 회피 (CA): AR 샘플링은 벽 통과 등 충돌이 발생하여 생성이 붕괴되었으나, GVS 는 모든 경로에서 충돌 없이 성공했습니다.
  • 화질 (IQ/AQ): 일관성 향상에도 불구하고 비디오의 화질과 미적 품질은 기존 모델과 유사하거나 더 우수했습니다.
• 구체적 사례:
  • Oscar Reutersvård 의 불가능한 계단: 시작점과 끝점의 높이 차이가 있음에도 불구하고 시각적으로 연속적인 루프를 형성하며 계단을 오르는 120 프레임 비디오를 생성했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 장편 비디오 생성의 패러다임 전환: AR 방식의 한계를 극복하고, 미래 정보를 활용한 전역적 계획 (Global Planning) 을 가능하게 하여 영화 제작, 게임 개발, 자율주행 시뮬레이션 등에 적용 가능한 새로운 가능성을 제시했습니다.
• 비용 효율성: 별도의 모델 훈련 없이 기존 모델을 활용할 수 있어 실용성이 높습니다.
• 안정성: 노출 편향을 해결하여 장시간 생성 시 발생하는 붕괴 문제를 근본적으로 해결했습니다.

한계 및 향후 과제

• 온라인 생성 불가: 미래 카메라 경로가 미리 주어지는 오프라인 설정에 최적화되어 있어, 실시간 상호작용이 필요한 온라인 생성에는 적용하기 어렵습니다.
• 외부 이미지 조건부: 외부에서 제공된 단일 이미지 컨텍스트를 전체 비디오로 전파하는 데 어려움을 겪습니다.
• 광각 뷰포인트 루프 닫기: 훈련 데이터 (RE10K) 가 좁은 시야각 변화에 국한되어 있어, 매우 넓은 시야각 (Wide-baseline) 을 가진 루프 닫기에는 실패할 수 있습니다.
• 수동 정의: 순환 조건부 (Cyclic Conditioning) 를 위한 공간적 이웃 정의가 현재는 수동으로 이루어져 있어, 임의의 경로에 자동 적용하기 위해서는 추가 연구가 필요합니다.

결론적으로, GVS 는 확산 모델 기반 비디오 생성 분야에서 '미래를 고려한 생성'을 실현하여, 안정적이고 일관된 장편 비디오 생성을 가능하게 하는 획기적인 방법론입니다.