Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis

1. 문제 정의 (Problem)

autoregressive(자기회귀) 비디오 합성 모델은 무한한 길이의 비디오 생성과 실시간 상호작용을 가능하게 하는 유망한 접근법이지만, 장시간 생성 시 세 가지 주요한 상호 연관된 문제점에 직면해 있습니다. 기존 방법들은 이러한 문제들을 개별적으로 해결하려 시도했으나, 장기적인 일관성을 유지하는 데 한계가 있었습니다.

1. 의미적 망각 (Semantic Forgetting): 컨텍스트 윈도우의 제한으로 인해, 모델이 생성이 길어질수록 초기 프레임에 정의된 주체의 정체성 (Identity) 이나 장면 구성을 잊어버리는 현상입니다. 슬라이딩 윈도우 방식은 메모리 효율성은 좋지만, 과거의 중요한 의미적 정보 (Semantic Anchors) 를 영구적으로 삭제합니다.
2. 시각적 드리프트 (Visual Drift): Rotary Positional Embeddings (RoPE) 가 절대적인 시간 인덱스에 바인딩되어 있기 때문에, 생성 시간이 훈련 데이터의 범위를 벗어날 때 (Out-of-Distribution) 위치 인코딩이 왜곡됩니다. 이로 인해 프레임이 떨리거나, 아티팩트가 발생하며, 결국 화질이 붕괴됩니다.
3. 제어력 상실 (Controllability Loss): 대화형 비디오 생성에서 프롬프트가 변경될 때 (예: "걷기"에서 "달리기"로), 기존 방법들은 KV 캐시를 균일하게 새로 고침하거나 완전히 초기화합니다. 이는 이전 프롬프트의 문맥 (예: 주체의 정체성) 을 잃게 하거나, 새로운 지시를 즉시 반영하지 못하게 하는 '의미적 충격 (Semantic Shock)'을 유발합니다.

2. 제안 방법론: Grounded Forcing

저자들은 Grounded Forcing이라는 새로운 프레임워크를 제안하여, 시간 불변의 의미 (Time-Independent Semantics) 와 근접한 동역학 (Proximal Dynamics) 을 연결합니다. 이 프레임워크는 세 가지 상호 보완적인 메커니즘으로 구성됩니다.

가. 듀얼 메모리 KV 캐시 (Dual Memory KV Cache)

의미적 망각 문제를 해결하기 위해 메모리 저장을 로컬과 글로벌로 분리합니다.

• 로컬 타임 메모리 (LTM, Local Temporal Memory): 최근 프레임들을 슬라이딩 윈도우 형태로 저장하여 고주파수 운동 (High-frequency motion) 과 근접한 동역학을 포착합니다. 새로운 프레임이 들어오면 오래된 프레임은 삭제됩니다.
• 글로벌 일관성 메모리 (GCM, Global Consistency Memory): 비디오의 의미적 정체성 (주체, 배경 스타일 등) 을 영구적으로 고정하기 위한 희소한 키프레임 집합입니다. LTM 과 달리 슬라이딩 윈도우에 의해 삭제되지 않습니다.
• 다양성 인식 업데이트 (Diversity-Aware Update): GCM 은 정적이지 않습니다. 새로운 프롬프트 전환 시, 생성된 프레임의 잠재적 다양성 (Latent Diversity) 을 분석하여 기존 GCM 과 유사도가 낮은 (새로운 의미) 프레임은 추가하고, 중복도가 높은 (불필요한) 프레임은 교체합니다. 이를 통해 의미적 정체성을 유지하면서도 새로운 콘텐츠를 수용합니다.

나. 듀얼 레퍼런스 RoPE 주입 (Dual-Reference RoPE Injection)

시각적 드리프트를 억제하기 위해 위치 인코딩 방식을 개선합니다.

• 글로벌 메모리 (GCM): GCM 에 저장된 모든 토큰에 대해 RoPE 인덱스를 고정된 값 (예: $t=0$) 으로 주입합니다. 이는 GCM 이 시간과 무관한 (Time-Invariant) 의미적 참조점 역할을 하도록 하여, 생성 시간이 길어져도 주체의 정체성이 흔들리지 않게 합니다.
• 로컬 메모리 (LTM): LTM 에서는 현재 슬라이딩 윈도우 내에서 상대적인 시간 인덱스 (예: $[0, 21]$) 를 사용하여 위치 인코딩을 계산합니다. 이는 모델이 훈련된 데이터 분포 내에서만 작동하도록 보장하여, 시간 인덱스가 무한히 커질 때 발생하는 위치 왜곡을 방지합니다.

다. 비대칭 근접성 리캐시 (Asymmetric Proximity Recache, APR)

프롬프트 전환 시 제어력 손실 문제를 해결합니다.

• 기존 방법은 프롬프트 변경 시 KV 캐시를 균일하게 갱신하지만, Grounded Forcing 은 **시간적 근접성 (Temporal Proximity)**에 따라 가중치를 다르게 적용합니다.
• 최근 프레임 (High Proximity): 새로운 프롬프트에 빠르게 적응하도록 가중치 ($\alpha_t$) 를 높게 설정하여 새로운 지시를 즉시 반영합니다.
• 원거리 프레임 (Low Proximity): 과거의 문맥과 정체성을 보존하기 위해 가중치를 낮게 설정하여 기존 캐시를 유지합니다.
• 이 비대칭적인 업데이트 전략은 새로운 지시와 기존 문맥 사이의 매끄러운 연결 (Semantic Bridging) 을 가능하게 하여, 갑작스러운 시각적 점프나 정체성 변화를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 문제 식별 및 해법: 장시간 자기회귀 비디오 생성에서 정적 의미와 동적 운동이 얽혀 있는 병목 현상을 규명하고, 이를 체계적으로 분리하는 Grounded Forcing 프레임워크를 제안했습니다.
2. 아키텍처 혁신: 장기적 의미 일관성을 위한 **글로벌 일관성 메모리 (GCM)**와 운동 포착을 위한 **로컬 타임 메모리 (LTM)**로 구성된 듀얼 메모리 KV 캐시를 설계하여 의미적 저하를 근본적으로 완화했습니다.
3. 안정성 및 제어성 확보: 위치 드리프트를 방지하는 듀얼 레퍼런스 RoPE 주입과 프롬프트 전환을 위한 **비대칭 근접성 리캐시 (APR)**를 도입하여 시각적 안정성과 대화형 제어력을 동시에 확보했습니다.
4. 성능 입증: 광범위한 실험을 통해 장편 비디오 생성에서 최첨단 (SOTA) 수준의 의미 일관성과 정체성 안정성을 달성하면서도 실시간 성능을 유지함을 증명했습니다.

4. 실험 결과 (Results)

• 정량적 평가: 240 초 길이의 비디오 생성 실험에서, 기존 모델 (LongLive, Rolling Forcing, Infinity-RoPE) 과 비교하여 **배경 일관성 (0.9265)**과 **주체 일관성 (0.9163)**에서 가장 높은 점수를 기록했습니다. 또한, 모션 스무스니스와 시간적 깜빡임 (Temporal Flickering) 에서도 우수한 성능을 보였습니다.
• 정성적 평가: 멀티샷 (Multi-Shot) 생성 시, "남자 $\rightarrow$ 헐크 $\rightarrow$ 실버 와이번"과 같은 복잡한 의미 전환에서도 주체의 정체성을 일관되게 유지하는 반면, 기존 방법들은 정체성 드리프트나 의미 망각을 보였습니다.
• 사용자 연구: 5 점 리커트 척도 평가에서 주체 일관성, 배경 일관성, 텍스트 준수 (Text Adherence) 등 모든 항목에서 기존 최첨단 모델들을 압도하는 높은 점수를 받았습니다.

5. 의의 및 결론 (Significance)

Grounded Forcing 은 단순한 추론 시의 적응 (Inference-time adaptation) 을 넘어, 모델 구조 자체에 혁신을 도입하여 자기회귀 비디오 생성의 근본적인 불안정성 (망각, 드리프트, 제어력 상실) 을 해결했습니다. 이 방법은 장시간의 대화형 비디오 생성과 몰입형 세계 시뮬레이터 (World Simulators) 구현을 위한 견고한 기반을 제공하며, 메모리 효율적인 아키텍처를 통해 무한한 시간 범위의 생성 모델을 위한 새로운 연구 방향을 제시합니다.