Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 비디오 생성 모델은 짧은 영상을 고화질로 생성하는 데 성공했으나, 분 단위 이상의 긴 영상을 생성하기 위해 자기회귀 (Autoregressive, AR) 확산 모델이 주목받고 있습니다. AR 모델은 훈련 시 'Teacher Forcing' (정답 데이터 사용) 과 추론 시 'Self-Forcing' (모델의 이전 예측 사용) 간의 불일치 (Exposure Bias) 를 해결하기 위해 Self-Forcing 전략을 사용합니다.
• 핵심 문제: Self-Forcing 기반의 모델이 분 단위 영상을 생성할 때 발생하는 점진적인 시간적 열화 (Temporal Degradation) 현상입니다.
  • 기존 접근법들은 훈련 - 추론 불일치를 줄이는 데 집중했으나, 추론 과정에서 생성된 프레임이 누적되면서 오차가 쌓이고, 시간이 지날수록 영상의 정체성 (Identity) 이 변하거나 (Temporal Drift), 움직임이 제한되거나 반복되는 문제가 발생합니다.
  • 많은 연구가 메모리 용량 (Memory Capacity) 이나 압축에 초점을 맞추었으나, 저자들은 긴 시간 생성의 실패 원인이 메모리 부족이 아니라 추론 시 시간적 메모리 (Temporal Memory) 를 어떻게 활용하느냐에 있음을 발견했습니다.
  • 단순히 과거 모든 프레임을 밀집된 (Dense) 메모리로 유지하면, 불필요한 중복 정보로 인해 움직임의 역동성이 떨어지고 오차 증폭이 발생합니다.

2. 제안 방법: Relax Forcing (Methodology)

저자는 Relax Forcing이라는 새로운 추론 전략을 제안하며, 이는 구조화된 희소 KV 메모리 (Structured Sparse KV Memory) 메커니즘을 핵심으로 합니다.

A. 시간적 메모리의 기능적 분해 (Functional Decomposition)

기존의 단순한 시계열 버퍼 대신, 시간적 컨텍스트를 세 가지 기능적 역할로 분해하여 관리합니다:

1. Sink (글로벌 앵커): 영상의 전반적인 정체성과 장면의 안정성을 유지하기 위한 고정된 초기 프레임들입니다. (장기적 일관성 담당)
2. Tail (최근 컨텍스트): 생성 단계에서 가장 최근의 프레임들로, 단기적인 연속성과 매끄러운 전환을 담당합니다.
3. History (동적 선택된 중간 구간): Sink 와 Tail 사이의 중간 구간에서 동적으로 선택된 프레임들입니다. 이는 구조적인 움직임 (Motion Structure) 을 가이드하는 역할을 합니다.

B. Relax Score 기반 동적 선택 (Dynamic Selection)

단순히 과거 프레임을 모두 사용하는 대신, 가장 유용한 History 프레임을 선택합니다.

• 후보 프레임 선정: 중간 구간 (Candidate Region) 의 후반부에서 후보 프레임을 추출합니다.
• 점수 계산: 각 후보 프레임 $h$에 대해 다음 두 가지 점수를 계산합니다.
  • Stability Score ($S(h)$): Sink 프로토타입과의 유사도 (글로벌 안정성 확보).
  • Redundancy Score ($R(h)$): Tail 프로토타입과의 유사도 (최근 정보와의 중복도).
• Relax Score: $r(h) = S(h) - \lambda R(h)$ 공식을 사용하여, 글로벌 안정성과는 잘 맞지만 최근 정보와는 중복되지 않는 (다양한 움직임 정보를 가진) 프레임을 선택합니다. 여기서 $\lambda$는 안정성과 중복성 억제 간의 균형을 조절하는 하이퍼파라미터입니다.

C. 하이브리드 위치 인코딩 (Hybrid Positional Indexing)

비연속적인 (Non-contiguous) 메모리 구조를 처리하기 위해 Rotary Position Embedding (RoPE) 을 수정합니다.

• Tail: 절대적인 시간 인덱스를 유지하여 최근 컨텍스트의 시간적 근거를 확보합니다.
• Sink & History: Tail 직전에 상대적인 인덱스를 할당하여, 긴 시간 간격의 정보라도 현재 생성 단계와 논리적으로 연결되도록 합니다. 이는 슬라이딩 윈도우에서 시간적 거리가 왜곡되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 시간적 메모리 분석: AR 비디오 확산 모델에서 긴 시간 생성의 병목이 메모리 용량이 아닌 메모리 활용 방식에 있음을 실증적으로 규명했습니다. 밀집된 메모리가 오히려 움직임 역동성을 저해한다는 것을 보였습니다.
2. Relaxed KV Memory 제안: 전체 히스토리를 유지하는 대신, Sink, Tail, 동적 선택된 History 로 구성된 구조화된 희소 메모리를 도입했습니다. 이는 훈련 없이 (Training-Free) 추론 시에만 적용 가능합니다.
3. 성능 및 효율성 동시 달성: 긴 시간 생성의 품질을 획기적으로 개선하면서도, Attention 연산량을 줄여 추론 속도를 향상시켰습니다.

4. 실험 결과 (Results)

• 벤치마크: VBench-Long (30 초 및 60 초 영상 생성) 에서 기존 SOTA 방법 (Self Forcing, Rolling Forcing, Deep Forcing 등) 과 비교 평가했습니다.
• 정량적 성과:
  • 전체 점수: 30 초 (80.87%), 60 초 (80.88%) 에서 모든 방법 중 최고 성능을 기록했습니다.
  • 동적 정도 (Dynamic Degree): 기존 방법 대비 66.8% 향상 (Deep Forcing 대비 약 8% 포인트 상승). 이는 움직임의 다양성과 진화 능력이 크게 개선되었음을 의미합니다.
  • 일관성: Subject Consistency 와 Background Consistency 는 경쟁력 있는 수준을 유지하며, 영상의 정체성 붕괴가 발생하지 않았습니다.
• 추론 효율성:
  • Attention 길이 (Frame 수) 를 21 프레임에서 7 프레임으로 줄여, Flash Attention 연산 시간을 2.64 배 단축했습니다.
  • 전체 End-to-End 생성 속도는 1.26 배 향상되었습니다.
• 휴먼 평가: 시각적 품질, 움직임 품질, 텍스트 - 비디오 정렬도에서 기존 방법들보다 압도적으로 높은 선호도를 받았습니다.

5. 의의 및 결론 (Significance)

이 논문은 장기 비디오 생성의 핵심 과제를 "어떻게 많은 정보를 저장할 것인가"에서 "어떻게 필요한 정보를 구조화하여 선택할 것인가" 로 전환시켰습니다.

• 이론적 통찰: 시간적 메모리가 균질한 버퍼가 아니라, 서로 다른 기능 (안정성, 연속성, 구조적 가이드) 을 가진 이질적인 요소들의 조합임을 증명했습니다.
• 실용적 가치: 추가적인 훈련 없이 추론 시 메모리 관리 전략만 변경함으로써, 분 단위 이상의 고품질 비디오 생성을 가능하게 하며, 계산 비용도 절감합니다.
• 미래 방향: 긴 시간 생성을 위한 확장성 (Scalability) 을 확보하는 데 있어 구조화된 메모리 설계가 필수적임을 보여주었습니다.

요약하자면, Relax Forcing은 자기회귀 비디오 생성 모델이 장시간 생성 시 겪는 오차 누적과 움직임 제한 문제를 해결하기 위해, 과거 정보의 '양'보다 '구조와 선택'이 중요함을 강조하고 이를 구현한 획기적인 방법론입니다.