기술 요약: 헤드 포싱 (Head Forcing)

문제 정의

자기회귀 (AR) 비디오 확산 모델은 이차적 어텐션 비용으로 고통받는 양방향 모델보다 실시간 합성 능력이 뛰어나며, 장시간 비디오 생성을 위한 확장 가능한 패러다임으로 부상했습니다. 그러나 기존 AR 접근 방식은 생성 길이가 증가함에 따라 두 가지 중요한 과기에 직면합니다:

1. 오류 누적: 점진적 생성은 시간이 지남에 따라 색상 편이 (color drift) 와 세부 정보 손실을 초래합니다.
2. 맥락 손실: 경계된 키 - 값 (KV) 캐시는 이전 프레임을 폐기하여 정체성 편이와 장면 망각을 유발합니다.

현재 솔루션은 두 가지 범주로 나뉘며, 둘 다 상당한 한계가 있습니다. 훈련 기반 확장 (예: Rolling Forcing, LongLive) 은 분 단위의 일관성을 달성하지만, 첫 번째 프레임 편향으로 인한 정적 아티팩트와 높은 훈련 비용으로 고통받습니다. 훈련 없는 전략 (예: Deep Forcing, Infinity-RoPE) 은 어텐션 싱크와 RoPE 조정을 활용하지만 모든 어텐션 헤드를 균일하게 처리합니다. 이러한 균일한 처리는 서로 다른 헤드의 고유한 기능적 역할을 간과하여, 역사적 맥락을 거의 사용하지 않는 헤드가 과도한 예산을 소비하는 반면, 장거리 맥락이 필요한 헤드는 충분한 증거를 확보하지 못하는 비최적의 KV 캐시 할당으로 이어집니다. 또한, 기존 방법들은 종종 시퀀스 중간에 등장하는 주체를 추적하거나 다중 프롬프트 상호작용 환경에서 일관성을 유지하지 못합니다.

방법론: 헤드 포싱 (Head Forcing)

저자들은 AR 비디오 Diffusion Transformer(DiT) 에서 어텐션 헤드의 기능적 이질성을 활용하는 훈련 없는 프레임워크인 헤드 포싱을 제안합니다. 이 방법은 세 가지 핵심 기둥을 기반으로 작동합니다:

1. 헤드 프로파일링 및 분류

AR 비디오 DiT(특히 Self Forcing) 에 대한 오프라인 프로파일링을 통해 저자들은 장거리에서의 어텐션 패턴에 기반하여 세 가지 기능적으로 구별되는 어텐션 헤드를 식별합니다:

• 로컬 헤드 (Local Heads): 현재 블록과 즉시 인접한 프레임에 압도적으로 집중합니다 (일반적으로 >85% 어텐션 질량). 이들은 로컬 세부 사항 정제 및 단거리 운동 연속성을 지원합니다.
• 앵커 헤드 (Anchor Heads): 첫 번째 잠재 프레임 (즉, "싱크") 에 대해 현저히 높은 어텐션을 보입니다. 이들은 시각적 붕괴와 색상 편이를 방지하기 위해 초기 프레임을 구조적 앵커로 사용합니다.
• 메모리 헤드 (Memory Heads): 전체 역사적 맥락에 걸쳐 어텐션을 광범위하게 분배합니다. 이들은 장거리 내러티브 요소를 집계하고 장기 기억을 유지하는 역할을 합니다.

2. 헤드별 KV 캐시 할당

균일한 슬라이딩 윈도우 대신, 헤드 포싱은 각 헤드 유형에 맞춘 캐시 전략을 할당합니다:

• 로컬 헤드: 현재 블록과 가장 가까운 인접 프레임만 유지합니다. 이는 노이즈를 유발하는 중복된 역사적 토큰을 제거합니다.
• 앵커 헤드: 생성을 안정화하기 위해 로컬 토큰과 함께 첫 번째 몇 개의 잠재 프레임 (앵커 프레임) 을 보존합니다.
• 메모리 헤드: 기존 슬라이딩 윈도우를 대체하기 위해 계층적 메모리 시스템을 사용합니다:
  • 고속 메모리 ($M_{fast}$): 운동 연속성을 위해 즉각적인 시간적 이웃 (최근 프레임) 을 저장합니다.
  • 에피소드 메모리 ($M_{epi}$): 서로 다른 장면에서 대표적이고 깨끗한 프레임을 저장합니다. 장면 신규성 지표 (키 임베딩 유사성 기반) 가 허용 여부를 결정하며, 기존 메모리와 구별되는 프레임만 추가됩니다.
  • 프롬프트 유도 압축: 에피소드 메모리가 용량에 도달하면 중복된 항목을 요약 프레임으로 압축합니다. 이 압축은 현재 텍스트 프롬프트와의 정렬을 기준으로 토큰을 선택하여 다중 프롬프트 전환 중 내러티브 일관성을 보장합니다.

3. 헤드별 RoPE 재인코딩

구식 인덱스를 유지하는 캐시된 프레임으로 인한 위치적 분포 외 (O.O.D.) 오류를 해결하기 위해 저자들은 재인코딩 방식을 도입합니다. 키와 값은 공간 RoPE 만 적용된 상태로 캐시됩니다. 캐시 조립 시, 프레임 수준의 상대적 위치가 각 헤드별로 개별적으로 재인코딩됩니다. 이는 총 생성 길이와 관계없이 쿼리와 캐시된 키 간의 상대적 위치가 모델의 사전 훈련 범위를 유지하도록 보장합니다.

주요 기여

1. 기능적 프로파일링: 이 논문은 AR 비디오 DiT 의 어텐션 헤드에 대한 최초의 체계적인 프로파일링을 제공하여 세 가지 구별되는 기능 유형 (로컬, 앵커, 메모리) 을 식별하고 균일한 처리가 비최적임을 입증합니다.
2. 훈련 없는 프레임워크: 헤드 포싱은 추가 모델 훈련 없이 비디오 생성을 5 초에서 분 단위까지 확장합니다. 이는 헤드의 역할에 따라 KV 캐시 예산을 할당함으로써 오류 전파를 효과적으로 억제하면서 장거리 맥락을 보존하여 이를 달성합니다.
3. 계층적 메모리 및 재인코딩: 프롬프트 유도 압축이 포함된 동적 에피소드 메모리 시스템과 헤드별 RoPE 재인코딩을 결합함으로써 프롬프트 전환 전반에 걸쳐 일관되고 맥락을 인식하는 상호작용 합성을 가능하게 합니다.

실험 결과

Self Forcing 백본을 사용하여 VBench 벤치마크에서 평가된 결과:

• 장기 비디오 생성: 헤드 포싱은 30 초 및 60 초 생성 작업에서 훈련 기반 (Rolling Forcing, LongLive, CausVid) 과 훈련 없는 (Deep Forcing, Infinity-RoPE) 베이스라인 모두를 일관되게 능가합니다. 동적 정도 (Dynamic Degree), 시간적 깜빡임 (Temporal Flickering), 주체 일관성 (Subject Consistency) 에서 우수한 점수를 달성하면서도 동등한 처리량 (FPS) 을 유지합니다.
• 상호작용 생성: 다중 프롬프트 환경 (10 초마다 프롬프트 전환) 에서 헤드 포싱은 최고의 일관성 및 미적 (Aesthetic) 점수를 달성합니다. 정체성 편이로 고통받는 베이스라인과 비교하여 여러 번의 프롬프트 전환 후 개선된 세그먼트별 CLIP 점수를 보여주어, 더 나은 프롬프트 정렬 및 맥락 보존을 나타냅니다.
• 어블레이션 연구: 모든 구성 요소 (헤드별 할당, 계층적 메모리, 또는 RoPE 재인코딩) 를 제거하면 측정 가능한 성능 저하가 발생하여 전체 프레임워크의 필요성을 확인합니다.
• 효율성: 가변 캐시 크기에도 불구하고 효율성 최적화 (가변 길이 FlashAttention 및 융합 Triton 커널) 는 균일 캐시 베이스라인에 비해 무시할 수 있는 처리량 오버헤드를 보장합니다. 이 방법은 또한 균일 슬라이딩 윈도우 접근 방식에 비해 총 GPU 메모리 소비를 줄입니다.

중요성 및 주장

이 논문은 헤드 포싱이 재훈련의 prohibitive 한 비용 없이 분 단위 상호작용 비디오 생성을 위한 AR 비디오 확산 모델을 실현 가능하게 만드는 중요한 진전이라고 주장합니다. 어텐션 헤드의 고유한 구조적 이질성을 인식하고 활용함으로써, 이 방법은 캐시 할당과 기능적 요구 사항 간의 근본적인 불일치를 해결합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 지평 확장: 최소한의 품질 저하로 생성을 초 단위에서 분 단위 (확장 실험에서는 최대 5 분) 로 성공적으로 확장합니다.
• 상호작용성 지원: 이전 훈련 없는 방법들이 종종 실패하는 프롬프트 전환 전반에 걸쳐 주체와 장면이 일관되게 유지되는 다중 프롬프트 상호작용 합성을 지원합니다.
• 새로운 관점 제시: 어텐션 헤드를 단일 블록으로 취급하는 패러다임에서 각기 다른 메모리 요구 사항을 가진 전문화된 구성 요소로 관리하는 패러다임으로 전환합니다.

이 연구는 오프라인 프로파일링이 필요하지만, 결과적으로 생성되는 정적 구성은 경량화되어 있으며 다양한 생성 조건에서 안정적이므로 사전 훈련된 AR 비디오 DiT 에 배포하기에 실용적이라고 결론지었습니다.