기술 요약: Focused Forcing

문제 정의

최근 자가회귀 비디오 확산 모델의 발전으로 순차적 및 스트리밍 비디오 생성이 가능해졌으며, KV 캐싱을 통한 온라인 롤아웃을 자연스럽게 지원합니다. 그러나 장시간 생성은 이전에 생성된 프레임에 대한 계속 증가하는 캐시를 유지해야 하므로, 어텐션 연산에 대한 메모리 및 계산 비용이 증가합니다.

기존 방법들은 슬라이딩 윈도우 설계, 롤링-KV 전략, 또는 어텐션 기반 프레임 가지치기를 통해 이를 완화하려 시도했습니다. 이러한 노력에도 불구하고, 본 논문은 현재 거친 수준의 컨텍스트 결정에서 세 가지 구체적인 한계를 지적합니다:

1. 공유된 청크 수준 선택: 기존 방법들은 종종 전체 생성된 청크에 단일 히스토리 선택 전략을 적용하여, 동일한 청크 내의 개별 프레임이 서로 다른 역사적 프레임에 의존할 수 있다는 점을 간과합니다.
2. 어텐션 전용 순위 결정: 방법들은 일반적으로 어텐션 점수만을 기반으로 역사적 프레임을 순위 매깁니다. 그러나 어텐션 점수는 상대적 시간 거리에 민감합니다. 현재 프레임이 변경됨에 따라 역사적 프레임은 서로 다른 점수를 받을 수 있으며, 이는 특정 쿼리 프레임에 필수적인 프레임을 폐기하게 만들 수 있습니다.
3. 거친 헤드별 예산 할당: 현재 접근 방식들은 KV 예산을 어텐션 헤드에 균일하게 또는 휴리스틱을 통해 할당하여, 생성 품질에 대한 서로 다른 헤드의 가변적 중요성을 명시적으로 추정하지 못합니다.

방법론: Focused Forcing

저자들은 생성된 프레임별 히스토리 선택과 헤드별 예산 할당이라는 두 차원에 걸쳐 정교한 컨텍스트 할당을 수행하는 훈련 없는 KV 선택 방법인 Focused Forcing을 제안합니다.

1. 생성 프레임별 히스토리 선택

청크 전체에 히스토리 선택을 공유하는 대신, Focused Forcing은 각 생성된 쿼리 프레임별로 역사적 프레임을 별도로 선택합니다. 이 선택 과정은 두 가지 지표를 결합합니다:

• 어텐션 점수: 그룹화된 쿼리 및 키 토큰 간에 계산되어 관련성을 측정합니다.
• 다양성 점수: 평균 역사적 표현에 대한 역사적 프레임의 독특성을 측정하기 위해 계산됩니다. 이는 시간적 거리 효과로 인해 어텐션 단독으로는 낮게 순위 매겨질 수 있는 독특한 프레임의 손실을 방지합니다.
  역사적 프레임의 최종 점수는 해당 프레임의 어텐션 점수와 다양성 점수의 가중합입니다. 프레임은 해당 쿼리 프레임과 헤드에 할당된 특정 예산을 기반으로 선택됩니다.

2. 콘텐츠 인식 점수 매기기

이 방법은 어텐션 전용 순위 결정의 불안정성을 명시적으로 해결합니다. 다양성 점수를 통합함으로써 시스템은 상대적 시간 위치로 인해 즉각적인 어텐션 점수가 변동하더라도 고유한 정보 (높은 다양성) 를 포함하는 역사적 프레임을 보존합니다.

3. 헤드별 예산 할당

서로 다른 어텐션 헤드가 생성 품질에 불균등하게 기여한다는 점을 인식하여, Focused Forcing은 명시적 중요성 추정 전략을 사용합니다:

• 중요성 추정: 예비 탈노이즈 롤아웃 동안 각 어텐션 헤드가 개별적으로 마스킹됩니다. 생성 품질의 저하는 Distribution Matching (DM) 손실을 사용하여 측정됩니다.
• 예산 매핑: 더 높은 DM 손실 (더 큰 중요성 표시) 을 가진 헤드는 더 큰 KV 예산 (더 많은 역사적 프레임) 을 할당받고, 덜 중요한 헤드는 더 작은 예산을 받습니다. 이 매핑은 곡률 매개변수 $\gamma$에 의해 제어되는 비선형적입니다.

4. 효율적 실행

프레임별 및 헤드별 선택으로 인한 불규칙한 시퀀스 길이를 처리하기 위해, 이 방법은 선택된 쿼리, 키, 값 (QKV) 행을 가변 길이 시퀀스에 패킹합니다. 이러한 시퀀스는 Variable-Length FlashAttention을 사용하여 처리되며, 이는 밀집 어텐션 오버헤드 없이 보존된 역사적 프레임에 대해 효율적으로 어텐션을 계산합니다.

주요 기여

1. 정교한 의존성 관찰: 본 논문은 자가회귀 비디오 생성에서 어텐션 기반 히스토리 선택이 생성된 프레임 의존적이며 상대적 위치 민감적임을 보여줍니다. 또한 서로 다른 어텐션 헤드가 생성 품질에 불균등한 영향을 미친다는 것을 추가로 보여줍니다.
2. 훈련 없는 KV 압축: 생성 프레임별 히스토리 선택, 콘텐츠 인식 점수 매기기 (어텐션 + 다양성), 그리고 헤드별 차별화된 KV 예산을 통합하는 Focused Forcing 제안.
3. 실증적 검증: 여러 자가회귀 생성 패러다임 (Self Forcing, LongLive, Rolling Forcing, Causal Forcing) 에 걸친 포괄적인 실험 및 최첨단 가속화 방법과의 비교.

결과

실험은 MovieGen 의 128 개 프롬프트를 사용하여 VBench-Long 벤치마크에서 수행되었습니다.

• 가속화: Focused Forcing 은 추가 훈련 없이 최대 1.48 배의 엔드투엔드 속도 향상과 2.77 배의 어텐션 속도 향상을 달성합니다.
• 품질 향상: 속도를 위해 품질을 희생하는 많은 가속화 방법들과 달리, Focused Forcing 은 시각적 품질을 향상시킵니다. 예를 들어, Self Forcing 기준선에서 시각적 품질을 76.58 에서 80.00으로, 동적 정도를 41.55 에서 61.39로 증가시켰습니다.
• 비교 성능: 이 방법은 시각적 품질과 텍스트 정렬 모두에서 기존 가속화 기술 (Attention Sink, MonarchRT, TaylorSeer, Dummy Forcing) 보다 우수하며, 경쟁력 있거나 더 나은 효율성을 유지합니다.
• 사용자 연구: 주관적 평가에서 Focused Forcing 은 **57.50%**의 선호도를 받아 다른 가속화 방법들을 크게 능가했습니다.

의의

본 논문은 정교하고 콘텐츠 인식적인 KV 선택이 확장 가능한 장시간 자가회귀 비디오 생성을 위한 실현 가능하고 효과적인 전략이라고 주장합니다. KV 압축을 거친 가지치기 작업이 아닌 정교한 컨텍스트 할당 문제로 재정의함으로써, Focused Forcing 은 캐시 오버헤드를 줄이는 동시에 시각적 충실도와 텍스트 정렬을 향상시키는 데 성공했습니다. 이는 단순히 적은 컨텍스트가 아니라 올바른 역사적 컨텍스트를 보존하는 것이 장시간 비디오 합성에서 품질을 유지하는 데 중요함을 시사합니다. 이 방법의 훈련 없는 특성과 다양한 자가회귀 백본과의 호환성은 스트리밍 및 장편 비디오 생성 시스템의 효율성을 개선하기 위한 실용적인 솔루션으로 자리매김합니다.