🤖 AI

Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention

이 논문은 시각적 품질을 유지하면서도 메모리 사용량을 일정하게 유지하며 5~10배의 속도 향상을 달성하는, 시간적 캐시를 압축하고 근사 최근접 이웃 매칭을 통해 어텐션을 희소화함으로써 자기회귀 비디오 확산 및 월드 모델을 가속화하는 학습이 필요 없는 프레임워크인 FAST-AR을 소개한다.

원저자: Dvir Samuel, Issar Tzachor, Matan Levy, Michael Green, Gal Chechik, Rami Ben-Ari

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dvir Samuel, Issar Tzachor, Matan Levy, Michael Green, Gal Chechik, Rami Ben-Ari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 긴 이야기를 한 번에 한 문장씩 써 내려가려고 한다고 상상해 보세요. 새로운 문장을 쓸 때마다, 당신은 그 문장이 완벽하게 어울리는지 확인하기 위해 이전에 썼던 모든 문장을 다시 읽어야 합니다.

AI 비디오 생성 기술의 세계에서는 정확히 이런 일이 일어납니다. AI가 프레임 단위로 비디오를 생성함에 따라, 지금까지 생성한 모든 것을 담은 "메모리 뱅크"(KV 캐시라고 불림)를 계속 유지합니다. 다음 프레임을 만들기 위해 AI는 이 거대해지는 전체 메모리 뱅크를 읽어야 합니다.

문제는 무엇일까요? 비디오가 길어질수록 이 메모리 뱅크는 거대해집니다. AI는 다음 문장을 쓰기 위해 점점 더 많은 텍스트를 읽어야 합니다. 이로 인해 과정이 다음과 같이 변합니다:

점점 더 느려집니다 (매초 새로운 책이 추가되는 도서관에서 특정 단어를 찾으려는 것과 같습니다).
더 비싸집니다 (가방이 너무 무거워져서 들 수 없게 되는 것처럼, 컴퓨터 메모리가 바닥납니다).

이 논문은 이를 해결하기 위해 FAST-AR라는 새로운 방법을 소개합니다. 이것을 AI에게 긴 이야기를 쓰면서도 지치거나 기억을 잃지 않도록 하는 "슈퍼 스마트한 지름길"을 제공하는 것이라고 생각하면 됩니다.

FAST-AR가 사용하는 세 가지 "마법 기술"은 다음과 같습니다:

1. "중복 찾기" (TempCache)

문제: 비디오 속의 많은 것들은 오랫동안 변하지 않고 유지됩니다. 만약 고양이가 정원을 걷고 있다면, 100번째 프레임과 101번째 프레임의 배경 나무와 고양이의 털은 거의 동일하게 보입니다. 기존의 AI는 똑같은 것을 두 번 기억하느라 시간을 낭비하고 있었습니다.
해결책: FAST-AR는 "잠깐, 이 나무의 완벽한 복사본을 이미 내 메모리에 가지고 있네. 이걸 다시 기록할 필요는 없어"라고 알아차리는 스마트한 사서처럼 행동합니다.
이 방식은 "유사 중복"되는 순간들을 병합하여 메모리를 압축합니다. 모든 프레임을 하나하나 기억하는 대신, 장면의 본질을 기억합니다. 이를 통해 비디오가 아무리 길어져도 메모리 크기를 작고 일정하게 유지합니다.

2. "관련된 것만 읽기" (AnnCA)

문제: 매우 긴 프롬프트(상세한 설명)를 바탕으로 이야기를 쓰고 있다고 상상해 보세요. 프롬프트에는 "고양이가 걷고, 승용차가 지나가고, 그다음 개가 나타난다"라고 적혀 있을 수 있습니다. AI가 현재 "고양이"를 그리고 있을 때, 프롬프트에 있는 "승용차"나 "개"라는 단어를 볼 필요는 없습니다. 하지만 기존의 AI 모델은 매번 프롬프트 전체를 읽으며 에너지를 낭비했습니다.
해결책: FAST-AR는 "빠른 검색" 도구(근사 근접 이웃, Approximate Nearest Neighbor이라 불림)를 사용하여 "이 특정 프레임을 위해 프롬프트의 어떤 단어가 실제로 중요한가?"를 즉각적으로 파악합니다.
관련 없는 단어들은 무시합니다. 고양이가 화면에 있다면, 오직 "고양이"라는 단어에만 집중합니다. 이는 엄청난 양의 컴퓨팅 전력을 아껴줍니다.

3. "집중 필터" (AnnSA)

문제: 비디오 내부에서 AI는 모든 픽셀을 다른 모든 픽셀과 연관 지어 살펴봅니다. 이는 마치 옆 사람과 대화만 하면 되는데, 경기장에 있는 모든 사람에게 동시에 말을 걸려는 것과 같습니다.
해결책: FAST-AR는 유사한 것들을 그룹으로 묶습니다. 만약 어떤 픽셀이 "고양이"의 일부라면, 그 픽ç은 고양이의 일부인 다른 픽셀들과만 대화합니다. 배경이나 관련 없는 다른 물체들은 무시합니다. 이는 하나의 거대하고 시끄러운 군중 대신, 작고 집중된 대화 모임 속에 사람들을 배치하는 것과 같습니다.

결과: 단거리 선수가 아닌 마라톤 선수

이 논문은 이 세 가지 기술을 통해 AI가 이전보다 5~10배 더 빠르게 비디오를 생성할 수 있음을 보여줍니다.

기존 방식: 비디오가 길어질수록 AI는 점점 더 느려지며, 결국 메모리가 부족해집니다 (달리다가 지쳐서 멈춰버리는 러너와 같습니다).
FAST-AR 방식: AI는 영원히 일정하고 빠른 속도로 달립니다. 비디오가 10초든 2분이든 속도와 메모리 사용량은 동일하게 유지됩니다.

요약하자면: FAST-AR는 AI에게 똑같은 옛날 노트를 다시 읽는 것을 멈추고, 필요 없는 단어는 무시하며, 자신이 대화하고 있는 대상에게만 집중하는 법을 가르칩니다. 이를 통해 AI는 자신의 메모리에 발목 잡히지 않고 길고 고품질인 비디오를 제작할 수 있습니다.

기술 요약: FAST-AR

문제 정의

자기회귀(Autoregressive) 비디오 확산 모델은 스트리밍 생성을 가능하게 하여 장기적인 합성, 비디오 월드 모델, 그리고 대화형 신경 게임 엔진을 용이하게 합니다. 그러나 이러한 모델은 추론 과정에서 결정적인 병목 현상에 직면합니다: KV (Key-Value) 캐시가 생성되는 프레임 수에 따라 선형적으로 증가한다는 점입니다. 이러한 성장은 두 가지 근본적인 문제를 야기합니다:

지연 시간 증가: 캐시가 확장됨에 따라, 스텝당 어텐션 비용이 선형적으로 증가하고(누적 작업량은 $O(T^2)$ 로 증가), 이로 인해 긴 롤아웃(rollout) 동안 생성 속도가 점진적으로 저하됩니다.
메모리 폭발: 확장되는 캐시는 점점 더 많은 GPU 메모리를 소비하며, 이는 종종 장기적인 시간적 일관성을 해치는 짧은 컨텍스트 윈도우를 강제하게 됩니다.

NLP(LLM을 위한 KV 압축)의 기존 솔루션들은 비디오 확산 모델로 직접 전이되지 않으며, 최근의 비디오 특화 방법론들은 시각적 품질을 희생하거나 시간 경과에 따른 메모리 사용량 안정화에 실패함으로써 미미한 속도 향상만을 제공합니다.

방법론: FAST-AR

저자들은 자기회귀 비디오 생성의 중복성을 활용하도록 설계된 통합된 훈련 불필요(training-free) 어텐션 프레임워크인 FAST-AR(Fast AutoRegressive diffusion)을 제안합니다. 이 프레임워크는 계산 및 메모리를 줄이기 위해 빠른 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 매칭을 활용하는 세 가지 핵심 구성 요소로 이루어져 있으며, 밑바닥의 모델을 재학습할 필요가 없습니다.

1. 동기: 중복성의 원천

저자들은 자기회귀 비디오 확산에서 발견되는 세 가지 지속적인 중복 원인을 식별했습니다:

시간적 키 중복(Temporal Key Redundancy): 프레임 간의 캐시된 키들은 시맨틱 콘텐츠가 느리게 진화함에 따라 유사한 중복 형태를 띠는 경우가 많습니다.
시맨틱 쿼리/키 진화(Semantic Query/Key Evolution): 쿼리와 키는 주로 시맨틱하며 느리게 진화하므로, 많은 어텐션 점수 계산이 중복됩니다.
교차 어텐션 희소성(Cross-Attention Sparsity): 긴 프롬프트의 경우, 특정 프레임을 합성하는 데 관련 있는 토큰은 극히 일부에 불과하며, 모든 토큰에 어텐션을 수행하는 것은 계산적으로 낭비입니다.

2. 핵심 구성 요소

A. TempCache (시간적 캐시 압축)

목표: 프레임 간 대응하는 토큰을 식별하고 병합하여 KV 캐시를 압축합니다.
메커니즘: 대응 관계를 찾기 위해 전체 어텐션 행렬을 계산하는 대신, 가벼운 ANN(Locality-Sensitive Hashing 또는 Quantization)을 사용하여 이전 프레임의 현재 프레임 쿼리에 대한 상위-1 근접 이웃 키를 찾습니다.
이론적 근거: 저자들은 Lemma 5.1을 바탕으로, 값이 집계(mean)되고 로짓(logits)이 그룹 크기에 의해 이동될 경우 동일한 키를 병합해도 근사 오차가 발생하지 않음을 증명했습니다. 실제로는 유사도 임계값을 기준으로 키를 병합합니다.
이점: 이는 KV 캐시의 성장을 제한하여, 생성 길이에 관계없이 메모리 사용량과 지연 시간이 일정하게 유지되도록 보장합니다.

B. AnnCA (근사 최근접 이웃 교차 어텐션)

목표: 프레임에 유의미한 프롬프트 토큰만을 선택하여 교차 어텐션을 가속화합니다.
메커니즘: 잠재 쿼리(latent queries)와 프롬프트 키를 공유 임베딩 공간(LSH 또는 양자화)으로 투영합니다. 현재 프레임의 쿼리 중 적어도 하나의 버킷을 공유하는 프롬프트 토큰을 식별하며, 일치하는 버킷이 없는 토큰은 해당 프레임에서 제거됩니다.
이점: 밀집 어텐션 맵을 계산하지 않고도 프레임당 처리되는 프롬프트 토큰의 수를 획기적으로 줄입니다.

C. AnnSA (근사 최근접 이웃 셀프 어텐션)

목표: 시맨틱하게 매칭된 키로 쿼리를 제한하여 셀프 어텐션을 희소화합니다.
메커니즘: 교차 어텐션 프루닝 단계에서 발견된 시맨틱 버킷을 재사용하여, 각 토큰의 쿼리가 동일한 시맨틱 버킷 내의 키에만 어텐션을 수행하도록 제한합니다.
이점: 시맨틱 지역성(semantic locality)을 강제하고, 효율적인 커널(예: FlashInfer)을 사용하는 희소 블록 희소(block-sparse) 연산을 통해 셀프 어텐션의 이차적(quadratic) 비용을 줄입니다.

주요 결과

실험은 LongVBench 및 LongVGenBench 데이터셋을 사용하여 최첨단 자기회귀 모델(Rolling-Forcing 및 LongVie2)을 대상으로 수행되었습니다.

속도 향상: FAST-AR은 밀집 FlashAttention-3(FA3) 대비 5배에서 10.8배의 엔드 투 엔드 속도 향상을 달부터합니다.
- TempCache 단독으로는 약 3배의 속도 향상을 제공합니다.
- TempCache를 AnnSA 및 AnnCA와 결래하면 최대 이득(최대 10.8배)을 얻습니다.
품질 보존: 이 방법은 밀집 베이스라인과 거의 동일한 시각적 품질을 유지합니다.
- PSNR, SSIM, LPIPS 점수가 밀집 어텐션과 유사한 수준을 유지합니다.
- VBench 점수(지각적 품질)가 보존됩니다 (베이스라인의 84.1 대비 약 84.0).
- 반면, 기존의 희소 어텐션 베이스라인들(SVG, RadialAttn)은 품질이 크게 저하되거나(VBench가 ~33–61로 하락) 처리량을 유지하지 못합니다.
안정성:
- 처리량(Throughput): 밀집 어텐션 및 다른 베이스라인들이 컨텍스트가 성장함에 따라 느려지는 것과 달리, FAST-AR은 일정한 FPS를 유지합니다.
- 메모리: 베이스라인들이 선형적인 메모리 성장을 보이는 것과 달리, FAST-AR의 피크 GPU 메모리 사용량은 긴 롤아웃 동안 거의 일정하게 유지됩니다.

의의 및 주장

본 논문은 FAST-AR이 자기회귀 확산 모델을 위해 특별히 설계된 최초의 훈련 불필요 ANN 기반 어텐션 적용 사례라고 주장합니다. 주요 의의는 다음과 같습니다:

확장성: 어텐션의 $O(T^2)$ 스케일링에 의해 제한되었던 능력을 극복하여, 단일 GPU에서 다분(multi-minute) 비디오(예: 3000 프레임) 생성을 가능하게 합니다.
재학습 없는 효율성: 미세 조정이나 복잡한 훈련 레시피를 요구하는 방법들과 달리, FAST-AR은 기존 백본과 호환되는 플러그인 추론 프레임워크로서 작동합니다.
강건성: 일반적인 NLP 압축이나 오프라인 비디오 가속 방법이 효과적으로 처리하지 못하는 비디오 확산의 특정 중복 패턴(시간적 대응 및 시맨틱 희소성)을 성공적으로 해결합니다.

저자들은 자신들의 접근 방식이 현재 롤아웃 길이를 제한하는 계산 및 메모리 장벽을 제거함으로써, 자기회귀 비디오 월드 모델과 장기 형태 합성의 실질적인 실행 가능성을 열어준다고 강조합니다.