FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis

이 논문은 비디오 생성 시 발생하는 토큰 폭주 문제를 해결하기 위해 공간적 및 시간적 유사성을 기반으로 불필요한 연산을 생략하는 'FastSTAR'라는 훈련 없는 가속화 프레임워크를 제안하여, 성능 저하 없이 비디오 합성 속도를 최대 2.01 배까지 향상시킨다고 설명합니다.

핵심

🎬 FastSTAR: 비디오 만들기를 '스마트하게' 빠르게 하는 마법

안녕하세요! 오늘 소개해 드릴 논문은 FastSTAR라는 이름의 기술에 대한 것입니다. 이 기술은 인공지능이 영상을 만들 때, 품질은 그대로 유지하면서 속도를 2 배 이상 빠르게 만들어주는 놀라운 방법입니다.

어떻게 가능할까요? 마치 고급 요리사가 요리를 할 때, 모든 재료를 다 섞어서 끓이는 대신, 어떤 부분은 이미 맛을 냈으니 건드리지 않고, 중요한 부분만 집중해서 조리하는 것과 비슷합니다.

---

1. 문제점: "왜 이렇게 오래 걸려요?" (토큰 폭발)

기존의 최신 AI 비디오 생성 모델 (InfinityStar 같은 것들) 은 영상을 만들 때 아주 정교하게, 단계별로 그림을 그려갑니다.

• 비유: 그림을 그릴 때, 먼저 대충 윤곽을 그리고 (저해상도), 점점 더 디테일을 추가해 가며 (고해상도) 완성하는 방식입니다.

하지만 문제는 마지막 단계입니다.

• 상황: 그림이 거의 완성되었을 때, AI 는 "아, 이 부분도 조금 더 다듬어야지"라고 생각하며 모든 픽셀을 다시 계산합니다.
• 결과: 영상은 5 초 정도인데, 80 초 이상이 걸립니다. 특히 마지막 4 단계에서 전체 시간의 **81%**를 낭비합니다. 이를 논문에서는 **'토큰 폭발 (Token Explosion)'**이라고 부릅니다. (너무 많은 정보를 동시에 처리하려다 병목이 생기는 거죠.)

2. 해결책: FastSTAR 의 두 가지 핵심 전략

FastSTAR 는 이 비효율적인 과정을 스마트하게 바꿉니다. 두 가지 핵심 아이디어를 사용합니다.

🧠 전략 1: "이미 완성된 곳은 건드리지 마세요" (시공간 토큰 가지치기)

AI 가 영상을 만들 때, 모든 부분이 계속 변하는 것은 아닙니다.

• 공간적 유사성 (Spatial Similarity): 배경의 하늘이나 바위처럼 이미 다 그려진 정적인 부분은 더 이상 계산할 필요가 없습니다.
• 시간적 유사성 (Temporal Similarity): 움직이는 사람이나 자동차처럼 움직이는 부분은 계속 계산해야 하지만, 움직이지 않는 부분은 건너뛸 수 있습니다.

🌰 비유:
화가가 캔버스에 바다를 그릴 때, 파란 하늘과 멀리 있는 산은 이미 다 그렸으니 (변하지 않으니) 붓을 대지 않습니다. 대신 파도 치는 물결이나 배의 움직임에만 집중해서 붓질을 합니다.
FastSTAR 는 AI 가 "어디가 변하고, 어디가 안 변하는지"를 실시간으로 파악해서, 안 변하는 부분은 아예 계산을 건너뛰게 (Pruning) 만듭니다.

🛠 전략 2: "잘린 부분은 빈칸으로 채우지 말고, 예전 그대로 두세요" (부분 업데이트)

그림을 그릴 때 일부를 지우고 다시 그리는 방식 (토크 머지) 은 원래 그림을 망가뜨릴 수 있습니다.

• FastSTAR 는 지운 부분을 **아무것도 없는 빈칸 (0)**으로 채우는 게 아니라, 이전 단계에서 이미 완성된 그림 그대로를 가져다 붙입니다.
• 비유: 벽을 칠할 때, 이미 잘 칠해진 벽면은 다시 페인트를 바르지 않고, 새로 칠해야 할 구석진 부분과 문틀만 페인트를 바르는 것과 같습니다. 이렇게 하면 그림이 뭉개지지 않고 선명하게 유지됩니다.

---

3. 실제 효과: 얼마나 빨라졌나요?

이 기술을 적용한 결과, 놀라운 변화가 일어났습니다.

• 속도: 720p 해상도의 5 초 영상을 만드는 데 걸리는 시간이 81.7 초에서 40.6 초로 줄었습니다. (약 2 배 빠름 🚀)
• 화질: 속도가 두 배가 됐는데, 화질은 거의 떨어지지 않았습니다. (PSNR 점수 28.29 로 매우 선명함)
• 적용: 텍스트로 영상을 만드는 것 (Text-to-Video) 이나, 사진으로 영상을 만드는 것 (Image-to-Video) 모두에서 효과가 입증되었습니다.

4. 요약: 왜 이 기술이 중요한가요?

기존 방법들은 "모든 것을 다 계산해서 정확도를 높이려다" 너무 느렸습니다. 하지만 FastSTAR는 "무엇이 중요한지 알고, 중요하지 않은 것은 과감히 생략하는" 지혜를 발휘했습니다.

• 기존 방식: 모든 재료를 다 섞어서 끓이다가, 마지막에 맛을 본 뒤 다시 다 끓이는 것. (시간 낭비)
• FastSTAR 방식: 이미 맛난 국물은 건드리지 않고, 새로 들어갈 재료만 넣고 끓이는 것. (효율 극대화)

이 기술 덕분에 앞으로 우리가 AI 로 고화질 영상을 만들 때, 기다리는 시간이 절반으로 줄어들고, 더 많은 창의적인 영상을 빠르게 만들어낼 수 있게 되었습니다. 마치 스마트한 요리사가 등장하여 요리의 속도와 맛을 모두 잡은 것과 같습니다! 🍳✨

기술 요약

1. 문제 제기 (Problem)

최근 시각적 생성 (Visual Generation) 분야에서 **시공간 자기회귀 모델링 (Spacetime Autoregressive Modeling, STAR)**이 확산 모델 (Diffusion Models) 대비 효율적인 대안으로 부상했습니다. STAR 는 비디오를 시공간 피라미드 (spacetime pyramid) 형태로 토큰화하여 coarse-to-fine 방식으로 생성합니다.

하지만 고해상도 (720p 이상) 와 긴 프레임 수를 가진 비디오 생성 시 다음과 같은 치명적인 병목 현상이 발생합니다.

• 토큰 폭발 (Token Explosion): 시공간 차원 (T, H, W) 이 추가되면서 어텐션 (Attention) 계층의 계산 복잡도가 $O(T^2H^2W^2)$로 급증합니다.
• 비대칭적인 지연 시간 (Latency Imbalance): 분석 결과, 전체 추론 지연 시간의 **81% 가 마지막 4 개의 해상도 스케일 (고해상도 정제 단계)**에서 발생합니다.
• 기존 방법의 한계: 기존 이미지 생성용 토큰 축소 기법 (토큰 병합 등) 을 비디오에 적용할 경우, 시공간적 역동성을 제대로 반영하지 못하거나, 토큰을 평균화하는 과정에서 이산적인 특징 분포가 왜곡되어 오류가 누적되는 문제가 있습니다.

2. 방법론 (Methodology)

저자들은 훈련이 필요 없는 (Training-free) 가속 프레임워크인 FastSTAR를 제안했습니다. 핵심 아이디어는 "병합 (Merging) 이 아닌 가지치기 (Pruning)" 전략과 부분 업데이트 (Partial Update) 메커니즘을 결합하는 것입니다.

가. 시공간 토큰 가지치기 (Spatiotemporal Token Pruning, STTP)

비디오의 특징 맵에서 불필요한 토큰을 식별하고 제거하여 연산을 줄이는 방식입니다. 두 가지 유사도 지표를 통합하여 '필요한 토큰'을 선정합니다.

1. 공간 유사도 (Spatial Similarity): 이전 스케일과 현재 스케일의 특징 맵 간 코사인 유사도를 계산합니다. 유사도가 낮은 영역 (구조적 수렴이 안 된 영역, 즉 세부적인 텍스처가 필요한 곳) 은 유지하고, 높은 영역 (이미 수렴된 정적 배경 등) 은 가지치기합니다.
2. 시간 유사도 (Temporal Similarity): 이전 클립 (t-1) 과 현재 클립 (t) 의 특징 맵 간 유사도를 계산합니다. 유사도가 낮은 영역은 움직임 (Motion Trajectory) 이 발생하는 영역으로 간주하여 유지합니다.
3. 통합 점수: 위 두 지표를 $\ell_p$-norm 을 사용하여 결합하여 최종 가지치기 마스크를 생성합니다.

나. 부분 업데이트 (Partial Update, PU)

가지치기로 인해 Transformer 블록을 통과하지 않은 토큰들을 어떻게 처리할지 해결하는 메커니즘입니다.

• 전략: Transformer 를 통과한 토큰 (비수렴 영역) 만으로 잔차 (Residual) 를 계산하고, 가지치기된 영역 (수렴된 영역) 은 0 으로 채워진 마스크를 사용하여 이전 스케일의 특징 맵을 그대로 유지합니다.
• 효과: 이 방식은 가지치기된 영역에 노이즈나 잘못된 정보가 유입되는 것을 방지하여, 누적된 특징 맵의 구조적 무결성 (Structural Integrity) 을 보존합니다. 이는 토큰을 평균화하는 병합 (Merging) 방식이 초래하는 오류 전파를 차단합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 가속 패러다임: STAR 기반 비디오 생성의 마지막 정제 단계에서 발생하는 계산 병목 현상을 해결하기 위해, 공간적 구조 수렴과 시간적 운동 궤적을 동시에 고려한 가지치기 기법을 최초로 도입했습니다.
2. 구조적 무결성 보존: 기존 토큰 병합 (Merging) 방식의 왜곡 문제를 해결하기 위해, 가지치기 (Pruning) + 부분 업데이트 (Partial Update) 전략을 제안하여 고해상도에서의 화질 저하를 최소화했습니다.
3. 훈련 불필요 (Training-free): 기존 모델을 재학습하거나 미세 조정 (Fine-tuning) 하지 않고, 추론 단계에서 적용 가능한 범용 가속 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

InfinityStar 모델을 베이스로 한 실험 결과, FastSTAR 는 뛰어난 효율성 - 품질 트레이드오프를 입증했습니다.

• 속도 향상: 단일 NVIDIA H100 GPU 에서 720p, 5 초 (81 프레임) 비디오 생성 시 2.01 배 (2.01×) 의 엔드 - 투 - 엔드 속도 향상을 달성했습니다. (기존 81.7 초 $\rightarrow$ 40.6 초)
• 화질 유지:
  • Text-to-Video (T2V): PSNR 28.29, VBench 점수 감소 1% 미만.
  • Image-to-Video (I2V): PSNR 25.65, VBench 점수 감소 1% 미만.
• 기존 기법 대비 우위: SparseVAR, FastVAR, ToMe 등 기존 토큰 축소 기법들과 비교했을 때, 동일한 속도 향상 수준에서 압도적으로 높은 PSNR, SSIM, 낮은 LPIPS를 기록하며 Pareto Frontier(최적의 효율 - 품질 곡선) 상단에 위치했습니다.
• 다양한 작업 적용: T2V, I2V, Video-to-Video (V2V) 작업 모두에서 480p 및 720p 해상도에서 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

FastSTAR 는 고해상도 자기회귀 비디오 생성의 실용적 확장을 가능하게 하는 중요한 기술입니다.

• 효율성 혁신: 비디오 생성의 가장 비용이 많이 드는 마지막 정제 단계를 효율적으로 최적화하여, 고해상도 비디오 생성의 접근성을 높였습니다.
• 품질 보장: 단순한 계산 절감이 아니라, 비디오의 시공간적 특성을 이해하는 지능적인 가지치기를 통해 화질 저하를 극도로 억제했습니다.
• 미래 지향성: 확산 모델 기반 생성이 아닌, 효율적인 자기회귀 모델 (VAR/STAR) 의 상용화와 실시간 적용을 위한 핵심 기술로 평가받으며, 차세대 비디오 생성 모델의 표준 가속 기법으로 자리 잡을 것으로 기대됩니다.

요약하자면, FastSTAR 는 **"비디오 생성의 마지막 단계에서 발생하는 불필요한 계산 (수렴된 영역) 을 시공간적 분석을 통해 정확히 제거하고, 중요한 영역 (움직임과 세부 묘사) 만 집중적으로 계산하는 지능형 가속 기술"**입니다.