💻 computer science

SPADE: An Input-Adaptive Sparse Attention Engine for Fast Video Diffusion Models Inference

SPADE는 동적 토큰 선택과 효율적인 커널 실행을 통해 생성 품질을 유지하면서 비디오 확산 트랜스포머 추론을 엔드 투 엔드로 1.49배에서 1.80배까지 가속화하는 학습이 필요 없는 입력 적응형 희소 어텐션 엔진입니다.

원저자: Shanghao Liu (Eric), Renze Chen (Eric), Size Zheng (Eric), Yuanqiang Liu (Eric), Yun (Eric), Liang, Hailong Yang

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Shanghao Liu (Eric), Renze Chen (Eric), Size Zheng (Eric), Yuanqiang Liu (Eric), Yun (Eric), Liang, Hailong Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 움직이는 도시의 벽화를 그린다고 상상해 보세요. 실감 나게 만들기 위해서는 모든 픽셀이 서로 어떻게 연결되는지 결정해야 합니다. 만약 100만 개의 픽셀이 있다면, 모든 픽셀을 하나하나 대조하는 작업은 어마어마한 양의 업무가 되어, 첫 프레임이 완성되기도 전에 컴퓨터가 다운될 수도 있습니다. 이것이 바로 현대 "비디오 생성" AI가 직면한 과제입니다. 단순한 텍스트 프롬프트만으로 영화를 꿈꾸는 이 똑똑한 시스템들은 "어텐션(attention)"이라는 수학적 도구를 사용하여 이미지의 어느 부분이 가장 중요한지를 파라봅니다. 문제는 영상이 길어지고 선명해질수록, 이 연결 관계를 확인하는 데 필요한 작업량이 눈덩이가 굴러 내려가며 매 초마다 커지는 것처럼 폭발적으로 증가한다는 점입니다.

이를 해결하기 위해 과학자들은 효율적인 방법을 시도해 왔습니다. 어떤 이들은 멀리 떨어진 픽셀을 무시하기도 하고(마치 내 주변 이웃만 살피는 것처럼), 다른 이들은 실시간으로 "중요한" 픽셀을 골라내기도 합니다. 하지만 이러한 방법들에는 대가가 따릅니다. 영상을 이상하게 보이게 만들 정도로 세부 사항을 놓치거나, 무엇을 무시할지 결정하는 데 너무 많은 시간을 써서 실제로 절약한 시간을 다 써버리는 것입니다. 큰 질문은 이것입니다. 우리는 빠르면서도, 생각하느라 시간을 낭비하지 않고 정확히 무엇을 건너뛸지 알 만큼 똑똑하며, 여전히 아름답고 고품질의 영화를 만들어낼 수 있는 시스템을 구축할 수 있을까요?

여기, 이 퍼즐을 풀기 위해 설계된 새로운 "엔진"인 SPADE가 등장합니다. SPADE를 효율적인 영화 감독이라고 생각해 보세요. 이 감독은 단순히 어떤 장면을 편집할지 추측하는 것이 아니라, 매 프레임마다 어떤 배우들이 서로 대화해야 하는지를 단 한 순간의 리허설 시간도 낭비하지 않고 즉각적으로 알려주는 마법 같은 대본을 가지고 있습니다.

문제점: "너무 많은 선택지"의 함정

현재의 비디오 AI 모델은 마치 도서관에 있는 모든 책의 모든 페이지를 반복해서 읽으며 기말고사를 공부하려는 학생과 같습니다. 철저하긴 하지만, 믿을 수 없을 정도로 느립니다. 그들이 사용하는 "어텐션" 메커니ح은 모든 토큰(영상의 아주 작은 조각)을 다른 모든 토큰과 대조합니다. 짧은 영상에는 괜찮지만, 고화질 영화의 경우 수학적 계산이 너무 무거워져 컴퓨터가 질식하게 됩니다.

연구자들은 몇 가지 중요한 연결만을 확인하는 "희소 어텐션(sparse attention)"을 사용하여 속도를 높이려 노력했습니다. 그러나 기존 방식에는 두 가지 주요 결함이 있습니다.

**정적 방식(Static methods)**은 경직된 규칙과 같습니다: "항상 배경은 무시하라." 이는 빠르지만 멍청합니다. 때로는 배경이 중요할 수도 있는데, AI가 이를 놓치게 됩니다.
**동적 방식(Dynamic methods)**은 무엇을 무시할지 결정하기 위해 영상을 먼저 살펴보는 방식으로 똑똑해지려 합니다. 하지만 이는 마치 어떤 페이지를 읽을지 결정하는 데 10분을 쓰고 나서야, 정작 읽는 것보다 결정하는 데 더 많은 시간을 썼다는 것을 깨닫는 학생과 같습니다. 무엇을 건너뛸지 "생각"하는 데 드는 시간이 건너뛰어서 아낀 시간을 다 잡아먹습니다.

해결책: SPADE의 3단계 마법

이 논문의 저자인 샹하오 리우(Shanghao Liu)와 그의 팀은 이 문제를 해결하기 위해 SPADE(SPArse video DiT Engine)를 구축했습니다. 그들은 단순히 수학을 수정한 것이 아니라, 잘 맞물려 돌아가는 기계처럼 작동하는 세 가지 영리한 부분으로 전체 프로세스를 재구축했습니다.

1. 청사진 (vDiT-SSR): "건너뛰기"를 위한 보편적 언어
먼저, 영상의 일부를 건너뛰는 방법을 설명하는 통일된 방식을 만들었습니다. 여러분이 시간, 높이, 너비로 이루어진 거대한 3D 격자(마치 시간, 높이, 너비로 만들어진 루빅스 큐브 같은 것)를 가지고 있다고 상상해 보세요. 이전 방식들은 이 큐브를 한 가지 특정 방식으로만 자를 수 있었습니다. 하지만 SPADE는 이 큐브를 자르는 다양한 "메뉴"를 가지고 있습니다. 어떤 슬라이스는 넓고 평평하며, 어떤 것은 높고 얇고, 또 어떤 것은 혼합되어 있습니다. 이를 통해 시스템은 사각형 못을 둥근 구멍에 억지로 끼워 넣는 대신, 제작 중인 특정 영상에 가장 적합한 모양을 선택할 수 있습니다.

2. 즉각적인 결정권자 (Scheme Generation)
이것은 운영의 두뇌입니다. 어떤 슬라이스를 유지할지 추측하는 데 시간을 쓰는 대신, SPADE는 SICS(Sum of Intra-block Cosine Similarities)라고 불리는 기술을 사용합니다.

비유: 사람들이 대화하고 있는 방 안에 있다고 상상해 보세요. 가장 중요한 대화들을 골라내야 합니다. 느린 방식은 모든 단어를 다 들어보려고 할 것입니다. SPADE의 방식은 빠른 훑어보기와 같습니다. 사람들을 작은 그룹으로 묶고, 그들이 얼마나 서로 고개를 끄덕이며 동의하는지 확인합니다. 만약 한 그룹이 모두 고개를 끄덕이며 동의하고 있다면, 그 그룹은 "중요"하며 다음 라운드에 진출할 티켓을 얻습니다. 만약 그룹이 혼란스러워하고 서로 말을 끊고 있다면, 그들은 무시됩니다.
마법: 이 확인 작업은 믿을 수 없을 정도로 빠르게 진행됩니다. 전체 어텐션 시간의 약 8% 정도만 차지할 정도로 빠릅니다. 이 방식은 모든 "헤드(head, AI의 뇌의 일부)"와 영상의 모든 순간에 대해, 어떤 블록에 집중해야 하는지를 정확히 결정합니다. 이는 마치 어떤 차선이 열려 있고 어떤 차선이 닫혀 있는지 즉각적으로 알고, AI의 주의를 필요한 곳으로만 안내하는 교통 경찰와 같습니다.

3. 슈퍼 워커 (Head-wise Sparse Attention)
결정이 내려지면 실제 작업이 수행됩니다. SPADE는 하드웨어(컴퓨터 칩)에 특화된 특별한 "엔진"을 사용합니다. 이 엔진은 유사한 작업들을 그룹화하고 컴퓨터의 가장 빠른 메모리 경로를 사용하여 영상을 처리합니다. 이는 단순히 상자를 옮기는 팀이 아니라, 적절한 상자를, 적절한 순서로, 자신들에게 맞춰 설계된 컨베이어 벨트를 사용하여 운반하는 팀과 같습니다. 이를 통해 복잡하고 불규칙한 작업을 수행할 때 컴퓨터를 느려지게 만드는 "교통 체증"을 피합니다.

결과: 더 빠르고, 더 똑똑하며, 여전히 아름다운

팀은 SPADE를 Hunyuan-Video 및 Wan 2.1/2.2를 포함한 오늘날 가장 진보된 비디오 AI 모델들에 테스트했습니다. 그들은 이를 다른 "희소(sparse)" 방식 및 표준적이고 느린 "전체 어텐션(full attention)" 방식과 비교했습니다.

결과는 인상적이었습니다:

속도: SPADE는 "어텐션" 프로세스를 표준 방식보다 2.26배에서 3.40배 더 빠르게 만들었습니다. 전체 비디오 생성 과정을 처음부터 끝까지 살펴보았을 때, 1.49배에서 1.80배 더 빨랐습니다.
효율성: SP-ADE는 불필요한 계산의 약 **85%**를 건너뛰었으며(희소성), 이는 테스트된 다른 어떤 방법보다 높은 수치입니다.
품질: 결정적으로, 품질을 희생하지 않았습니다. 영상은 느린 전체 어텐션 버전만큼이나 훌륭했습니다. 실제로 일부 테스트에서 SPADE는 다른 빠른 방식들보다 약간 더 선명하고 세밀한 영상을 만들어냈습니다.

또한 연구진은 SPADE의 "터보(Turbo)" 버전을 소개했습니다. 이 버전은 속도를 더욱 밀어붙여 엔드 투 엔드(end-to-end) 속도를 1.80배까지 높였지만, 이를 위해 품질을 아주 미세하고 통제된 수준에서 절충했습니다.

이것이 왜 중요한가

SPADE 이전의 고품질 AI 영상을 만드는 것은 벽돌이 가득 담긴 무거운 배낭을 메고 마라톤을 하는 것과 같았습니다. 할 수는 있지만, 시간이 너무 오래 걸렸습니다. SPADE는 단순히 몸을 가볍게 해줄 뿐만 아니라, 막다른 길에서 에너지를 낭비하지 않도록 최적의 경로를 선택하도록 도와주는 새로운 러닝화와 같습니다.

저자들은 속도와 품질 사이에서 하나를 선택할 필요가 없다는 것을 보여줍니다. 유연한 영상 묘사 방식, 번개처럼 빠른 결정 시스템, 그리고 하드웨어에 최적화된 엔진을 결합함으로써, SPADE는 AI가 "게으름"을 피우거나 실수를 하지 않으면서도 훨씬 빠르게 복잡한 고화질 영상을 생성할 수 있음을 증명합니다. 이는 AI 영상 생성이 몇 시간씩 렌더링하는 작업이 아니라, 실시간으로 일어나는 일이 되기 위한 중요한 진전입니다.

요약하자면, SPADE는 비디오 AI가 기다려온 "스마트 스킵(smart skip)" 버튼이며, 느리고 무거운 프로세스를 빠르고 유연한 경험으로 바꾸어 놓았습니다.

기술 요약: SPADE

문제 정의

비디오 확산 트랜스포머(vDiT)는 고품질 비디오 생성(예: Sora, Hunyuan-Video, Wan)을 위한 표준이 되었습니다. 그러나 이들은 셀프 어텐션 메커니즘에 의존하기 때문에 비디오 토큰 수에 대해 이차 복잡도( $O(n^2)$ )와 메모리 비용을 가집니다. FlashAttention과 같은 스트리밍 기술은 메모리를 선형 복잡도( $O(n)$ )로 줄여주지만, 연산 비용은 여전히 이차 함수적으로 남아 있어, 비디오 토큰 규모의 추론에서 심각한 병목 현상을 초래합니다.

기존의 희소 어텐션(sparse attention) 접근 방식은 이를 완화하려고 시도하지만, 적응성(adaptivity)과 오버헤드 사이의 트레이드오프에 직면합니다:

정적 방법(Static methods) (고정된 윈도우): 효율적이지만 입력 적응성이 부족합니다.
준정적 방법(Semi-static methods) (사전 정의된 패턴): 완만한 적응성을 제공하지만 탐색 공간이 제한적입니다.
동적 방법(Dynamic methods) (입력 조건부 마스크): 높은 유연성을 제공하지만, 종종 상당한 제어 및 인덱싱 오버헤드를 발생시켜 엔드 투 엔드 지연 시간을 저하시킵니다.

본 연구가 해결하고자 하는 핵심 과제는, 생성 품질을 희생하지 않으면서도 무시할 수 있는 수준의 오버헤드로 엔드 투 엔드 이득을 얻을 수 있는 **입력 적응형 희소성(input-adaptive sparsity)**을 달리는 것입니다: 즉, 중요한 Query/Key/Value (Q/K/V) 토큰을 선택하는 것입니다.

방법론

저자들은 알고리즘-시스템 공동 설계 프레임워크인 SPADE(SPArse video DiT Engine)를 제시합니다. SPADE는 세 가지 핵심 구성 요소를 통합합니다.

1. 비디오 DiT 희소성 스킴 표현 (vDiT-SSR)

이는 정적, 준정적, 동적 희소 어텐션 설계를 모두 포괄하는 통합 인터페이스입니다. 이는 다음을 통해 문제를 공식화합니다:

블로킹 스킴 후보군(Blocking Scheme Candidates): 잠재 토큰 그리드를 연속적인 블록으로 분할하는 다양한 3D 블로킹 패턴(공간적, 시간적 또는 혼합형)을 정의합니다.
정책 함수(Policy Function): 추론 상태(타임스텝, 레이어, 프롬프트) 및 집계 점수에 기반하여 헤드별 희소 비율 스킴을 생성하는 메커니즘입니다.
요약기 및 추정기 표현식(Summarizer & Estimator Expressions): 동적 선택을 공식화합니다. *요약기(Summarizer)*는 Q/K 블록을 축소하고(예: max/min/mean 사용), *추정기(Estimator)*는 어떤 블록을 유지할지 결정하기 위해 블록 내부 및 블록 간 중요도 점수를 계산합니다.

2. 스킴 생성 (Scheme Generation)

이 모듈은 런타임에 각 어텐션 헤드에 대한 최적의 희소 패턴을 동적으로 선택합니다.

집계 평가(Aggregation Evaluation): **내부 블록 코사인 유사도 합(SICS)**을 계산하여 모든 블로킹 후보를 평가합니다. 높은 SICS는 블록 내 임베딩이 밀접하게 클러스터링되어 있음을 나타내며, 이는 해당 블록이 요약 또는 유지에 적합한 후보임을 의미합니다.
온라인 최적화(Online Optimization): 표준 SICS 계산의 $O(BS^2)$ 비용을 피하기 위해, 저자들은 복잡도를 $O(BS \cdot d_{head})$ 로 줄이는 온라인 형태(식 5)를 도출했습니다. 이는 공유 메모리 압박을 최소화하기 위해 암시적 워프 동기화(implicit warp synchronization)와 레지스터 전용 스토리지를 사용하는 특화된 CUDA 커널을 통해 구현되었습니다.
정책 적용(Policy Application): 가장 높은 집계 점수를 가진 헤드가 자신의 블로킹 스킴을 선택합니다. 경량화된 정책은 정적 윈도우와 동적 선택 사이의 균형을 맞추며 타임스텝과 레이어 전반에 걸쳐 희소 비율을 예산화합니다.

3. 헤드별 희소 어텐션 실행 (Head-wise Sparse Attention Execution)

이는 사전 컴파일된 연산자 세트로 구현된 연산 코어입니다.

커널 퓨전(Kernel Fusion): 레이아웃 변환(블로킹), 요약, 내부 추정이 단일 CUDA 커널로 퓨전되어 글로벌 메모리 트래픽을 줄입니다.
헤드 그룹화(Head Grouping): 동일한 블로킹 스킴을 공유하는 헤드들을 그룹화하여 점유율(occupancy)을 높이고 Q/K gather-scatter 연산을 퓨전합니다.
Flash 블록 희소 어텐션(Flash Block-Sparse Attention): 하드웨어 인지형 커널을 구현하여 다음을 수행합니다:
- 마스크를 순차적 접근을 위한 랭크된 블록 희소 표현(BSR)으로 전처리합니다.
- 조밀한 어텐션 행렬을 실체화하지 않기 위해 온라인 소프트맥스를 사용합니다.
- 메모리와 연산을 파이프라이닝하기 위해 Hopper 아키텍처의 특징(Tensor Memory Accelerator, warp-group MMA)을 활용합니다.

주요 기여

vDiT-SSR: 동적 선택 메커니즘과 3D 블로킹 후보를 통합하여, 이전에는 불가능했던 유연한 하이브리드 희소 전략을 가능하게 하는 통합적이고 표현력이 풍부한 모듈입니다.
효율적인 스킴 생성: 온라인 SICS와 경량화된 정책을 사용하는 헤드 단위의 입력 적응형 생성기입니다. 저자들은 스킴 생성이 희소 어텐션 런타임의 약 8%만을 차지하면서도 대안들보다 더 높은 희소성을 제공한다고 언급했습니다.
최적화된 실행 엔진: vDiT-SSR을 블록 희소 커널로 낮추는 코드 생성/라이브러리 기반 실행 엔진입니다. 이는 동일한 희소도에서 패턴 탐색은 3.48배, 연산은 1.80배 더 빠릅니다.
엔드 투 엔드 성능: 텍스트-투-비디오(T2V) 및 이미지-투-비디오(I2V) 작업 모두에서 여러 모델(Hunyuan-Video, Wan 2.1/2.2)에 대해 상당한 가속화를 입증했습니다.

실험 결과

720p 비디오 생성을 위해 NVIDIA H800 (80GB)에서 평가되었습니다:

희소성(Sparsity): SPADE는 테스트된 모든 모델에서 가장 높은 희소도 수준인 **82.32% ~ 85.21%**를 달성하였으며, 이는 Sparse-VideoGen(83.80%) 및 Sparge Attention(60.20%)과 같은 베이스라인을 능가합니다.
가속도(Speedup):
- 어텐션 가속: 풀 어텐션(FlashAttention-3) 대비 2.26× – 3.40× 가속.
- 엔드 투 엔드 가속: 표준 SPADE의 경우 1.49× – 1.80×, SPADE-Turbo(제어된 품질 저하를 통해 속도를 높인 버전)의 경우 최대 1.80× 가속.
품질(Quality): SPADE는 지각적 지표(VBench) 및 충실도 지표(SSIM, PSNR, LPIPS)에서 베이스라인과 대등하거나 이를 능가하는 생성 품질을 유지했습니다. 예를 들어, Hunyuan-Video T2V에서 SPADE는 SSIM 0.91(Sparse-VideoGen의 0.87 대비)을 달성하면서도 VBench 점수 0.76을 유지했습니다.

의의 및 주장

본 논문은 SPADE가 알고리즘적 희소성과 시스템 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. vDiT-SSR 추상화를 통해 정책(스킴 생성)을 메커니즘(실행 커널)으로부터 분리함으로써, 시스템은 동적 마스킹과 관련된 오버헤드 없이 입력 콘텐츠에 적응하는 하이브리드 희소성을 가능하게 합니다.

저자들은 자신들의 접근 방식이 단순히 하나의 측면(예: 희소성 또는 커널 속도만 최적화)을 넘어 홀리스틱한 솔루션을 제공한다는 점을 강조합니다. 결과는 입력 적응형, 하드웨어 인지형 희소 어텐션을 통해 비디오 확산 추론에 대한 근사 선형 스케일링이 가능하다는 것을 시사하며, 이는 고해상도 비디오 생성을 더욱 접근하기 쉽고 효율적으로 만듭니다. 코드는 이 분야의 추가 연구를 촉진하기 위해 오픈 소스로 공개되었습니다.