💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad는 사전 학습된 비디오 확산 트랜스포머(Video Diffusion Transformers)를 압축하여 $\mathcal{O}(n\sqrt{n})$ 복잡도를 달 achievement함으로써, 계산 비용을 대폭 줄이고 추론 속도를 높이는 동시에 이차 함수적 수준의 비디오 생성 품질을 제공하는 하위 이차(sub-quadratic) 어텐션 증류 프레임워크입니다.

원저자: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능을 이용한 움직이는 영상 제작은 현대 컴퓨팅의 가장 흥激한 최전선 중 하나가 되었습니다. 비디오 확산 모델(video diffusion models)이라고 불리는 이 시스템은 텍스트 설명을 바탕으로 무질서한 정적 노이즈 구름에서 시작하여, 프레임 단위로 점진적으로 일관된 장면으로 정교화하는 방식으로 작동합니다. 이들이 어떻게 이를 수행하는지 이해하기 위해, 각 픽셀이 색상, 모양, 시간에 대한 정보를 담고 있는 토큰인 거대한 디지털 픽셀 그리드를 상상해 보십시오. 이 모델을 구동하는 엔진은 셀프 어텐션(self-attention)이라 불리는 메커니즘입니다. 이 메커니마다 모든 단일 토큰이 다른 모든 토큰을 살펴보며 서로 어떻게 관계를 맺어야 할지 결정하게 합니다. 이러한 끊임없이 모든 것을 살피는 연결성이 영상에 생동감을 불어넣고, 첫 1초에서의 캐릭터 움직임이 마지막 초에서의 모습과 일치하도록 보장합니다. 그러나 이 강력한 기능에는 막대한 대가가 따릅니다. 영상이 길어지거나 상세해질수록 시스템이 계산해야 하는 연결의 수가 폭발적으로 증가하여, 프로세스가 믿기 힘들 정도로 느리고 비용이 많이 들게 만들며, 종종 창작자들을 단 몇 초의 푸티지에만 국한시키기도 합니다.

퀄컴 AI 리서치(Qualica Qualcomm AI Research)의 연구진은 영상의 품질을 희생하지 않으면서 이 문제를 해결하기 위해 SQuad라고 불리는 새로운 접근 방식을 개발했습니다. 복잡한 연결을 단순화하거나 핵심 메커니즘을 더 저렴하고 약한 대안으로 교체하는 대신, 그들은 시스템이 데이터를 바라보는 방식을 재구성하는 방법을 찾아냈습니다. 표준 방식에서는 모든 토큰이 다른 모든 토큰을 확인해야 하며, 이는 영상 크기가 커짐에 따라 감당할 수 없는 수준이 됩니다. 연구팀은 비디오 생성에서 이러한 연결 중 대부분이 실제로는 매우 약하다는 점을 깨달았습니다. 즉, 특정 순간에 진정으로 서로 주의를 기울여야 하는 것은 소수의 핵심적인 토큰 그룹뿐이라는 것입니다. 이러한 관찰을 바탕으로, 그들은 2단계 프로세스를 설계했습니다. 먼저, 시스템은 인접한 토큰들을 작은 윈도우(window)로 그룹화하고 이들이 국소적으로 정보를 섞도록 합니다. 그다음, 이 윈도우들이 전체 영상을 가로질러 서로 통신할 수 있도록 하는 두 번째 패스를 진행합니다. 이 구조는 모델이 장면 전체에 대한 시야를 유지하면서도 필요한 계산량을 획기적으로 줄일 수 있게 해줍니다.

이 방법을 Wan 2.2라는 대규모 비디오 생성 모델에 적용한 결과는 놀랍습니다. 연구진은 강력한 사전 학습된 모델을 가져와, 새로운 시스템이 원래의 동작을 모방하도록 학습하는 과정인 증류(distillation) 과정을 통해 이 새로운 스트림라인화된 어텐션 방식을 사용하도록 가르쳤습니다. 그 결과물은 엄격한 품질 테스트에서 원래 모델과 거의 동일한 시각적 품질을 기록하면서도, 비용은 대폭 절감한 모델입니다. 원래 모델이 영상을 생성하는 데 100단계를 필요로 했다면, 새 버전은 단 6단계만으로 유사한 결과를 달성했습니다. 속도 측면에서 보면, 비디오 생성의 단일 단계를 처리하는 데 걸리는 시간은 약 47밀리초에서 단 4밀리초로 줄어들었습니다. 이러한 단계에 필요한 컴퓨计算 능력은 거의 67배나 감소했습니다.

이러한 효율성 향상은 단순히 이론적인 개선에 그치지 않습니다. 이는 사용자 경험으로 직접 연결됩니다. 표준 고해상도 비디오 생성 작업에 이 방법을 테스트했을 때, 전체 생성 파이프라인을 고려하더라도 새 방식은 원래 시스템보다 약 절반의 시간 만에 영상을 생성했습니다. 연구진은 이 방법을 수백만 개의 추가 파라미터를 모델에 더하는 복잡한 하이브리드 아키텍처에 의존하는 다른 가속화 시도들과 비교했습니다. 반면, SQuad 방식은 추가적인 메모리나 특수 하드웨어를 요구하지 않으며 기존 시스템에 깔끔하게 통합됩니다. 사용자 연구 결과, 사람들은 원래의 무거운 모델이 만든 영상과 새로운 효율적인 버전이 만든 영상 사이의 차이를 신뢰성 있게 구별해내지 못했습니다. 실제로, 헤드 투 헤드 비교에서 상당수의 인간 관찰자들은 오히려 새로운 방식으로 생성된 영상을 선호했습니다.

이 연구의 의의는 균형에 있습니다. 모델을 더 빠르게 만들기 위한 이전의 시도들은 종-종 강력한 어텐션 메커니즘을 더 단순한 선형 근사치로 교체하는 방식을 취했으며, 이는 빈번하게 눈에 띄는 영상 품질 저하를 초래했습니다. SQuad 방식은 핵심 수학적 연산을 그대로 유지하되 적용되는 순서를 바꿈으로써 이 함정을 피합니다. 이는 모든 토큰을 대조하는 이차 복잡도(quadratic complexity)의 전체 과정이 고충실도 결과를 얻기 위해 반드시 필수적인 것은 아님을 입증합니다. 정보의 흐름을 세심하게 구조화함으로써, 연구진은 훨씬 적은 계산 비용으로 길고 고해상도의 영상을 생성하는 것이 가능하다는 것을 보여주었습니다. 이는 긴 시간과 에너지라는 현재의 병목 현상 없이, 표준 하드웨어에서 더 길고 복잡한 장면을 생성하는 목표에 한 걸음 더 다가서며 이 분야의 문을 열어주고 있습니다.

기술 요약: SQuad: 효율적인 비디오 생성을 위한 아두드라틱(Sub-Quadratic) 어텐션 증류

문제 정의

Diffusion Transformer(DiT)를 이용한 비디오 생성은 현재 Softmax Self-Attention 메커니즘의 계산 비용에 의해 병목 현상을 겪고 있습니다. 표준 DiT에서 어텐션 복잡도는 잠재 토큰(latent tokens)의 수 $n$ 에 따라 이차식 $O(n^2)$ 으로 스케일링됩니다. 비디오 생성의 경우, $n$ 이 시공간적 볼륨(종종 수만 개의 토큰에 달함)을 나타내므로, 이 이차항은 실행 시간과 메모리 모두를 지배하며, 달성 가능한 해상도, 지속 시간 및 처리량을 제한합니다.

기존의 솔루션들은 Softmax Self-Attention을 선형 $O(n)$ 또는 저차원(low-rank) $O(nk)$ 근사치로 대체하거나, 희소 마스크(sparse masks) 및 하이브리드 아키텍처를 사용하는 방식으로 이를 완화하려고 시도합니다. 그러나 이러한 접근 방식들은 선형 근사 모델이 가진 비선형성과 입력 의존적인 날카로운 선택성을 희생하기 때문에 흔히 "고질적인 품질 격차(stubborn quality gap)" 문제를 겪습니다. 또한, 값비싼 이차식 블록과 효율적인 블록을 교차하여 배치하는 하이브리드 설계는 아키텍처의 복잡성을 초래하며, 줄이고자 하는 바로 그 이차 연산에 대한 의존성을 여전히 유지하는 경우가 많습니다.

방법론: SQuad

저자들은 **SQuad (Sub-Quadratic Attention Distillation)**를 제안합니다. 이는 전체 Softmax 연산을 그대로 유지하면서 어텐션 복잡도를 $O(n\sqrt{n})$ 로 줄이는 프레임워크입니다. SQuad는 새로운 비디오 DiT를 처음부터 학습시키는 대신, 사전 학습된 풀-소프트맥스(full-softmax) DiT(구체적으로 Wan 2.2 5B 및 Wan 2.1 1.3B 모델)를 수정된 아키텍처로 증류(distill)합니다.

1. SQuad-Attention 연산자

핵-혁신은 전체 $O(n^2)$ 어텐션을 **로컬 패스(Local Pass)**와 **글로벌 패스(Global Pass)**로 분해하는 2단계 어텐션 메커니즘입니다:

로컬 패스 ( $Attn_L$ ): 토큰들이 크기 $w$ 인 고정된 윈도우 내에서 믹싱됩니다.
글로벌 패스 ( $Attn_G$ ): 각 윈도우 내의 동일한 상대적 위치에 있는 토큰들이 모든 윈도우를 가로질러 믹싱됩니다.
구성: 로컬 패스의 출력이 글로벌 패스의 밸류(value) 스트림으로 전달됩니다. 이러한 중첩 구조를 통해 글로벌 패스는 이미 로컬하게 믹싱된 토큰들을 대상으로 동작할 수 있으며, 이를 통해 완전한 수용 영역(receptive field)을 회복합니다.
복잡도: 윈도우 크기를 $w = \sqrt{n}$ 으로 설정함으로써, 이 방법은 $O(n\sqrt{n})$ 복잡도를 달enc합니다. 결정적으로, 두 패스 모두 표준 Softmax를 사용하여 선형 근사에서 손실되는 표현력을 보존합니다.

2. 증류 전략

어텐션 연산자를 교체하면 네트워크가 계산하는 함수가 변경되므로, 사전 학습된 가중치는 더 이상 최적이 아닙니다. 저자들은 2단계 증류 과정을 채택합니다:

Flow-Matching 지도 미세 조정 (SFT): 새로운 SQuad-Attention 아키텍처 하에서 가중치를 재배치하기 위해 비디오 데이터(VIPE 1M 데이터셋)로 네트워크를 미세 조정합니다.
분포 매칭 증류 (DMD2): 아키텍처 변경으로 인해 손실된 생성 품질을 회복하고 샘플링에 필요한 신경 기능 평가(NFE) 횟수를 줄이기 위해 개선된 단계별 증류 방법을 적용합니다.

주요 기여

Full Softmax를 유지하는 아두드라틱 복잡도: SQuad는 선형 또는 저차원 근사에서 발생하는 품질 격차 문제를 해결하면서, Softmax 연산을 포기하지 않고 $O(n\sqrt{n})$ 복잡도를 달성합니다.
증류 프레임워크: 본 논문은 사전 학습된 이차식 DiT가 2단계 증류 과정(SFT + DMD2)을 통해 아두드라틱 아키텍처로 효과적으로 적합될 수 있음을 입증하며, 이를 통해 처음부터 학습시키는 막대한 비용을 피합니다.
하드웨어 효율성: 이 방법은 특수한 퓨즈드 커널(fused kernels)이나 온디바이스 최적화를 요구하지 않으며, 대신 표준 텐서 리셰이핑(reshaping)과 표준 어텐션 블록에 의존하도록 설계되어 하드웨어 친화적입니다.

실험 결과

방법론은 Wan 2.2 5B 및 Wan 2.1 1.3B 텍스트-비디오 모델을 대상으로 평가되었습니다.

품질 보존: Wan 2.2 5B에서 SQuad는 VBench Total 점수 83.20을 달성하여, 기존의 풀-소프트맥스 베이스라인(83.08)과 실질적으로 일치하는 성능을 보였습니다. 사용자 선호도 조사에서 35%의 사용자가 베이스라인보다 SQuad 생성을 선호했으며, 31%는 구분이 불가능하다고 답했습니다.
효율성 이득:
- 지연 시간 (Latency): SQuad는 블록당 어텐션 지연 시간을 약 11배(47.10ms에서 4.27ms로) 단축하고, 엔드-투-엔드 DiT 지연 시간을 약 2배(컴파일 모드에서 667ms에서 314ms로) 단축했습니다.
- 연산량 (Compute): 어텐션 TFLOPs가 약 67배 감소했습니다 (4.205에서 0.063으로).
- 샘포링 속도: 증류된 모델은 기존 모델의 기본 100 NFE와 비교하여 6 NFE만으로 고품질 비디오를 생성합니다.
비교: SQuad는 추가적인 학습 가능 파라미터를 요구하지 않으면서도(VSA, Jenga, Radial Attention, Attention Surgery 등과 달리 72M~283M의 가중치를 추가하지 않음), 지연 시간과 TFLOPs 측면에서 다른 효율적인 어텐션 방법들보다 우수하며 대등하거나 더 나은 품질을 유지합니다.

의의 및 주장

본 논문은 토큰 간 통신을 위한 완전한 $O(n^2)$ 복잡도가 고충실도 비디오 생성에 반드시 필요하지 않을 수도 있다는 가설을 SQuad를 통해 검증합니다. 구조화된 아두드라틱 인수를 통해 Softmax의 표현력을 유지하는 "절충안"을 제 제안함으로써, SQuad는 현재의 하드웨어에서 더 길고 높은 해상도의 비디오를 생성할 수 있는 실질적인 경로를 제공합니다.

저자들은 SQuad를 단순히 기존 모델의 증류 대상으로만 보는 것이 아니라, 대규모 모델을 처음부터 사전 학습시키기 위한 후보 어텐션 메커니즘으로도 제시합니다. 저자들은 현재의 전략이 어텐션 증류와 단계별 증류(DMD2)를 결합하고 있음을 인정하며, 향후 연구에서 어텐션 변경과 샘플링 속도 향상을 분리하거나, 효율성을 위해 더 많은 패스를 구성하는 방안을 탐구할 수 있다고 제언합니다.