기술 요약: SparsePR – 비디오 생성 및 월드 모델을 위한 학습 불필요(Training-Free) 희소 어텐션

1. 문제 정의

비디오 생성 모델(예: DiT)과 비디오 월드 모델은 긴 시공간 토큰 시퀀스를 처리하며, 이로 인해 이차 복잡도(quadratic)의 셀프 어텐션이 주요 추론 병목 현상이 됩니다. 학습 없이 적용 가능한 블록 희소 어텐션(block-sparse attention)이 가속화의 경로를 제시하지만, 기존 방식들은 희소성을 행 단위(row-wise) 속성으로 다룰 때 두 가지 근본적인 한계에 직면합니다:

1. 공유 경로 지원의 모호성(Shared-Route Support Ambiguity): 행 단위 어텐션 집중도는 여러 쿼리가 단일 라우팅 결정을 공유할 때 필요한 실행 가능한 지원(executable support)을 명시하지 않습니다. 그룹 내의 쿼리들은 키(key)의 중첩도가 낮을 수 있으며, 이 경우 그룹을 위해 풀링된 지원(그룹에 필요한 키들의 합집합)은 개별 지원의 합보다 훨씬 커질 수 있습니다.
2. 소프트맥스 후 오차 과소 추정(Post-Softmax Error Misestimation): 유지된 어텐션 질량(retained attention mass)만으로는 생략된 상호작용으로 인해 발생하는 오차를 결정할 수 없습니다. 두 경로가 유사한 유지 질량을 갖더라도, 누락된 지원과 유지된 지원에 의해 유도된 출력 간의 차이에 따라 출력 오차는 크게 달라질 수 있습니다.

기존 방법들은 이러한 의존성을 고려하지 못하는 경우가 많으며, 이는 과도한 밀도로 이어지거나(가속도 저하) 상당한 품질 저하(재구성 오차 증가)를 초래합니다.

2. 방법론: SparsePR

저자들은 **반응 결합 분할(Response-Coupled Partitioning)**과 **프로브 적합 잔차 재구성(Probe-Fitted Residual Reconstruction)**을 결다는 SparsePR을 제안합니다. 이 방법은 오프라인 학습 없이 완전히 온라인 방식으로 작동합니다.

A. 반응 결합 분할 (Response-Coupled Partitioning)

쿼리와 키를 독립적으로 클러스터링하거나 교대 정제(alternating refinement)를 사용하는 기존 방식과 달리, SparsePR은 현재의 어텐션 호출에서 파생된 반응 기하학(response geometry)을 기반으로 단일 비대칭 패스(asymmetric pass)를 통해 실행 가능한 파티션을 구축합니다.

• 키-반응 좌표(Key-Response Coordinates): 샘플링된 쿼리($Q_s$)는 메트릭 $M_K = Q_s^\top Q_s / M_s$를 정의합니다. 키들은 샘플링된 쿼리 하에서의 반응 프로파일을 기준으로 클러스터링됩니다(샘플링된 $M_K$의 고유벡터에 대한 $k$-means 사용). 이를 통해 쌍을 이룬 키/값(K/V) 그룹이 형성됩니다.
• 쿼리-반응 좌표(Query-Response Coordinates): 생성된 K/V 그룹의 중심점(centroids)은 쿼리를 위한 새로운 메트릭 공간을 정의합니다. 쿼리는 이 K/V 그룹들에 대한 프리-소프트맥스 로짓(pre-softmax logit) 프로파일의 유사성을 기준으로 클러스터링됩니다.
• 결과: 이러한 결합은 동일한 경로를 공유하는 쿼리들이 유사한 지원 요구사항을 갖도록 보장하여, 의미론적 클러스터링에서 관찰되는 "풀링된 지원(pooled support)"의 확장을 최소화합니다.

B. 프로브 적합 잔차 재구성 (Probe-Fitted Residual Reconstruction)

생략된 상호작용으로 인한 오차를 해결하기 위해, SparsePR은 블록 수준의 근사나 시간적 재사용에 의존하지 않습니다. 대신 다음을 수행합니다:

• 프로브 선택(Probe Selection): 소수의 쿼리 행($M \ll N_q$)을 선택(쿼리 그룹 전반에 걸쳐 계층적 추출)하고, 이를 정확하게 계산하여 조밀한 잔차($R = O_{dense} - O_{sparse}$)를 구합니다.
• 아핀 보정(Affine Calibration): 이 방법은 잔차를 희소 출력의 아핀 함수($R \approx b + xB$)로 모델링합니다. 프로브 잔차를 사용하여 호출별 아핀 맵을 적합시키며, 이때 리지 회귀(ridge regression)로 정규화합니다.
• 서브스페이스 제한(Subspace Restriction): 관찰되지 않은 출력 방향으로의 외삽을 방지하기 위해, 보정은 프로브 잔차의 주요 특이 벡터(leading singular vectors)가 생성하는 서브스페이스로 투영됩니다.
• 보정(Correction): 적합된 맵은 프로브되지 않은 행에 대한 잔차를 추정하며, 이를 희소 출력에 더하여 조밀한 근사치를 복구합니다.

C. 희소 실행 (Sparse Execution)

프레임워크는 토큰을 연속적인 그룹 중심 레이아웃으로 치환하고 FlashInfer의 가변 블록 희소 어드레싱 프리미티브를 사용합니다. 총 실행된 쌍의 밀도($\rho_{exec}$)에는 라우팅된 희소 셀과 정확한 프로브 행이 모두 포함됩니다.

3. 주요 기여

1. 구조적 분석: 본 논문은 실행 가능한 블록 희소 어텐션의 세 가지 핵심 의존성을 식별했습니다:
   • 쿼리당 희소성은 공유 경로의 지원을 결정하지 않습니다 (풀링된 지원이 3~4배 더 높을 수 있음).
   • 유지된 어텐션 질량은 낮은 포스트-소프트맥스 오차를 보장하지 않습니다.
   • 파티션 기하학은 잔차의 "아핀 설명 가능(affine-explainable)" 비율에 상당한 영향을 미칩니다.
2. SparsePR 프레임워크: 반응 결합 분할(지원 확장을 최소화하기 위함)과 프로브 적합 잔차 재구성(생략된 상호작용을 보정하기 위함)을 결합한 학습 불필요 방식을 도입했습니다.
3. 포괄적 평가: 네 가지 이질적인 모델(HunyuanVideo, Wan2.2, Cosmos-Predict2.5, Cosmos3-Nano)에 대해 정확한 쌍 계산(exact-pair accounting) 및 엔드 투 엔드 타이밍을 사용하여 평가하였으며, 일관된 오차 감소와 속도 향상을 입증했습니다.

4. 실험 결과

저자들은 텍스트-투-비디오, 이미지-투-비디오 및 물리 세계 예측 작업에 대해 SparsePR을 평가했습니다.

• 품질 보존: SparsePR은 조밀한 벤치마크 품질에 근접합니다. 예를 들어, HunyuanVideo-13B에서 PSNR 31.844(조밀한 베이스라인 대비)와 LPIPS 0.087를 달이트며, SVG2 및 SpargeAttn과 같은 기존 희소 방법들보다 우수한 성능을 보였습니다.
• 효율성: 실제 실행된 쌍의 밀도를 **22.0%–26.0%**로 유지하면서 1.48$\times$에서 2.61$\times$의 엔드 투 엔드 속도 향상을 달성했습니다.
• 어블레이션 통찰(Ablation Insights):
  • 프로브 적합(Probe Fitting): 오차 감소의 대부분을 차지합니다.
  • 반응 결합 분할(Response-Coupled Partitioning): "하드 드롭(hard-drop)" 오차를 크게 낮추고, 유한한 프로브 예산 하에서 직교 잔차 에너지(orthogonal residual energy)를 줄임으로써 재구성을 개선합니다.
  • 오버헤드: 프로브 적합 재구성은 전체 레이턴시의 약 1.1%에 불 달하며 무시할 만한 오버헤드를 가집니다. 주요 비용 절감은 희소 라우팅에서 발생하기 때문입니다.

5. 의의 및 주장

본 논문은 비디오 모델을 위한 효과적인 희소 실행이 흔히 별개로 취급되는 두 가지 요소, 즉 파티션 기하학(공유 라우팅에 필요한 지원을 결정)과 생략된 상호작용의 재구성(출력 오차를 결정)에 달려 있다고 주장합니다.

SparsePR은 현재 호출의 반응 기하학에 분할 과정을 결합하고, 소수의 정확한 프로브를 통해 잔차 재구성을 보정함으로써 상당한 계산 절감과 함께 밀한 수준의 충실도(fidelity)를 달 수 있음을 보여줍니다. 저자들은 이 접근 방식이 **학습이 필요 없다(training-free)**는 점을 강조하며, 이는 재학습이나 증류(distillation) 없이도 기존의 사전 학습된 비디오 DiT 및 월드 모델에 적용 가능하다는 것을 의미합니다. 결과적으로, 단순한 행 단위 희소성은 비디오 생성에 불충분하며, 고품질 가속화를 위해서는 구조적이고 반응 인지적인(response-aware) 분할과 정밀한 잔차 보정이 필요함을 시사합니다.