🤖 AI

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

본 논문은 사전 학습된 어텐션이 본질적으로 저랭크가 아님에도 불구하고 성공하는 방법임을 보여주면서, 분 단위 자동회귀 비디오 확산에 멀티헤드 잠재 어텐션을 적용하여 KV 캐시 메모리를 92.7% 줄이고 처리량을 1.23 배 향상시키면서도 기준선 품질을 유지하거나 능가하는 새로운 아키텍처인 VideoMLA 를 소개합니다.

원저자: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1 시간 동안 이어지는 이야기를 들려주려는데, 그것을 적을 수 있는 작은 공책 하나만 있다고 상상해 보세요. 새로운 문장을 추가할 때마다 이야기가 논리적으로 이어지도록 이전에 쓴 모든 내용을 기억해야 합니다.

AI 비디오 생성 세계에서는 이 '공책'을 KV 캐시라고 부릅니다. 이는 AI 가 이미 생성한 비디오 프레임에 대한 정보를 저장해 두어 다음 프레임을 생성할 수 있도록 하는 메모리 뱅크입니다.

문제: 공책이 너무 무겁습니다

현재의 AI 비디오 모델은 1 시간 분량의 이야기를 쓰려 노력하는 학생과 같지만, 공책이 너무 무거워 거의 들어 올릴 수조차 없습니다.

기존 방식: AI 가 기억하는 비디오 프레임 하나마다 네트워크 내의 모든 '뇌 세포'(헤드) 에 대해 방대하고 상세한 설명을 적어냅니다.
결과: 비디오 길이가 길어질수록 (수 분 단위) 이 공책은 메모리를 초과할 정도로 거대해집니다. 이를 해결하기 위해 대부분의 시스템은 오래된 페이지를 버리는 방식 (슬라이딩 윈도우) 을 사용하지만, 유지하는 페이지들조차 여전히 매우 무겁고 읽는 속도가 느립니다.

해결책: VideoMLA ('요약' 공책)

이 논문은 공책의 크기를 92.7% 줄이는 새로운 이야기 작성 방식인 VideoMLA를 소개합니다.

다음은 간단한 비유를 통해 그 작동 원리를 설명한 것입니다:

1. '공유된 요약' (저랭크 잠재 변수)
12 명의 친구 (AI 의 12 개 '헤드') 에게 장면을 설명한다고 상상해 보세요.

기존 방식: 각 친구에게 128 페이지 분량의 고유하고 상세한 보고서를 작성합니다. 프레임당 $12 \times 128 = 1,536$ 페이지의 정보가 필요한 셈입니다!
VideoMLA: 모든 친구가 같은 이야기를 듣고 있다는 사실을 깨닫습니다. 12 개의 별도 보고서를 작성하는 대신, 장면의 핵심 본질을 담은 단 하나의 압축된 요약 (잠재 변수) 을 작성합니다. 12 명의 친구가 이 하나의 요약을 공유합니다.
마법 같은 점: 이 요약은 훨씬 작습니다 (1,536 페이지 대신 192 페이지). 중복 없이 '무엇' (내용) 을 포착합니다.

2. '분리된 지도' (분리된 3D-RoPE)
요약은 무엇이 일어나고 있는지는 알려주지만, 어디서나 언제는 알려주지 않습니다.

기존 방식: 위치와 시간 정보가 그 거대하고 무거운 보고서들에 섞여 있었습니다.
VideoMLA: 위치와 시간 정보 (예: "오후 2 시에 왼쪽에서 비가 오고 있다") 를 작은 별도의 스티커 메모에 적습니다. 이 메모 또한 모두에게 공유됩니다.
결과: 이제 12 개의 거대한 보고서 대신 작은 요약과 작은 스티커 메모만 있게 됩니다.

큰 놀라움: '불가능할 것'일 때도 작동합니다

보통 과학자들은 원래 정보가 본질적으로 단순하고 요약하기 쉽다고 (저랭크 수학 문제처럼) 믿기 때문에 이 '요약' 트릭 (멀티헤드 잠재 어텐션) 을 사용합니다.

논문의 발견:
저자들은 원래 AI 모델을 조사하여 놀라운 사실을 발견했습니다: 원래 정보는 단순하지 않습니다. 실제로는 매우 복잡하고 엉망입니다 (높은 '랭크').

퍼즐: 복잡하고 엉망인 그림을 간단한 스케치로 요약하려 하면 보통 많은 디테일을 잃게 됩니다.
현실: VideoMLA 는 그럼에도 작동합니다! 원래 데이터가 엉망이더라도 AI 는 전체 이야기를 작은 요약 공간에 맞추는 법을 배웁니다. 결국 한계는 이야기가 얼마나 엉망인지가 아니라 공책이 얼마나 큰지에 달려 있습니다. AI 는 전체 이야기를 작은 공간에 완벽하게 맞추도록 적응할 뿐입니다.

왜 이것이 중요한가

공책을 줄임으로써:

더 긴 비디오: AI 는 이제 메모리 부족 없이 1 분 길이의 비디오를 생성할 수 있습니다.
더 빠른 속도: 작은 요약을 읽는 것은 12 개의 거대한 보고서를 읽는 것보다 훨씬 빠릅니다. 논문은 이를 통해 AI 가 1.23 배 더 빨라진다고 보여줍니다.
더 나은 품질: 압축이 극심함에도 비디오 품질은 높게 유지됩니다. AI 가 '노이즈'가 생기거나 흐려지지 않으며, 움직임은 매끄럽고 캐릭터는 일관성을 유지합니다.

한 마디로 요약하자면

VideoMLA 는 이야기를 전달하기 위해 도서관의 책들을 모두 들고 다닐 필요가 없다는 사실을 깨닫는 것과 같습니다. 잘 쓰인 요약 하나와 작은 지도만 있으면 됩니다. 이를 통해 AI 는 슈퍼컴퓨터로 메모리를 보유할 필요 없이 더 길고 매끄러운 이야기를 훨씬 빠르게 전달할 수 있게 됩니다.

기술 요약: VideoMLA

문제 제기
장기 롤아웃 (long-rollout) 인과적 비디오 확산 모델은 스트리밍 방식의 분 단위 비디오 생성을 위한 지배적인 접근법으로 자리 잡았습니다. 이러한 모델들은 일반적으로 자동회귀 생성을 유지하기 위해 고정 크기의 슬라이딩 윈도우 키 - 값 (KV) 캐시에 의존합니다. 최근 연구들은 토큰 선택, 위치 인코딩 (예: Infinity-RoPE), 또는 학습 전략 (예: Self-Forcing) 을 변경함으로써 이러한 레이아웃 내에서 혁신을 이루었지만, 대부분 헤드별 KV 레이아웃을 그대로 유지합니다. 표준 밀집 어텐션 (dense attention) 에서 모든 캐시된 토큰은 모든 어텐션 헤드에 대한 완전한 키와 값을 저장합니다. Wan-1.3B 와 같은 모델의 경우, 이로 인해 막대한 메모리 사용량 (21 은닉 프레임 캐시의 경우 약 6.0GB) 이 발생하여 배치 크기, 처리량, 그리고 실현 가능한 비디오 롤아웃 길이를 제한합니다. 기존 효율성 방법들은 어텐션 메커니즘 자체를 완전히 변경하거나 (예: 선형 어텐션) 특정 레이어만 캐싱하지만, 모든 캐시된 레이어에 걸친 토큰별, 헤드별 KV 상태의 메모리 비용을 해결하는 방법은 거의 없습니다.

방법론: VideoMLA
본 논문은 자동회귀 비디오 확산에 멀티헤드 잠재 어텐션 (MLA) 을 적용한 첫 번째 사례인 VideoMLA를 소개합니다. VideoMLA 는 밀집형 헤드별 키와 값을 공유하는 저랭크 표현으로 대체함으로써 KV 캐시를 근본적으로 재구성합니다.

공유 저랭크 콘텐츠 잠재 (Shared Low-Rank Content Latent): VideoMLA 는 $n_h$ 개의 각 헤드마다 별도의 키 ( $K$ ) 와 값 ( $V$ ) 을 저장하는 대신, 다운프로젝션 행렬 $W^{KV}_\downarrow$ 를 통해 토큰 $x_t$ 의 내용을 단일 공유 잠재 벡터 $c^{KV}_t$ 로 압축합니다. 이 잠재 벡터의 차원은 $d_c \ll n_h d_h$ 입니다.
온디맨드 재구성: 어텐션 계산 중에는 헤드별 콘텐츠 키 ( $k^{nope}_{t,h}$ ) 와 값 ( $v_{t,h}$ ) 이 헤드별 업프로젝션 행렬 ( $W^K_\uparrow, W^V_\uparrow$ ) 을 사용하여 공유 잠재로부터 재구성됩니다.
분리된 3D-RoPE: 공유 잠재에 위치 정보를 포함시켜 헤드를 공유하는 것을 방해하지 않도록, 방법론은 헤드별 차원을 콘텐츠 부분공간 ( $d^{nope}_h$ ) 과 위치 부분공간 ( $d^{rope}_h$ ) 으로 분리합니다. 단일의 헤드 공유 위치 키 $k^R_t$ 를 계산하여 3D-RoPE 를 통해 회전시킵니다. 캐시는 밀집형 헤드별 상태 대신 $(c^{KV}_t, k^R_t)$ 쌍을 저장합니다.
메모리 감소: 이 설계는 토큰당 캐시된 상태를 $2n_h d_h$ 개의 스칼라에서 $d_c + d^{rope}_h$ 로 줄입니다. 기본 구성 ( $d_c=192, d^{rope}_h=32$ ) 에서 이는 레이어당 KV 캐시 메모리를 92.7% 감소시킵니다.

주요 발견 및 스펙트럼 분석
본 논문의 핵심 기여는 비디오 확산에서 MLA 가 작동하는 이유에 관한 이론적 수수께끼를 해결하는 데 있습니다.

수수께끼: 언어 모델에서 MLA 는 종종 사전 학습된 $W^K$ 및 $W^V$ 행렬이 본질적으로 저랭크라는 가정에 기반하여 동기부여됩니다. 그러나 Wan-1.3B 비디오 백본에 대한 스펙트럼 분석은 결합 연산자 $[W^K; W^V]$ 가 저랭크가 아님을 보여줍니다. 99% 에너지 유효 랭크는 1300 을 초과하여 실용적인 잠재 차원 ( $d_c=192$ ) 보다 훨씬 높습니다.
해결: 저자들은 VideoMLA 에서 학습된 결합 연산자의 유효 랭크가 사전 학습 스펙트럼이 아닌 아키텍처 병목 (architectural bottleneck)( $d_c$ ) 에 의해 결정됨을 입증합니다. SVD 초기화와 무작위 초기화 모두 imposed 된 랭크 예산을 처음부터 포화시키며, 학습은 이 예산 내에서 적응하면서 해당 예산을 유지합니다. 따라서 VideoMLA 는 숨겨진 저랭크 구조를 복원함으로써 성공하는 것이 아니라, 모델이 효과적으로 활용하도록 학습되는 랭크 예산을 부과함으로써 성공합니다.

결과

품질: VBench 에서 VideoMLA 는 단기 호라이즌 스트리밍 베이스라인과 일치하며, 평가된 방법들 중 장기 호라이즌 (60 초) 에서 최고의 전체 점수를 달성합니다. 이는 다른 압축 방법에서 관찰되는 정적 열화를 피하면서 대상 식별력, 장면 구조, 운동 역학을 유지합니다.
효율성: 이 방법은 단일 B200 GPU 에서 베이스라인 대비 1.23 배의 추론 처리량을 개선합니다.
확장성: 고정된 메모리 예산 (B200) 하에서 VideoMLA 는 기본 $d_c=192$ 에서 밀집형 멀티헤드 어텐션 (MHA) 보다 8.0 배 큰 배치 크기를, 더 낮은 $d_c$ 설정에서는 최대 11.4 배 큰 배치 크기를 가능하게 하며, 메모리 부족 (OOM) 오류 없이 작동합니다.

의의 및 주장
본 논문은 VideoMLA 가 토큰별 KV 레이아웃을 효율적인 장기 호라이즌 비디오 확산을 위한 직접적이고 효과적인 레버로 식별했다고 주장합니다. 이는 토큰 선택이나 위치 재파라미터화에 초점을 맞춘 기존 방법들과는 직교합니다. 시각적 충실도와 운동 일관성을 유지하면서 토큰당 KV 메모리를 92.7% 감소시킴으로써, VideoMLA 는 훨씬 낮은 지연 시간과 더 높은 처리량으로 분 단위 비디오 생성을 가능하게 합니다. 이 연구는 "비디오 어텐션의 본질적 랭크는 무엇인가?"라는 설계 질문을 "비디오 품질을 유지하는 잠재 예산은 무엇인가?"로 전환시켜, 사전 학습 스펙트럼이 고랭크일지라도 아키텍처 제약이 학습을 성공적으로 안내할 수 있음을 보여줍니다.