VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Resumen Técnico: VideoMLA

Enunciado del Problema
Los modelos de difusión de video causal con despliegue prolongado se han convertido en el enfoque dominante para la generación de video en streaming a escala de minutos. Estos modelos suelen depender de una memoria caché de claves y valores (KV) de ventana deslizante de tamaño fijo para mantener la generación autoregresiva. Aunque trabajos recientes han innovado dentro de esta estructura alterando la selección de tokens, la codificación posicional (por ejemplo, Infinity-RoPE) o las estrategias de entrenamiento (por ejemplo, Auto-Forzamiento), en gran medida preservan la disposición de KV por cabeza. En la atención densa estándar, cada token almacenado guarda claves y valores completos para todas las cabezas de atención. Para un modelo como Wan-1.3B, esto resulta en una huella de memoria masiva (aproximadamente 6.0 GB para una caché de 21 marcos latentes), lo que limita los tamaños de lote, el rendimiento y la longitud factible de los despliegues de video. Los métodos eficientes existentes o bien cambian el mecanismo de atención por completo (por ejemplo, atención lineal) o almacenan en caché solo capas específicas, pero pocos abordan el costo de memoria del estado KV por token y por cabeza a través de todas las capas almacenadas.

Metodología: VideoMLA
El artículo introduce VideoMLA, la primera aplicación de Atención Latente Multicabeza (MLA) a la difusión de video autoregresiva. VideoMLA reestructura fundamentalmente la memoria caché KV reemplazando las claves y valores densos por cabeza con una representación latente de bajo rango compartida.

1. Latente de Contenido de Bajo Rango Compartido: En lugar de almacenar claves ($K$) y valores ($V$) separados para cada una de las $n_h$ cabezas, VideoMLA comprime el contenido de un token $x_t$ en un único vector latente compartido $c^{KV}_t$ mediante una matriz de proyección descendente $W^{KV}_\downarrow$. Este latente tiene una dimensión $d_c \ll n_h d_h$.
2. Reconstrucción bajo Demanda: Durante el cálculo de la atención, las claves de contenido por cabeza ($k^{nope}_{t,h}$) y los valores ($v_{t,h}$) se reconstruyen a partir del latente compartido utilizando matrices de proyección ascendente específicas de la cabeza ($W^K_\uparrow, W^V_\uparrow$).
3. 3D-RoPE Desacoplado: Para manejar la información posicional sin incorporarla al latente compartido (lo que impediría el uso compartido de cabezas), el método divide la dimensión por cabeza en un subespacio de contenido ($d^{nope}_h$) y un subespacio posicional ($d^{rope}_h$). Se calcula una única clave posicional compartida por cabeza $k^R_t$ y se rota utilizando 3D-RoPE. La caché almacena el par $(c^{KV}_t, k^R_t)$ en lugar de estados densos por cabeza.
4. Reducción de Memoria: Este diseño reduce el estado almacenado en caché por token de $2n_h d_h$ escalares a $d_c + d^{rope}_h$. En la configuración predeterminada ($d_c=192, d^{rope}_h=32$), esto produce una reducción del 92.7% en la memoria de la caché KV por capa.

Hallazgos Clave y Análisis Espectral
Una contribución central del artículo es resolver un enigma teórico sobre por qué MLA funciona en la difusión de video.

• El Enigma: En los modelos de lenguaje, MLA a menudo se motiva por la suposición de que las matrices $W^K$ y $W^V$ preentrenadas son intrínsecamente de bajo rango. Sin embargo, el análisis espectral del esqueleto de video Wan-1.3B revela que el operador conjunto $[W^K; W^V]$ no es de bajo rango; su rango efectivo del 99% de energía supera 1300, muy por encima de las dimensiones latentes prácticas ($d_c=192$).
• La Resolución: Los autores demuestran que el rango efectivo del operador compuesto aprendido en VideoMLA está determinado por el cuello de botella arquitectónico ($d_c$), y no por el espectro preentrenado. Tanto la inicialización SVD como la inicialización aleatoria saturan el presupuesto de rango impuesto desde el inicio, y el entrenamiento preserva este presupuesto mientras se adapta dentro de él. Por lo tanto, VideoMLA tiene éxito no al recuperar una estructura oculta de bajo rango, sino al imponer un presupuesto de rango que el modelo aprende a utilizar eficazmente.

Resultados

• Calidad: En VBench, VideoMLA iguala las líneas base de streaming de horizonte corto y logra la mejor puntuación general en horizontes largos (60s) entre los métodos evaluados. Mantiene la identidad del sujeto, la estructura de la escena y la dinámica del movimiento, evitando la degradación estática observada en otros métodos de compresión.
• Eficiencia: El método mejora el rendimiento de inferencia en 1.23× en una sola GPU B200 en comparación con las líneas base.
• Escalabilidad: Bajo un presupuesto de memoria fijo (B200), VideoMLA permite tamaños de lote 8.0× mayores que la Atención Multicabeza (MHA) densa en la configuración predeterminada $d_c=192$, y hasta 11.4× mayores en configuraciones de $d_c$ más bajas, sin errores de falta de memoria (OOM).

Significado y Afirmaciones
El artículo afirma que VideoMLA identifica la disposición de KV por token como una palanca directa y efectiva para escalar la difusión de video eficiente de horizonte largo, ortogonal a los métodos existentes que se centran en la selección de tokens o la reparametrización posicional. Al reducir la memoria KV por token en un 92.7% mientras preserva la fidelidad visual y la consistencia del movimiento, VideoMLA permite la generación de video a escala de minutos con una latencia significativamente menor y un mayor rendimiento. El trabajo cambia la pregunta de diseño de "cuál es el rango intrínseco de la atención de video" a "qué presupuesto latente preserva la calidad del video", demostrando que las restricciones arquitectónicas pueden guiar con éxito el aprendizaje incluso cuando el espectro preentrenado es de alto rango.