🤖 AI

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

यह शोधपत्र VideoMLA प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो मिनट-स्केल ऑटोरेग्रेसिव वीडियो डिफ्यूजन में मल्टी-हेड लेटेंट अटेंशन को लागू करता है, जिससे बेसलाइन गुणवत्ता को बनाए रखते हुए या उससे बेहतर प्रदर्शन करते हुए, KV कैश मेमोरी में 92.7% की कमी और 1.23x थ्रूपुट सुधार प्राप्त होता है, भले ही यह विधि इस तथ्य के बावजूद सफल होती है कि प्रीट्रेंड अटेंशन स्वाभाविक रूप से लो-रैंक नहीं है।

मूल लेखक: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी कहानी सुनाने की कोशिश कर रहे हैं जो एक घंटे तक चलती है, लेकिन आपके पास इसे लिखने के लिए केवल एक छोटी सी नोटबुक है। हर बार जब आप एक नया वाक्य जोड़ते हैं, तो आपको वह सब कुछ याद रखना पड़ता है जो आपने पहले लिखा है ताकि आपकी कहानी का अर्थ बना रहे।

AI वीडियो जनरेशन की दुनिया में, यह "नोटबुक" KV Cache कहलाती है। यह एक मेमोरी बैंक है जहाँ AI उस वीडियो के फ्रेमों के बारे में जानकारी संग्रहीत करता है जिन्हें उसने पहले ही बना लिया है, ताकि वह अगले फ्रेम बना सके।

समस्या: नोटबुक बहुत भारी है

वर्तमान AI वीडियो मॉडल ऐसे छात्रों की तरह हैं जो एक घंटे लंबी कहानी लिखने की कोशिश कर रहे हैं, लेकिन उनकी नोटबुक इतनी भारी है कि वे उसे उठा भी नहीं पा रहे हैं।

पुराना तरीका: वीडियो के हर एक फ्रेम को याद रखने के लिए, AI उसके नेटवर्क के हर एक "सेल" (हेड/head) के लिए एक विशाल और विस्तृत विवरण लिखता है।
परिणाम: जैसे-जैसे वीडियो लंबा होता जाता है (मिनटों के हिसाब से), यह नोटबुक इतनी बड़ी हो जाती है कि मेमोरी खत्म हो जाती है। इसे ठीक करने के लिए, अधिकांश सिस्टम बस पुराने पन्ने फेंक देते हैं (स्लाइडिंग विंडो), लेकिन वे पन्ने जिन्हें वे रखते हैं, वे अभी भी अविश्वसनीय रूप से भारी और पढ़ने में धीमे होते हैं।

समाधान: VideoMLA (एक "सारांश" वाली नोटबुक)

यह पेपर VideoMLA पेश करता है, जो इस कहानी को लिखने का एक नया तरीका है जो नोटबुक को 92.7% तक छोटा कर देता है।

यह इस तरह काम करता है (एक सरल उपमा के माध्यम से):

1. "साझा सारांश" (Low-Rank Latent)
कल्पना कीजिए कि आप अपने 12 दोस्तों के समूह (AI के 12 "हेड्स") को एक दृश्य का वर्णन कर रहे हैं।

पहले: आप प्रत्येक मित्र के लिए एक अलग, 128-पृष्ठों की विस्तृत रिपोर्ट लिखते थे। वह प्रति फ्रेम $12 \times 128 = 1,536$ पृष्ठों की जानकारी थी!
VideoMLA: आप महसूस करते हैं कि आपके सभी दोस्त एक ही कहानी सुन रहे हैं। 12 अलग-अलग रिपोर्ट लिखने के बजाय, आप एक एकल, संक्षिप्त सारांश (द "लेटेंट") लिखते हैं जो दृश्य के मूल सार को पकड़ता है। आपके सभी 12 दोस्त इसी एक सारांश को साझा करते हैं।
जादू: यह सारांश बहुत छोटा है (1,536 के बजाय केवल 192 पृष्ठ)। यह बिना किसी दोहराव के "क्या" (सामग्री) को पकड़ लेता है।

2. "अलग मानचित्र" (Decoupled 3D-RoPE)
सारांश आपको बताता है कि क्या हो रहा है, लेकिन यह नहीं बताता कि कहाँ या कब हो रहा है।

पहले: स्थान और समय की जानकारी उन भारी, बोझिल रिपोर्टों में मिली हुई थी।
VideoMLA: आप स्थान और समय की जानकारी (जैसे "दोपहर 2 बजे बाईं ओर बारिश हो रही है") लेते हैं और उसे एक छोटे, अलग स्टिकी नोट पर रखते हैं। यह नोट भी सभी के द्वारा साझा किया जाता है।
परिणाम: अब आपके पास 12 विशाल रिपोर्टों के बजाय एक छोटा सारांश + एक छोटा स्टिकी नोट है।

बड़ी हैरानी: यह तब भी काम करता है जब इसे "नहीं करना चाहिए"

आमतौर पर, वैज्ञानिक इस "सारांश" तकनीक (जिसे मल्टी-हेड लेटेंट अटेंशन कहा जाता है) का उपयोग इसलिए करते हैं क्योंकि उनका मानना है कि मूल जानकारी स्वाभाविक रूप से सरल और सारांशित करने में आसान होती है (जैसे एक लो-रैंक गणित की समस्या)।

पेपर की खोज:
लेखकों ने मूल AI मॉडल की जांच की और पाया कि मूल जानकारी सरल नहीं है। यह वास्तव में अविश्वसनीय रूप से जटिल और अव्यवस्थित (हाई "रैंक") है।

पहेली: यदि आप एक जटिल, अव्यवस्थित पेंटिंग को एक साधारण रेखाचित्र (sketch) के साथ सारांशित करने की कोशिश करते हैं, तो आप आमतौर पर बहुत सारे विवरण खो देते हैं।
वास्तविकता: VideoMLA फिर भी काम करता है! भले ही मूल डेटा अव्यवस्थित है, AI पूरी कहानी को उस छोटे सारांश स्थान में फिट होने के लिए सीख जाता है। यह पता चला कि सीमा यह नहीं है कि कहानी कितनी अव्यवस्थित है, बल्कि यह है कि नोटबुक कितनी बड़ी है। AI बस पूरी कहानी को उस छोटे स्थान में पूरी तरह से फिट होने के लिए खुद को ढाल लेता है।

यह क्यों महत्वपूर्ण है

नोटबुक को छोटा करके:

लंबे वीडियो: AI अब मेमोरी खत्म हुए बिना मिनटों लंबे वीडियो बना सकता है।
तेज़ गति: एक छोटे सारांश को पढ़ना 12 विशाल रिपोर्टों को पढ़ने की तुलना में बहुत तेज़ है। पेपर दिखाता है कि यह AI को 1.23 गुना तेज़ बनाता है।
बेहतर गुणवत्ता: भारी संपीड़न (compression) के बावजूद, वीडियो की गुणवत्ता उच्च बनी रहती है। AI में "स्टैटिक" या धुंधलापन नहीं आता; गति सुचारू रहती है और पात्र सुसंगत रहते हैं।

संक्षेप में

VideoMLA ऐसा है जैसे यह महसूस करना कि कहानी सुनाने के लिए आपको किताबों का पुस्तकालय ले जाने की आवश्यकता नहीं है। आपको बस एक अच्छी तरह से लिखा गया सारांश और एक छोटा मानचित्र चाहिए। यह AI को बिना सुपर-कंप्यूटर की मदद के, बहुत तेज़ी से और लंबे, सुचारू वीडियो बनाने की अनुमति देता है।

तकनीकी सारांश: VideoMLA

समस्या विवरण (Problem Statement)
लॉन्ग-रोलआउट कॉज़ल वीडियो डिफ्यूजन मॉडल (Long-rollout causal video diffusion models) स्ट्रीमिंग, मिनट-स्केल वीडियो जनरेशन के लिए प्रमुख दृष्टिकोण बन गए हैं। ये मॉडल ऑटोरिग्रेसिव जनरेशन को बनाए रखने के लिए आमतौर पर एक निश्चित आकार के स्लाइडिंग-विंडो की-वैल्यू (KV) कैश पर निर्भर करते हैं। हालांकि हाल के कार्यों ने टोकन चयन, पोजीशनल एनकोडिंग (जैसे, Infinity-RoPE), या ट्रेनिंग रणनीतियों (जैसे, Self-Forcing) को बदलकर इस लेआउट के भीतर नवाचार किया है, वे मुख्य रूप से प्रति-हेड KV लेआउट (per-head KV layout) को यथावत रखते हैं। स्टैंडर्ड डेंस अटेंशन में, प्रत्येक कैश किए गए टोकन में सभी अटेंशन हेड्स के लिए पूर्ण कीज़ (keys) और वैल्यूज़ (values) स्टोर होते हैं। Wan-1.3B जैसे मॉडल के लिए, इसका परिणाम एक विशाल मेमोरी फुटप्रिंट (21-लेटेंट-फ्रेम कैश के लिए लगभग 6.0GB) होता है, जो बैच साइज, थ्रूपुट और वीडियो रोलआउट की व्यवहार्य लंबाई को सीमित करता है। मौजूदा कुशल विधियाँ या तो अटेंशन मैकेनिज्म को पूरी तरह से बदल देती हैं (जैसे, लीनियर अटेंशन) या केवल विशिष्ट परतों को कैश करती हैं, लेकिन बहुत कम विधियाँ सभी कैश की गई परतों में प्रति-टोकन, प्रति-हेड KV स्टेट के मेमोरी खर्च को संबोधित करती हैं।

कार्यप्रणाली: VideoMLA (Methodology: VideoMLA)
यह शोध पत्र VideoMLA को पेश करता है, जो ऑटोरिग्रेसिव वीडियो डिफ्यूजन में मल्टी-हेड लेटेंट अटेंशन (Multi-Head Latent Attention - MLA) का पहला अनुप्रयोग है। VideoMLA मूल रूप से साझा लो-रैंक रिप्रजेंटेशन (shared low-rank representation) का उपयोग करके डेंस प्रति-हेड कीज़ और वैल्यूज़ को बदलकर KV कैश को पुनर्गठित करता है।

साझा लो-रैंक कंटेंट लेटेंट (Shared Low-Rank Content Latent): प्रत्येक $n_h$ हेड्स के लिए अलग-अलग कीज़ ( $K$ ) और वैल्यूज़ ( $V$ ) को स्टोर करने के बजाय, VideoMLA एक डाउन-प्रोजेक्शन मैट्रिक्स $W^{KV}_\downarrow$ के माध्यम से एक टोकन $x_t$ के कंटेंट को एक एकल साझा लेटेंट वेक्टर $c^{KV}_t$ में संकुचित करता है। इस लेटेंट का आयाम $d_c \ll n_h d_h$ है।
ऑन-डिमांड रिकंस्ट्रक्शन (On-Demand Reconstruction): अटेंशन कंप्यूटेशन के दौरान, प्रति-हेड कंटेंट कीज़ ( $k^{nope}_{t,h}$ ) और वैल्यूज़ ( $v_{t,h}$ ) को हेड-विशिष्ट अप-प्रोजेक्शन मैट्रिसेस ( $W^K_\uparrow, W^V_\uparrow$ ) का उपयोग करके साझा लेटेंट से पुनर्गठित किया जाता है।
डिकपल्ड 3D-RoPE (Decoupled 3D-RoPE): पोजीशनल जानकारी को साझा लेटेंट में फोल्ड किए बिना (जो हेड-शेयरिंग को रोक सकता है) संभालने के लिए, यह विधि प्रति-हेड आयाम को एक कंटेंट सबस्पेस ( $d^{nope}_h$ ) और एक पोजीशनल सबस्पेस ( $d^{rope}_h$ ) में विभाजित करती है। एक एकल, हेड-शेयर्ड पोजीशनल की $k^R_t$ कंप्यूट की जाती है और उसे 3D-RoPE का उपयोग करके रोटेट किया जाता है। कैश डेंस प्रति-हेड स्टेट्स के बजाय $(c^{KV}_t, k^R_t)$ जोड़े को स्टोर करता है।
मेमोरी में कमी (Memory Reduction): यह डिज़ाइन प्रति-टोकन कैश स्टेट को $2n_h d_h$ स्केलेर्स से घटाकर $d_c + d^{rope}_h$ कर देता है। डिफॉल्ट कॉन्फ़िगरेशन ( $d_c=192, d^{rope}_h=32$ ) में, यह प्रति लेयर KV कैश मेमोरी में 92.7% की कमी लाता है।

मुख्य निष्कर्ष और स्पेक्ट्रल विश्लेषण (Key Findings and Spectral Analysis)
इस पेपर का एक केंद्रीय योगदान इस सैद्धांतिक पहेली को सुलझाना है कि MLA वीडियो डिफ्यूजन में क्यों काम करता है।

पहेली (The Puzzle): लैंग्वेज मॉडल्स में, MLA अक्सर इस धारणा से प्रेरित होता है कि प्री-ट्रेंड $W^K$ और $W^V$ मैट्रिसेस स्वाभाविक रूप से लो-रैंक (low-rank) होते हैं। हालांकि, Wan-1.3B वीडियो बैकबोन का स्पेक्ट्रल विश्लेषण प्रकट करता है कि जॉइंट ऑपरेटर $[W^K; W^V]$ लो-रैंक नहीं है; इसका 99%-एनर्जी प्रभावी रैंक 1300 से अधिक है, जो व्यावहारिक लेटेंट आयामों ( $d_c=192$ ) से बहुत ऊपर है।
समाधान (The Resolution): लेखक प्रदर्शित करते हैं कि VideoMLA में सीखे गए कंपोज्ड ऑपरेटर का प्रभावी रैंक आर्किटेक्चरल बॉटलनेक ( $d_c$ ) द्वारा निर्धारित होता है, न कि प्री-ट्रेंड स्पेक्ट्रम द्वारा। SVD इनिशियलाइजेशन और रैंडम इनिशियलाइजेशन दोनों ही शुरू से ही आरोपित रैंक बजट को सैचुरेट कर देते हैं, और ट्रेनिंग इस बजट को बनाए रखते हुए इसके भीतर अनुकूलित होती है। अतः, VideoMLA किसी छिपे हुए लो-रैंक स्ट्रक्चर को खोजने से नहीं, बल्कि एक रैंक बजट लागू करने से सफल होता है जिसे मॉडल प्रभावी ढंग से उपयोग करना सीख लेता है।

परिणाम (Results)

गुणवत्ता (Quality): VBench पर, VideoMLA शॉर्ट-होराइजन स्ट्रीमिंग बेसलाइन्स के बराबर है और मूल्यांकित विधियों में लॉन्ग होराइजन (60s) पर सर्वश्रेष्ठ समग्र स्कोर प्राप्त करता है। यह सब्जेक्ट आइडेंटिटी, सीन स्ट्रक्चर और मोशन डायनेमिक्स को बनाए रखता है, और अन्य कंप्रेशन विधियों में देखी जाने वाली स्टैटिक डिग्रेडेशन से बचता है।
दक्षता (Efficiency): यह विधि सिंगल B200 GPU पर बेसलाइन्स की तुलना में इन्फरेंस थ्रूपुट में 1.23× का सुधार करती है।
स्केलेबिलिटी (Scalability): एक निश्चित मेमोरी बजट (B200) के तहत, VideoMLA डिफॉल्ट $d_c=192$ पर डेंस मल्टी-हेड अटेंशन (MHA) की तुलना में 8.0× बड़ा बैच साइज सक्षम करता है, और निचले $d_c$ सेटिंग्स पर 11.4× तक बड़ा बैच साइज सक्षम करता है, बिना आउट-ऑफ-मेमोरी (OOM) एरर के।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि VideoMLA प्रति-टोकन KV लेआउट को कुशल लॉन्ग-होराइजन वीडियो डिफ्यूजन को स्केल करने के लिए एक प्रत्यक्ष और प्रभावी लीवर के रूप में पहचानता है, जो टोकन चयन या पोजीशनल रीपैरामीट्राइजेशन पर ध्यान केंद्रित करने वाले मौजूदा तरीकों से अलग (orthogonal) है। प्रति-टोकन KV मेमोरी को 92.7% कम करके, जबकि विजुअल फिडेलिटी और मोशन कंसिस्टेंसी को बनाए रखते हुए, VideoMLA काफी कम लेटेंसी और उच्च थ्रूपुट के साथ मिनट-स्केल वीडियो जनरेशन को सक्षम बनाता है। यह कार्य डिजाइन के प्रश्न को "वीडियो अटेंशन का अंतर्निहित रैंक क्या है?" से बदलकर "कौन सा लेटेंट बजट वीडियो क्वालिटी को सुरक्षित रखता है?" की ओर ले जाता है, यह प्रदर्शित करते हुए कि आर्किटेक्चरल बाधाएं (architectural constraints) तब भी सफलतापूर्वक लर्निंग को निर्देशित कर सकती हैं जब प्री-ट्रेंड स्पेक्ट्रम हाई-रैंक हो।

समस्या: नोटबुक बहुत भारी है

समाधान: VideoMLA (एक "सारांश" वाली नोटबुक)

बड़ी हैरानी: यह तब भी काम करता है जब इसे "नहीं करना चाहिए"

यह क्यों महत्वपूर्ण है

संक्षेप में

इसी तरह के और पेपर