← नवीनतम पेपर
💻 computer science

Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption

यह शोध पत्र इंस्टेंस-स्पेसिफिक पैरामीट्रिक एब्जॉर्प्शन (ISPA) का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो क्लोज्ड-फॉर्म वेट मॉड्यूलेशन के माध्यम से ऐतिहासिक संदर्भ को मॉडल वेट्स में डिस्टिल करके ऑटोरिग्रेसिव वीडियो जनरेशन में मेमोरी बॉटलनेक को कम करता है, जिससे लगभग लॉसलेस विजुअल क्वालिटी के साथ 50% तक KV कैश में कमी संभव हो पाती है।

मूल लेखक: Xiaomeng Fu, Jia Li, Yiming Hu, Yong Wang, Hayden Kwok-Hay So, Jiao Dai, Xiangxiang Chu, Jizhong Han

प्रकाशित 2026-07-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Xiaomeng Fu, Jia Li, Yiming Hu, Yong Wang, Hayden Kwok-Hay So, Jiao Dai, Xiangxiang Chu, Jizhong Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी लिखने की कोशिश कर रहे हैं, एक बार में एक वाक्य, जबकि शुरुआत के हर विवरण को याद रखते हैं ताकि कथानक सुसंगत बना रहे।

AI वीडियो जनरेशन की दुनिया में, बिल्कुल ऐसा ही होता है। AI एक-एक फ्रेम करके वीडियो बनाता है। यह सुनिश्चित करने के लिए कि पात्र का चेहरा अचानक न बदल जाए या बैकग्राउंड अजीब तरह से न फड़फड़ाने लगे, AI अब तक जो कुछ भी बनाया है उसका एक "मेमोरी बैंक" (जिसे KV Cache कहा जाता है) रखता है।

समस्या: मेमोरी बैंक बहुत भारी है
जैसे-जैसे वीडियो लंबा होता जाता है, यह मेमोरी बैंक बड़ा और बड़ा होता जाता है। अंततः, यह इतना भारी हो जाता है कि कंप्यूटर की मेमोरी (RAM) भर देता है, जिससे सिस्टम धीमा हो जाता है या क्रैश हो जाता है। यह वैसा ही है जैसे आप चलते समय अपने बैग में लगातार ईंटें जोड़ते जा रहे हों; अंततः, आप चल नहीं पाएंगे।

आमतौर पर, इसे ठीक करने के लिए, लोग बैग से पुरानी ईंटें (टोकन) फेंकने की कोशिश करते हैं। लेकिन वीडियो जनरेशन में, पुरानी यादों को फेंकना खतरनाक है। यदि आप भूल जाते हैं कि 10 सेकंड पहले पात्र कैसा दिखता था, तो पात्र कुछ और बन सकता है, या बैकग्राउंड हिलना शुरू हो सकता है।

समाधान: ISPA (द "इंटरनल मेमोरी" ट्रिक)
इस पेपर के लेखक एक नई विधि प्रस्तावित करते हैं जिसे ISPA (इंस्टेंस-स्पेसिफिक पैरामीट्रिक एब्जॉर्प्शन) कहा जाता है। पुरानी यादों को फेंकने के बजाय, ISPA AI को उन्हें अपने ही मस्तिष्क के भीतर याद (memorize) करना सिखाता है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए देखें:

1. "वार्म-अप" चरण (अध्ययन सत्र)

कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है। वीडियो के पहले कुछ सेकंड ( "वार्म-अप") के लिए, AI एक साथ दो काम करता है:

  • वह पूरे इतिहास (पूरे बैग) को देखता है।
  • वह केवल हालिया अतीत (एक छोटी नोटबुक) को देखता है।

वह दोनों की तुलना करता है। वह पूछता है: "यदि मैंने केवल अपनी छोटी नोटबुक देखी होती, तो पूरे बैग को देखने की तुलना में मेरा उत्तर कैसे अलग होता?"

2. "एब्जॉर्प्शन" चरण (चीट शीट)

एक बार जब AI इस छोटे से वार्म-अप से पर्याप्त डेटा एकत्र कर लेता है, तो वह एक गणितीय ट्रिक करता है। वह एक विशेष "एडजस्टमेंट फैक्टर" (इसके आंतरिक वेट्स में एक छोटा सा बदलाव) की गणना करता है।

इस एडजस्टमेंट फैक्टर को छात्र के मस्तिष्क के अंदर चिपकी हुई एक स्थायी चीट शीट के रूप में सोचें। यह चीट शीट "लापता" इतिहास का सटीक सारांश देती है। यह AI को बताती है: "भले ही तुम अब पुराने बैग को नहीं देख रहे हो, फिर भी तुम्हें ऐसे व्यवहार करना चाहिए जैसे तुम देख रहे हो, क्योंकि इस चीट शीट में उत्तर मौजूद है।"

3. "एफिशिएंट" चरण (हल्का बैग)

उस बिंदु के बाद, AI भारी बैग ले जाना बंद कर देता है। वह पुराने मेमोरी टोकन को फेंक देता है (जिससे बहुत अधिक जगह खाली हो जाती है)। इसके बजाय, वह अपने "चीट शीट" (एडजस्टेड वेट्स) का उपयोग करके अतीत को याद रखता है।

  • पुराना तरीका: ईंटों से भरा भारी बैग उठाना।
  • ISPA तरीका: ईंटों के ब्लूप्रिंट को याद करना और उसके बजाय कागज का एक छोटा, हल्का टुकड़ा साथ रखना।

यह क्यों खास है

  • गुणवत्ता में कोई कमी नहीं: क्योंकि AI ने केवल डेटा डिलीट करने के बजाय इतिहास को "सीखा" है, इसलिए वीडियो सुसंगत रहता है। पात्र का चेहरा नहीं बदलता, और बैकग्राउंड स्थिर रहता है।
  • हर वीडियो के लिए अनुकूलित: पेपर में उल्लेख किया गया है कि यह "चीट शीट" प्रत्येक बनाए जा रहे वीडियो के लिए अद्वितीय है। नाचती हुई बिल्ली का वीडियो दौड़ती हुई कार के वीडियो से अलग चीट शीट प्राप्त करेगा।
  • गति: भारी मेमोरी बैंक को हटाने से, AI बहुत तेज़ी से चलता है। लेखकों ने पाया कि वे मेमोरी के उपयोग को 50% तक कम कर सकते हैं और फिर भी ऐसे वीडियो बना सकते हैं जो मूल, भारी संस्करण के लगभग समान दिखते हैं। कुछ मामलों में, इसे अन्य ट्रिक्स के साथ मिलाने से AI लगभग 2 गुना तेज़ हो गया।

द "सिंक" टोकन (द एंकर)

पेपर में एक छोटा लेकिन महत्वपूर्ण विवरण भी उल्लेखित है: AI पहले फ्रेम से एक छोटा, अपरिवर्तित "एंकर" (जिसे सिंक टोकन कहा जाता है) रखता है। यह एक लाइटहाउस (प्रकाश स्तंभ) की तरह कार्य करता है। भले ही AI बीच के विवरण भूल जाए, लाइटहाउस यह सुनिश्चित करता है कि AI रास्ता न भटके या भटक न जाए, जिससे वीडियो स्थिर रहता है।

सारांश में:
ISPA लंबे वीडियो बनाते समय "मेमोरी खत्म होने" की समस्या को हल करता है। पुरानी यादों को मिटाने (जिससे ग्लिच होते हैं) के बजाय, यह उन यादों को AI के अपने मस्तिष्क के एक स्थायी, हल्के हिस्से में संकुचित (compress) कर देता है। यह AI को बिना किसी सुपरकंप्यूटर की मदद के लंबे, सुचारू वीडियो बनाने की अनुमति देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →