Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines
यह शोध पत्र एक अनुक्रमिक, संरचना-जागरूक की-वैल्यू कैश संपीड़न तंत्र का प्रस्ताव करता है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के प्रीफिल चरण के दौरान एक निश्चित मेमोरी बजट को लागू करता है, जिससे जनरेटिव प्रदर्शन को बनाए रखते हुए पीक मेमोरी उपयोग को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "ओवरफिल्ड बैकपैक" (ज़रूरत से ज़्यादा भरा हुआ बैग)
कल्पना कीजिए कि आप एक जासूस (AI) हैं जो एक विशाल फोटो एल्बम (विजुअल इनपुट) को देखकर और सुरागों की एक सूची (टेक्स्ट प्रॉम्प्ट) पढ़कर किसी रहस्य को सुलझाने की कोशिश कर रहे हैं।
आधुनिक AI में, हाई-रिज़ॉल्यूशन तस्वीरों या लंबे वीडियो को समझने के लिए, सिस्टम को उन्हें हज़ारों छोटे पहेली के टुकड़ों में तोड़ना पड़ता है जिन्हें टोकन (tokens) कहा जाता है। इस रहस्य को सुलझाने के लिए, AI को उन हर एक टुकड़ों को याद रखने की ज़रूरत होती है जो उसने अब तक देखे हैं। वह इन यादों को एक विशेष "बैकपैक" में रखता है जिसे KV कैश (KV Cache) कहा जाता है।
समस्या:
यदि आप AI को एक 4K इमेज या 10 मिनट का वीडियो दिखाते हैं, तो पहेली के टुकड़ों की संख्या बहुत बढ़ जाती है। बैकपैक इतना भारी और भर जाता है कि AI द्वारा रहस्य सुलझाना शुरू करने से पहले ही वह फट जाता है। इसे आउट-ऑफ-मेमोरी (OOM) एरर कहा जाता है।
मौजूदा समाधान इस समस्या को ठीक करने के लिए AI को बैकपैक पूरी तरह भरने देते हैं, और फिर पूरा एल्बम लोड होने के बाद "कम महत्वपूर्ण" चीज़ों को बाहर फेंक देते हैं। लेकिन तब तक बहुत देर हो चुकी होती है—बैकपैक पहले ही फट चुका होता है।
समाधान: "स्मार्ट पैकिंग" रणनीति
इस पेपर के लेखक पैकिंग का एक नया तरीका प्रस्तावित करते हैं: अंत तक इंतज़ार न करें कि चीज़ें कब फेंकनी हैं। पैक करें और साथ-साथ साफ़ भी करते रहें।
वे इसे "प्रीफिल-अवेयर" (Prefill-Aware) दृष्टिकोण कहते हैं। बैकपैक को पूरी तरह भरने और फिर उसे कंप्रेस करने के बजाय, वे पहले ही चरण से एक सख्त मेमोरी बजट (अधिकतम वजन सीमा) लागू कर देते हैं।
यहाँ बताया गया है कि उनका तरीका कैसे काम करता है, जिसे तीन सरल अवधारणाओं में विभाजित किया गया है:
1. "ब्लॉक-दर-ब्लॉक" दृष्टिकोण
पूरे फोटो एल्बम को एक साथ बैकपैक में डालने के बजाय, AI छवियों को छोटे चंक्स (chunks/हिस्सों) में देखता है।
- पुराना तरीका: 1,000 फोटो एक साथ डाल दिए। बैकपैक टूट गया।
- नया तरीका: 10 फोटो देखें। उन्हें बैकपैक में डालें। वजन की जाँच करें। यदि यह बहुत भारी है, तो अगले 10 जोड़ने से पहले ही कम उपयोगी फोटो को तुरंत बाहर निकाल दें।
- परिणाम: एल्बम चाहे कितना भी बड़ा क्यों न हो, बैकपैक कभी भी बहुत भारी नहीं होता।
2. यह तय करने के दो तरीके कि क्या फेंकना है
AI को यह जानने की ज़रूरत है कि कौन से पहेली के टुकड़े रखने हैं और किनको फेंकना है। वे दो अलग-अलग "फिल्टर" का उपयोग करते हैं:
"क्वेश्चन-अवेयर" फ़िल्टर (एकल कार्यों के लिए):
यदि आप एक विशिष्ट प्रश्न पूछते हैं (जैसे, "बिल्ली कहाँ है?"), तो AI पहले आपके प्रश्न को देखता है। यह आपके प्रश्न को एक चुंबक की तरह उपयोग करता है जो छवि के सबसे प्रासंगिक हिस्सों को अंदर खींचता है और उबाऊ बैकग्राउंड (जैसे आकाश या दीवार) को दूर धकेलता है। यह "बिल्ली" को रखता है और "आकाश" को फेंक देता है।- उपमा: एक लाइब्रेरियन की तरह जो केवल आपके विशिष्ट विषय की किताबें रखता है और बाकी सब कुछ तुरंत गाड़ी से नीचे गिरा देता है।
"क्वेश्चन-एग्नोस्टिक" फ़िल्टर (भविष्य की बातचीत के लिए):
कभी-कभी, आपने अभी तक कोई प्रश्न नहीं पूछा होता है, या आप एक लंबी बातचीत के बीच में होते हैं जहाँ संदर्भ बदल जाता है। इस स्थिति में, AI विविधता (variety) की तलाश करता है। यह सबसे अनूठे और अजीब दिखने वाले पहेली के टुकड़ों को रखता है और दोहराव वाले टुकड़ों (जैसे नीले आकाश के 50 एक जैसे पिक्सल) को फेंक देता है।- उपमा: एक शेफ की तरह जो सबसे अनूठे सामग्रियां (ट्रफल, केसर) रखता है और साधारण आटे की 50वीं बोरी को फेंक देता है, ताकि यह सुनिश्चित हो सके कि रेसिपी का पता चलने से पहले भी अंतिम व्यंजन में स्वाद बना रहे।
परिणाम: एक हल्का बैकपैक, वही बुद्धिमत्ता
शोधकर्ताओं ने उच्च-रिज़ॉल्यूशन वाली छवियों और लंबे वीडियो का उपयोग करके शक्तिशाली AI मॉडल (जैसे InternVL और Qwen) पर इसका परीक्षण किया।
- मेमोरी का उपयोग: नए तरीके ने मेमोरी के उपयोग को स्थिर और कम रखा, भले ही इनपुट का आकार बहुत बड़ा हो गया हो। पुराने तरीके में जैसे ही इमेज बड़ी होती थी, सिस्टम क्रैश हो जाता था।
- प्रदर्शन: आश्चर्यजनक रूप से, 90% मेमोरी को फेंकने के बावजूद AI बहुत कम बुद्धिमान हुआ। इसने सही उत्तर दिए क्योंकि इसने महत्वपूर्ण टुकड़ों को रखा और केवल अनावश्यक टुकड़ों को हटाया।
- समझौता (Trade-off): एकमात्र कमी इसकी गति है। क्योंकि AI को एक साथ सारा काम करने के बजाय छोटे चंक्स में पैक और अनपैक करना पड़ता है, इसलिए जवाब देना शुरू करने में थोड़ा अधिक समय लगता है। हालाँकि, बिना क्रैश हुए विशाल छवियों को संभालने की क्षमता के लिए यह एक छोटी सी कीमत है।
बड़ी तस्वीर (The Big Picture)
इस पेपर को AI के लिए एक स्मार्ट, सेल्फ-क्लीनिंग सूटकेस का आविष्कार करने के रूप में सोचें।
पहले, यदि आप पूरे वार्डरोब को एक सूटकेस में पैक करने की कोशिश करते, तो वह फट जाता। अब, यह नया तरीका आपको वार्डरोब को एक-एक करके पैक करने देता है, जिसमें आप पैक करते समय ही उन मोज़ों को तुरंत बाहर निकाल देते हैं जिनकी आपको ज़रूरत नहीं है, जिससे आपका सूटकेस कभी भी उठाने के लिए बहुत भारी नहीं होता। यह AI को बिना सुपरकंप्यूटर जितनी मेमोरी के, विशाल, हाई-डेफिनिशन वीडियो और छवियों को "देखने" और समझने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।