MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
MOSAIC एक मल्टी-ऑब्जेक्टिव न्यूरल आर्किटेक्चर सर्च फ्रेमवर्क है जो लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस के लिए प्रति-लेयर KV-कैश बजट को ऑप्टिमाइज़ करता है, और विभिन्न मॉडल्स एवं इविक्शन मेथड्स में यूनिफॉर्म एलोकेशन की तुलना में लगातार बेहतर प्रदर्शन करते हुए काफी कम मेमोरी उपयोग के साथ उच्च टास्क स्कोर प्राप्त करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) आज के कई सबसे उन्नत आर्टिफिशियल इंटेलिजेंस टूल्स के पीछे के इंजन हैं, जो विशाल दस्तावेजों को पढ़ने या लंबी बातचीत करने में सक्षम हैं। हालाँकि, जब ये मॉडल्स टेक्स्ट के लंबे अनुक्रमों (sequences) को प्रोसेस करने की कोशिश करते हैं, तो उन्हें एक भौतिक सीमा का सामना करना पड़ता है: उन्हें यह याद रखने के लिए कि उन्होंने पहले क्या पढ़ा है, अपने कंप्यूटर मेमोरी में बढ़ती मात्रा में अस्थायी जानकारी को स्टोर करना पड़ता है। यह स्टोरेज एरिया, जिसे 'की-वैल्यू कैश' (key-value cache) कहा जाता है, टेक्स्ट की लंबाई के साथ रैखिक रूप से (linearly) बढ़ता है। एक पुस्तक के आकार के दस्तावेज़ को समझने की कोशिश कर रहे मॉडल के लिए, यह मेमोरी की आवश्यकता इतनी विशाल हो सकती है कि यह मानक कंप्यूटर हार्डवेयर की क्षमता से बाहर हो जाए, जिससे सिस्टम को या तो रुकना पड़ता है या जानकारी को हटाना पड़ता है।
इसे हल करने के लिए, शोधकर्ताओं ने यह तय करने के लिए विधियाँ विकसित की हैं कि किस जानकारी को रखना है। ये तकनीकें एक फिल्टर की तरह काम करती हैं, जो यह तय करती हैं कि टेक्स्ट के कौन से हिस्से मेमोरी में बनाए रखने के लिए पर्याप्त महत्वपूर्ण हैं और किन्हें सुरक्षित रूप से भुलाया जा सकता है। अब तक, ये फिल्टर मॉडल के आंतरिक प्रसंस्करण (processing) के हर हिस्से पर एक ही सख्त नियम लागू करते थे। धारणा यह थी कि मॉडल के मस्तिष्क के हर परत (layer) को अपना काम करने के लिए मेमोरी की समान मात्रा की आवश्यकता होती है। यह नया शोध इस धारणा को चुनौती देता है, यह प्रस्तावित करते हुए कि विभिन्न परतों को वास्तव में अलग-अलग मात्रा में स्थान की आवश्यकता होती है, और उन्हें समान हिस्सा देना संसाधनों की बर्बादी है।
शोधकर्ताओं के एक दल ने MOSIC नामक एक नई विधि पेश की है, जो स्वचालित रूप से यह पता लगाती है कि प्रत्येक लेयर को कितनी मेमोरी आवंटित की जानी चाहिए। मॉडल को एक समान ब्लॉक के रूप में मानने के बजाय जहाँ प्रत्येक खंड को मेमोरी के पाय (pie) का समान हिस्सा मिलता है, MOSIC इन परतों को उनकी अनूठी जरूरतों वाले व्यक्तियों के रूप में देखता है। यह सिस्टम एक परिष्कृत खोज प्रक्रिया (search process) का उपयोग करता है ताकि मेमोरी वितरित करने के हजारों अलग-अलग तरीकों का परीक्षण किया जा सके। यह एक विशिष्ट पैटर्न की तलाश करता है जहाँ कुछ परतों को अधिक स्थान मिलता है जबकि अन्य को कम, और यह सब एक कुल मेमोरी सीमा के भीतर होता है। लक्ष्य उस व्यवस्था को खोजना है जो मॉडल को मेमोरी समाप्त होने से पहले प्रश्नों के उत्तर देने या टेक्स्ट का सारांश निकालने में सबसे सटीक रूप से सक्षम बनाती है।
शोधकर्ताओं ने इस दृष्टिकोण का दो लोकप्रिय लार्ज लैंग्वेज मॉडल्स पर परीक्षण किया और प्रत्येक लेयर को समान मेमोरी देने की मानक विधि के विरुद्ध इसकी तुलना की। उन्होंने जटिल पठन बोध (reading comprehension), कोड जनरेशन और लंबे दस्तावेजों के सारांश सहित विभिन्न कठिन कार्यों पर मॉडल्स का मूल्यांकन किया। परिणामों ने दिखाया कि नया तरीका लगातार पुराने तरीके से बेहतर प्रदर्शन करता है, जो 154 परीक्षण सेटिंग्स में से 146 में समान आवंटन (uniform allocation) को पछाड़ गया। कुछ मामलों में, सुधार नाटकीय था, जिसमें मॉडल ने लंबे-संदर्भ (long-context) की समझ के लिए एक मानकीकृत परीक्षण पर लगभग पचास अंक प्राप्त किए। शायद अधिक महत्वपूर्ण बात यह है कि नए तरीके ने मॉडल्स को पहले की तुलना में चार गुना कम मेमोरी का उपयोग करके समान उच्च प्रदर्शन प्राप्त करने की अनुमति दी। इसका अर्थ है कि मॉडल्स लंबे टेक्स्ट को संभाल सकते हैं या छोटे, कम महंगे कंप्यूटरों पर चल सकते हैं।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि सर्वोत्तम मेमोरी वितरण यादृच्छिक (random) नहीं था। खोज ने एक सुसंगत पैटर्न का खुलासा किया: मॉडल के बीच की परतों का एक छोटा समूह लगातार शुरुआत या अंत की परतों की तुलना में अधिक मेमोरी की आवश्यकता रखता था। शुरुआती और अंतिम परतें कम स्थान के साथ भी अच्छी तरह कार्य कर सकती थीं, जबकि मध्य परतें एक महत्वपूर्ण बाधा (bottleneck) के रूप में कार्य करती थीं जहाँ जानकारी को संरक्षित करने की आवश्यकता होती थी। मेमोरी को उन परतों से हटाकर जिन्हें इसकी आवश्यकता नहीं थी और उन परतों को देकर जिन्हें इसकी आवश्यकता थी, सिस्टम बहुत अधिक कुशल हो गया। यह खोज बताती है कि इन मॉडल्स की आंतरिक संरचना समान नहीं है; नेटवर्क के विभिन्न हिस्से अलग-अलग भूमिकाएँ निभाते हैं और अपने सर्वोत्तम कार्य के लिए अलग-अलग संसाधनों की आवश्यकता होती है।
शोधकर्ताओं ने यह भी पाया कि इस इष्टतम पैटर्न को एक बार खोजा जा सकता है और फिर कई अलग-अलग मेमोरी सीमाओं के लिए लागू किया जा सकता है। उन्हें हर उस मेमोरी साइज के लिए एक नया, महंगा सर्च चलाने की आवश्यकता नहीं थी जिसे उपयोगकर्ता चाह सकता है। इसके बजाय, उन्होंने मेमोरी वितरण के लिए एक "विजेता आकार" (winning shape) खोजा और बस उसे बड़ा या छोटा कर दिया। इसका मतलब है कि एक एकल, एक बार की खोज भविष्य के किसी भी मेमोरी प्रतिबंध के लिए समाधान प्रदान कर सकती है, जो इस पद्धति को वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनाती है। यह सिस्टम मॉडल के उपयोग में आने से पहले, ऑफलाइन, आदर्श संतुलन सीखने का काम करता है, इसलिए यह वास्तविक उपयोग के दौरान कोई अतिरिक्त देरी नहीं जोड़ता है।
इस समस्या को हल करने के अन्य हालिया प्रयासों की तुलना में, इस नए दृष्टिकोण ने संभावनाओं के एक बहुत बड़े स्थान (space) का अन्वेषण किया। जबकि अन्य विधियों ने एक समय में केवल कुछ ही विविधताओं का परीक्षण किया, इस सिस्टम ने कुल संभावित कॉन्फ़िगरेशनों के एक बहुत छोटे अंश का मूल्यांकन किया—पिछले तरीकों की तुलना में अरबों गुना बड़े सर्च स्पेस को स्कैन करते हुए केवल कुछ सौ उम्मीदवारों का मूल्यांकन किया ताकि सर्वोत्तम समाधान मिल सके। इतने अधिक विकल्पों को देखने के बावजूद, इसे सर्वोत्तम समाधान खोजने के लिए कम कंप्यूटर घंटों की आवश्यकता हुई। अध्ययन इस विचार की पुष्टि करता है कि प्रत्येक लेयर के साथ एक जैसा व्यवहार करना अक्षम है। यह पहचानकर कि मॉडल के कुछ हिस्से दूसरों की तुलना में अधिक महत्वपूर्ण हैं और संसाधनों को तदनुसार आवंटित करके, हम इन शक्तिशाली उपकरणों को पहले की तुलना में बहुत तेज़, सस्ता और कहीं अधिक लंबे संदर्भों को समझने में सक्षम बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।