CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention
CoSA एक प्रशिक्षण-मुक्त, दो-चरणीय स्पार्स अटेंशन फ्रेमवर्क है जो एक कर्नेल-अवेयर प्रॉक्सी को एक ऑर्डर्ड-स्किपिंग कर्नेल के साथ जोड़ता है ताकि ब्लॉक चयन और स्किपिंग को गतिशील रूप से अनुकूलित किया जा सके, जिससे कड़े कम्प्यूटेशनल बजट के तहत उच्च सटीकता बनाए रखते हुए लॉन्ग-कॉन्टेक्स्ट LLMs के लिए महत्वपूर्ण इन्फरेंस स्पीडअप और कम लेटेंसी प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी एक प्रश्न का उत्तर देने के लिए एक विशाल, 1,28,000 पृष्ठों के विश्वकोश को पढ़ने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "विश्वकोशों" को लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, और "पढ़ने" की यह प्रक्रिया ही वह तरीका है जिससे वे संदर्भ (context) को समझते हैं। समस्या यह है कि इन मॉडल्स के पढ़ने का मानक तरीका एक ऐसे लाइब्रेरियन की तरह है जो आपके प्रश्न पर विचार करना शुरू करने से पहले, किताब के पहले शब्द से लेकर आखिरी शब्द तक हर एक पन्ने को पढ़ने पर अड़ा रहता है। जैसे-जैसे किताब लंबी होती जाती है, यह "सब-कुछ-पढ़ने" वाला दृष्टिकोण कष्टदायक रूप से धीमा और महंगा होता जाता है, जैसे ईंटों से भरा हुआ बैग लेकर मैराथन दौड़ने की कोशिश करना।
इसे ठीक करने के लिए, वैज्ञानिकों ने लाइब्रेरियन को थोड़ा अधिक चयनात्मक (selective) होना सिखाने की कोशिश की है, जिसे "स्पार्स अटेंशन" (sparse attention) नामक एक तकनीक कहा जाता है। हर पन्ना पढ़ने के बजाय, मॉडल यह अनुमान लगाने की कोशिश करता है कि कौन से पन्ने महत्वपूर्ण हैं और बाकी को छोड़ देता है। आमतौर पर, इसमें दो चरण शामिल होते हैं: पहले, एक त्वरित "प्रॉक्सी" (एक तेज़ अनुमान लगाने वाला) किताब को देखता है और महत्वपूर्ण पन्नों को एक साधारण "हाँ" या "नहीं" की सूची के साथ चिह्नित करता है। दूसरा, एक "कर्नेल" (वास्तविक कार्यकर्ता) उस सूची का अनुसरण करता है और भारी काम करता है। यह एक ठीक-ठाक प्रणाली है, लेकिन इसमें एक दोष है: जब किताब बहुत बड़ी हो जाती है और आपको समय बचाने के लिए यह तय करना होता है कि किन पन्नों को छोड़ना है, तो वह त्वरित अनुमान लगाने वाला गलतियाँ करने लगता है, और कार्यकर्ता उस खराब सूची का आँख मूंदकर अनुसरण करता है। परिणाम यह होता है कि मॉडल तेज़ तो हो जाता है लेकिन महत्वपूर्ण विवरणों को भूलने लगता है, जैसे कि एक लाइब्रेरियन जो कहानी के चरमोत्कर्ष (climax) को इसलिए छोड़ देता है क्योंकि उसे लगा कि वह उबाऊ था।
यहीं पर CoSA (Co-Designed Sparse Attention) नामक एक नई विधि आती है। CoSA के पीछे के शोधकर्ताओं ने महसूस किया कि "अनुमान लगाने वाला" (guesser) और "कार्यकर्ता" (worker) अलग-थलग काम कर रहे थे, जिसके कारण दबाव में सिस्टम टूट जाता था। उन्होंने पूरी प्रक्रिया को फिर से डिजाइन करने का निर्णय लिया ताकि वे दोनों एक टीम के रूप में मिलकर काम कर सकें। कार्यकर्ता को केवल एक "हाँ/नहीं" की सूची सौंपने के बजाय, नया "अनुमान लगाने वाला" (जिसे कर्नेल-अवेयर प्रॉक्सी, या KAP कहा जाता है) एक प्राथमिकता सूची (priority list) सौंपता है। यह केवल यह नहीं कहता कि "यह पन्ना पढ़ें"; बल्कि यह कहता है, "पहले इस पन्ने को पढ़ें, फिर इसे, और फिर उसे।"
यही जादू है: कार्यकर्ता (जिसे ऑर्डर्ड-स्किपिंग कर्नेल, या OSK कहा जाता है) इस प्राथमिकता सूची का उपयोग करके पन्नों को पढ़ने के क्रम को पुनर्व्यवस्थित करता है। सबसे महत्वपूर्ण पन्नों को पहले पढ़कर, वह प्रक्रिया के बहुत शुरुआती चरण में ही एक "चल रहा स्कोर" (running score) बना लेता है कि क्या महत्वपूर्ण है। क्योंकि वह शुरुआत में ही सबसे महत्वपूर्ण चीज़ों को जान जाता है, वह बाद की प्रक्रिया में और भी अधिक पन्नों को बिना भ्रमित हुए आत्मविश्वास के साथ छोड़ सकता है। यह बिल्कुल वैसा ही है जैसे आप एक रहस्यमयी उपन्यास पढ़ रहे हों और जासूस आपसे कहे, "हत्यारे को खोजने के लिए पहले तीन अध्याय पढ़ें, फिर आप बागवानी के अगले पचास अध्यायों को सुरक्षित रूप से छोड़ सकते हैं।"
शोध बताते हैं कि यह टीमवर्क वाला दृष्टिकोण एक गेम-चेंजर है। 1,28,000 टोकन (लगभग एक लंबे उपन्यास के आकार) तक लंबे संदर्भों को पढ़ने वाले मॉडल्स पर परीक्षण करते समय, CoSA ने "अटेंशन" प्रक्रिया की गति को 4.93 गुना बढ़ा दिया और पहला शब्द उत्पन्न करने में लगने वाले समय को 2.53 गुना कम कर दिया। महत्वपूर्ण रूप से, इसने यह सुनिश्चित किया कि मॉडल कहानी को समझने की अपनी क्षमता या जटिल तर्क समस्याओं को हल करने की क्षमता न खोए। शोधकर्ताओं ने पाया कि प्रॉक्सी और कर्नेल को एक-दूसरे से बात करने और संचालन के एक विशिष्ट क्रम को साझा करने की अनुमति देकर, वे मॉडल को स्मार्ट रखते हुए काम छोड़ने के बारे में बहुत अधिक आक्रामक हो सकते हैं। यह स्पष्ट है कि AI की दुनिया में, यह जानना कि कब एक पन्ना पढ़ना है, उतना ही महत्वपूर्ण है जितना कि यह जानना कि कौन सा पन्ना पढ़ना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।