LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding
LOCKS, vLLM के लिए एक ड्रॉप-इन प्लगइन है जो प्रत्येक मेमोरी पेज को एक कॉम्पैक्ट, लो-रैंक स्पेक्ट्रल सारांश (low-rank spectral summary) असाइन करके लॉन्ग-कॉन्टेक्स्ट डिकोडिंग को तेज़ करता है ताकि अटेंशन मास (attention mass) का कुशलतापूर्वक अनुमान लगाया जा सके और केवल सबसे प्रासंगिक पेजों को चुना जा सके, जिससे पूर्ण-अटेंशन सटीकता को बनाए रखते हुए लेटेंसी और मेमोरी उपयोग को काफी कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी एक प्रश्न का उत्तर देने के लिए पुस्तकों के एक विशाल पुस्तकालय को पढ़ने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने पूरा इंटरनेट पढ़ लिया है, लेकिन जब वे किसी बहुत लंबे दस्तावेज़ के आधार पर किसी प्रश्न का उत्तर देने की कोशिश करते हैं, तो उन्हें एक पेचीदा समस्या का सामना करना पड़ता है। सोचने के लिए, उन्हें अब तक जो कुछ भी पढ़ा है, उसकी एक "याददाश्त" रखनी पड़ती है। इस मेमोरी को KV कैश (Key-Value cache) कहा जाता है। इसे एक विशाल व्हाइटबोर्ड की तरह समझें जहाँ मॉडल अपने द्वारा प्रोसेस किए गए हर एक शब्द को लिखता जाता है।
समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, यह व्हाइटबोर्ड बहुत बड़ा होता जाता है। हर बार जब मॉडल को अगला शब्द लिखना होता है, तो उसे यह तय करने के लिए कि पिछले कौन से शब्द महत्वपूर्ण हैं, पूरे व्हाइटबोर्ड को स्कैन करना पड़ता है। यदि कहानी 100,000 शब्दों की लंबी है, तो मॉडल हर बार एक नया अक्षर टाइप करते समय 100,000 शब्दों को देखना होगा। यह धीमा है और कंप्यूटर की बहुत अधिक मेमोरी का उपयोग करता है, जैसे हर बार पलक झपकने पर पूरे घास के ढेर (haystack) को हिलाकर एक विशिष्ट सुई को खोजने की कोशिश करना। वैज्ञानिक यह figuring लगाने की कोशिश कर रहे हैं कि मॉडल को कहानी के उबाऊ हिस्सों को अनदेखा करने और केवल रोमांचक हिस्सों पर ध्यान केंद्रित करने के लिए कैसे बनाया जाए, लेकिन वे सही उत्तर खोजने की क्षमता खोए बिना ऐसा करने में संघर्ष करते रहे हैं।
यहीं पर LOCKS नामक एक नई विधि आती है। इस पेपर के पीछे के शोधकर्ताओं ने बिना कहानी खोए गति बढ़ाने के लिए एक चतुर तरकीब खोजी है। उन्होंने महसूस किया कि जबकि पूरी कहानी जटिल है, इसके छोटे हिस्से (जिन्हें "पेज" कहा जाता है) के अपने सरल और अद्वितीय पैटर्न होते हैं। पूरी लाइब्रेरी का एक विशाल, अव्यवस्थित मानचित्र बनाने के बजाय, LOCKS हर एक पेज को अपना स्वयं का छोटा, उच्च-गुणवत्ता वाला "स्पेक्ट्रल सारांश" (spectral summary) देता है।
इसे इस तरह सोचें: कल्पना कीजिए कि आप एक 1,000 पन्नों के उपन्यास में रहस्य सुलझाने वाले एक जासूस हैं। हत्यारे को खोजने के लिए हर पेज के हर शब्द को पढ़ने के बजाय, आप प्रत्येक पेज के लिए एक छोटा, 10% आकार का "चीट शीट" (cheat sheet) बनाते हैं। यह चीट शीट केवल शब्दों को सूचीबद्ध नहीं करती है; यह उस विशिष्ट पेज के कंटेंट के 'वाइब' (vibe) और सबसे महत्वपूर्ण दिशाओं को भी कैप्चर करती है। जब जासूस (AI) को यह जानने की आवश्यकता होती है कि आगे कहाँ देखना है, तो वह पूरे पेजों को नहीं पढ़ता। वह बस इन छोटे चीट शीट्स पर एक नज़र डालता है यह देखने के लिए कि किन पेजों में सबसे अधिक "सुराग" (attention mass) हैं।
यह पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से प्रभावी है। इन पेज-विशिष्ट चीट शीट्स का उपयोग करके, मॉडल 100,000-टोकन के संदर्भ (context) में टेक्स्ट के 98% हिस्से को पढ़ने से बच सकता है, फिर भी यह लगभग उतना ही सटीक उत्तर पाता है जितना कि सब कुछ पढ़ने के बाद मिलता। वास्तव में, कठिन गणित और तर्क परीक्षणों पर, अन्य विधियाँ जो यह अनुमान लगाने की कोशिश करती हैं कि कौन से पेज महत्वपूर्ण हैं, अक्सर पूरी तरह विफल हो जाती हैं, लेकिन LOCKS "कैरियर" पेजों को—वे पेज जो वास्तव में उत्तर रखते हैं—सुरक्षित रखता है।
शोधकर्ताओं ने सिद्ध किया कि पूरी किताब के लिए एक एकल मानचित्र (एक "साझा" सारांश) का उपयोग करने का प्रयास काम नहीं करता है क्योंकि अलग-अलग पेजों के अपने अलग रहस्य होते हैं जो मिश्रण में खो जाते हैं। उन्होंने यह भी दिखाया कि उनकी विधि "ट्रेनिंग-फ्री" (training-free) है, जिसका अर्थ है कि यह मौजूदा AI मॉडल्स के साथ काम करती है बिना उन्हें कुछ भी नया सिखाए। जब उन्होंने वास्तविक हार्डवेयर पर इसका परीक्षण किया, तो उन्होंने पाया कि इसने बहुत लंबे दस्तावेज़ों के लिए प्रत्येक शब्द को जेनरेट करने में लगने वाले समय को आधा कर दिया। यह एक धीमी, सुस्त चाल वाली लाइब्रेरी की सैर को एक हाई-स्पीड टेलीपोर्टेशन सिस्टम में बदलने जैसा है जो केवल उन्हीं शेल्फों पर रुकता है जो वास्तव में मायने रखते हैं।
संक्षेप में, LOCKS "लॉन्ग-कॉन्टेक्स्ट" की बाधा को यह समझकर हल करता है कि कहानी के हर पेज की अपनी एक अनूठी छाप (fingerprint) होती है। प्रत्येक के लिए एक संक्षिप्त, पेज-विशिष्ट सारांश बनाकर, AI तुरंत यह जान सकता है कि किन पेजों को पढ़ना है और किन्हें अनदेखा करना है, जिससे यह संभव हो जाता है कि मॉडल सैकड़ों हज़ार शब्दों वाली किताबों के बारे में बात कर सके बिना कंप्यूटर के अभिभूत हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।