RAP: KV-Cache Compression via RoPE-Aligned Pruning
यह शोध पत्र RoPE-Aligned Pruning (RAP) को प्रस्तुत करता है, जो एक स्ट्रक्चर्ड प्रूनिंग विधि है जो संरेखित युग्मों (aligned pairs) में की-वैल्यू (Key-Value) कैश चैनलों को हटाकर रोटरी पोजीशन एम्बेडिंग (Rotary Position Embedding) अर्थों को सुरक्षित रखती है, जिससे सटीकता से समझौता किए बिना लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस के लिए महत्वपूर्ण मेमोरी और कंप्यूट बचत प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत लंबी कहानी याद रखने की कोशिश कर रहे हैं। हर बार जब आप एक नया वाक्य सुनते हैं, तो आपको पिछले सभी वाक्यों की एक मानसिक सूची रखनी पड़ती है ताकि आप समझ सकें कि वे आपस में कैसे जुड़ते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मानसिक सूची को "KV कैश" (KV cache) कहा जाता है। यह एक विशाल नोटबुक की तरह है जहाँ एक सुपर-स्मार्ट रोबोट बातचीत के सबसे महत्वपूर्ण विवरण लिखता है ताकि कहानी के अंत तक पहुँचते-पहुँचते वह शुरुआत को न भूल जाए। समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, यह नोटबुक बहुत बड़ी होती जाती है। इसमें इतनी अधिक मेमोरी लगती है और इसके पन्नों को पलटने के लिए इतनी अधिक दिमागी शक्ति की आवश्यकता होती है कि रोबोट धीमा होने लगता है या पूरी तरह से जगह खत्म हो जाती है। वैज्ञानिक हमेशा इस नोटबुक को छोटा करने के तरीके खोजते रहते हैं ताकि महत्वपूर्ण हिस्सों को खोए बिना, रोबोट बिना क्रैश हुए लंबी चर्चा कर सके।
एक लोकप्रिय तरीका जिसे रोबोट कहानी में चीज़ें कहाँ होती हैं, यह समझने के लिए उपयोग करता है, उसे "रोटरी पोजीशन एम्बेडिंग" (Rotary Position Embedding - RoPE) कहा जाता है। RoPE को रोबोट की याददाश्त के साथ किए जाने वाले एक विशेष नृत्य के रूप में सोचें। केवल "वाक्य 5" के लिए एक नंबर लिखने के बजाय, रोबोट दो नंबरों की एक जोड़ी बनाता है और उन्हें एक हुला हूप (hula hoop) की तरह घुमाता है। यह घूमना रोबोट को ठीक-ठीक बताता है कि वह वाक्य वर्तमान वाले से कितनी दूर है। इस नृत्य का महत्वपूर्ण नियम यह है कि जोड़ी के दोनों नंबरों को साथ रहना चाहिए; यदि आप उन्हें अलग कर देते हैं, तो घूमना टूट जाता है, और रोबोट समयरेखा (timeline) को लेकर भ्रमित हो जाता है।
अब, RAP (RoPE-Aligned Pruning) नामक एक नई विधि आती है। इस विचार के पीछे के शोधकर्ताओं ने देखा कि रोबोट की याददाश्त की नोटबुक को छोटा करने के पिछले प्रयासों ने एक घातक गलती की थी। कल्पना कीजिए कि आपके पास नाचती हुई जोड़ियों से भरा एक बैकपैक है। पुराने तरीकों ने अकेले सामानों को बाहर फेंककर जगह बचाने की कोशिश की। लेकिन क्योंकि सामान जोड़ियों में नाच रहे थे, केवल एक को बाहर फेंकने से उसका साथी हवा में अकेला घूमता रह गया जिसके पास हाथ पकड़ने के लिए कोई नहीं था। नृत्य बिखर गया, और रोबोट की याददाश्त बेकार हो गई।
इस शोध पत्र के लेखक बैग पैक करने का एक स्मार्ट तरीका सुझाते हैं। बिखरे हुए एकल सामानों को बाहर फेंकने के बजाय, RAP नाचती हुई जोड़ियों को देखता है और तय करता है कि एक साथ पूरी जोड़ी को बाहर फेंकना है। यदि एक जोड़ी बहुत महत्वपूर्ण नहीं है, तो पूरी जोड़ी चली जाती है। यदि एक जोड़ी महत्वपूर्ण है, तो पूरी जोड़ी बनी रहती है। यह नृत्य को बरकरार रखता है। शोधकर्ताओं ने इसे कई लोकप्रिय AI मॉडलों (3 बिलियन से 14 बिलियन "मस्तिष्क कोशिकाओं" तक) पर परखा और पाया कि यह तरीका बहुत अच्छी तरह काम करता है। वे मूल मॉडल की तुलना में उच्च सटीकता बनाए रखते हुए, मेमोरी नोटबुक को 30% तक सिकोड़ने में सक्षम थे (मूल आकार का केवल 70% रखते हुए), हालांकि पूर्ण, अनकंप्रेस्ड मॉडल की तुलना में प्रदर्शन में थोड़ी गिरावट देखी गई।
इससे भी अधिक रोमांचक बात यह है कि अन्य विधियाँ जो मेमोरी को छोटा करने की कोशिश करती हैं, उन्हें अक्सर रोबोट के बोलने के हर बार गायब हिस्सों को फिर से बनाने के लिए अतिरिक्त काम करना पड़ता है, जिससे सब कुछ धीमा हो जाता है। हालाँकि, RAP उस नोटबुक को संपादित करने जैसा है जो रोबोट के बोलने से पहले किया जाता है। यह अतिरिक्त पन्नों को स्थायी रूप से हटा देता है, ताकि रोबोट को अंतराल भरने के लिए कोई अतिरिक्त गणित न करना पड़े। यह तेज़ चलता है, कम ऊर्जा का उपयोग करता है, और फिर भी कहानी को बहुत अच्छी तरह याद रखता है। यह शोध पत्र दिखाता है कि जबकि अन्य तरकीबें जगह तो बचा सकती हैं, लेकिन वे अक्सर रोबोट की समय की समझ को बिगाड़ देती हैं या उसे धीमा कर देती हैं। RAP उन शीर्ष तरीकों में से एक है जो मेमोरी को सिकोड़ने, रोबोट को तेज़ करने और कहानी को सटीक बनाए रखने के साथ-साथ एक साथ काम करता है, जो सबसे मजबूत लो-रैंक (low-rank) प्रतिस्पर्धियों के बहुत करीब रहता है और अद्वितीय दक्षता लाभ प्रदान करता है। यह कुछ ऐसा है जैसे यह महसूस करना कि कहानी सुनाने के लिए आपको पूरी विश्वकोश (encyclopedia) ले जाने की ज़रूरत नहीं है; आपको बस सही अध्याय ले जाने की ज़रूरत है, और यह सुनिश्चित करना कि आप पन्नों को बीच से न फाड़ें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।