Locality-Aware Redundancy Pruning for LLM Depth Compression
यह शोध पत्र LoRP का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free), वन-शॉट डेप्थ प्रूनिंग फ्रेमवर्क है, जो प्रदर्शन को बनाए रखते हुए लार्ज लैंग्वेज मॉडल्स में रेडंडेंसी को प्रभावी ढंग से कम करने के लिए एक नवीन 'रिप्रेजेंटेशन लोकैलिटी स्कोर' के आधार पर लेयर रिमूवल को गतिशील रूप से आवंटित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल, अविश्वसनीय रूप से गहरा पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल)। इस पुस्तकालय में सैकड़ों मंजिलें (लेयर्स) हैं, और प्रत्येक मंजिल में सूचनाओं को प्रोसेस करने के लिए पुस्तकालयाध्यक्षों (न्यूरॉन्स) की एक टीम है। समस्या यह है कि यह पुस्तकालय बहुत बड़ा, महंगा और चलाने में धीमा है। आप कुछ मंजिलों को हटाकर इसे तेज़ बनाना चाहते हैं, लेकिन आप इस बात से डरे हुए हैं कि यदि आपने गलत मंजिलों को हटा दिया, तो पुस्तकालय अर्थहीन हो जाएगा।
यह पेपर बताता है कि किन मंजिलों को गिराने का निर्णय कैसे लिया जाए, जिसे LoRP (लोकेलिटी-अवेयर रेडन्डेंसी प्रूनिंग) कहा जाता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:
पुराना तरीका: अनुमान लगाना और जांचना
पहले, लोग इन पुस्तकालयों को सिकोड़ने के लिए दो मुख्य रणनीतियों का उपयोग करते थे:
- "लोकल" दृष्टिकोण: वे प्रत्येक मंजिल को व्यक्तिगत रूप से देखते थे और कहते थे, "यह मंजिल कमजोर लग रही है, चलो इसे हटा देते हैं।" उन्होंने माना कि हर मंजिल अद्वितीय और स्वतंत्र है।
- "कंटीगुअस" (निरंतर) दृष्टिकोण: उन्होंने माना कि अनावश्यक दोहराव (रेडन्डेंसी) मंजिलों के एक विशिष्ट ब्लॉक में होता है, जैसे कि मंजिल 10 से 15 तक। इसलिए, वे उस पूरे हिस्से को ही काट देते थे।
समस्या: लेखकों ने पाया कि अलग-अलग पुस्तकालयों (AI मॉडल्स) की "आर्किटेक्चर" अलग होती है। कुछ पुस्तकालयों में, अतिरिक्त, बेकार काम एक विशिष्ट ब्लॉक में केंद्रित होता है। अन्य में, अतिरिक्त काम पूरी इमारत में समान रूप से फैला हुआ होता है। पुराने तरीकों ने "एक ही नियम सबके लिए" (one-size-fits-all) का उपयोग किया, जिसके परिणामस्वरूप अक्सर महत्वपूर्ण मंजिलों को काट दिया गया या बेकार मंजियों को छोड़ दिया गया।
नया तरीका: LoRP (एक स्मार्ट आर्किटेक्ट)
LoRP एक स्मार्ट आर्किटेक्ट की तरह है जो कट लगाने से पहले यह देखने के लिए पुस्तकालय में घूमता है कि मंजिलें वास्तव में एक-दूसरे से कैसे संबंधित हैं। इसे पुस्तकालय को फिर से प्रशिक्षित करने की आवश्यकता नहीं है (यह "ट्रेनिंग-फ्री" है); यह बस यह देखता है कि पुस्तकालयाध्यक्ष एक-दूसरे से कैसे बात कर रहे हैं।
यहाँ चरण-दर-चरण प्रक्रिया दी गई है:
1. "इको" टेस्ट (समानता मापना)
आर्किटेक्ट कुछ नमूना वाक्य पुस्तकालय के माध्यम से भेजता है और सुनता है कि मंजिल-दर-मंजिल "छिपे हुए विचार" (रिप्रेजेंटेशन) कैसे बदलते हैं।
- यदि मंजिल 5 और मंजिल 6 लगभग एक ही बात कह रहे हैं, तो वे रेडंडेंट (अनावश्यक/दोहराव वाले) हैं।
- यदि मंजिल 5, मंजिल 6 से बिल्कुल अलग बात कह रही है, तो वे अद्वितीय (यूनिक) हैं।
2. "लोकेलिटी स्कोर" (RLS)
आर्किटेक्ट एक स्कोर की गणना करता है जिसे रिप्रेजेंटेशन लोकैलिटी स्कोर (RLS) कहा जाता है। इसे एक "गुच्छेदार मीटर" (clumpiness meter) के रूप में समझें:
- उच्च स्कोर (गुच्छेदार/Clumpy): पुस्तकालय में "इको चैंबर" हैं। मंजिल 10-20 सभी एक ही विचारों को दोहरा रहे हैं। रेडन्डेंसी स्थानीयकृत (localized) है।
- कम स्कोर (फैला हुआ/Spread Out): पुस्तकालय में "डिफ्यूज इकोज़" हैं। दोहराव बेसमेंट से लेकर छत तक, पूरी इमारत में बिखरा हुआ है। रेडन्डेंसी वैश्विक रूप से वितरित (globally distributed) है।
3. मंजिलों का समूहीकरण (क्लस्टरिंग)
उस स्कोर के आधार पर, आर्किटेक्ट मंजिलों को समान सोच के "पड़ोसों" (clusters) में समूहबद्ध करता है।
- यदि पुस्तकालय "गुच्छेदार" है, तो पड़ोस समान मंजिलों के घने समूह हैं।
- यदि पुस्तकालय "फैला हुआ" है, तो पड़ोस अधिक विविध हैं।
4. दो-चरणीय कट (प्रूनिंग)
अब, आर्किटेक्ट दो-चरणीय रणनीति का उपयोग करके उन मंजिलों को हटाने का निर्णय लेता है जिन्हें हटाया जाना है:
- चरण 1 (कवरेज): सबसे पहले, वे यह सुनिश्चित करते हैं कि वे प्रत्येक पड़ोस (neighborhood) से एक मंजिल हटा दें। यह सुनिश्चित करता है कि वे गलती से एक पूरा अद्वितीय पड़ोस न मिटा दें।
- चरण 2 (सफाई): फिर, वे प्रत्येक पड़ोस में बची हुई मंजिलों को देखते हैं। वे सबसे अधिक "रेडंडेंट" (सबसे अधिक दोहराव वाली) मंजिलों को तब तक हटाते रहते हैं जब तक कि वे अपने लक्ष्य आकार तक नहीं पहुँच जाते।
यह बेहतर क्यों काम करता है
पेपर ने विभिन्न प्रकार के AI मॉडल्स (जैसे LLaMA, Mistral, और Qwen) पर इसका परीक्षण किया।
- "गुच्छेदार" मॉडल्स के लिए: LoRP ने सही ढंग से पहचाना कि वह एक विशिष्ट क्षेत्र से मंजिलों का एक बड़ा हिस्सा सुरक्षित रूप से हटा सकता है।
- "फैले हुए" मॉडल्स के लिए: LoRP ने सही ढंग से महसूस किया कि उसे एक बड़ा ब्लॉक काटने के बजाय कई अलग-अलग क्षेत्रों से थोड़ा-थोड़ा हिस्सा लेना होगा।
परिणाम:
चूंकि LoRP पुस्तकालय के विशिष्ट आकार के अनुकूल होता है, इसलिए यह AI को स्मार्ट और सटीक बनाए रखता है और पुराने "एक ही नियम सबके लिए" वाले तरीकों की तुलना में बेहतर प्रदर्शन करता है। यह मंजिलों को हटाने के बाद भी प्रश्नों के उत्तर देने और भाषा को समझने की क्षमता को बेहतर ढंग से संरक्षित करता है।
संक्षेप में
इसे एक फिल्म को एडिट करने की तरह समझें।
- पुराने तरीके अंधे होकर हर 10वीं सीन को काटने या एक पूरा 5-मिनट का ब्लॉक काटने जैसे थे, क्योंकि उन्होंने मान लिया था कि फिल्म एक विशिष्ट तरीके से दोहराव वाली है।
- LoRP एक ऐसे निर्देशक की तरह है जो पहले पूरी फिल्म देखता है, देखता है कि संवाद कहाँ दोहराए जा रहे हैं, और फिर विशिष्ट रेडंडेंट लाइनों को काटता है जबकि कहानी के प्रवाह को बरकरार रखता है, चाहे फिल्म मूल रूप से कैसी भी संरचित की गई हो।
पेपर निष्कर्ष निकालता है कि AI में जानकारी कहाँ और कैसे दोहराई जाती है, इसे समझना ही इसे बिना तोड़े कुशलतापूर्वक सिकोड़ने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।