🤖 machine learning

NIRVANA: Structured Pruning Reimagined for Large Language Model Compression

NIRVANA एक नवीन, हार्डवेयर-जागरूक स्ट्रक्चर्ड प्रूनिंग फ्रेमवर्क है जो न्यूरल टेंगेंट कर्नेल-प्रेरित सैलिएंसी (saliency), इष्टतम आवंटन के साथ एक वैश्विक यूनिट-रैंकिंग रणनीति, और KL-डाइवर्जेंस-संचालित डेटा चयन का लाभ उठाता है ताकि बिना किसी गणनात्मक रूप से महंगी रिट्रेनिंग के शून्य-शॉट प्रदर्शन और फाइन-ट्यूनिंग क्षमताओं को संरक्षित करते हुए लार्ज लैंग्वेज मॉडल्स का अत्याधुनिक संपीड़न (compression) प्राप्त किया जा सके।

मूल लेखक: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

प्रकाशित 2026-07-21

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है जो किसी भी प्रश्न का उत्तर दे सकता है, चुटकुले सुना सकता है, या कोड लिख सकता है। यह पुस्तकालय इतना बड़ा है कि इसकी लाइटें चालू रखने के लिए ही कंप्यूटरों का एक पूरा गोदाम चाहिए। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। ये सुपर-ब्रेन की तरह हैं, लेकिन ये इतने भारी और बिजली के भूखे होते हैं कि केवल बड़े टेक दिग्गज ही इन्हें चलाने का खर्च उठा सकते हैं। वैज्ञानिक इन 'मस्तिष्कों' को छोटा करने की कोशिश कर रहे हैं—जैसे कि एक पूरी विश्वकोश को एक जेब वाले नोटबुक में पैक करना—बिना पढ़ने या समझने की क्षमता खोए।

इसे करने के लिए, शोधकर्ता "प्रूनिंग" (pruning) नामक तकनीक का उपयोग करते हैं। एक पेड़ की कल्पना करें जो सर्दियों में होता है। इसे वसंत में जीवित रहने और तेजी से बढ़ने में मदद करने के लिए, एक माली अनावश्यक या मृत शाखाओं को काट देता है। AI में, प्रूनिंग का अर्थ है मॉडल के उन हिस्सों को काट देना जो बहुत कम काम कर रहे हैं। इसे करने के दो मुख्य तरीके हैं: आप हर जगह छोटे-छोटे व्यक्तिगत धागे (weights) काट सकते हैं, जिससे पेड़ अव्यवस्थित दिखता है और वास्तव में कंप्यूटर पर इसे तेज़ नहीं बनाता, या आप पूरी शाखाएं (न्यूरॉन्स या अटेंशन हेड्स) काट सकते हैं, जो पेड़ के आकार को साफ रखता है और इसे बहुत तेज़ बनाता है। समस्या यह है कि जब आप बहुत अधिक शाखाएं काट देते हैं, तो पेड़ अक्सर बढ़ना बंद कर देता है या ठीक से बोलना भूल जाता है। इसे फिर से सीखने के लिए बहुत अधिक महंगे "रिकवरी ट्रेनिंग" की आवश्यकता होती है, और फिर भी, यह अक्सर थोड़ा अनाड़ी बना रहता है।

यहीं पर NIRVANA नामक एक नई विधि आती है। इसके पीछे के शोधकर्ताओं ने एक ऐसी प्रूनिंग रणनीति बनाने की कोशिश की जो केवल यह अनुमान न लगाए कि कौन सी शाखाएं काटनी हैं, बल्कि यह भी समझे कि पेड़ कैसे सोचता है। उन्होंने महसूस किया कि केवल यह देखना कि कोई शाखा कितनी "मजबूत" है (उसका वेट), पर्याप्त नहीं है। इसके बजाय, उन्होंने न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel - NTK) नामक एक गणितीय अवधारणा का उपयोग किया। आप NTK को पेड़ के "विकास की क्षमता" के मानचित्र (map) के रूप में देख सकते हैं। यह न केवल यह दिखाता है कि एक शाखा कितनी बड़ी है, बल्कि यह भी कि भविष्य में पेड़ की सीखने की क्षमता उस पर कितनी निर्भर करती है। इस मानचित्र का उपयोग करके, NIRVANA सटीक रूप से पता लगाता है कि किन शाखाओं को काटना है ताकि पेड़ स्वस्थ रहे, अपनी याददाश्त बनाए रखे, और कटाई के तुरंत बाद नई चीजें सीखने के लिए तैयार रहे, बिना किसी लंबे और महंगे रिकवरी पीरियड के।

बड़ा विचार: AI पेड़ों के लिए एक स्मार्ट माली

यह पेपर NIRVANA (जिसका अर्थ है NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning) को पेश करता है, जो बड़े AI मॉडल्स को छोटा करने का एक नया तरीका है जो स्मार्ट और हार्डवेयर-अनुकूल है। लेखक तर्क देते हैं कि पिछले तरीके ऐसे माली की तरह थे जो पेड़ के समग्र स्वास्थ्य को देखे बिना केवल बड़ी शाखाओं को काट देते थे। इससे अक्सर पेड़ ढह जाता है या गणित या कोडिंग जैसे जटिल कार्यों को करने की क्षमता खो देता है।

NIRVANA खेल बदल देता है क्योंकि यह एक अत्यधिक प्रशिक्षित वनस्पति विज्ञानी (botanist) की तरह कार्य करता है जो एक विशेष "विकास मानचित्र" (NTK) का उपयोग यह तय करने के लिए करता है कि क्या काटना है। यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. "विकास मानचित्र" (NTK-Guided Saliency)
केवल यह पूछने के बजाय कि, "क्या यह वेट बड़ा है?", NIRVANA पूछता है, "यदि मैं इसे काटता हूँ, तो पेड़ की सीखने की क्षमता में कितना बदलाव आएगा?" वे Neural Tangent Kernel से प्रेरित प्रथम-क्रम फलन-स्थान (first-order function-space) सलीइन्सी स्कोर का उपयोग करते हैं। सरल शब्दों में, यह मापता है कि मॉडल का एक विशिष्ट हिस्सा मॉडल के आउटपुट और नए कार्यों पर उसके भविष्य के फाइन-ट्यूनिंग (प्रशिक्षण) की क्षमता में कितना योगदान देता है।

उपमा: कल्पना कीजिए कि एक बैंड गाना बजा रहा है। कुछ वाद्य यंत्र तेज़ होते हैं, लेकिन यदि आप उन्हें म्यूट कर देते हैं, तो गाना ठीक लगता है। अन्य वाद्य यंत्र शांत हो सकते हैं, लेकिन यदि आप उन्हें म्यूट कर देते हैं, तो पूरा गाना बिखर जाता है। NIRVANA गाने (मॉडल का आउटपुट) और "शीट संगीत" (प्रशिक्षण गतिशीलता) दोनों को सुनता है ताकि उन वाद्य यंत्रों को ढूंढ सके जो वास्तव में आवश्यक हैं, न कि केवल सबसे तेज़।

2. केवल पत्तियां नहीं, बल्कि पूरी शाखाएं काटना (Structured Pruning)
कई पुराने तरीके मॉडल में बिखरे हुए व्यक्तिगत धागों (weights) को काटने की कोशिश करते हैं। यह एक पेड़ से हर पत्ते का छोटा-छोटा हिस्सा काटने जैसा है। यह पेड़ को हल्का तो बनाता है, लेकिन क्योंकि कट अव्यवस्थित होते हैं, कंप्यूटर हार्डवेयर (जो चीजों को साफ पंक्तियों में प्रोसेस करने के लिए बना है) इसे तेज़ नहीं चला पाता।
NIRVANA एक साथ पूरी "शाखाओं" को काटता है। एक AI मॉडल में, ये शाखाएं या तो अटेंशन हेड्स (Attention Heads) (जो मॉडल को महत्वपूर्ण शब्दों पर ध्यान केंद्रित करने में मदद करते हैं) या MLP न्यूरॉन्स (MLP Neurons) (जो मॉडल को तथ्य और तर्क संग्रहीत करने में मदद करते हैं) होती हैं। पूरी इकाइयों को हटाकर, मॉडल छोटा हो जाता है और मानक कंप्यूटरों पर काफी तेज़ी से चलता है।

3. सही संतुलन (Adaptive Sparsity)
यहाँ एक पेचीदा हिस्सा है: सभी शाखाएं एक जैसी नहीं होतीं। मॉडल के कुछ हिस्से (जैसे MLP न्यूरॉन्स) तथ्य संग्रहीत करने में माहिर होते हैं, जबकि अन्य (जैसे अटेंशन हेड्स) संदर्भ (context) को समझने में माहिर होते हैं। यदि आप एक प्रकार के बहुत अधिक हिस्से काट देते हैं, तो मॉडल एक विशिष्ट कौशल खो देता है।
NIRVANA एक विशेष फॉर्मूला का उपयोग करके सही अनुपात का पता लगाता है। यह यह तय करने के लिए $\gamma$ (गामा) नामक एक मान की गणना करता है कि "तथ्य-संग्रहण" वाले हिस्सों से कितना काटना है बनाम "फोकस" वाले हिस्सों से।

निष्कर्ष: पेपर सुझाव देता है कि उनके द्वारा परीक्षण किए गए मॉडल्स (जैसे Llama3.1-8B) के लिए, मॉडल को संतुलित रखने के लिए आपको अटेंशन हेड्स की तुलना में MLP न्यूरॉन्स से लगभग 3.36 गुना अधिक काटना चाहिए। यह कोई रैंडम अनुमान नहीं है; उन्होंने इसे गणितीय रूप से निकाला है और सिद्ध किया है कि यह समान रूप से सब कुछ काटने की तुलना में बेहतर काम करता है।

4. सही "टेस्ट प्रश्न" चुनना (KL-Divergence Data Selection)
यह जानने के लिए कि कौन सी शाखाएं काटनी हैं, माली को पेड़ का परीक्षण करने की आवश्यकता होती है। इसके लिए डेटा के एक छोटे सेट (कैलिब्रेशन डेटा) की आवश्यकता होती है। पिछले तरीके अक्सर परीक्षण के लिए रैंडम टेक्स्ट का उपयोग करते थे। लेखकों ने पाया कि प्रूनिंग के लिए परीक्षण डेटा की गुणवत्ता उसकी मात्रा से अधिक महत्वपूर्ण है।
उन्होंने KL डाइवर्जेंस (दो चीजों के बीच अंतर मापने का एक तरीका) को मापकर सबसे अच्छा परीक्षण डेटा चुनने के लिए एक विधि पेश की। वे विभिन्न छोटे टेक्स्ट बैचों का परीक्षण करते हैं और देखते हैं कि प्रूनिंग के दौरान मॉडल के आउटपुट में सबसे कम बदलाव किस कारण आता है।

परिणाम: उन्होंने पाया कि केवल 32 उदाहरण (128 टोकन की लंबाई के साथ) पर्याप्त हैं। आश्चर्यजनक रूप से, उन्होंने पाया कि "सबसे अच्छा" डेटा हमेशा सबसे सुसंगत या तथ्यात्मक रूप से सही टेक्स्ट नहीं था। कभी-कभी, अजीब या असंगत टेक्स्ट प्रूनिंग के लिए बेहतर काम करता है, जिससे पता चलता है कि डेटा में मानवीय धारणा की गुणवत्ता के बजाय सांख्यिकीय पैटर्न अधिक मायने रखते हैं।

उन्होंने क्या पाया (और क्या नहीं)

शोधकर्ताओं ने Llama3.1-8B, Llama3.2-3B, Qwen2.5, और T5 सहित कई प्रसिद्ध AI मॉडल्स पर NIRVANA का परीक्षण किया। उन्होंने इसकी तुलना LLM-Pruner, SliceGPT, और FLAP जैसे अन्य शीर्ष प्रूनिंग तरीकों से की।

अच्छी खबर:

बेहतर प्रदर्शन: समान स्तर के सिकुड़ने (sparsity) पर, NIRVANA ने गणित, कोडिंग और सामान्य ज्ञान के परीक्षणों पर लगातार उच्च स्कोर किया। उदाहरण के लिए, एक कोड-जेनरेशन टेस्ट (MBPP) पर, जहाँ अन्य तरीके 20% स्पर्सिटी पर शून्य के करीब पहुँच गए, NIRVANA ने 23.80 का स्कोर बनाए रखा, जो अगले सबसे अच्छे तरीके (जिसने 4.40 स्कोर किया) से कहीं बेहतर है।
तेज़ रिकवरी: जब उन्होंने LoRA नामक एक हल्के तरीके का उपयोग करके कटे हुए मॉडल्स को "री-ट्रेन" करने की कोशिश की, तो NIRVANA ने अन्य तरीकों की तुलना में अपने कौशल को बहुत तेज़ी से और बेहतर तरीके से प्राप्त किया। यह बताता है कि प्रूनिंग ने मॉडल की सीखने की क्षमता को बाधित नहीं किया।
वास्तविक गति: क्योंकि उन्होंने पूरी शाखाओं को काटा और सुनिश्चित किया कि शेष आकार 8 के गुणक (multiples) हों (जो कंप्यूटर चिप्स के तेज़ काम करने के लिए एक आवश्यकता है), NIRV एना ने वास्तव में मॉडल को तेज़ बनाया। एक मानक कंप्यूटर चिप (NVIDIA A100) पर, इसने उन अन्य तरीकों की तुलना में टेक्स्ट जेनरेट करने के समय (लेटेंसी) को काफी कम कर दिया जो केवल गणितीय ऑपरेशन्स को कम करते हैं लेकिन हार्डवेयर को तेज़ नहीं बनाते।

सीमाएँ:

उच्च स्पर्सिटी कठिन है: सभी प्रूनिंग विधियों की तरह, यदि आप बहुत अधिक काट देते हैं (जैसे 50% या उससे अधिक), तो मॉडल का प्रदर्शन गिर जाता है। पेपर स्वीकार करता है कि बहुत उच्च संपीड़न दरों पर, मॉडल को पूरी तरह से उबरने के लिए अधिक व्यापक री-ट्रेनिंग की आवश्यकता हो सकती है।
वन-शॉट बनाम इटरेटिव: NIRVANA एक "वन-शॉट" विधि है, जिसका अर्थ है कि यह कटाई एक बार में करता है। कुछ अन्य तरीके सबसे अच्छे कट खोजने के लिए घंटों के ट्रायल-एंड-एरर (इटरेटिव सर्च) का उपयोग करते हैं। जबकि NIRVANA बहुत तेज़ है (प्रून करने में 2 सेकंड से भी कम समय लेता है), पेपर नोट करता है कि इटरेटिव तरीके थोड़ा बेहतर कट पा सकते हैं यदि आपके पास दिनों तक प्रतीक्षा करने का समय हो, लेकिन NIRVANA गति और गुणवत्ता का सबसे अच्छा संतुलन प्रदान करता है।

यह क्यों मायने रखता है

पेपर सुझाव देता है कि NIRVANA AI को छोटा करने के लिए एक "सैद्धांतिक रूप से ठोस और व्यावहारिक दृष्टिकोण" प्रदान करता है। यह उस समस्या को हल करता है जहाँ मॉडल नियमित कंप्यूटरों के लिए बहुत बड़े हो जाते हैं, क्योंकि यह उन्हें इस तरह से काटता है जो उनके सीखने के तरीके का सम्मान करता है। "ग्रोथ मैप" (NTK) का उपयोग करके और कट को सावधानीपूर्वक संतुलित करके, यह AI को स्मार्ट और तेज़ बनाए रखता है बिना किसी विशाल कंप्यूटर वेयरहाउस के।

संक्षेप में, NIRVANA AI को छोटा करने का एक स्मार्ट तरीका है। यह केवल मॉडल को काटता नहीं है; यह इसे सावधानी से तराशता है ताकि AI स्वस्थ रहे, जल्दी सीख सके और हमारे पास मौजूद उपकरणों पर तेज़ी से चल सके।

तकनीकी सारांश: NIRVANA - लार्ज लैंग्वेज मॉडल संपीड़न के लिए पुनर्कल्पित स्ट्रक्चर्ड प्रूनिंग (Structured Pruning)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को उनके विशाल कम्प्यूटेशनल और मेमोरी संबंधी आवश्यकताओं के कारण व्यापक रूप से अपनाने में महत्वपूर्ण बाधाओं का सामना करना पड़ता है। जबकि प्रूनिंग (pruning) जैसी मॉडल संपीड़न तकनीकें एक समाधान प्रदान करती हैं, मौजूदा विधियाँ गंभीर सीमाओं से ग्रस्त हैं:

अनस्ट्रक्चर्ड प्रूनिंग (Unstructured Pruning): SparseGPT और Wanda जैसी विधियाँ लगभग लॉसलेस (lossless) सटीकता प्राप्त करती हैं, लेकिन अनियमित स्पर्सिटी पैटर्न के कारण वे हार्डवेयर एक्सेलेरेटर्स पर व्यावहारिक गति वृद्धि (speedups) देने में विफल रहती हैं।
सेमी-स्ट्रक्चर्ड प्रूनिंग (Semi-Structured Pruning): निश्चित पैटर्न (जैसे 2:4 ब्लॉक स्पर्सिटी) लागू करने वाले दृष्टिकोण सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के दौरान संघर्ष करते हैं क्योंकि ऑप्टिमाइज़र अपडेट पूर्वनिर्धारित संरचनाओं को बाधित कर देते हैं।
स्ट्रक्चर्ड प्रूनिंग (Structured Pruning): हार्डवेयर एक्सेलरेशन के लिए आशाजनक होने के बावजूद, वर्तमान विधियाँ (जैसे LLM-Pruner, FLAP) तीन मुख्य चुनौतियों का सामना करती हैं:
- अकुशल रिकवरी (Inefficient Recovery): वे लागतपूर्ण फाइन-ट्यूनिंग (जैसे LoRA) पर निर्भर करती हैं, जो प्रूनिंग निर्णयों को मॉडल की फाइन-ट्यूनिंग डायनेमिक्स के साथ स्पष्ट रूप से संरेखित करने में विफल रहती हैं, जिससे उप-इष्टतम (sub-optimal) रिकवरी होती है।
- समान उपचार (Uniform Treatment): वे सभी लेयर्स और मॉड्यूल्स (Attention बनाम MLP) में समान प्रूनिंग रेश्यो लागू करती हैं, जो उनके विशिष्ट कार्यात्मक भूमिकाओं को अनदेखा करता है और प्रदर्शन में गिरावट का कारण बनता है।
- कैलिब्रेशन संवेदनशीलता (Calibration Sensitivity): प्रूनिंग के परिणाम कैलिब्रेशन डेटा के चयन के प्रति अत्यधिक संवेदनशील होते हैं, जो एक ऐसा कारक है जिसे अक्सर अनदेखा या उप-इष्टतम तरीके से संभाला जाता है।

कार्यप्रणाली: NIRVANA

NIRVANA (NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning) एक हार्डवेयर-जागरूक, वन-शॉट स्ट्रक्चर्ड प्रूनिंग फ्रेमवर्क है जिसे ज़ीरो-शॉट प्रदर्शन और डाउनस्ट्रीम फाइन-ट्यूनिंग के लिए ऑप्टिमाइज़ेशन लैंडस्स्केप दोनों को संरक्षित करने के लिए डिज़ाइन किया गया है। इसमें चार मुख्य घटक शामिल हैं:

1. NTK-निर्देशित सैलिएंसी स्कोरिंग (वेट लेवल)

पारंपरिक लॉस-आधारित ह्यूरिस्टिक्स से हटकर, NIRVANA न्यूरल टेंगेंट कर्नेल (NTK) से प्रेरित फर्स्ट-ऑर्डर फंक्शन-स्पेस सैलिएंसी के माध्यम से स्ट्रक्चरल महत्व का मूल्यांकन करता है।

मैकेनिज्म: वेट $W_{i,j}$ के लिए सैलिएंसी स्कोर $S(W_{i,j}) = |\frac{\partial f(x; W)}{\partial W_{i,j}} \cdot W_{i,j}|$ के रूप में परिभाषित किया गया है। यह कैप्चर करता है कि एक वेट को हटाने का मॉडल आउटपुट पर तत्काल प्रभाव क्या होगा।
NTK कनेक्शन: यह विधि एडम ऑप्टिमाइज़ेशन (जिसे SignGD के रूप में अनुमानित किया गया है) के तहत NTK का विश्लेषण करके इस स्कोर को ट्रेनिंग डायनेमिक्स से जोड़ती है। लेखक सिद्ध करते हैं कि इस स्कोर के आधार पर प्रूनिंग करने से NTK स्थिरता सीमा (stability bound) सुरक्षित रहती है, जिससे यह सुनिश्चित होता है कि प्रून किया गया मॉडल फाइन-ट्यूनिंग के दौरान एक समान ऑप्टिमाइज़ेशन प्रक्षेपवक्र (trajectory) का पालन करता है। यह तत्काल आउटपुट स्थिरता और दीर्घकालिक प्रशिक्षण क्षमता (trainability) दोनों के संरक्षण को सैद्धांतिक रूप से न्यायसंगत बनाता है।

2. स्ट्रक्चर्ड ग्रुपिंग (न्यूरॉन/हेड लेवल)

हार्डवेयर एक्सेलरेशन सक्षम करने के लिए, वेट्स को स्ट्रक्चर्ड यूनिट्स में एकत्रित किया जाता है:

MLP: प्रत्येक हिडन यूनिट $u$ को एक समूह के रूप में माना जाता है जिसमें $W_{gate}$ और $W_{up}$ का $u$ -वाँ कॉलम, और $W_{down}$ का $u$ -वाँ रो शामिल है।
Attention: प्रत्येक अटेंशन हेड $a$ एक समूह है जिसमें $W_Q, W_K, W_V$ के सभी वेट्स और $W_O$ का संबंधित हिस्सा शामिल है।
प्रuning: यूनिट्स को उनके संचयी (cumulative) सैलिएंसी स्कोर द्वारा रैंक किया जाता है। जो यूनिट्स ग्लोबल थ्रेशोल्ड से नीचे गिरते हैं, उन्हें नेटवर्क की डिपेंडेंसी स्ट्रक्चर का सम्मान करते हुए हटा (zero out) दिया जाता है।

3. एडेप्टिव स्पर्सिटी एलोकेशन (मॉडल लेवल)

NIRVANA फिक्स्ड लोकल रेश्यो के बजाय एक ग्लोबल स्पर्सिटी रणनीति का उपयोग करता है।

ग्लोबल रैंकिंग: सभी लेयर्स और मॉड्यूल्स के सभी यूनिट्स को उनके सैलिएंसी स्कोर द्वारा संयुक्त रूप से रैंक किया जाता है।
एडेप्टिव रेश्यो ( $\gamma$ ): यह पहचानते हुए कि MLP लेयर्स और अटेंशन हेड्स के अलग-अलग स्ट्रक्चरल प्रभाव होते हैं, NIRVANA प्रूनिंग आक्रामकता को संतुलित करने के लिए एक पैरामीटर $\gamma$ पेश करता है। इष्टतम $\gamma$ को एक अटेंशन हेड को हटाने बनाम एक MLP न्यूरॉन को हटाने के अपेक्षित स्ट्रक्चरल प्रभाव को मात्रात्मक रूप से मापकर विश्लेषणात्मक रूप से प्राप्त किया जाता है, जिसमें पैरामीटर काउंट और आर्किटेक्चरल हाइपरपैरामीटर्स (जैसे, Llama3.1-8B में, $\gamma \approx 3.36$ ) को ध्यान में रखा जाता है।
हार्डवेयर अवेयरनेस: एक राउंडिंग स्टेप यह सुनिश्चित करता है कि सभी शेष डाइमेंशन्स 8 के गुणक हों ताकि GPU टेंसर कोर ऑप्टिमाइज़ेशन के साथ संरेखित किया जा सके, जिससे परफॉरमेंस में गिरावट को रोका जा सके।

4. KL-डाइवर्जेंस-संचालित कैलिब्रेशन डेटा चयन

रैंडम डेटा सैंपलिंग से होने वाली अस्थिरता को कम करने के लिए, NIRVANA एक लाइटवेट सिलेक्शन प्रक्रिया का उपयोग करता है:

मैकेनिज्म: एक डेटासेट से कई कैंडिडेट बैचों को सैंपल किया जाता है। मॉडल को प्रत्येक बैच के साथ प्रून किया जाता है, और एक फिक्स्ड होल्ड-आउट सेट पर ओरिजिनल मॉडल के आउटपुट और प्रून किए गए मॉडल के आउटपुट के बीच KL डाइवर्जेंस की गणना की जाती है।
सिलेक्शन: वह बैच जो न्यूनतम KL डाइवर्जेंस को कम करता है, उसे कैलिब्रेशन डेटा $C^*$ के रूप में चुना जाता है। यह सुनिश्चित करता है कि प्रूनिंग निर्णय मूल मॉडल के आउटपुट डिस्ट्रीब्यूशन को सुरक्षित रखते हैं।

मुख्य योगदान

NIRVANA फ्रेमवर्क: एक नवीन NTK-निर्देशित स्ट्रक्चर्ड प्रूनिंग विधि जो ज़ीरो-शॉट सटीकता और फाइन-ट्यूनिंग क्षमता दोनों को बनाए रखने के लिए प्रूनिंग निर्णयों को ट्रेनिंग डायनेमिक्स के साथ स्पष्ट रूप से जोड़ती है।
एडेप्टिव स्पर्सिटी एलोकेशन: एक रणनीति जो एनालिटिकली प्राप्त रेश्यो $\gamma$ का उपयोग करके लेयर्स और MLP/अटेंशन मॉड्यूल्स के बीच प्रूनिंग रेश्यो को गतिशील रूप से समायोजित करती है, जो यूनिफॉर्म अप्रोच द्वारा अनदेखी की गई असमानताओं को संबोधित करती है।
कैलिब्रेशन डेटा चयन: एक KL-डाइवर्जेंस-संचालित मैकेनिज्म जो इष्टतम कैलिब्रेशन सबसेट्स की पहचान करता है, जिससे प्रूनिंग क्वालिटी को डेटासेट के आकार से अलग (decouple) किया जाता है और मजबूती सुनिश्चित की जाती है।
हार्डवेयर-अवेयर डिज़ाइन: आधुनिक GPU पर व्यावहारिक इन्फरेंस स्पीडअप की गारंटी देने के लिए डाइमेंशन अलाइनमेंट का एकीकरण।

प्रयोगात्मक परिणाम

Llama3 (1-8B, 3.2-3B), Qwen2.5 (7B, 14B), और T5-base आर्किटेक्चर पर व्यापक मूल्यांकन किया गया।

ज़ीरो-शॉट प्रदर्शन: NIRVANA लगातार पर्फ़प्लेक्सिटी (WikiText, PTB, Lambada) और डाउनस्ट्रीम टास्क (ARC-e, WinoG, HellaS, SVAMP, MBPP) में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (LLM-Pruner, SliceGPT, FLAP, Tyr-the-Pruner) से बेहतर प्रदर्शन करता है। विशेष रूप से, 20% स्पर्सिटी पर, NIRVANA 23.80% Pass@1 प्राप्त करता है, जो सर्वश्रेष्ठ बेसलाइन (4.40%) से काफी बेहतर है।
फाइन-ट्यूनिंग रिकवरी: लाइटवेट LoRA फाइन-ट्यूनिंग के तहत, NIRVANA सभी स्पर्सिटी स्तरों में उच्चतम रिकवर की गई सटीकता प्राप्त करता है, जो इसके ऑप्टिमाइज़ेशन लैंडस्केप को संरक्षित करने की पुष्टि करता है।
क्षमता (Efficiency): उन बेसलाइन्स के विपरीत जो अनियमित लेटेंसी व्यवहार दिखाते हैं, NIRVANA स्पर्सिटी बढ़ने के साथ निरंतर लेटेंसी कमी और थ्रूपुट सुधार प्रदर्शित करता है, जिसका सीधा श्रेय इसके हार्डवेयर-अवेयर डाइमेंशन अलाइनमेंट को जाता है।
एब्लेशन स्टडीज (Ablation Studies): NTK-निर्देशित स्कोर, एडेप्टिव रेश्यो $\gamma$ , या KL-आधारित डेटा चयन को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है, जो प्रत्येक घटक की आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि NIRVANA LLM संपीड़न के लिए एक सैद्धांतिक रूप से सुदृढ़ और व्यावहारिक दृष्टिकोण प्रदान करता है। NTK डायनेमिक्स के साथ प्रूनिंग मानदंडों को संरेखित करके, यह ज़ीरो-शॉट सटीकता संरक्षण और दीर्घकालिक फाइन-ट्यूनिंग अनुकूलन क्षमता के बीच अनूठा संतुलन बनाता है। यह विधि बिना किसी व्यापक रिट्रेनिंग या मानक फाइन-ट्यूनिंग पाइपलाइनों में संशोधन के विविध बेंचमार्क पर नए स्टेट-ऑफ-द-आर्ट परिणाम स्थापित करती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण फाइन-ट्यूनिंग अलाइनमेंट, मॉड्यूल-विशिष्ट विशेषताओं और कैलिब्रेशन डेटा प्रभाव के संबंध में मौजूदा स्ट्रक्चर्ड प्रूनिंग विधियों के महत्वपूर्ण अंतराल को संबोधित करता है, जो संसाधन-बाधित हार्डवेयर पर कुशल LLMs को तैनात करने के लिए एक मजबूत समाधान प्रदान करता है।