💬 NLP

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

यह शोध पत्र Super और Supra का प्रस्ताव करता है, जो स्पार्स पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विधियाँ हैं जो निश्चित परिवर्तनीय मापदंडों (trainable parameters) को चुनने के लिए एक्टिवेशन-अवेयर प्रूनिंग सिग्नल्स का लाभ उठाते हैं, यह प्रदर्शित करते हुए कि इन स्पार्स सपोर्ट्स को LoRA जैसे लो-रैंक एडेप्टर्स के साथ संयोजित करने से मौजूदा कॉन्फ़िगरेशन की तुलना में लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करने में बेहतर सटीकता प्राप्त होती है।

मूल लेखक: Ivan Ilin, Philip Zmushko, Peter Richtárik

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivan Ilin, Philip Zmushko, Peter Richtárik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो लगभग सब कुछ जानता है। लेकिन यह इतना बड़ा और भारी है कि आप इसे गणित की समस्याएं हल करने जैसा नया हुनर सिखाने के लिए अपने साथ कहीं ले जा नहीं सकते। आमतौर पर, इसे कुछ नया सिखाने के लिए, आपको इसके अरबों छोटे-छोटे गियरों में से हर एक को बदलना पड़ेगा। इसमें बहुत समय लगता है, बिजली का भारी खर्च होता है, और इसके लिए एक छोटे घर के आकार के कंप्यूटर की आवश्यकता होती है।

यहाँ आता है सुपर-ट्यूनिंग (Super-Tuning), इन विशाल दिमागों को सिखाने का एक नया तरीका जो उन्हें एक "सलेजहैमर" (भारी हथौड़े) के बजाय एक "स्पॉटलाइट" देने जैसा है।

समस्या: सब कुछ ठीक क्यों न कर दें?

रोबोट के दिमाग को अरबों किताबों वाली एक विशाल लाइब्रेरी की तरह समझें। यदि आप इसे गणित का एक नया तरीका सिखाना चाहते हैं, तो पुराना तरीका (फुल फाइन-ट्यूनिंग) लाइब्रेरी की हर एक किताब को फिर से लिखने जैसा है। यह थकाऊ और महंगा है।

समय बचाने के लिए, वैज्ञानिकों ने PEFT (पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग) का आविष्कार किया। यह ऐसा है जैसे कहना, "आइए पूरी लाइब्रेरी को फिर से लिखने के बजाय केवल कुछ पन्नों पर कुछ स्टिकी नोट्स लिख देते हैं।" सबसे प्रसिद्ध स्टिकी-नोट तरीका LoRA है, जो किताबों में नोट्स की एक छोटी, लचीली परत जोड़ता है। यह अच्छा काम करता है, लेकिन इस शोध पत्र के लेखकों ने सोचा: क्या हम यह तय करके और भी बेहतर कर सकते हैं कि किन पन्नों पर स्टिकी नोट्स लगाए जाएं?

बड़ा विचार: "स्पॉटलाइट" रणनीति

लेखक, इवान, फिलिप और पीटर ने एक चतुर प्रश्न पूछा: "क्या होगा यदि हम उन्हीं संकेतों का उपयोग करें जो हमें बताते हैं कि मस्तिष्क के कौन से हिस्से बेकार (प्रूनिंग/छंटाई) हैं, यह पता लगाने के लिए कि कौन से हिस्से ट्यून करने के लिए सबसे उपयोगी हैं?"

उन्होंने दो नई विधियाँ प्रस्तावित कीं: Super और Supra।

1. Super: "शांत कोने" की रणनीति

कल्पना कीजिए कि आप लाइब्रेरी में घूमते हैं और देखते हैं कि प्रत्येक पुस्तक पर कितनी धूल जमी है और लोग उसे कितनी बार छूते हैं।

पुराना तरीका (प्रूनिंग): आमतौर पर, लोग उन धूल भरी, कम छुई जाने वाली किताबों को फेंक देते हैं क्योंकि वे सोचते हैं कि वे किताबें मायने नहीं रखतीं।
Super का तरीका: लेखकों ने महसूस किया कि शायद वे धूल भरी, कम छुई जाने वाली किताबें ही नए गणित के नोट्स लिखने के लिए सबसे उपयुक्त जगह हैं! क्यों? क्योंकि जिस किताब को कोई नहीं पढ़ता उसे बदलने से लाइब्रेरी की मुख्य कहानी नहीं टूटेगी, लेकिन यह एक नया गणित का तरीका जोड़ने के लिए एक आदर्श स्थान हो सकता है।

उन्होंने एक विशेष "धूल-मीटर" (जिसे Wanda score कहा जाता है) का उपयोग किया जो दो चीजों को देखता है:

पुस्तक कितनी "भारी" है (उसका वजन)।
हवा के झोंके से वह कितनी हिलती है (एक त्वरित परीक्षण रन से सक्रियण/एक्टिवेशन)।

सबसे सक्रिय किताबों को चुनने के बजाय, Super सबसे शांत किताबों ( "BottomK" या सबसे कम स्कोर वाली) को चुनता है जिन्हें ही सीखने की अनुमति दी जाती है। यह ऐसा है जैसे कहना, "आइए केवल लाइब्रेरी के सबसे शांत, धूल भरे पन्नों को ही नए स्टिकी नोट्स लगाने की अनुमति दें।"

परिणाम: उनके गणित परीक्षणों में, यह "शांत कोने" की रणनीति आश्चर्यजनक रूप से अच्छी रही। 1-बिलियन-पैरामीटर वाले मॉडल पर, इसने 55.46% की औसत सटीकता प्राप्त की, जो यादृच्छिक (रैंडम) पन्ने चुनने से बेहतर थी, हालांकि यह मानक LoRA पद्धति (जिसने 61.07% हासिल किया था) से थोड़ी कम थी।

2. Supra: "हाइब्रिड" पावर-अप

लेखकों ने फिर पूछा, "क्या होगा यदि हम 'शांत कोने' की रणनीति को मानक 'स्टिकी नोट्स' (LoRA) के साथ मिला दें?"

मिलिए Supra से। कल्पना कीजिए कि आपके पास 5.6 मिलियन "लर्निंग टोकन" (छोटे मॉडल के लिए) या 21.0 मिलियन (बड़े वाले के लिए) का बजट है।

Supra इस बजट को विभाजित करता है। यह कुछ टोकन का उपयोग "शांत, धूल भरे पन्नों" को ट्यून करने के लिए करता है (Super वाला हिस्सा) और बाकी को लचीले "स्टिकी नोट्स" (LoRA वाला हिस्सा) जोड़ने के लिए उपयोग करता है।
उन्होंने विभिन्न विभाजनों का परीक्षण किया। छोटे मॉडल के लिए, सबसे अच्छा मिश्रण 80% बजट "शांत पन्नों" पर और 20% "स्टिकी नोट्स" पर था। यह संयोजन (Supra) 62.23% की औसत सटीकता तक पहुँचा, जिसने मानक Loora पद्धति को 1.16 प्रतिशत अंक से पीछे छोड़ दिया।

बड़े 8-बिलियन-पैरामीटर वाले मॉडल के लिए, परिणाम थोड़े अलग थे। सबसे अच्छा प्रदर्शन करने वाला संस्करण वास्तव में एक ऐसा संस्करण था जो केवल साधारण वजन के आकार (धूल मीटर को अनदेखा करते हुए) के आधार पर "शांत पन्नों" का उपयोग करता था, जिसने 79.12% सटीकता हासिल की। यह सुझाव देता है कि बड़े मॉडलों के लिए, केवल "हल्के" पन्नों को चुनना ही पर्याप्त हो सकता है, और जटिल "धूल मीटर" जोड़ने से हमेशा मदद नहीं मिलती है।

उन्होंने क्या खारिज किया ( "नो-गो" ज़ोन)

शोध पत्र बहुत सावधानी से यह स्पष्ट करता है कि वह क्या दावा नहीं करता है:

यह जादू नहीं है: वे स्पष्ट रूप रूप से कहते हैं कि उनकी विधि कोई ऐसी "ब्रेकथ्रू" नहीं है जो सब कुछ हल कर दे। यह केवल यह चुनने का एक नया तरीका है कि किन गियर्स को घुमाना है।
"टॉप" चयन नहीं: उन्होंने सबसे सक्रिय पन्नों (TopK) को चुनने की कोशिश की, लेकिन यह आमतौर पर शांत पन्नों (BottomK) को चुनने की तुलना में खराब प्रदर्शन करता था। इसलिए, यह विचार कि "सबसे शोर मचाने वाली किताबें बदलने के लिए सबसे अच्छी हैं," उनके प्रयोगों में खारिज कर दिया गया।
"डायनामिक" बदलाव नहीं: उनकी विधि प्रशिक्षण शुरू होने से पहले पन्नों को एक बार चुन लेती है और फिर कभी उन्हें नहीं बदलती। वे स्वीकार करते हैं कि एक ऐसी विधि जो सीखते समय अपना मन बदल सकती है और अलग-अलग पन्ने चुन सकती है, वह बेहतर हो सकती है, लेकिन उन्होंने उसका परीक्षण नहीं किया।
कोई गारंटी नहीं: उनके परिणाम एक ही "सीड" (एक विशिष्ट रैंडम शुरुआत) पर आधारित हैं। लेखक सुझाव देते हैं कि परिणाम आशाजनक हैं लेकिन वे स्वीकार करते हैं कि उन्होंने यह साबित नहीं किया है कि यह हर संभव परिदृश्य में 100% काम करता है।

वे कितने आश्वस्त हैं?

लेखक संयमित और सतर्क हैं। वे कहते हैं कि उनके परिणाम "सुझाव देते हैं" कि सरल, प्रूनिंग-प्रेरित विचार अच्छी तरह काम कर सकते हैं। वे यह दावा नहीं करते कि उन्होंने फाइन-ट्यूनिंग की समस्या को "हल" कर दिया है।

उन्होंने सिद्ध (मापा) किया कि विशिष्ट गणित परीक्षणों (जैसे Math17K) पर, उनकी हाइब्रिड विधि (Supra) ने 1B मॉडल के लिए परीक्षण किए गए सेटअपों में उच्चतम औसत सटीकता प्राप्त की।
उन्होंने मापा कि 8B मॉडल के लिए, एक सरल "मैग्निट्यूड-ओनली" दृष्टिकोण (केवल वजन के आकार को देखना) उनके अधिक जटिल "धूल मीटर" दृष्टिकोण के समान ही अच्छा था।
उन्होंने दक्षता का अनुकरण (सिमुलेशन) किया और पाया कि जबकि उनकी विधि "चेकपॉइंट साइज" (स्टिकी नोट्स का आकार) बचाने में बचत करती है, यह जरूरी नहीं कि वर्तमान कंप्यूटरों पर प्रशिक्षण को तेज़ बना दे क्योंकि कंप्यूटर को बैकग्राउंड में अभी भी कुछ भारी काम करना पड़ता है।

निष्कर्ष

Super-Tuning को एक चतुर लाइब्रेरियन के रूप में देखें जिसे यह एहसास होता है कि एक विशाल दिमाग को नया गणित सिखाने के लिए, आपको पूरी लाइब्रेरी पर चिल्लाने की जरूरत नहीं है। आपको बस सबसे शांत, धूल भरे कोनों में फुसफुसाने की जरूरत है। कभी-कभी, इस फुसफुसाहट को कुछ मानक स्टिकी नोट्स के साथ मिलाने से (Supra) सबसे अच्छे परिणाम मिलते हैं।

यह एक सरल, सस्ता तरीका है जो सुझाव देता है कि शायद हम गलत हिस्सों को देख रहे थे। लेकिन, जैसा कि लेखक चेतावनी देते हैं, यह तो बस शुरुआत है, और हमें यह सुनिश्चित करने के लिए इसे और अधिक परीक्षण करने की आवश्यकता है कि यह हर जगह काम करता है।

तकनीकी सारांश: सुपर-ट्यूनिंग: एक्टिवेशन-अवेयर प्रूनिंग से स्पार्स फाइन-ट्यूनिंग तक

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए मेमोरी, कंप्यूट और स्टोरेज आवश्यकताओं के कारण वे अत्यधिक कम्प्यूटेशनल रूप से महंगे होते हैं। जबकि LoRA (लो-रैंक अडैप्टेशन) जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तरीकों ने केवल एक छोटे से अंश के पैरामीटर्स को अपडेट करके इन लागतों को कम किया है, ऐसी विधियों की आवश्यकता है जो अनुकूलन रणनीतियों को और अधिक अनुकूलित कर सकें। विशेष रूप से, यह शोध पत्र जांच करता है कि क्या प्रूनिंग (उन वेट्स को पहचानने के लिए जिन्हें हटाना है) के लिए विकसित की गई सैलिएंसी सिग्नल्स (saliency signals) का उपयोग फाइन-ट्यूनिंग के दौरान मॉडल को यह पहचानने के लिए किया जा सकता है कि उसे कहाँ अनुकूलित होना चाहिए। लक्ष्य यह निर्धारित करना है कि क्या सरल, ट्रेनिंग-फ्री ऑर्डरिंग मेट्रिक्स, लो-रैंक एडेप्टर्स के साथ संयोजन में, PEFT के लिए प्रभावी फिक्स्ड स्पार्स सपोर्ट प्रदान कर सकते हैं।

कार्यप्रणाली

यह शोध पत्र दो प्राथमिक विधियों को पेश करता है: Super और Supra।

1. Super: एक्टिवेशन-अवेयर ऑर्डरिंग के माध्यम से स्पार्स फाइन-ट्यूनिंग

Super एक स्पार्स PEFT विधि है जो वेट्स के एक छोटे, फिक्स्ड सबसेट को अपडेट करने के लिए चुनती है, जिसमें वेट सिलेक्शन के लिए ग्रेडिएंट गणना या अतिरिक्त ट्रेनिंग चरणों की आवश्यकता नहीं होती है।

स्कोर मेट्रिक: यह एक Wanda-स्टाइल एक्टिवेशन-वेटेड मैग्नीट्यूड स्कोर का उपयोग करता है। एक वेट $W_{ij}$ के लिए, स्कोर $A_{ij} = |W_{ij}| \cdot \|X_{j:}\|_2$ के रूप में गणना किया जाता है, जहाँ $X_{j:}$ संबंधित कॉलम के लिए इनपुट एक्टिवेशन वेक्टर है, जिसे एक छोटे डेटासेट (जैसे C4) के माध्यम से एक सिंगल कैलिब्रेशन पास से प्राप्त किया गया है।
सिलेक्शन स्ट्रैटेजी: यह विधि प्रत्येक लेयर के भीतर इन स्कोर्स को फ्लैटन करती है और एक लक्षित पैरामीटर बजट के आधार पर एक फिक्स्ड स्पार्स सपोर्ट चुनती है। पेपर दो रेजिम्स की खोज करता है:
- TopK: उच्चतम स्कोर वाले वेट्स का चयन करना।
- BottomK: निम्नतम स्कोर वाले वेट्स का चयन करना।
ट्रेनिंग: एक बार मास्क जेनरेट हो जाने के बाद, केवल चयनित वेट्स को ही अपडेट किया जाता है (जिन्हें जीरो डेल्टा के रूप में इनिशियलाइज़ किया जाता है), जबकि शेष मॉडल फ्रीज रहता है।
बेसलाइन: लेखक एक PaFi-स्टाइल मैग्नीट्यूड-ओनली बेसलाइन (एक्टिवेशन वेटिंग के बिना $|W_{ij}|$ का उपयोग करके) को भी लागू करते हैं ताकि प्रीट्रेन मैग्नीट्यूड प्रायर से एक्टिवेशन वेटिंग के प्रभाव को अलग किया जा सके।

2. Supra: हाइब्रिड स्पार्स और लो-रैंक अडैप्टेशन

Supra एक हाइब्रिड स्ट्रैटेजी है जो Super के स्पार्स अपडेट्स को LoRA के साथ जोड़ती है।

आर्किटेक्चर: अनुकूलित वेट मैट्रिक्स को $\tilde{W} = W + (M \odot U) + \gamma LR$ के रूप में परिभाषित किया गया है, जहाँ $M \odot U$ एक फिक्स्ड सपोर्ट $M$ पर स्पार्स अपडेट को दर्शाता है, और $LR$ लो-रैंक LoRA अपडेट को दर्शाता है।
बजट एलोकेशन: यह विधि एक सख्त, मैचड ट्रेन करने योग्य-पैरामीटर बजट के तहत काम करती है। बजट का एक हिस्सा $\lambda$ लो-रैंक कंपोनेंट को आवंटित किया जाता है, और शेष हिस्सा स्पार्स कंपोनेंट को।
रैंक कन्वर्जन: एक सरल, पारदर्शी नियम बजट फ्रैक्शन $\lambda$ को प्रत्येक लेयर के लिए LoRA रैंक $r_i$ में बदल देता है: $r_i = \lfloor \lambda T_i / (c_i + b_i) \rfloor$ , जहाँ $T_i$ लेयर का बजट है। यह एडेप्टिव या लर्नड रैंक एलोकेशन से बचता है।

मुख्य योगदान

Super: एक स्पार्स फाइन-ट्यूनिंग विधि जो एक ट्रेनिंग-फ्री, एक्टिवेशन-वेटेड मैग्नीट्यूड स्कोर (Wanda-स्टाइल) के माध्यम से चुने गए वेट्स के एक छोटे सेट को अपडेट करती है। यह प्रदर्शित करता है कि ऐसे स्कोर बिना ग्रेडिएंट स्टैटिस्टिक्स के उपयोगी फिक्स्ड स्पार्स सपोर्ट को परिभाषित कर सकते हैं।
Supra: एक हाइब्रिड PEFT स्ट्रैटेजी जो एक स्पष्ट, मैचड स्केलर-पैरामीटर बजट के तहत Wanda-सिलेक्टेड स्पार्स अपडेट्स को LoRA के साथ एकीकृत करती है।
बजट-मैच्ड इवैल्यूएशन: लेखक स्पार्स, लो-रैंक और हाइब्रिड विधियों की निष्पक्ष तुलना करने के लिए एक पारदर्शी बजट-कन्वर्जन नियम पेश करते हैं, जिससे यह सुनिश्चित होता है कि वे समान संख्या में ट्रेन करने योग्य स्केलर पैरामीटर्स का उपयोग करते हैं।
एम्पिरिकल वैलिडेशन: पेपर Llama-3.2-1B और Meta-Llama-3-8B का उपयोग करके अरिथमेटिक रीजनिंग टास्क पर प्रदर्शन का मूल्यांकन करने के लिए LoRA, SIFT, RoSA और रैंडम स्पार्स सपोर्ट के विरुद्ध इन विधियों का मूल्यांकन करता है।

प्रयोगात्मक परिणाम

प्रयोग Math17K डेटासेट पर किए गए थे, जिसमें $r_0 = 8$ के रैंक-इक्विवेलेंट बजट के तहत छह अरिथमेटिक बेंचमार्क्स (AddSub, MultiArith, SingleEq, GSM8K, AQuA, SVAMP) पर प्रदर्शन का मूल्यांकन किया गया।

Llama-3.2-1B (1B मॉडल):
- सबसे अच्छा प्रदर्शन करने वाला कॉन्फ़िगरेशन Supra (BottomK, $\lambda=0.8$ ) था, जिसने 62.23% की औसत सटीकता प्राप्त की।
- इसने सबसे मजबूत बाहरी बेसलाइन, LoRA (61.07%) को 1.16 प्रतिशत अंक से पीछे छोड़ दिया।
- स्पार्स-ओनली Super (BottomK) ने 55.46% प्राप्त किया, जो LoRA से कम लेकिन TopK वेरिएंट्स से बेहतर था।
Meta-Llama-3-8B (8B मॉडल):
- सबसे अच्छा परिणाम Supra-Mag (BottomK, $\lambda=0.3$ ) द्वारा प्राप्त किया गया, जो मैग्नीट्यूड-ओनली सिलेक्शन का उपयोग करता है, जिसने 79.12% औसत सटीकता प्राप्त की।
- यह लगभग मैग्नीट्यूड-ओनली स्पार्स बेसलाइन (79.02%) के बराबर था और इसने SIFT (RandK) और LoRA जैसे मजबूत बाहरी बेसलाइन को पछाड़ दिया।
- उल्लेखनीय रूप से, 8B मॉडल पर, मैग्नीट्यूड-ओनली अप्रोच (PaFi-स्टाइल) अत्यधिक प्रभावी साबित हुई, जो यह सुझाव देती है कि लो-स्कोर प्रीट्रेनड-वेट सपोर्ट इस विशिष्ट सेटिंग में एक्टिवेशन वेटिंग के बिना भी मजबूत होते हैं।
दक्षता (Efficiency): इम्प्लीमेंटेशन-लेवल माप दर्शाते हैं कि जबकि स्पार्स विधियां चेकपॉइंट साइज और ऑप्टिमाइज़र स्टेट स्टोरेज को कम करती हैं, वे मैट्रिक्स मल्टीप्लीकेशन और चयनित एंट्रीज के लिए ग्रेडिएंट गणना की डेंस प्रकृति के कारण वर्तमान कार्यान्वयन में वॉल-क्लॉक स्पीडअप (wall-clock speedups) नहीं देती हैं। हालांकि, वे महत्वपूर्ण स्टोरेज बचत प्रदान करती हैं।

महत्व और दावे

पेपर का दावा है कि सरल, प्रूनिंग-प्रेरित ऑर्डरिंग उपयोगी फिक्स्ड स्पार्स सपोर्ट प्रदान कर सकती है, विशेष रूप से जब उन्हें लो-रैंक एडेप्टर्स के साथ जोड़ा जाता है।

प्रूनिंग सिग्नल्स का पुनरुत्पादन: यह कार्य प्रदर्शित करता है कि वेट्स को हटाने (जैसे Wanda) के लिए डिज़ाइन किए गए सैलिएंसी मेट्रिक्स, अनुकूलन के लिए वेट्स को प्रभावी ढंग से पहचानने के लिए भी उपयोगी हो सकते हैं, विशेष रूप से जब निम्नतम-स्कोर (BottomK) वाले वेट्स को चुना जाता है।
पूरकता (Complementarity): परिणाम बताते हैं कि स्पार्स और लो-रैंक अडैप्टेशन एक-दूसरे के पूरक हैं। एक सस्ता कैलिब्रेशन पास के माध्यम से चुने गए फिक्स्ड स्पार्स सपोर्ट को LoRA के साथ मिलाने से समान पैरामीटर बजट के तहत मानक PEFT बेसलाइन के बराबर या उससे बेहतर प्रदर्शन प्राप्त किया जा सकता है।
ट्रेनिंग-फ्री सिलेक्शन: हाइलाइट किया गया एक प्रमुख लाभ यह है कि इन विधियों को मास्क निर्धारित करने के लिए ग्रेडिएंट गणना या कई ट्रेनिंग चरणों की आवश्यकता नहीं होती है, बल्कि वे एक सिंगल कैलिब्रेशन पास या प्रीट्रेन वेट मैग्नीट्यूड पर निर्भर करती हैं।

लेखक एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि परिणाम सिंगल-सीड प्रयोगों और विशिष्ट अरिथमेटिक रीजनिंग टास्क पर आधारित हैं। वे स्वीकार करते हैं कि "BottomK" प्राथमिकता उनके सेटिंग में एक एम्पिरिकल खोज है न कि एक सार्वभौमिक नियम, और वर्तमान कार्यान्वयन की दक्षता लाभ मुख्य रूप से रनटाइम के बजाय स्टोरेज में है।