💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

F-WANDA एक ऊर्जा-कुशल, वन-शॉट पोस्ट-ट्रेनिंग प्रूनिंग विधि है जो एम्पेरिकल फिशर इंफॉर्मेशन के आधार पर न्यूरॉन रिटेंशन बजट को पुनर्वितरित करके WANDA में सुधार करती है, जिससे SPARSEGPT की तुलना में काफी कम कम्प्यूटेशनल लागत के साथ बेहतर लैंग्वेज मॉडल प्रदर्शन प्राप्त होता है।

मूल लेखक: Himanshu Mishra (University of British Columbia)

प्रकाशित 2026-08-04

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Himanshu Mishra (University of British Columbia)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट है जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और मनुष्यों की तरह बातचीत कर सकता है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) है। लेकिन एक पेंच है: यह रोबोट बहुत बड़ा है। इसे चलाने के लिए विशाल कंप्यूटरों और बहुत अधिक बिजली की आवश्यकता होती है, ठीक वैसे ही जैसे एक शहर को चलाने के लिए एक ही बैटरी का उपयोग करने की कोशिश करना। वैज्ञानिक हमेशा इन रोबकों को छोटा करने के तरीके खोजते रहते हैं ताकि वे अपनी बुद्धिमत्ता खोए बिना छोटे उपकरणों पर चल सकें।

इन्हें छोटा करने का एक लोकप्रिय तरीका है जिसे "प्रूनिंग" (Pruning) कहा जाता है। प्रूनिंग को ऐसे समझें जैसे रोबोट का मस्तिष्क न्यूरॉन्स के बीच कनेक्शन का एक विशाल पुस्तकालय हो। प्रूनिंग उस पुस्तकालय में जाने और उन किताबों को फेंक देने जैसा है जो कम महत्वपूर्ण लगती हैं। लक्ष्य पुस्तकालय को इतना छोटा रखना है कि वह एक बैकपैक में फिट हो सके, लेकिन फिर भी सवाल पूछने के लिए पर्याप्त स्मार्ट बना रहे। हालाँकि, इसमें एक पेचीदा संतुलन है: यदि आप गलती से बहुत अधिक "महत्वपूर्ण" किताबें फेंक देते हैं, तो रोबोट गलतियाँ करने लगता है या रोबोटिक लगने लगता है। यदि आप इस बात में बहुत अधिक सावधान रहने की कोशिश करते हैं कि किन किताबों को रखना है, तो उन्हें छाँटने की प्रक्रिया में बहुत समय लग जाता है और आपकी सारी ऊर्जा खर्च हो जाती है। यह शोध पत्र ठीक इसी समस्या पर काम करता है: कैसे रोबोट की प्रतिभा को खोए बिना, किताबों को जल्दी और सस्ते में छाँटा जाए।

समस्या: "एक ही आकार सबके लिए" वाली गलती

शोधकर्ताओं ने एक लोकप्रिय विधि से शुरुआत की जिसे WANDA कहा जाता है। कल्पना कीजिए कि WANDA एक लाइब्रेरियन है जो यह तय करती है कि कौन सी किताबें फेंक दी जानी चाहिए। WANDA दो चीजों को देखती है: एक किताब कितनी "तेज़" है (उसका वेट/भार) और लोग उसे कितनी बार पढ़ते हैं (इनपुट एक्टिवेशन)। यदि कोई किताब शांत है और शायद ही कभी पढ़ी जाती है, तो Wकी WANDA उसे फेंक देती है।

समस्या यह है कि WANDA एक समान दृष्टिकोण अपनाती है। यह पुस्तकालय के हर शेल्फ (अलमारी) के साथ बिल्कुल एक जैसा व्यवहार करती है। वह निर्णय लेती है, "ठीक है, मैं हर शेल्फ से 50% किताबें फेंक दूँगी।" लेकिन समस्या यह है: कुछ शेल्फ रोबोट के सबसे महत्वपूर्ण तथ्यों (जैसे "पेरिस फ्रांस की राजधानी है") से भरे होते हैं, जबकि अन्य शेल्फ उबाऊ और दोहराव वाली चीजों से भरे होते हैं। केवल एक शेल्फ होने के कारण "पेरिस" वाले शेल्फ से 50% किताबें फेंक देने से, WANDA अनजाने में रोबोट का ज्ञान मिटा देती है।

एक अन्य विधि, जिसे SPARSEGPT कहा जाता है, बहुत अधिक सावधान रहने की कोशिश करती है। यह हर एक किताब को देखती है, गणना करती है कि यदि उसे हटा दिया गया तो रोबोट के मस्तिष्क को कितना दर्द होगा, और फिर शेष किताबों को ठीक करने के लिए उन्हें सावधानीपूर्वक संपादित करती है। यह रोबोट को स्मार्ट बनाए रखने के लिए बहुत अच्छा काम करता है, लेकिन यह पुस्तकालय को छाँटने के लिए पीएचडी विशेषज्ञों की एक टीम को काम पर रखने जैसा है। इसमें बहुत अधिक समय और ऊर्जा लगती है—इतनी कि अक्सर यह करना सार्थक नहीं होता।

समाधान: F-WANDA (स्मार्ट लाइब्रेरियन)

इस शोध पत्र के लेखक ने एक चतुर अपग्रेड पेश किया है जिसे F-WANDA कहा जाता है। उन्होंने महसूस किया कि केवल यह देखने के बजाय कि एक किताब कितनी तेज़ है, उन्हें यह भी पूछना चाहिए: "रोबोट का मस्तिष्क इस विशिष्ट शेल्फ के बारे में कितना परवाह करता है?"

यह जानने के लिए, F-WANDA एक अतिरिक्त त्वरित जाँच करता है। यह रोबोट के मस्तिष्क को एक छोटे परीक्षण (एक "बैकवर्ड पास") के माध्यम से चलाता है ताकि यह देखा जा सके कि कौन से शेल्फ वास्तव में रोबोट के उत्तरों को संचालित कर रहे हैं। यदि कोई शेल्फ सही उत्तर प्राप्त करने के लिए महत्वपूर्ण है, तो रोबोट का मस्तिष्क एक मजबूत संकेत (जिसे फिशर इंफॉर्मेशन कहा जाता है) दिखाएगा। यदि कोई शेल्फ केवल शोर (noise) है, तो संकेत कमजोर होगा।

यही जादू का मंत्र है: F-WANDA इस संकेत का उपयोग नियमों को बदलने के लिए करता है।

"पेरिस" शेल्फ पर (उच्च संकेत): रोबोट बहुत परवाह करता है। F-WANDA कहता है, "इन किताबों को 50% मत फेंको! केवल 20% फेंको। हमें अधिकांश को रखना चाहिए।"
"उबाऊ" शेल्फ पर (कम संकेत): रोबोट परवाह नहीं करता। F-WANDA कहता है, "जाओ, इन किताबों में से 80% फेंक दो। हमें इनकी ज़रूरत नहीं है।"

इस प्रकार, रोबोट अपने सबसे महत्वपूर्ण तथ्यों को सुरक्षित रखता है और फिर भी बहुत छोटा हो जाता है। और सबसे अच्छी बात? F-WANDA को रोबोट को फिर से प्रशिक्षित करने या किसी भी वेट (weights) को अपडेट करने की आवश्यकता नहीं है। यह बस एक त्वरित जाँच करता है और फिर प्रूनिंग शुरू कर देता है।

उन्होंने क्या पाया

टीम ने इसका परीक्षण LLAMA-2 पर किया, जो बड़े भाषा मॉडलों का एक प्रसिद्ध परिवार है (विशेष रूप से 7-बिलियन और 13-बिलियन पैरामीटर वाले संस्करण)। वे देखना चाहते थे कि क्या F-WANDA प्रतिस्पर्धा को हरा सकता है।

बुद्धिमत्ता: जब उन्होंने मॉडलों को 50% अनस्ट्रक्चर्ड स्पर्सिटी (यानी आधे कनेक्शन हटा दिए गए) तक काट दिया, तो F-WANDA ने मूल WANDA की तुलना में रोबोट को बहुत अधिक स्मार्ट बनाए रखा। MMLU (जो सामान्य ज्ञान को मापता है) नामक एक परीक्षण पर, F-WANDA ने 7B मॉडल पर 1.6 प्रतिशत अंक और 13B मॉडल पर 1.4 प्रतिशत अंक का सुधार किया। इसने अत्यधिक सावधानी बरतने वाले SPARSEGPT को भी पीछे छोड़ दिया।
प्रवाह (Fluency): रोबोट अभी भी स्वाभाविक लगा। WikiText-2 नामक एक परीक्षण पर, F-WANA को 7B मॉडल के लिए 6.85 का पर्प्लेक्सिटी स्कोर मिला, जो मूल WANDA के लगभग समान है। इसका मतलब है कि रोबोट रोबोटिक या भ्रमित नहीं हुआ।
ऊर्जा और गति: यहाँ F-WANDA वास्तव में चमकता है। अत्यधिक सावधानी बरतने वाला SPARSEGPT मॉडल को प्रून करने में बहुत समय और ऊर्जा लगी। F-WANDA बहुत तेज़ और सस्ता था। वास्तव में, F-WANDA ने SPARSEGPT द्वारा उपयोग की गई ऊर्जा और समय का केवल एक-तिहाई हिस्सा इस्तेमाल किया। इसने एक शक्तिशाली H100 GPU पर 7B मॉडल को प्रून करने में लगभग 12 मिनट का समय लिया और 4.3 kJ ऊर्जा का उपयोग किया, जबकि SPARSEGPT को 35 मिनट और 12.6 kJ लगे।

समझौते और सीमाएँ

लेखक सावधानी से यह बताते हैं कि F-WANDA हर स्थिति के लिए जादू की छड़ी नहीं है।

हार्डवेयर नियम: यदि कंप्यूटर चिप को कनेक्शन रखने और हटाने के एक सख्त पैटर्न (जैसे कि एक ब्लॉक में से ठीक 2 को रखना) की आवश्यकता होती है, तो F-WANDA अपना स्मार्ट बजट नहीं बना सकता। उन विशिष्ट मामलों में, यह मूल WANDA की तरह ही कार्य करता है।
मेमोरी: क्योंकि F-WANDA एक अतिरिक्त त्वरित जाँच करता है, इसलिए इसे काम करते समय अधिक कंप्यूटर मेमोरी (WANDA की तुलना में लगभग दोगुनी) की आवश्यकता होती है। बहुत बड़े मॉडलों (जैसे 70 बिलियन पैरामीटर) के लिए, इसे मेमोरी में फिट करने के लिए विशेष युक्तियों की आवश्यकता हो सकती है।
सामान्यीकरण (Generalization): उन्होंने केवल LLAMA-2 परिवार पर इसका परीक्षण किया है। उन्हें अभी तक यकीन नहीं है कि क्या यह अन्य प्रकार के रोबोट मस्तिष्क (जैसे LLaMA-3 या Mistral) पर भी इसी तरह काम करेगा, हालांकि उन्हें संदेह है कि ऐसा ही होगा।

यह क्यों महत्वपूर्ण है

बड़ी बात यह है कि F-WANDA "पारेटो फ्रंटियर" (Pareto frontier) पर स्थित है। यह एक फैंसी तरीका है यह कहने का कि यह सबसे अच्छा सौदा है जो आप प्राप्त कर सकते हैं: आपको उच्चतम गुणवत्ता (सबसे स्मार्ट रोबोट) मिलती है और सबसे कम लागत (सबसे कम ऊर्जा और समय) पर।

केवल एक त्वरित जाँच जोड़कर यह देखने के लिए कि कौन से हिस्से वास्तव में कड़ी मेहनत कर रहे हैं, शोधकर्ताओं ने ऊर्जा की भारी बचत की और रोबोट को स्मार्ट भी बनाया। यह एक याद दिलाता है कि कभी-कभी, पुस्तकालय को बेहतर बनाने के लिए आपको उसे फिर से बनाने की आवश्यकता नहीं होती; आपको बस इस बारे में अधिक स्मार्ट होने की आवश्यकता है कि आप किन किताबों को फेंक रहे हैं। यह इन शक्तिशाली AI मॉडलों को वास्तविक दुनिया में चलाना बहुत आसान और सस्ता बनाता है, जिससे AI को सभी के लिए अधिक टिकाऊ बनाने में मदद मिलती है।

तकनीकी सारांश: F-WANDA

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती तेजी से इन्फरेंस-साइड कंप्यूट और ऊर्जा लागतों द्वारा बाधित हो रही है। जबकि वन-शॉट पोस्ट-ट्रेनिंग प्रूनिंग एक ऊर्जा-बचत संपीड़न रणनीति प्रदान करती है जो रिट्रेनिंग या लेबल किए गए डेटा से बचती है, मौजूदा विधियाँ गुणवत्ता और कम्प्यूटेशनल लागत के बीच एक ट्रेड-ऑफ का सामना करती हैं।

WANDA (Sun et al., 2024) अत्यधिक कुशल है, जिसमें केवल एक फॉरवर्ड पास की आवश्यकता होती है, लेकिन यह आउटपुट न्यूरॉन्स के बीच स्पर्सिटी बजट को समान रूप से आवंटित करता है। यह एकरूपता इस तथ्य को ध्यान में रखने में विफल रहती है कि कुछ न्यूरॉन्स अत्यधिक तथ्यात्मक ज्ञान वहन करते हैं, जिससे ज्ञान-गहन कार्यों पर उप-इष्टतम प्रदर्शन होता है।
SPARSEGPT (Frantar and Alistarh, 2023) हेसियन इनवर्जन (Hessian inversion) और वेट अपडेट के साथ एक ऑप्टिमल ब्रेन सर्जन-शैली के कॉलम स्वीप को करके उच्च गुणवत्ता प्राप्त करता है। हालांकि, यह दृष्टिकोण कंप्यूट और ऊर्जा के मामले में एक क्रम अधिक महंगा है और कार्यान्वयन में नाजुक है।

पहचाना गया मुख्य बॉटलनेक WANDA की स्पर्सिटी बजट वितरित करते समय "ज्ञान-वहन करने वाले" न्यूरॉन्स (जो लगातार लॉस को संचालित करते हैं) और "आत्मविश्वासी" न्यूरॉन्स (लगभग शून्य ग्रेडिएंट वाले) के बीच अंतर करने में असमर्थता है।

कार्यप्रणाली: F-WANDA (Methodology: F-WANDA)
F-WANDA, WANDA में एक ड्रॉप-इन संशोधन पेश करता है जो किसी भी वेट को अपडेट किए बिना, प्री-एक्टिवेशन्स के एम्पीरिकल फिशर इंफॉर्मेशन (empirical Fisher information) के आधार पर प्रति-रो (per-row) स्पर्सिटी बजट को पुन: आवंटित करता है।

फिशर सिग्नल संग्रह (Fisher Signal Collection): यह विधि उसी कैलिब्रेशन कॉर्पस पर एक एकल अतिरिक्त बैकवर्ड पास करती है जिसका उपयोग WANDA द्वारा किया जाता है। प्रत्येक लेयर में प्रत्येक आउटपुट न्यूरॉन $i$ के लिए, यह प्री-एक्टिवेशन के सापेक्ष लॉस के माध्य वर्ग ग्रेडिएंट द्वारा परिभाषित एम्पीरिकल फिशर स्केलर $\bar{\omega}_i$ की गणना करती है:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
बजट पुन: आवंटन (Budget Reallocation): फिशर सिग्नल का उपयोग सीधे सैलिएंसी स्कोर को रीवेट करने के लिए करने के बजाय (जो WANDA के प्रति-रो टॉप- $k$ $k$ चयन के तहत डिजेनरेट हो जाएगा), F-WANDA प्रत्येक रो $i$ $i$ के लिए रखे जाने वाले वेट्स की संख्या ( $k_i$ $k_{i}$ ) निर्धारित करने के लिए $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ का उपयोग करता है।
- उच्च फिशर मान वाले न्यूरॉन्स (लॉस-सेंसिटिव) को एक बड़ा बजट मिलता है।
- कम फिशर मान वाले न्यूरॉन्स (सैचुरेटेड) को अधिक आक्रामक रूप से प्रून किया जाता है।
- आवंटन को ग्लोबल स्पर्सिटी टारगेट द्वारा सीमित किया जाता है और सटीक पूर्णांक गणना सुनिश्चित करने के लिए 'लार्जेस्ट-रेमेन्डर राउंडिंग' के साथ एक इटरेटिव वॉटर-फिलिंग एल्गोरिदम के माध्यम से लागू किया जाता है।
प्रूनिंग निष्पादन (Pruning Execution): प्रत्येक रो के लिए, एल्गोरिथ्म मूल WADA सैलिएंसी स्कोर ( $|W_{ij}| \cdot \|X_j\|^2$ ) के आधार पर शीर्ष $k_i$ वेट्स को रखता है और बाकी को ज़ीरो कर देता है।
कम्प्यूटेशनल दक्षता (Computational Efficiency): इस विधि के लिए कैलिब्रेशन सेट (2048 टोकन के 128 सीक्वेंस) पर एक फॉरवर्ड और एक बैकवर्ड पास की आवश्यकता होती है। यह लेयर-वाइज हेसियन इनवर्जन और वेट अपडेट से बचता है, जिसके परिणामस्वरूप इसकी एसिम्प्टोटिक लागत $O(N \cdot |\theta|)$ होती है, जो SPARSEGPT के $O(\sum d_{in}^3)$ से काफी कम है।

प्रमुख योगदान (Key Contributions)

एल्गोरिद्मिक नवाचार: WADA का एक संशोधन जो प्रति-रो स्पर्सिटी बजट को पुन: आवंटित करने के लिए एम्पीरिकल फिशर इंफॉर्मेशन का उपयोग करता है, जो वेट अपडेट या अतिरिक्त डेटा के बिना ज्ञान-गहन न्यूरॉन्स के संरक्षण में सुधार करता है।
कुशल कार्यान्वयन: एक सटीक बजट एलोकेटर जो फिशर सिग्नल को समायोजित करते हुए लेयर-वाइड स्पर्सिटी टारगेट को बनाए रखता है।
सस्टेनेबिलिटी अकाउंटिंग: प्रूनिंग लागत (वॉल-क्लॉक टाइम, पीक GPU मेमोरी, और kJ में ऊर्जा) का एक कठोर मूल्यांकन, जो प्रदर्शित करता है कि F-WANDA गुणवत्ता बनाम प्रूनिंग ऊर्जा के पारेटो फ्रंटियर (Pareto frontier) पर स्थित है।
प्रदर्शन लाभ: प्रवाह (fluency) बनाए रखते हुए ज्ञान-भारी बेंचमार्क पर सुधार दिखाने वाला अनुभवजन्य प्रमाण।

प्रायोगिक परिणाम (Experimental Results)
LLAMA-2-7B और LLAMA-2-13B पर 50% अनस्ट्रक्चर्ड स्पर्सिटी पर मूल्यांकन किया गया:

गुणवत्ता (Quality): F-WANDA प्रूनिंग विधियों में सबसे कम WikiText-2 परप्लेक्सिटी प्राप्त करता है (7B पर 6.85, 13B पर 5.93)। महत्वपूर्ण रूप से, यह WANDA की तुलना में 7B मॉडल पर MMLU सटीकता में +1.6 प्रतिशत अंक (pp) और 13B मॉडल पर +1.4 pp का सुधार करता है। यह 7B पर MMLU पर SPARSEGPT से भी +1.1 pp बेहतर है।
दक्षता (Efficiency): F-WANDA में SPARSEGPT की तुलना में केवल एक-तिहाई प्रूनिंग वॉल-क्लॉक समय और ऊर्जा लागत आती है। हालांकि इसमें WANDA की तुलना में लगभग 2.4× अधिक प्रूनिंग समय लगता है (बैकवर्ड पास के कारण), यह SPARSEGPT की तुलना में काफी सस्ता है।
इन्फरेंस (Inference): समान स्पर्सिटी पर मैच किए गए वेट डेंसिटी के कारण सभी विधियों में प्रति टोकन इन्फरेंस-टाइम ऊर्जा समान रहती है; बचत पूरी तरह से संपीड़न समय (compression time) पर की जाती है।
एब्लेशन (Ablations): यह विधि कैलिब्रेशन सेट के आकार के प्रति मजबूत है (N=128 के ऊपर स्थिर)। एम्पीरिकल फिशर को स्क्वेर्ड मीन ग्रेडिएंट से बदलने पर प्रदर्शन WANDA के स्तर पर गिर जाता है, जो वेरिएंस-आधारित फिशर सिग्नल की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि F-WANDA प्रूनिंग गुणवत्ता और लागत के बीच के ट्रेड-ऑफ को हल करता है। लॉस-सेंसिटिव न्यूरॉन्स की पहचान करने के लिए एक सिंगल बैकवर्ड पास का लाभ उठाकर, यह WANDA के यूनिफॉर्म बजट को फिशर-इन्फॉर्म्ड एलोकेशन में बदल देता है। यह निम्नलिखित की अनुमति देता है:

बेहतर ज्ञान प्रतिधारण (Superior Knowledge Retention): बिना फाइन-ट्यूनिंग के MMLU पर महत्वपूर्ण लाभ।
सतत संपीड़न (Sustainable Compression): एक प्रूनिंग प्रक्रिया जो SPARSEGPT जैसे हेसियन-आधारित तरीकों की तुलना में काफी अधिक ऊर्जा-कुशल है, जो विधि को टिकाऊ LLM परिनियोजन के लिए पारेटो फ्रंटियर पर रखती है।
पद्धतिगत स्पष्टता (Methodological Clarity): पेपर इस बात पर जोर देता है कि फिशर इंफॉर्मेशन को कैसे लागू किया जाना चाहिए: एक बजट सिग्ल के रूप में न कि एक वेट-लेवल सैलिएंसी मॉडिफायर के रूप में, जो सिंगल पास में WADA के साथ इसके संयोजन को सुलभ बनाता है।

लेखक सीमाओं को नोट करते हैं, विशेष रूप से यह कि सख्त हार्डवेयर-फिक्स्ड N:M स्पर्सिटी (जैसे 2:4) के तहत यह मानक WADA में बदल जाता है क्योंकि प्रति-ब्लॉक डेंसिटी बाधाएं प्रति-रो बजट पुन: आवंटन को रोकती हैं। इसके अतिरिक्त, मूल्यांकन वर्तमान में LLAMA-2 परिवार तक सीमित है, और अन्य आर्किटेक्चर या एक्टिवेशन फंक्शन्स के लिए इसकी सामान्यीकरण क्षमता एक खुला प्रश्न है।

समस्या: "एक ही आकार सबके लिए" वाली गलती

समाधान: F-WANDA (स्मार्ट लाइब्रेरियन)

उन्होंने क्या पाया

समझौते और सीमाएँ

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर