🤖 machine learning

MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on LLMs

MaskPro एक नवीन रैखिक-स्थान (linear-space) संभाव्य ढांचे (probabilistic framework) को प्रस्तुत करता है जो बिना प्रतिस्थापन के N-वे सैंपलिंग (N-way sampling without replacement) के माध्यम से बड़े भाषा मॉडलों में (N:M)-विरलता (sparsity) को कुशलतापूर्वक उत्पन्न करने के लिए श्रेणीगत वितरणों (categorical distributions) को सीखता है, जबकि प्रशिक्षण को स्थिर करने और मौजूदा ग्रीडी (greedy) या ग्रेडिएंट-संचालित विधियों की तुलना में बेहतर मेमोरी दक्षता और मजबूती प्राप्त करने के लिए लॉस रेसिडुअल्स (loss residuals) के मूविंग एवरेज का उपयोग करता है।

मूल लेखक: Yan Sun, Qixin Zhang, Zhiyuan Yu, Xikun Zhang, Li Shen, Dacheng Tao

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yan Sun, Qixin Zhang, Zhiyuan Yu, Xikun Zhang, Li Shen, Dacheng Tao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल) जिसमें अरबों पुस्तकें (पैरामीटर्स) हैं। इस पुस्तकालय को ले जाने में आसान और जल्दी पढ़ने योग्य बनाने के लिए, आप कुछ पुस्तकें फेंकना चाहते हैं। हालाँकि, आप मनमाने ढंग से पुस्तकें नहीं फेंक सकते; आपको एक सख्त नियम का पालन करना होगा: प्रत्येक 4 पुस्तकों के समूह के लिए, आपको ठीक 2 को रखना होगा और अन्य 2 को फेंक देना होगा। यही वह नियम है जिसे पेपर (N:M) स्पर्सिटी (sparsity) (विशेष रूप से 2:4) कहता है।

चुनौती यह figuring out करने की है कि हर समूह के 4 में से किन 2 पुस्तकों को रखा जाए ताकि पुस्तकालय अभी भी बेहतरीन कहानियाँ सुनाता रहे। यदि आप गलत किताबें चुनते हैं, तो पुस्तकालय का अर्थ समझ से बाहर हो जाएगा।

यहाँ कैसे MaskPro इस समस्या को हल करता है, इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:

1. समस्या: "बहुत अधिक विकल्पों" का दुःस्वप्न

लोग इससे पहले दो तरीकों से इसे हल करने की कोशिश कर चुके हैं, और दोनों में बड़ी खामियां हैं:

"नियम पुस्तिका" (The "Rulebook" Method) विधि: यह दृष्टिकोण सरल गणितीय नियमों (जैसे "सबसे भारी पुस्तकें रखें") का उपयोग करके अनुमान लगाता है कि किसे रखना है। यह तेज़ है, लेकिन अक्सर गलत होता है क्योंकि यह पूरी तस्वीर को नहीं देखता है। यह केवल उनकी ऊंचाई देखकर सबसे अच्छे टीम खिलाड़ियों को चुनने जैसा है, उनके वास्तविक कौशल को नजरअंदाज करना।
"प्रयास और त्रुटि" (The "Trial and Error" Method) विधि: यह दृष्टिकोण लाखों संभावनाओं का परीक्षण करके सबसे अच्छा संयोजन सीखने की कोशिश करता है। समस्या यह है कि संयोजनों की संख्या इतनी विशाल है (जैसे रेगिस्तान में एक विशिष्ट रेत के कण को खोजने जैसा) कि कंप्यूटर की मेमोरी खत्म हो जाती है और वह क्रैश हो जाता है। यह 100-अंकों वाले ताले के हर संभावित संयोजन को याद करने जैसा है; इसमें बहुत अधिक दिमागी शक्ति लगती है।

2. समाधान: MaskPro (एक "स्मार्ट लॉटरी")

लेखक MaskPro का प्रस्ताव देते हैं, जो एक नया तरीका है जिससे बिना मेमोरी खत्म किए या गलत अनुमान लगाए यह सीखा जा सके कि कौन सी पुस्तकें रखनी हैं।

"लीनियर स्पेस" ट्रिक (मैप को सरल बनाना)
हर एक संभव पुस्तक संयोजन की संभावना को याद करने के बजाय (जो असंभव है), MaskPro 4 पुस्तकों के प्रत्येक समूह के लिए एक सरल "लॉटरी टिकट" बनाता है।

पुराना तरीका: कल्पना करें कि एक लॉटरी है जिसमें अरबों टिकट हैं, जो 4 में से 2 पुस्तकें चुनने के हर संभव तरीके के लिए एक है। उन सभी टिकटों को रखने के लिए आपको एक गोदाम की आवश्यकता होगी।
MaskPro का तरीका: इसके बजाय, आपके पास 4 छोटे बॉक्स हैं (प्रत्येक पुस्तक के लिए एक)। आप प्रत्येक बॉक्स में एक टिकट रखते हैं जो कहता है, "इस पुस्तक के चुने जाने की कितनी संभावना है?" फिर आप एक विशेष लॉटरी चलाते हैं जहाँ आप इन 4 बॉक्सों में से 2 विजेता चुनते हैं, यह सुनिश्चित करते हुए कि आप एक ही पुस्तक को दो बार न चुनें।
परिणाम: यह आवश्यक मेमोरी को एक "गोदाम" से घटाकर एक "बैकपैक" तक कम कर देता है। यह लीनियरली स्केल करता है, जिसका अर्थ है कि यदि पुस्तकालय विशाल हो जाता है, तो भी आपका बैकपैक भारी नहीं होगा।

"स्मूथिंग ट्रैकर" (एक याददाश्त वाला कोच)
कंप्यूटर को सही पुस्तकें चुनना सिखाने के लिए, आप उसे उदाहरण (डेटा) दिखाते हैं। कभी-कभी, एक "खराब" सेट की पुस्तकें अच्छी लग सकती हैं क्योंकि उदाहरण आसान था, और एक "अच्छी" सेट खराब लग सकती है क्योंकि उदाहरण कठिन था। यह कंप्यूटर को भ्रमित कर देता है।

समस्या: यदि कंप्यूटर देखता है कि पुस्तकों का एक "खराब" सेट एक आसान टेस्ट पर अच्छा प्रदर्शन करता है, तो वह सोच सकता है, "बहतरीन! मैं ऐसा ही करता रहूँगा!" भले ही यह केवल एक इत्तेफाक हो।
समाधान: MaskPro एक "याददाश्त वाले कोच" (एक मूविंग एवरेज ट्रैकर) को पेश करता है। केवल वर्तमान स्कोर को देखने के बजाय, कोच पिछले कुछ टेस्ट के औसत स्कोर और वर्तमान स्कोर के बीच के अंतर को देखता है।
उपमा: एक छात्र की कल्पना करें जो टेस्ट दे रहा है। यदि वह एक परफेक्ट स्कोर प्राप्त करता है, तो कोच पूछता है, "क्या यह टेस्ट आसान था? क्या आप आमतौर पर इतने ऊंचे स्कोर पर रहते थे?" यदि छात्र आमतौर पर 80% प्राप्त करता है और अचानक एक सुपर आसान टेस्ट में 100% प्राप्त करता है, तो कोच कहता है, "यह वास्तविक सुधार नहीं है; अभी अपनी पढ़ाई की आदतें न बदलें।" यह कंप्यूटर को रैंडम किस्मत से भ्रमित होने से रोकता है और प्रशिक्षण को स्थिर रखता है।

3. परिणाम: तेज़, सस्ता और विश्वसनीय

पेपर का दावा है कि MaskPro तीन कारणों से गेम-चेंजर है:

मेमोरी कुशल (Memory Efficient): यह मानक कंप्यूटरों पर फिट बैठता है जहाँ अन्य तरीके क्रैश हो जाते हैं। यह जेब में फिट होने वाले टेंट को पैक करने जैसा है, न कि उस टेंट को जिसके लिए ट्रक की आवश्यकता होती है।
डेटा कुशल (Data Efficient): आपको इसे सिखाने के लिए प्रशिक्षण डेटा के विशाल पुस्तकालय की आवश्यकता नहीं है। पेपर दिखाता है कि यह केवल एक एकल उदाहरण के साथ भी प्रभावी ढंग से सीख सकता है (हालाँकि अधिक बेहतर है)। यह एक ऐसे शेफ की तरह है जो एक बार चखने के बाद नई रेसिपी सीख सकता है, बजाय इसके कि उसे हज़ार बार चखना पड़े।
प्रदर्शन (Performance): यह मॉडल को स्मार्ट बनाए रखता है। जब उन्होंने प्रसिद्ध AI मॉडलों (जैसे LLaMA और Gemma) पर इसका परीक्षण किया, तो MaskPro ने पुराने "नियम पुस्तिका" तरीकों की तुलना में मॉडल की बुद्धिमत्ता को बहुत बेहतर बनाए रखा और महंगे "प्रयास और त्रुटि" तरीकों के लगभग समान प्रदर्शन किया, लेकिन बिना उस लागत के।

सारांश

MaskPro एक नया टूल है जो विशाल AI मॉडलों को छोटा करने में मदद करता है यह सिखाकर कि उनके कौन से हिस्से काटे जाने चाहिए। यह इसे निम्नलिखित तरीकों से करता है:

गणित को सरल बनाकर ताकि इसे विकल्पों को याद रखने के लिए सुपरकंप्यूटर की आवश्यकता न हो।
एक "स्मार्ट कोच" का उपयोग करके जो रैंडम किस्मत को अनदेखा करता है और वास्तविक सुधारों पर ध्यान केंद्रित करता है।
बहुत कम डेटा के साथ काम करके, जो इसे व्यावहारिक और सस्ता बनाता है।

लेखकों ने अपना कोड उपलब्ध कराया है ताकि अन्य लोग इसे आज़मा सकें, जो यह साबित करता है कि आप अपनी बौद्धिक क्षमता खोए बिना AI मॉडलों को छोटा और तेज़ बना सकते हैं।

तकनीकी सारांश: MaskPro – LLMs पर सख्त (N:M)-स्पर्सिटी के लिए लीनियर-स्पेस प्रोबेबिलिस्टिक लर्निंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के तीव्र विस्तार ने इन्फरेंस दक्षता में एक महत्वपूर्ण बाधा उत्पन्न कर दी है, जिससे प्रभावी संपीड़न (compression) तकनीकों की आवश्यकता बढ़ गई है। सेमी-स्ट्रक्चर्ड स्पर्सिटी (semi-structured sparsity), विशेष रूप से (N:M) पैटर्न जहाँ प्रत्येक $M$ क्रमिक वेट्स में से $N$ तत्वों को रखा जाता है, त्वरण और मेमोरी रिडक्शन के लिए एक हार्डवेयर-अनुकूल समाधान प्रदान करती है। हालाँकि, इष्टतम (N:M) मास्क की पहचान करना एक कठिन कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन समस्या है। मौजूदा दृष्टिकोण दो श्रेणियों में आते हैं जिनकी अपनी विशिष्ट सीमाएँ हैं:

रूल-बेस्ड मेथड्स (Rule-based methods): ये हैंडक्राफ्टेड मेट्रिक्स (जैसे, लेयर-वाइज़ रिकंस्ट्रक्शन एरर को कम करना) का उपयोग करके ग्रीडी, लेयर-वाइज़ सर्च का उपयोग करते हैं। हालांकि ये गणनात्मक रूप से सस्ते हैं, लेकिन इनमें अंतर्निहित पूर्वाग्रह (biases) होते हैं और एंड-टू-एंड टास्क परफॉर्मेंस के साथ काफी अंतर होता है।
लर्निंग-बेस्ड मेथड्स (जैसे, MaskLLM): ये जनरेशन लॉस पर ग्रेडिएंट डिसेंट के माध्यम से सीधे मास्क को ऑप्टिमाइज़ करते हैं। प्रभावी होने के बावजूद, इनमें अत्यधिक प्रशिक्षण लागत आती है। विशेष रूप से, MaskLLM को $M$ वेट्स के समूह के भीतर सभी संभावित मास्क के लिए लॉजिट्स (logits) को स्टोर करने की आवश्यकता होती, जिससे इसकी मेमोरी कॉम्प्लेक्सिटी $O(\binom{M}{N} \frac{d}{M})$ हो जाती है। बड़े $M$ के लिए, यह घातीय (exponentially) रूप से बढ़ता है, जो इसे बड़े मॉडल्स के लिए अव्यवहार्य बना देता है। इसके अलावा, विशाल कॉम्बिनेटोरियल स्पेस पॉलिसी ग्रेडिएंट्स में उच्च वेरिएंस (variance) उत्पन्न करता है, जिससे ट्रेनिंग अस्थिर हो जाती है।

कार्यप्रणाली: MaskPro
लेखक MaskPro प्रस्तावित करते हैं, जो एक नवीन लीनियर-स्पेस प्रोबेबिलिस्टिक फ्रेमवर्क है जिसे (N:M)-स्पर्सिटी को कुशलतापूर्वक और स्थिरता से सीखने के लिए डिज़ाइन किया गया है।

लीनियर-स्पेस प्रोबेबिलिस्टिक रिलैक्सेशन (Linear-Space Probabilistic Relaxation):
प्रत्येक $M$ वेट्स के समूह के लिए सभी $\binom{M}{N}$ संभावित मास्क पर कैटेगोरिकल डिस्ट्रीब्यूशन को परिभाषित करने के बजाय, MaskPro इस समस्या को पुनर्गठित करता है। यह प्रत्येक समूह के भीतर $M$ व्यक्तिगत तत्वों पर एक कैटेगोरिकल डिस्ट्रीब्यूशन स्थापित करता है। इसके बाद (N:M) मास्क को इस डिस्ट्रीब्यूशन से N-वे सैंपलिंग विदाउट रिप्लेसमेंट (N-way sampling without replacement) करके जेनरेट किया जाता है।

सैद्धांतिक आधार: लेखक सिद्ध करते हैं कि किसी भी (N:M) मास्क को $N$ विशिष्ट बेसिस वेक्टर्स के प्रोबेबिलिस्टिक सम के रूप में दर्शाया जा सकता है।
मेमोरी दक्षता: यह पुनर्गठन सीखे जाने वाले पैरामीटर्स (लॉजिट्स) की संख्या को $O(\binom{M}{N} \frac{d}{M})$ से घटाकर एक लीनियर $O(d)$ कर देता है, जहाँ $d$ कुल वेट्स की संख्या है। यह पिछले लर्निंग-बेस्ड मेथड्स से जुड़े मेमोरी विस्फोट को समाप्त करता है।

परिष्कृत पॉलिसी ग्रेडिएंट एस्टिमेटर (PGE):
लॉजिट्स को ऑप्टिमाइज़ करने के लिए, MaskPro पॉलिसी ग्रेडिएंट्स का उपयोग करता है। लेखक पहचानते हैं कि LLMs में रॉ लॉस वैल्यूज का उपयोग करने वाले मानक पॉलिसी ग्रेडिएंट्स, मिनिबैच अंतरों के कारण उच्च वेरिएंस की वजह से अस्थिर होते हैं (जहाँ डेटा सैंपलिंग से होने वाला लॉस वेरिएशन अक्सर मास्क सैंपलिंग से होने वाले लॉस वेरिएशन से कहीं अधिक होता है)।

लॉस रेसिडुअल्स (Loss Residuals): एक प्रारंभिक बेसलाइन मास्क $m_0$ के सापेक्ष लॉस रेसिड्यूल के आधार पर अपडेट करने के लिए, $f(m \odot w, \xi) - f(m_0 \odot w, \xi)$ का उपयोग करता है, न कि रॉ लॉस $f(m \odot w, \xi)$ का। यह मास्क परिवर्तन के प्रभाव को अलग करता है।
मूविंग एवरेज ट्रैकर (Moving Average Tracker): ट्रेनिंग को और अधिक स्थिर बनाने और न्यूमेरिकल विस्फोट को रोकने के लिए, एक मूविंग एवरेज ट्रैकर $\delta$ पेश किया गया है जो बेसलाइन को स्मूथ करता है। अपडेट नियम बनता है:
$\pi_{t+1} = \pi_t - \eta (f(m_t \odot w, \xi) - f(m_0 \odot w, \xi) - \delta) \nabla \log p(m_t|\pi_t)$
सैद्धांतिक गारंटी: पेपर प्रमाण प्रदान करता है कि ये परिष्कृत एस्टिमेटर्स वास्तविक पॉलिसी ग्रेडिएंट के अनबायस्ड (unbiased) एस्टिमेटर्स बने रहते हैं। इसके अलावा, इस शर्त के तहत कि सैंपल किए गए मास्क का लॉस बेसलाइन लॉस के दोगुने से कम है (एक शर्त जो व्यवहार में आसानी से पूरी होती है), परिष्कृत एस्टिमेटर का वेरिएंस वैनिला पॉलिसी ग्रेडिएंट की तुलना में स्पष्ट रूप से कम है।

प्रमुख योगदान

लीनियर-स्पेस फ्रेमवर्क: MaskPro $M$ तत्वों पर कैटेगोरिकल डिस्ट्रीब्यूशन से N-वे सैंपलिंग विदाउट रिप्लेसमेंट के रूप में चयन प्रक्रिया को मॉडल करके, (N:M) स्पर्सिटी सीखने के लिए मेमोरी आवश्यकता को $O(\binom{M}{N} \frac{d}{M})$ से घटाकर लीनियर $O(d)$ कर देता है।
उन्नत पॉलिसी ग्रेडिएंट: लेखक लॉस रेसिडुअल्स और एक मूविंग एवरेज ट्रैकर का उपयोग करके एक वेरिएंस-रिड्यूस्ड अपडेट मैकेनिज्म पेश करते हैं, जो बड़े कॉम्बिनेटोरियल स्पेस में पॉलिसी ग्रेडिएंट्स के उच्च वेरिएंस के कारण होने वाली ट्रेनिंग अस्थिरता को संबोधित करता है।
सैद्धांतिक विश्लेषण: प्रस्तावित अपडेट नियमों की अनबायस्डनेस और वेरिएंस रिडक्शन गुणों के संबंध में व्यापक प्रमाण प्रदान किए गए हैं।

प्रायोगिक परिणाम
विभिन्न डाउनस्ट्रीम टास्क (जैसे, HellaSwag, RACE, PIQA) और स्पर्सिटी पैटर्न ((2:4), (4:8), (8:16)) पर कई LLMs (Gemma-7B, Vicuna-7B, LLaMA-2-7B, DeepSeek-7B) पर व्यापक प्रयोग किए गए।

परफॉर्मेंस: MaskPro लगातार स्टेट-ऑफ-द-आर्ट रूल-बेस्ड मेथड्स (SparseGPT, Wanda, Pruner-Zero) को पछाड़ता है और मेमोरी-इंटेंसिव MaskLLM के समान प्रदर्शन प्राप्त करता है, जो अक्सर औसत 2% से अधिक शुद्धता (accuracy) में सुधार करता है।
मेमोरी स्केलेबिलिटी: जबकि MaskLLM 7B मॉडल्स के लिए (4:8) स्पर्सिटी पर 8x A100 GPUs पर आउट-ऑफ-मेमोरी (OOM) एरर का सामना करता है, MaskPro स्पर्सिटी पैटर्न की परवाह किए बिना स्थिर मेमोरी उपयोग (~36-37 GB) बनाए रखता है।
डेटा दक्षता: MaskPro डेटा वॉल्यूम के प्रति उल्लेखनीय मजबूती प्रदर्शित करता है। यह केवल 1 डेटा सैंपल के साथ प्रशिक्षित होने पर भी स्थिर प्रदर्शन प्राप्त करता है, जबकि MaskLLM को कन्वर्ज होने के लिए लाखों सैंपल्स की आवश्यकता होती है।
ट्रेनिंग दक्षता: विधि को MaskLLM की तुलना में काफी कम ट्रेनिंग सैंपल्स और कम ट्रेनिंग समय की आवश्यकता होती है, जबकि यह रूल-बेस्ड मेथड्स के समान मेमोरी उपयोग बनाए रखती है।

महत्व और दावे
पेपर का दावा है कि MaskPro लर्निंग-बेस्ड सेमी-स्ट्रक्चर्ड स्पर्सिटी से जुड़ी मेमोरी और स्थिरता की बाधाओं को हल करके, LLMs के व्यावहारिक, स्केलेबल लोकल डिप्लॉयमेंट के लिए एक व्यवहार्य मार्ग प्रदान करता है। लेखक जोर देते हैं कि उनका दृष्टिकोण लर्निंग-बेस्ड मेथड्स के उच्च प्रदर्शन और रूल-बेस्ड मेथड्स की दक्षता के बीच के अंतर को पाटता है। अपने मेमोरी फुटप्रिंट को लीनियर स्पेस तक कम करके और परिष्कृत पॉलिसी ग्रेडिएंट्स के माध्यम से अपनी ट्रेनिंग प्रक्रिया को स्थिर करके, MaskPro बड़े पैमाने के मॉडल्स पर इष्टतम (N:M) मास्क को पूर्ववर्ती कम्प्यूटेशनल ओवरहेड के बिना सीखने में सक्षम बनाता है। इस पद्धति को प्रोबेबिलिस्टिक मास्क लर्निंग के एक सामान्यीकरण योग्य फ्रेमवर्क के रूप में प्रस्तुत किया गया है जो डेटा की कमी और मॉडल स्केल के प्रति मजबूत है।

1. समस्या: "बहुत अधिक विकल्पों" का दुःस्वप्न

2. समाधान: MaskPro (एक "स्मार्ट लॉटरी")

3. परिणाम: तेज़, सस्ता और विश्वसनीय

सारांश

इसी तरह के और पेपर