🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH एक हाइब्रिड स्पर्सिटी फ्रेमवर्क है जो LLM वेट मैट्रिसेस को सीखने योग्य डेंस या 2:4 स्पार्स मैपिंग वाले टाइल्स में विभाजित करता है ताकि 0% और 50% के बीच निरंतर स्पर्सिटी रेश्यो सक्षम किया जा सके, जिससे मौजूदा अनस्ट्रक्चर्ड या रिजिड सेमी-स्ट्रक्चर्ड प्रूनिंग विधियों की तुलना में बेहतर सटीकता और व्यावहारिक GPU स्पीडअप प्राप्त किया जा सके।

मूल लेखक: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

प्रकाशित 2026-04-30

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अत्यधिक व्यवस्थित पुस्तकालय के रूप में करें जिसमें अरबों पुस्तकें (पैरामीटर्स) हैं। इस पुस्तकालय को एक मानक कंप्यूटर पर तेज़ी से चलाने के लिए, आपको कुछ पुस्तकें हटानी होंगी। हालाँकि, आपके सामने एक कठिन दुविधा है:

"अव्यवस्थित" दृष्टिकोण (Unstructured Sparsity): आप हर शेल्फ से बेतरतीब ढंग से पुस्तकें फेंक देते हैं। यह पुस्तकालय के ज्ञान को बहुत सटीक रूप से सुरक्षित रखता है क्योंकि आप बहुत चयनात्मक हो सकते हैं, लेकिन यह एक अराजक अव्यवस्था पैदा करता है। एक लाइब्रेरियन (कंप्यूटर का GPU) को पुस्तकें खोजने के लिए हर जगह इधर-उधर कूदना पड़ता है, जिससे प्रक्रिया धीमी और अक्षम हो जाती है।
"सख्त" दृष्टिकोण (2:4 Sparsity): आप एक सख्त नियम का पालन करने का निर्णय लेते हैं: "प्रत्येक चार पुस्तकों के समूह में, आपको ठीक दो पुस्तकें हटानी होंगी।" यह नियम लाइब्रेरियन के काम को सरल और तेज़ बनाता है क्योंकि पैटर्न अनुमानित है। हालाँकि, यह नियम बहुत कठोर है। कभी-कभी वे दो पुस्तकें जिन्हें आपको हटाना ही होगा, वास्तव में सबसे महत्वपूर्ण होती हैं, जिससे पुस्तकालय अपनी बुद्धिमत्ता और सटीकता खो देता है।

यहाँ PATCH काम आता है: "इंटेलिजेंट टाइल" लाइब्रेरियन

यह कार्य PATCH नामक एक नई विधि पेश करता है (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity)। "अव्यवस्थित" और "सख्त" दृष्टिकोणों के बीच चयन करने के बजाय, PATCH एक बुद्धिमान लाइब्रेरियन की तरह कार्य करता है जो पुस्तकालय को टाइल्स (छोटे, प्रबंधनीय शेल्फ खंडों) में विभाजित करता है।

यह इस प्रकार कार्य करता है, एक सरल उपमा का उपयोग करते हुए:

टाइल सिस्टम: कल्पना करें कि पुस्तकालय को एक मोज़ेक की तरह वर्गाकार टाइल्स में विभाजित किया गया है।
निर्णय: प्रत्येक टाइल के लिए, PATCH सिस्टम एक निर्णय लेने के लिए सीखता है:
- विकल्प A (Dense): इस टाइल को पूरी तरह से पुस्तकों से भरा रखें। यह पुस्तकालय के उन "महत्वपूर्ण" क्षेत्रों के लिए है जहाँ सटीकता सबसे महत्वपूर्ण है।
- विकल्प B (2:4 Sparsity): इस टाइल के लिए "चार में से दो हटाएँ" का सख्त नियम लागू करें। यह उन क्षेत्रों के लिए है जहाँ पुस्तकालय के पास अतिरिक्त, अनावश्यक पुस्तकें हैं जिन्हें स्थान बचाने और गति बढ़ाने के लिए सुरक्षित रूप से हटाया जा सकता है।
सीखने की प्रक्रिया: सिस्टम अनुमान नहीं लगाता है। यह खुद को "प्रशिक्षित" करता है ताकि यह पता चल सके कि कौन सी टाइल्स भरी होनी चाहिए और कौन सी स्पार्स (विरल) होनी चाहिए। यह सीखता है कि महत्वपूर्ण हिस्सों को घना (dense) कैसे रखा जाए और अनावश्यक हिस्सों को स्पार्स कैसे किया जाए, और साथ ही हार्डवेयर-अनुकूल नियमों का पालन भी करता है।

यह एक बड़ी बात क्यों है?

दोनों दुनियाओं का सर्वश्रेष्ठ: PATCH अंतर को पाटता है। यह पुस्तकालय को सटीक रखता है (अव्यवस्थित दृष्टिकोण की तरह) लेकिन इसे इस तरह व्यवस्थित करता है कि कंप्यूटर इसे तेज़ी से पढ़ सकें (सख्त दृष्टिकोण की तरह)।
लचीली गति: आप PATCH को बता सकते हैं: "मैं चाहता हूँ कि पुस्तकालय 25% छोटा हो" या "50% छोटा हो।" यह एक निश्चित 50% कमी पर अटकने के बजाय, "पूर्ण टाइल्स" बनाम "स्पार्स टाइल्स" की संख्या को समायोजित करके आपके लक्ष्य को सटीक रूप से प्राप्त करता है।
वास्तविक दुनिया के परिणाम: लेखकों ने छोटे से लेकर बहुत बड़े (13 बिलियन पैरामीटर्स तक) मॉडलों पर इसका परीक्षण किया।
- गति: एक मानक उपभोक्ता ग्राफिक्स कार्ड (A6000 GPU) पर, PATCH ने मूल, अन-प्रून किए गए मॉडलों की तुलना में मॉडलों को 1.18 से 1.38 गुना तेज़ बनाया।
- बुद्धिमत्ता: अन्य तरीकों के विपरीत जो मॉडल को तेज़ करते समय उसे "मूर्ख" बना देते हैं, PATCH ने मॉडलों को वर्तमान अत्याधुनिक सख्त विधि (MaskLLM) की तुलना में अधिक सटीक (0.37% से 2.96% तक) बनाया।

सारांश

PATCH को एक विशाल गोदाम की सफाई करने के तरीके के रूप में समझें। चीज़ों को बेतरतीब ढंग से फेंकने के बजाय (जिससे फोर्कलिफ्ट धीमे हो जाते हैं) या एक मूर्खतापूर्ण नियम का पालन करने के बजाय जो महत्वपूर्ण वस्तुओं को फेंक देता है, PATCH बुद्धिमानी से कुछ क्षेत्रों को भरा हुआ रखने और अन्य क्षेत्रों को एक पैटर्न के अनुसार खाली करने का कार्य सौंपता है जिसे फोर्कलिफ्ट पसंद करते हैं। परिणाम एक ऐसा गोदाम है जो नेविगेट करने में तेज़ है फिर भी इसमें सारा आवश्यक ज्ञान समाहित है।

यहाँ शोध पत्र "PATCH: LEARNABLE TILE-LEVEL HYBRID SPARSITY FOR LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) उत्कृष्ट प्रदर्शन प्रदान करते हैं, लेकिन तैनाती (deployment) के दौरान अत्यधिक मेमोरी और कंप्यूट लागत से जूझते हैं। मॉडल प्रूनिंग (Pruning) एक प्राथमिक समाधान है, फिर भी मौजूदा दृष्टिकोण एक मौलिक ट्रेड-ऑफ (trade-off) का सामना करते हैं:

अनस्ट्रक्चर्ड स्पैरसिटी (Unstructured Sparsity): यह मनमाने स्थानों पर गैर-शून्य (non-zero) तत्वों की अनुमति देता है, जिससे उच्च सटीकता बनी रहती है, लेकिन यह अनियमित मेमोरी एक्सेस पैटर्न बनाता है जो कुशल GPU त्वरण (जैसे Tensor Cores) को रोकते हैं।
सेमी-स्ट्रक्चर्ड स्पैरसिटी (जैसे 2:4): यह एक कठोर पैटर्न (चार तत्वों में से दो गैर-शून्य मान) लागू करता है जो हार्डवेयर-अनुकूल है और इन्फरेंस (inference) को तेज करता है। हालाँकि, निश्चित 50% स्पैरसिटी अनुपात और सभी परतों में एकसमान अनुप्रयोग अक्सर महत्वपूर्ण सटीकता गिरावट का कारण बनते हैं, विशेष रूप से वन-शॉट (One-Shot) प्रूनिंग विधियों का उपयोग करते समय।

वर्तमान विधियाँ अनस्ट्रक्चर्ड प्रूनिंग के लचीलेपन और सेमी-स्ट्रक्चर्ड प्रूनिंग की हार्डवेयर दक्षता के बीच के अंतर को पाटने में संघर्ष करती हैं, विशेष रूप से स्पैरसिटी अनुपातों को निरंतर समायोजित करने या परतों में गैर-समान रूप से स्पैरसिटी वितरित करने की अक्षमता के संबंध में।

2. कार्यप्रणाली: PATCH (Methodology: PATCH)

लेखक PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो हार्डवेयर अनुकूलता बनाए रखते हुए 0% और 50% के बीच एक निरंतर स्पैरसिटी अनुपात सक्षम करता है।

मुख्य तंत्र (Core Mechanism)

PATCH वेट मैट्रिसेस (weight matrices) को टाइल्स (जैसे, $b_1 \times b_2$ ) में विभाजित करता है। प्रत्येक टाइल के लिए, मॉडल यह निर्णय लेना सीखता है कि वह डेंस (dense - 0% स्पैरसिटी) रहे या 2:4-स्पार्स (2:4-sparse - 50% स्पैरसिटी) बने।

हाइब्रिड मास्क जनरेशन (Hybrid Mask Generation): अंतिम मास्क एक "डेंस" विकल्प और एक "2:4-स्पार्स" विकल्प का भारित संयोजन (weighted combination) है।
सीखने योग्य वितरण (Learnable Distributions):
1. टाइल चयन (Tile Selection): एक सीखने योग्य लॉगिट वितरण (logit distribution) यह निर्धारित करता है कि एक टाइल डेंस है या स्पार्स। इसे Gumbel-Softmax का उपयोग करके सैंपल किया जाता है ताकि डिफरेंशिएबल ऑप्टिमाइज़ेशन संभव हो सके।
2. पैटर्न चयन (Pattern Selection): स्पार्स चिह्नित टाइल्स के भीतर, एक अलग सीखने योग्य वितरण विशिष्ट 2:4 पैटर्न (6 संभावित क्रमपरिवर्तनों में से) का चयन करता है।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव (Optimization Objective): प्रशिक्षण उद्देश्य निम्नलिखित को जोड़ता है:
- मानक मॉडलिंग लॉस (जैसे, Next Token Prediction)।
- स्पैरसिटी रेगुलराइजेशन (Sparsity Regularization): एक पद जो लक्ष्य ग्लोबल स्पैरसिटी अनुपात ( $\rho$ ) से विचलन को दंडित करता है, जिससे 0–50% रेंज में सटीक नियंत्रण सक्षम होता है।
- वेट रेगुलराइजेशन (Weight Regularization): ग्रेडिएंट प्रोपेगेशन को सहारा देने के लिए बड़े वेट मैग्नीट्यूड को बढ़ावा देता है।

वेरिएंट्स (Variants)

PATCHJoint: यह टाइल-स्तरीय चयन (डेंस बनाम स्पार्स) और स्पार्स टाइल्स के भीतर सूक्ष्म 2:4 पैटर्न दोनों को संयुक्त रूप से ऑप्टिमाइज़ करता है। इसका उपयोग छोटे मॉडल्स (<1 बिलियन पैरामीटर्स) के लिए किया जाता है।
PATCHTile: एक मेमोरी-कुशल वेरिएंट जहाँ 2:4 पैटर्न को फ्रीज (एक उच्च-गुणवत्ता वाले One-Shot मेथड जैसे MaskLLM से इनिशियलाइज़) कर दिया जाता है, और केवल डेंस/स्पार्स के लिए टाइल-स्तरीय निर्णयों को ऑप्टिमाइज़ किया जाता है। यह सीमित GPU मेमोरी के साथ बड़े मॉडल्स (13 बिलियन तक) तक स्केल करने में सक्षम बनाता है।

इन्फरेंस और डिप्लॉयमेंट (Inference & Deployment)

STOICC एकीकरण: चूंकि मानक GPU लाइब्रेरी (cuBLAS, cuSPARSELt) मिश्रित डेंस/स्पार्स टाइल्स का समर्थन नहीं करती हैं, इसलिए PATCH STOICC का उपयोग करता है, जो एक ट्राइटन-आधारित (Triton-based) कंपाइलर है। STOICC हाइब्रिड निष्पादन को कुशलतापूर्वक संभालने के लिए टाइल साइज (जैसे, $128 \times 128$ ) जैसे कर्नेल कॉन्फ़िगरेशन को ऑटो-ट्यून करता है।
हार्डवेयर अनुकूलता: यह सुनिश्चित करके कि स्पार्स टाइल्स सख्ती से 2:4 पैटर्न का पालन करती हैं, PATCH त्वरण के लिए NVIDIA/AMD Tensor Cores का लाभ उठाता है, जबकि डेंस टाइल्स मानक डेंस कर्नेल्स का उपयोग करती हैं।

3. मुख्य योगदान (Main Contributions)

हाइब्रिड स्पैरसिटी फ्रेमवर्क: एक ही वेट मैट्रिक्स के भीतर डायनेमिक रूप से डेंस और 2:4 स्पार्स टाइल्स को मिलाकर एक निरंतर स्पैरसिटी अनुपात (0%–50%) सक्षम करने वाला पहला तरीका पेश करता है।
सीखने योग्य गैर-समान आवंटन (Learnable Non-Uniform Allocation): फिक्स्ड 2:4 विधियों के विपरीत, PATCH अनुकूल रूप से स्पैरसिटी आवंटित करना सीखता है। यह संवेदनशील परतों (जैसे, शुरुआती/अंतिम ट्रांसफार्मर ब्लॉक्स, अटेंशन मैकेनिज्म) में डेंसिटी बनाए रखता है और अनावश्यक परतों (जैसे, मिडिल ब्लॉक्स, MLP Up/Gate/Down मैट्रिसेस) पर स्पैरसिटी लागू करता है।
एंड-टू-एंड डिफरेंशिएबल ट्रेनिंग: मास्क चयन और वेट प्रूनिंग को संयुक्त रूप से ऑप्टिमाइज़ करने के लिए Gumbel-Softmax का उपयोग करता है, जिससे वन-शॉट प्रूनिंग से जुड़ी सटीकता की हानि से बचा जा सकता है।
व्यावहारिक डिप्लॉयमेंट: वास्तविक हार्डवेयर पर वास्तविक स्पीडअप प्राप्त करने के लिए हाइब्रिड टाइल-लेवल स्पैरसिटी को एक कंपाइलर (STOICC) के साथ सफलतापूर्वक एकीकृत करने का प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 0.5 से 13 बिलियन पैरामीटर्स वाले मॉडल्स (Qwen-2.5, LLaMA-2/3, Gemma-3) पर 8 ज़ीरो-शॉट डाउनस्ट्रीम टास्क और WikiText2 परप्लेक्सिटी (perplexity) का मूल्यांकन किया।

सटीकता (Accuracy):
- PATCH लगातार स्टेट-ऑफ-द-आर्ट 2:4 प्रूनिंग मेथड्स (MaskLLM, SparseGPT, Wanda, ProxSparse) से बेहतर प्रदर्शन करता है।
- LLaMA-2 7B पर, PATCH 25% स्पैरसिटी पर 51.58% की औसत सटीकता प्राप्त करता है, जबकि MaskLLM (50% स्पैरसिटी) के लिए यह 48.62% और ProxSparse के लिए 45.92% है।
- PATCH डेंस मॉडल्स के अंतर को काफी कम कर देता; 25% स्पैरसिटी पर, यह डेंस सटीकता के लगभग 2 प्रतिशत अंक के भीतर है।
- परप्लेक्सिटी (Perplexity): PATCH सभी बेसलाइन्स की तुलना में कम परप्लेक्सिटी प्राप्त करता है। LLaMA-2 7B के लिए 25% स्पैरसिटी पर, PPL 5.86 है, जबकि MaskLLM के लिए यह 6.78 है।
स्पीडअप और दक्षता (Speedup & Efficiency):
- एक NVIDIA A6000 GPU (LLaMA-2 7B) पर, PATCH डेंस बेसलाइन्स की तुलना में 1.18× से 1.38× का एंड-टू-एंड स्पीडअप प्राप्त करता है।
- मेमोरी आवश्यकताएं डेंस मॉडल के 0.59×–0.76× तक कम हो जाती हैं।
- PATCH अनस्ट्रक्चर्ड प्रूनिंग (जो कोई स्पीडअप नहीं देता) और रिजिड 2:4 प्रूनिंग (जो अक्सर गति को न्यायसंगत बनाने के लिए बहुत अधिक सटीकता कम कर देता है) से बेहतर प्रदर्शन करता है।
एब्लेशन स्टडीज (Ablation Studies):
- ग्लोबल बनाम लेयर-वाइज: ग्लोबल स्पैरसिटी लक्ष्य (पर-लेयर परिवर्तनशील स्पैरसिटी की अनुमति देते हुए) यूनिफॉर्म लेयर-वाइज लक्ष्यों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
  - टाइल साइज: प्रदर्शन टाइल साइज के प्रति मजबूत है, जहाँ $4 \times 4$ सबसे बारीक नियंत्रण प्रदान करता है। हालाँकि, हार्डवेयर दक्षता के लिए बड़े निष्पादन टाइल्स (जैसे, $128 \times 128$ ) की आवश्यकता होती है।
- इनिशियलाइजेशन: विधि इनिशियलाइज़ेशन प्रायर्स (priors) के प्रति मजबूत है; ग्लोबल स्पैरसिटी लक्ष्य प्रशिक्षण के दौरान डायनेमिक पुनर्वितरण को सक्षम करता है।

5. महत्व (Significance)

PATCH "सटीकता बनाम त्वरण" (accuracy vs. acceleration) के द्वंद्व को हल करके कुशल LLM इन्फरेंस की दिशा में एक महत्वपूर्ण कदम है।

अंतर को पाटना: यह सेमी-स्ट्रक्चर्ड स्पैरसिटी के हार्डवेयर त्वरण लाभों को अनस्ट्रक्चर्ड आवंटन के लचीलेपन के साथ सफलतापूर्वक जोड़ता है।
व्यावहारिकता: यह केवल सैद्धांतिक प्रूनिंग से आगे बढ़कर मौजूदा कंपाइलर इंफ्रास्ट्रक्चर (STOICC) का उपयोग करके वास्तविक हार्डवेयर पर वास्तविक स्पीडअप प्रदर्शित करता है।
स्केलेबिलिटी: मेमोरी-कुशल वेरिएंट (PATCHTile) यह सिद्ध करता है कि हाइब्रिड स्पैरसिटी को मास्क ट्रेनिंग के लिए भारी कंप्यूट बजट के बिना बड़े मॉडल्स (13B+) पर लागू किया जा सकता है।
भविष्य की दिशा: यह फ्रेमवर्क पैटर्न-अग्नोस्टिक (pattern-agnostic) है और सैद्धांतिक रूप से अन्य N:M पैटर्न (जैसे, 4:8) तक विस्तारित किया जा सकता है जैसे-जैसे नए हार्डवेयर इनका समर्थन करेंगे, जो इसे भविष्य के LLM संपीड़न के लिए एक बहुमुखी समाधान बनाता है।

संक्षेप में, PATCH एक लचीला, सीखने योग्य और हार्डवेयर-कुशल प्रूनिंग रणनीति प्रदान करता है जो अभ्यासकर्ताओं को मॉडल की गुणवत्ता और इन्फरेंस की गति के बीच के ट्रेड-ऑफ को अभूतपूर्व सूक्ष्मता (granularity) के साथ ट्यून करने में सक्षम बनाता है।