🤖 machine learning

SHUFFLESPARSE: Learned Shuffles for Structured Sparse Networks

यह शोधपत्र SHUFFLESPARSE को प्रस्तुत करता है, जो एक एकल क्रमपरिवर्तन आव्यूह (permutation matrix) को सीखता है ताकि विभिन्न स्पर्सिटी पैटर्न और प्रशिक्षण प्रतिमानों में स्ट्रक्चर्ड और अनस्ट्रक्चर्ड स्पार्स नेटवर्क के बीच सटीकता के अंतर को न्यूनतम इन्फरेंस ओवरहेड बनाए रखते हुए महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Abhishek Tyagi, Arjun Iyer, Liam Young, William H Renninger, Christopher Kanan, Yuhao Zhu

प्रकाशित 2026-07-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abhishek Tyagi, Arjun Iyer, Liam Young, William H Renninger, Christopher Kanan, Yuhao Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सबसे तेज़ संभव रेस कार बनाने की कोशिश कर रहे हैं। आपके पास एक शक्तिशाली इंजन (एक डीप न्यूरल नेटवर्क) है जो जटिल समस्याओं को हल कर सकता है, लेकिन यह भारी है और बहुत अधिक ईंधन पीता है। इसे तेज़ बनाने के लिए, इंजीनियर अक्सर इंजन के उन हिस्सों को हटाने की कोशिश करते हैं जो अनिवार्य रूप से आवश्यक नहीं हैं—इस प्रक्रिया को "प्रूनिंग" (pruning) कहा जाता है। यदि आप बेतरतीब ढंग से बोल्ट और तार हटा देते हैं, तो कार खराब तरीके से चल सकती है क्योंकि बचे हुए हिस्से इस तरह से नहीं जुड़ते जो फैक्ट्री के औजारों के अनुकूल हों। हालाँकि, यदि आप हिस्सों को एक बहुत ही विशिष्ट, व्यवस्थित पैटर्न में हटाते हैं (जैसे कि एक साफ ग्रिड में हर दूसरा बोल्ट हटाना), तो फैक्ट्री की मशीनें बहुत तेज़ी से काम कर सकती हैं। यह "स्ट्रक्चर्ड स्पैरसिटी" (structured sparsity) की दुनिया है: एआई मॉडल को छोटा और तेज़ बनाने के लिए उन्हें एक साफ, अनुमानित पैटर्न का पालन करने के लिए मजबूर करना।

लेकिन यहाँ एक पेंच है: बहुत अधिक व्यवस्थित होना कार को अनाड़ी बना सकता है। यदि आप इंजन को एक कठोर ग्रिड का पालन करने के लिए मजबूर करते हैं, तो आप अनजाने में उस सटीक हिस्से को काट सकते हैं जिसकी आवश्यकता किसी विशेष मोड़ के लिए होती है, जिससे कार कठिन मोड़ों को संभालने में असमर्थ हो जाती है। यह वह समस्या है जिसका सामना शोधकर्ता करते हैं: स्ट्रक्चर्ड पैटर्न तेज़ होते हैं, लेकिन वे अक्सर "अनस्ट्रक्चर्ड" तरीकों की तुलना में सटीकता खो देते हैं जहाँ हिस्से कहीं भी हटाए जा सकते हैं। बड़ा सवाल यह है: क्या हम उस गति को बरकरार रख सकते हैं जो एक साफ ग्रिड प्रदान करता है, बिना उस लचीलेपन को खोए जो किसी भी मोड़ को संभालने के लिए चाहिए? यह शोध पत्र ठीक इसी पहेली में उतरता है, यह पता लगाता है कि क्या हम एआई को अपने आंतरिक कनेक्शनों को बस इतना पुनर्व्यवस्थित करने के लिए सिखा सकते हैं कि वे उन कठोर पैटर्नों को पूरी तरह से काम करने लायक बना दें।

इस अध्ययन के पीछे के शोधकर्ताओं ने, जो यूनिवर्सिटी ऑफ रोचेस्टर की एक टीम है, एक चतुर नया तरीका पेश किया है जिसे SHUFFLESPARSE कहा जाता है। एक न्यूरल नेटवर्क लेयर को लोगों (डेटा) से भरे एक विशाल कमरे के रूप में सोचें जो विशेषज्ञों (वेट्स) के एक समूह से बात करने की कोशिश कर रहे हैं। एक मानक "स्ट्रक्चर्ड" सेटअप में, विशेषज्ञ कठोर पंक्तियों और स्तंभों में व्यवस्थित होते हैं, जैसे परेड में सैनिक। इससे मैनेजर के लिए निर्देश जल्दी चिल्लाना आसान हो जाता है (तेज़ कंप्यूटिंग), लेकिन यह एक समस्या है यदि कमरे में मौजूद लोगों को उन विशेषज्ञों से बात करने की आवश्यकता है जो गलत पंक्ति में खड़े हैं।

आमतौर पर, समाधान यह होता है कि विशेषज्ञों को कहीं भी खड़े होने दिया जाए (अनस्ट्रक्टर्ड), लेकिन तब मैनेजर भ्रमित हो जाता है और काम धीमा हो जाता है। SHUFFLESPARSE एक बीच का रास्ता प्रदान करता है। यह बातचीत शुरू होने से पहले एक एकल, जादुई "शफल" (shuffle) चरण जोड़ता है। कल्पना करें कि एक डांस फ्लोर है जहाँ, संगीत शुरू होने से पहले, सभी को एक विशिष्ट, सीखी गई पद्धति के अनुसार अपनी सीटें बदलने के लिए कहा जाता है। यह शफल इस तरह से डिज़ाइन किया गया है कि जब लोग अंततः बैठते हैं और विशेषज्ञों से बात करते हैं, तो वे वास्तव में सही लोगों से बात कर रहे होते हैं, भले ही विशेषज्ञों ने अपनी जगह न बदली हो।

शोध पत्र बताता है कि एआई को इस विशिष्ट "शफल" (एक परम्यूटेशन मैट्रिक्स) को कठोर पैटर्न के साथ सीखने के लिए सिखाकर, मॉडल उस लगभग पूरी सटीकता को वापस पा सकता है जो ग्रिड में बंधे होने के कारण उसने खो दी थी। यह ऐसा है जैसे यह महसूस करना कि सैनिकों को अपनी फॉर्मेशन बदलने की ज़रूरत नहीं है; उन्हें बस नए रंगरूटों को एक अलग क्रम में उनके सामने खड़ा करने की ज़रूरत है।

टीम ने इस विचार का परीक्षण दो बहुत अलग परिदृश्यों में किया। पहले, उन्होंने इमेज रिकग्निशन कार्यों (जैसे बिल्ली और कुत्ते की पहचान करना) और भाषा कार्यों पर शून्य से मॉडल प्रशिक्षित किए (डायनेमिक स्पार्स ट्रेनिंग)। उन्होंने पाया कि SHUFFLESPARSE ने लगातार कठोर, तेज़ मॉडलों और लचीले, धीमे मॉडलों के बीच के अंतर को कम किया। उदाहरण के लिए, ViT-B/16 नामक एक लोकप्रिय इमेज मॉडल पर, इस शफल को जोड़ने से बहुत उच्च स्पैरसिटी स्तरों (90-95%) पर सटीकता का अंतर लगभग 2% से घटकर 1% से भी कम रह गया। GPT-2 जैसे भाषा मॉडलों में, इसने समान रूप से सुधार किया कि एआई टेक्स्ट को कितनी अच्छी तरह समझता है, जिससे इसकी "परप्लेक्सिटी" (भ्रम का एक माप) में महत्वपूर्ण रूप से कमी आई।

दूसत, उन्होंने पहले से प्रशिक्षित, विशाल भाषा मॉडलों (जैसे LLaMA-2 और Qwen) पर इसका परीक्षण किया जो फ्रीज थे और जिन्हें फिर से प्रशिक्षित नहीं किया जा सकता था। उन्होंने वेट्स को काटने के लिए एक "वन-शॉट" प्रूनिंग विधि का उपयोग किया और फिर SHUFFLESPARSE शफल लागू किया। परिणाम आश्चर्यजनक थे: LLaMA-2 7B मॉडल पर, इस पद्धति ने गैर-शफल्ड (non-shuffled) सर्वोत्तम विधि की तुलना में मॉडल की ज़ीरो-शॉट सटीकता में 4.6 अंक का सुधार किया। यह सुझाव देता है कि विशाल, पहले से बने मॉडलों के लिए भी, एक सरल सीखा हुआ पुनर्व्यवस्था पूरे मॉडल को फिर से प्रशिक्षित किए बिना छिपी हुई क्षमता को अनलॉक कर सकती है।

महत्वपूर्ण रूप से, लेखक दिखाते हैं कि यह केवल चीजों को बेतरतीब ढंग से शफल करने के बारे में नहीं है। जब उन्होंने सीखे गए शफल्स के बजाय रैंडम, फिक्स्ड शफल्स के साथ सिस्टम का परीक्षण किया, तो प्रदर्शन वास्तव में गिर गया या स्थिर रहा। जादू इस बात में है कि एआई कार्य के लिए सबसे उपयुक्त विशिष्ट शफल को सीखता है। शोध पत्र यह भी नोट करता है कि इस शफल की एक बहुत छोटी लागत है (मॉडल चलाने के समय में लगभग 3% से 8.7% की वृद्धि), लेकिन यह सटीकता में मिलने वाले भारी उछाल के लिए एक छोटा सा मूल्य है, विशेष रूप से क्योंकि स्ट्रक्चर्ड पैटर्न के मुख्य गति लाभ सुरक्षित रहते हैं।

संक्षेप में, SHUFFLESPARSE सुझाव देता है कि हमें गति और बुद्धिमत्ता के बीच चुनाव करने की आवश्यकता नहीं है। एआई को कठोर, तेज़-प्रोसेसिंग गियर्स से टकराने से ठीक पहले अपने इनपुट्स को सही ढंग से पुनर्व्यवस्थित करने के लिए सिखाकर, हम दोनों चीज़ें प्राप्त कर सकते हैं: एक ऐसा मॉडल जो अविश्वसनीय रूप से तेज़ भी है और आश्चर्यजनक रूप से सटीक भी। लेखक निष्कर्ष निकालते हैं कि यह सीखा हुआ परम्यूटेशन एक सामान्य उपकरण है जो विभिन्न प्रकार के कठोर पैटर्न और विभिन्न प्रकार के एआई कार्यों में काम करता है, जो कुशल, उच्च-प्रदर्शन वाले एआई बनाने के लिए एक आशाजनक मार्ग प्रदान करता है।

तकनीकी सारांश: SHUFFLESPARSE: संरचित स्पार्स नेटवर्क्स के लिए सीखे गए शफल्स (Learned Shuffles)

1. समस्या विवरण

स्ट्रक्चर्ड वेट स्पर्सिटी (जैसे N:M, ब्लॉक, डायगोनल पैटर्न) आधुनिक GPU पर प्रशिक्षण और अनुमान (inference) को तेज करने के लिए आवश्यक है क्योंकि यह वेंडर-अनुकूलित कर्नेल (kernels) के साथ संरेखित होती है। हालांकि, स्ट्रक्चर्ड स्पर्सिटी विशेष रूप से अत्यधिक स्पर्सिटी स्तरों (90–95%) पर अनस्ट्रक्चर्ड डायनेमिक स्पार्स ट्रेनिंग (DST) और वन-शॉट प्रूनिंग की तुलना में लगातार खराब प्रदर्शन करती है। लेखक इस प्रदर्शन अंतराल का मूल कारण अभिव्यक्ति की कमी (lack of expressivity) के रूप में पहचानते हैं: जबकि एक डेंस लेयर गैर-शून्य भार (non-zero weights) के किसी भी पैटर्न को लागू कर सकती है, स्ट्रक्चर्ड पैटर्न नेटवर्क को भार के एक छोटे, कठोर सेट तक सीमित कर देते हैं। यह कठोरता नेटवर्क की इष्टतम प्रतिनिधित्व सीखने की क्षमता को सीमित करती है, जिससे अनस्ट्रक्चर्ड समकक्षों की तुलना में सटीकता में गिरावट आती है।

मौजूदा समाधान, जैसे कि AutoShuffleNet (डेंस नेटवर्क्स में चैनल परम्यूटेशन) या NVIDIA का परम्यूटेशन सर्च (निश्चित 2:4 वेट्स के लिए स्टैटिक परम्यूटेशन), विशिष्ट सेटिंग्स या स्पर्सिटी पैटर्न से बंधे हुए हैं। किसी भी पूर्व कार्य ने यह प्रदर्शित नहीं किया है कि एक एकल परम्यूटेशन प्रिमिटिव (primitive) दोनों प्रशिक्षण-से-शुरुआत (training-from-scratch) और वन-शॉट प्रूनिंग को कैनोनिकल स्ट्रक्चर्ड पैटर्न में एकीकृत कर सकता है।

2. कार्यप्रणाली: SHUFFLESPARSE

लेखक SHUFFLESPARSE पेश करते हैं, जो एक एकीकृत ढांचा (framework) है जो स्ट्रक्चर्ड वेट मैट्रिक्स के साथ प्रति लेयर एक एकल परम्यूटेशन मैट्रिक्स को संयुक्त रूप से सीखता है। एक स्पर्सिफाइड लेयर के लिए मुख्य फॉर्मूलेशन है:
$y = (W\Pi)x$
जहाँ $W$ एक स्ट्रक्चर्ड स्पार्स वेट मैट्रिक्स है (एक निश्चित पैटर्न $S$ का पालन करते हुए) और $\Pi$ एक सीखा गया कॉलम परम्यूटेशन है।

मुख्य तकनीकी घटक

डिफरेंशिएबल परम्यूटेशन एस्टिमेटर (Differentiable Permutation Estimator): चूंकि परम्यूटेशन मैट्रिसेस डिस्क्रीट (discrete) होते हैं, SHUFFLESPARSE एक सॉफ्ट रिलैक्सेशन (soft relaxation) का उपयोग करता है। यह एक डबली-स्टोकेस्टिक मैट्रिक्स $M$ सीखता है और प्रशिक्षण चरण के अंत में एक हार्ड परम्यूटेशन $\Pi$ को डिकोड करता है। परम्यूटेशन बाधा को लागू करने के लिए, टास्क लॉस में $\ell_1 - \ell_2$ नॉर्म अंतर पर आधारित एक पेनल्टी टर्म $P(M)$ जोड़ा जाता है। यह पेनल्टी $M$ को प्रशिक्षण के दौरान एक वन-हॉट कॉन्फ़िगरेशन (एक वैध परम्यूटेशन) की ओर ले जाती है।
एकीकृत अनुप्रयोग (Unified Application): समान फॉर्मूलेशन दो अलग-अलग व्यवस्थाओं (regimes) पर लागू होता है:
1. शुरुआत से डायनेमिक स्पार्स ट्रेनिंग (DST from Scratch): स्पार्स मास्क $S$ , डेंस वेट्स $\Theta$ , और सॉफ्ट परम्यूटेशन $M$ को सह-सीखा (co-learned) जाता है। प्रून-एंड-ग्रो ऑपरेशन्स परम्यूटेड कोऑर्डिनेट्स में होते हैं, जिससे यह सुनिश्चित होता है कि महत्व स्कोर (importance scores) इन्फरेंस-टाइम चैनल ग्रुपिंग के साथ संरेखित हों।
2. प्रीट्रेनड LLMs का वन-शॉट प्रूनिंग: प्रीट्रेनड वेट्स को फ्रीज (frozen) कर दिया जाता है। केवल परम्यूटेशन मैट्रिक्स $M$ को कैलिब्रेशन सेट पर स्पार्स और डेंस आउटपुट्स के बीच रिकंस्ट्रक्शन लॉस (कोसाइन सिमिलरिटी) को कम करने के लिए ऑप्टिमाइज़ किया जाता है।
इन्फरेंस दक्षता (Inference Efficiency): इन्फरेंस के समय, सीखा गया परम्यूटेशन "हार्डन" (वन-हॉट मैट्रिक्स में परिवर्तित) और फिक्स्ड होता है। स्पष्ट मैट्रिक्स गुणन करने के बजाय, परम्यूटेशन को प्रीकंप्यूटेड इंडेक्स मैप्स के माध्यम से लागू किया जाता है। स्ट्रक्चर्ड स्पार्स GEMM कर्नेल इनपुट को परम्यूटेड एड्रेस पर पढ़ता है, जिससे मूल कर्नेल संरचना और FLOP काउंट सुरक्षित रहता है। अपूर्ण मेमोरी-एक्सेस कोलेसिंग के कारण इसमें न्यूनतम ओवरहेड (≤8.7%) होता है लेकिन यह अलग से परम्यूटेशन ऑपरेशन्स से बचता है।

3. मुख्य योगदान

एक एकीकृत प्रिमिटिव (A Unified Primitive): SHUFFLESPARSE एक एकल लेयर फॉर्मूलेशन पेश करता है जो डायनेमिक स्पार्स ट्रेनिंग फ्रॉम स्क्रैच और प्रीट्रेनड लार्ज लैंग्वेज मॉडल्स (LLMs) की प्रूनिंग दोनों के लिए लागू होता है, जो विभिन्न स्ट्रक्चर्ड पैटर्न (ब्लॉक, N:M, डायगोनल) में समान रूप से कार्य करता है।
सटीकता के अंतर को पाटना (Bridging the Accuracy Gap): यह विधि स्ट्रक्चर्ड और अनस्ट्रक्चर्ड बेसलाइन्स के बीच के प्रदर्शन अंतर को लगातार कम करती है।
- ViT-B/16 (ImageNet-1K) पर, सर्वश्रेष्ठ अनस्ट्रक्चर्ड मेथड के मुकाबले औसत सटीकता गैप 1.92% से घटकर 0.97% हो गया (DynaDiag का उपयोग करके)।
- GPT-2 (WikiText-103) पर, पर्प्लेक्सिटी गैप सभी स्ट्रक्चर्ड मेथड्स के लिए काफी कम हो गया (जैसे, GPT-2 Medium के लिए DynaDiag के साथ 3.75% से 2.63% तक)।
बेहतर प्रूनिंग प्रदर्शन: फ्रीज्ड प्रीट्रेनड LLMs पर 2:4 स्पर्सिटी में लागू होने पर, SHUFFLESPARSE ने सबसे मजबूत नॉन-परम्यूटेड बेसलाइन (Wanda) की तुलना में LLaMA-2 7B पर +4.62 पॉइंट्स और Qwen-2.5 3B पर +2.95 पॉइंट्स का ज़ीरो-शॉट डाउनस्ट्रीम एक्यूरेसी सुधार दिखाया, जो पिछले स्टेट-ऑफ-द-आर्ट परम्यूटेशन मेथड (PermLLM) से बेहतर है।

4. प्रयोगात्मक परिणाम

विज़न (ViT-B/16): चार स्ट्रक्चर्ड DST मेथड्स (SRigL, PixelatedBFly, DSB, DynaDiag) में से, SHUFFLESPARSE ने लगातार स्ट्रक्चर्ड बेसलाइन्स और रैंडम परम्यूटेशन कंट्रोल्स दोनों को पछाड़ दिया। सुधार उच्च स्पर्सिटी (90–95%) पर सबसे अधिक स्पष्ट थे।
लैंग्वेज (GPT-2): SHUFFLESPARSE ने सभी स्पर्सिटी स्तरों और मॉडल आकारों में अनस्ट्रक्चर्ड RigL बेसलाइन के सापेक्ष पर्प्लेक्सिटी गैप को कम किया।
LLM प्रूनिंग: वन-शॉट 2:4 प्रूनिंग में, SHUFFLESPARSE ने LLaMA-2 7B और Qwen-2.5 3B पर डेंस मॉडल प्रदर्शन के सबसे छोटे गैप को प्राप्त किया, यह प्रदर्शित करते हुए कि सीखे गए परम्यूटेशन फ्रीज्ड वेट्स के साथ भी अनस्ट्रक्चर्ड-लेवल सटीकता को रिकवर कर सकते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- रैंडम बनाम लर्नड (Random vs. Learned): सीखे गए परम्यूटेशन को फिक्स्ड रैंडम परम्यूटेशन से बदलने पर अक्सर प्रदर्शन में गिरावट आई या मामूली लाभ मिला, जिससे पुष्टि हुई कि सुधार मनमाने पुनर्व्यवस्था (reordering) के बजाय कार्य-विशिष्ट परम्यूटेशन सीखने से आता है।
- संवेदनशीलता (Sensitivity): विधि परम्यूटेशन पेनल्टी स्ट्रेंथ ( $\lambda$ ) के मामले में एक ऑर्डर ऑफ मैग्निट्यूड तक मजबूत (robust) है।
- परम्यूटेशन स्ट्रेंथ: विश्लेषण से पता चला कि शुरुआती लेयर्स और MLP प्रोजेक्शंस की तुलना में गहरी लेयर्स और अटेंशन प्रोजेक्शंस अधिक मजबूत परम्यूटेशन (आइडेंटिटी से अधिक विचलन) सीखते हैं, जो DST और प्रूनिंग दोनों व्यवस्थाओं में एक समान रुझान है।

5. महत्व और दावे

यह पेपर दावा करता है कि सीखे गए परम्यूटेशन (learned permutations) स्ट्रक्चर्ड स्पर्सिटी पैटर्न से अनस्ट्रक्चर्ड-लेवल सटीकता प्राप्त करने के लिए एक सामान्य उपकरण हैं। प्रति लेयर एक एकल परम्यूटेशन मैट्रिक्स सीखकर, SHUFFLESPARSE उस अभिव्यक्ति (expressivity) को बहाल करता है जो कठोर संरचनात्मक बाधाओं के कारण खो गई थी, बिना स्ट्रक्चर्ड स्पर्सिटी के हार्डवेयर-त्वरण लाभों से समझौता किए।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

होस्ट स्ट्रक्चर (जैसे, N:M कर्नेल्स) द्वारा प्रदान की जाने वाली प्रशिक्षण और अनुमान गति को बनाए रखता है।
न्यूनतम इन्फरेंस ओवरहेड (≤8.7%) और मामूली प्रशिक्षण ओवरहेड जोड़ता है।
एक एकीकृत समाधान प्रदान करता है जो विभिन्न नेटवर्क आर्किटेक्चर (ViT, GPT, LLaMA) और स्पर्सिटी पैटर्न (ब्लॉक, N:M, डायगोनल) में काम करता है।

यह कार्य स्थापित करता है कि स्ट्रक्चर्ड स्पर्सिटी में सटीकता का अंतर हार्डवेयर-फ्रेंडली पैटर्न की अपनी अंतर्निहित सीमा नहीं है, बल्कि नेटवर्क की अपने इनपुट बेसिस को उन पैटर्न के अनुकूल बनाने में असमर्थता का परिणाम है—एक समस्या जिसे SHUFFLESPARSE सीखे गए परम्यूटेशन के माध्यम से हल करता है।