💬 NLP

Compressed-Sensing-Guided, Inference-Aware Structured Reduction for Large Language Models

यह शोध पत्र एक एकीकृत, कंप्रेस्ड-सेंसिंग-गाइडेड फ्रेमवर्क का प्रस्ताव करता है जो रैंडम मेजरमेंट्स और स्पार्स रिकवरी का उपयोग करके टास्क-विशिष्ट सक्रिय पथों (एक्टिव पाथवेज़) की पहचान करता है, जिससे LLM इन्फरेंस के दौरान इनपुट प्रॉम्प्ट्स और मॉडल सबस्ट्रक्चर्स दोनों को गतिशील रूप से अनुकूलित किया जाता है, जिससे हार्डवेयर-कुशल निष्पादन के माध्यम से सटीकता बनाए रखते हुए महत्वपूर्ण विलंबता (लेटेंसी) और मेमोरी में कमी प्राप्त होती है।

मूल लेखक: Andrew Kiruluta

प्रकाशित 2026-04-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrew Kiruluta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अति-बुद्धिमान पुस्तकालय (लार्ज लैंग्वेज मॉडल) है जिसमें अब तक लिखी गई हर किताब, तथ्य और कहानी मौजूद है। "मौसम कैसा है?" जैसे एक साधारण प्रश्न का उत्तर देने के लिए, आपको पूरे पुस्तकालय को पढ़ने की आवश्यकता नहीं है। आपको बस मौसम वाले अनुभाग में एक विशिष्ट पृष्ठ खोलने की आवश्यकता है।

हालाँकि, वर्तमान AI मॉडल उन पुस्तकालयाध्यक्षों (librarians) की तरह हैं जो, सरल से सरल प्रश्न के लिए भी, उत्तर देने से पहले पूरे पुस्तकालय को शुरू से अंत तक पढ़ने पर अड़े रहते हैं। यह धीमा है, महंगा है और बहुत अधिक ऊर्जा बर्बाद करता है।

यह शोध पत्र इन AI मॉडलों को चलाने का एक नया तरीका प्रस्तावित करता है। एक पुस्तकालयाध्यक्ष द्वारा सब कुछ पढ़ने के बजाय, एक स्मार्ट, अनुकूलन योग्य (adaptive) पुस्तकालयाध्यक्ष की कल्पना करें जो एक "जादुई स्कैनर" का उपयोग करके तुरंत यह पता लगा लेता है कि उस विशिष्ट प्रश्न के लिए वास्तव में किन कुछ पृष्ठों की आवश्यकता है, और फिर केवल उन्हीं पृष्ठों को पढ़ता है।

यहाँ इस शोध पत्र के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाला पुस्तकालय

वर्तमान में, AI मॉडल "स्थिर" (static) होते हैं। एक बार बनने के बाद, वे निश्चित हो जाते हैं। चाहे आप कविता मांगें, गणित का समीकरण या कोई रेसिपी, मॉडल उसी विशाल मस्तिष्क शक्ति का उपयोग करता है।

उपमा: यह 1,000 निर्माण श्रमिकों की एक टीम को एक छोटा सा पक्षी घर बनाने के लिए काम पर रखने जैसा है। आपको केवल 3 लोगों और एक हथौड़े की आवश्यकता है, लेकिन आप सभी 1,000 के लिए भुगतान करते हैं और उन्हें प्रबंधित करते हैं। यह बर्बादी है।

2. समाधान: "जादुई स्कैनर" (कंप्रेस्ड सेंसिंग)

लेखक कंप्रेस्ड सेंसिंग (Compressed Sensing) नामक तकनीक का उपयोग करने का सुझाव देते हैं। इसे एक जादुई स्कैनर के रूप में सोचें जो पुस्तकालय की एक छोटी, धुंधली तस्वीर लेता है और तुरंत आपको बताता है, "हे, इस विशिष्ट प्रश्न के लिए, आपको केवल पृष्ठ 45, 46 और 99 की आवश्यकता है।"

यह कैसे काम करता है: पूरी किताब पढ़ने के बजाय, मॉडल वर्तमान स्थिति के कुछ त्वरित "प्रोब्स" (माप/जांच) लेता है। इन कुछ सुरागों के आधार पर, यह गणितीय रूप से पुनर्निर्माण करता है कि उसके मस्तिष्क के कौन से हिस्से (न्यूरॉन्स, अटेंशन हेड्स, लेयर्स) वास्तव में आवश्यक हैं।
परिणाम: मॉडल केवल उन विशिष्ट श्रमिकों को "जगाता" है जिनकी उस काम के लिए आवश्यकता है और बाकी सबको घर भेज देता है।

3. इस नई प्रणाली की तीन महाशक्तियाँ

A. कार्य-आधारित (Task-Conditioned): "काम के लिए सही उपकरण"

अलग-अलग प्रश्नों के लिए मस्तिष्क के अलग-अलग हिस्सों की आवश्यकता होती है। कोडिंग के प्रश्न के लिए "तर्क" (logic) केंद्रों की आवश्यकता होती है; रचनात्मक लेखन के लिए "कल्प कल्पना" (imagination) केंद्रों की आवश्यकता होती है।

उपमा: यदि आप रेसिपी मांगते हैं, तो मॉडल अपने "रसोई" वाले रास्तों का उपयोग करता है। यदि आप कोड मांगते हैं, तो यह अपने "इंजीनियर" वाले रास्तों पर स्विच हो जाता है।
नवाचार: स्कैनर प्रश्न के आधार पर अपनी सेटिंग्स बदलता है। वह जानता है कि गणित की समस्या के लिए एक मजाक की तुलना में अलग सेट "पृष्ठों" की आवश्यकता होती है। वह हर कार्य के लिए श्रमिकों का एक ही निश्चित सेट उपयोग नहीं करता है।

B. टोकन-अनुकूलित (Token-Adaptive): "चलते-चलते अपना मन बदलना"

जब एक AI वाक्य लिखता है, तो उसे हर शब्द के लिए समान मस्तिष्क शक्ति की आवश्यकता नहीं होती है। वाक्य की शुरुआत में भारी सोच की आवश्यकता हो सकती है, लेकिन अंत में एक साधारण पूर्ण विराम (period) की।

उपमा: एक कार चलाने की कल्पना करें। जब आप हाईवे पर मर्ज हो रहे होते हैं (उच्च अनिश्चितता), तो आपको पूर्ण ध्यान की आवश्यकता होती है, लेकिन एक सीधी, खाली सड़क पर आप ऑटोपायलट पर क्रूज कर सकते हैं (कम अनिश्चितता)।
नवाचार: मॉडल हर चरण पर अपने आत्मविश्वास की जांच करता है। यदि वह अगले शब्द के बारे में आश्वस्त है, तो वह क्या करना है यह तय करने के लिए एक छोटे, तेज़ "स्केच" का उपयोग करता है। यदि वह भ्रमित है या विषय जटिल हो जाता है, तो वह स्वचालित रूप रूप से अधिक "सेंसर" चालू कर देता है और सही परिणाम पाने के लिए अधिक मस्तिष्क शक्ति का उपयोग करता है।

C. संयुक्त संपीड़न (Joint Compression): "इनपुट और मस्तिष्क दोनों को छोटा करना"

आमतौर पर, लोग या तो प्रश्न को छोटा करने (प्रॉम्प्ट कंप्रेशन) का प्रयास करते हैं या मॉडल को छोटा करने (मॉडल कंप्रेशन) का। यह शोध पत्र दोनों को एक साथ करता है।

उपमा: कल्पना करें कि आप यात्रा के लिए पैकिंग कर रहे हैं। आप या तो कम कपड़े पैक कर सकते हैं (प्रॉम्प्ट छोटा करना) या एक छोटा सूटकेस ले जा सकते हैं (मॉडल छोटा करना)। यह नया तरीका कहता है: "आइए कम कपड़े भी पैक करें और एक छोटा सूटकेस भी ले जाएं, लेकिन सुनिश्चित करें कि सूटकेस उन कपड़ों के लिए बिल्कुल सही आकार का हो जिन्हें हमने रखा है।"
नवाचार: यह दोनों के बीच संतुलन बनाता है। यदि प्रश्न बहुत लंबा है, तो यह मॉडल को अधिक सिकोड़ सकता है। यदि प्रश्न छोटा लेकिन जटिल है, तो यह मॉडल को बड़ा रख सकता है। यह केवल एक हिस्से को नहीं, बल्कि पूरी यात्रा को अनुकूलित करता है।

4. "हार्डवेयर" वास्तविकता की जाँच

लेखक जानते हैं कि केवल "स्पार्स" (कम श्रमिकों का उपयोग करना) होना ही पर्याप्त नहीं है यदि श्रमिक अक्षम हैं।

उपमा: यदि आप 100 श्रमिकों को एक घेरे में खड़े होकर एक गेंद को एक-एक करके पास करने के लिए कहते हैं, तो यह धीमा है। यदि आप उन्हें एक रेखा में खड़े होकर गेंद पास करने के लिए कहते हैं, तो यह तेज़ है।
नवाचार: सिस्टम केवल यादृच्छिक (random) श्रमिकों को नहीं चुनता; यह उन श्रमिकों को चुनता जो कंप्यूटर चिप (GPU) के "असेंबली लाइन" में फिट बैठते हैं। यह सुनिश्चित करता है कि चुने गए श्रमिक ट्रैफिक जाम पैदा किए बिना कुशलतापूर्वक एक साथ काम कर सकें।

5. "अनिश्चितता लूप" (सबसे स्मार्ट हिस्सा)

यह शोध पत्र "अनिश्चितता" (Uncertainty) पर आधारित एक फीडबैक लूप पेश करता है।

उपमा: एक अपराध को सुलझाने वाले जासूस के बारे में सोचें।
- कम अनिश्चितता: "संदिग्ध घर पर था।" -> जासूस एक त्वरित नज़र डालता है (कम माप) और आगे बढ़ जाता है।
- उच्च अनिश्चितता: "संदिग्ध बेसमेंट में छिपा हो सकता है।" -> जासूस एक टॉर्च लेकर आता है, एक कुत्ता लाता है, और गहन तलाशी लेता है (अधिक माप)।
नवाचार: AI यह मापता है कि वह कितना "भ्रमित" है। यदि वह आश्वस्त है, तो वह अपने काम की जांच करने में बहुत कम ऊर्जा खर्च करता है। यदि वह भ्रमित है, तो वह सही उत्तर पाने के लिए अतिरिक्त ऊर्जा खर्च करता है। यह आसान कार्यों पर भारी मात्रा में ऊर्जा बचाते हुए कठिन कार्यों पर उच्च गुणवत्ता बनाए रखता है।

सारांश

यह शोध पत्र स्थिर, भारी-भरकम AI से गतिशील, फुर्तीले AI की ओर एक बदलाव का प्रस्ताव करता है।

एक विशाल, धीमी मशीन के बजाय जो हर चीज़ को एक ही तरह से करती है, यह एक स्मार्ट सिस्टम का सुझाव देता है जो:

क्या आवश्यक है यह देखने के लिए प्रश्न को स्कैन करता है।
उस क्षण के लिए आवश्यक विशिष्ट मस्तिष्क भागों को चुनता है।
अगला शब्द कितना कठिन है इसके आधार पर अपने प्रयास को समायोजित करता है।
इनपुट और प्रोसेसिंग दोनों को एक साथ अनुकूलित करता है।

लक्ष्य AI को अधिक तेज़, सस्ता और अधिक ऊर्जा-कुशल बनाना है, बिना उसकी बुद्धिमत्ता को खोए। यह एक शहर के माध्यम से टैंक चलाने बनाम एक फुर्तीली, स्व-चालित इलेक्ट्रिक कार चलाने के बीच का अंतर है जो केवल तभी शक्ति का उपयोग करती है जब उसे त्वरण (accelerate) की आवश्यकता होती है।

यहाँ एंड्रयू जे. किरुलुटा के शोध पत्र "Compressed-Sensing-Guided, Inference-Aware Structured Reduction for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अत्यधिक पैरामीटर संख्या, बड़े मेमोरी फुटप्रिंट और उच्च डिकोडिंग लेटेंसी (विलंबता) से जूझ रहे हैं। मौजूदा समाधान आम तौर पर दो अलग-अलग श्रेणियों में आते हैं:

मॉडल कंप्रेशन (प्रूनिंग): SparseGPT या Wanda जैसे तरीके भार (weights) को ऑफलाइन रूप से स्थिर रूप से हटा देते हैं। वे विशिष्ट प्रॉम्प्ट्स या डिकोडिंग स्टेप्स के अनुकूल नहीं होते, जिससे अक्सर आसान कार्यों के लिए अत्यधिक गणना (over-provisioning) या कठिन कार्यों के लिए अपर्याप्त गणना (under-provisioning) होती है।
प्रॉम्प्ट कंप्रेशन: LLMLingua जैसे तरीके अनुक्रम की लंबाई को कम करने के लिए अनावश्यक इनपुट टोकन को हटा देते हैं। हालाँकि, वे अंतर्निहित मॉडल को सघन (dense) ही छोड़ देते हैं, जिससे मॉडल के आंतरिक ऑपरेशन्स की कम्प्यूटेशनल लागत कम नहीं हो पाती।

मुख्य अंतराल (The Core Gap): वर्तमान दृष्टिकोण इन्फरेंस (inference) को एक स्थिर प्रक्रिया मानते हैं। वे यह पहचानने में विफल रहते हैं कि विभिन्न प्रॉम्प्ट्स और यहाँ तक कि विभिन्न डिकोडिंग स्टेप्स भी मॉडल के लेटेंट कम्प्यूटेशनल पाथवे के विशिष्ट, स्पार्स (sparse) उपसमुच्चय (subsets) को सक्रिय करते हैं। एक ऐसे एकीकृत ढांचे (unified framework) का अभाव है जो विशिष्ट संदर्भ के आधार पर यह गतिशील रूप से चुन सके कि किन इनपुट टोकन को रखना है और किन सब-नेटवर्क घटकों को निष्पादित करना है, जबकि यह सुनिश्चित किया जा सके कि ये चयन हार्डवेयर-कुशल ऑपरेशन्स के अनुकूल हों।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक एकीकृत ढांचे (unified framework) का प्रस्ताव करता है जो डायनेमिक LLM निष्पादन को एक कंप्रेस्ड सेंसिंग (CS) समस्या के रूप में मानता है। पूरे डेंस नेटवर्क को चलाने के बजाय, सिस्टम कुछ कम लागत वाले मापन (measurements) से आवश्यक "सक्रिय सपोर्ट" (subnetwork) का अनुमान लगाता है।

मुख्य घटक:

मापन और रिकवरी फॉर्मूलेशन (Measurement & Recovery Formulation):
- मापन (Measurement): प्रत्येक डिकोडिंग स्टेप $t$ पर, लेटेंट स्टेट से एक हल्का फीचर वेक्टर $u_t$ निकाला जाता है (कैश्ड स्टैटिस्टिक्स, आंशिक फॉरवर्ड जानकारी, या प्रोजेक्शन का उपयोग करके)। एक रैंडम मेजरमेंट मैट्रिक्स $A_t$ इसे लो-डायमेंशनल स्केच $z_t = A_t u_t + \epsilon$ में कंप्रेस करता है।
- रिकवरी (Recovery): सिस्टम एक स्पार्स इनवर्स समस्या को हल करता है ताकि एक कोएफिशिएंट वेक्टर $\alpha_t$ प्राप्त किया जा सके जो सक्रिय उप-संरचनाओं (ब्लॉक्स, हेड्स, चैनल्स) का प्रतिनिधित्व करता है। इसका उद्देश्य रिकंस्ट्रक्शन एरर को न्यूनतम करना है जबकि स्पर्सिटी और हार्डवेयर बाधाओं को लागू करना है:
  $\hat{\alpha}_t = \arg \min_{\alpha} \frac{1}{2}\|z_t - A_t\Psi\alpha\|_2^2 + \lambda\|\alpha\|_{1,S} + \Omega_{hw}(\alpha) + \Omega_{temp}(\alpha, \hat{\alpha}_{t-1})$
- निष्पादन (Execution): रिकवर किए गए सपोर्ट $\hat{s}_t$ को अगले टोकन जनरेशन के लिए एक हार्डवेयर-कुशल स्पार्स कर्नेल (जैसे, ब्लॉक-स्पार्स या N:M स्ट्रक्चर्ड) में संकलित (compile) किया जाता है।
टास्क-कंडीशन्ड मेजरमेंट्स (Task-Conditioned Measurements):
- मेजरमेंट ऑपरेटर $A_t$ सार्वभौमिक नहीं है; यह प्रॉम्प्ट $p$ पर आधारित है। विभिन्न सेमेंटिक कार्य (जैसे, कोडिंग बनाम समराइजेशन) अलग-अलग लेटेंट सपोर्ट पैटर्न प्रेरित करते हैं। सिस्टम रिकवरी के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी को कम करने के लिए एक बैंक से विशिष्ट मेजरमेंट एन्सेम्बल चुनने के लिए एक हल्के एनकोडर का उपयोग करता है।
टोकन-एडाप्टिव रिकवरी (Token-Adaptive Recovery):
- स्टैटिक प्रूनिंग के विपरीत, हर डिकोडिंग स्टेप पर सक्रिय सब-नेटवर्क $\hat{s}_t$ का पुनर्मूल्यांकन किया जाता है। यह मॉडल को कठिन टोकन (उच्च अनिश्चितता) के लिए अधिक गणना आवंटित करने और आसान टोकन के लिए कम गणना आवंटित करने की अनुमति देता है, जिससे टेम्पोरल लोकैलिटी का लाभ मिलता है।
संयुक्त प्रॉम्प्ट और मॉडल कंप्रेशन (Joint Prompt and Model Compression):
- यह ढांचा एक युग्मित ऑब्जेक्टिव फंक्शन को ऑप्टिमाइज़ करता है जो एक साथ इनपुट टोकन के उपसमुच्चय ( $r$ ) और मॉडल सब-नेटवर्क ( $s_t$ ) को चुनता है।
- मुख्य अंतर्दृष्टि: एक टोकन को हटाने से लेटेंट मेजरमेंट्स बदल जाते हैं, जो बदले में रिकवर किए गए सक्रिय सपोर्ट को बदल देता है। इसके विपरीत, एक समृद्ध (richer) सब-नेटवर्क अधिक आक्रामक प्रॉम्प्ट कंप्रेशन की अनुमति दे सकता है। सिस्टम दोनों संसाधनों के बीच एक सीमित इन्फरेंस बजट आवंटित करता है।
हार्डवेयर-अवेयर कंस्ट्रेंट्स (Hardware-Aware Constraints):
- रिकवरी समस्या को $\mathcal{H}$ के एक व्यवहार्य सेट (feasible set) के भीतर प्रतिबंधित किया गया है जो कुशल GPU कर्नेल्स (जैसे, टेंसर कोर या अटेंशन बैचिंग के साथ संरेखित) में कंपाइल किया जा सके। यह सुनिश्चित करता है कि गणितीय स्पर्सिटी वास्तविक वॉल-क्लॉक स्पीडअप में परिवर्तित हो।
अनसर्टेन्टी-ड्रिवन सेंसिंग (Uncertainty-Driven Sensing - UDS):
- एक फीडबैक लूप पिछले टोकन की प्रेडिक्टिव एंट्रॉपी के आधार पर मेजरमेंट बजट $m_t$ को एडजस्ट करता है।
- लो एंट्रॉपी (उच्च विश्वास/High Confidence): ओवरहेड बचाने के लिए न्यूनतम मापन लिए जाते हैं।
- हाई एंट्रॉपी (उच्च अनिश्चितता/High Uncertainty): सपोर्ट रिकवरी को सटीक बनाने के लिए सिस्टम प्रोब्स (probes) की संख्या बढ़ाता है, जिससे महत्वपूर्ण निर्णय लेने वाले चरणों में त्रुटियों को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र पाँच युग्मित नवीनताओं को पेश करता है:

टास्क-कंडीशन्ड मेजरमेंट्स: विभिन्न प्रॉम्प्ट्स अलग-अलग स्पार्स सपोर्ट प्रेरित करते हैं, और मेजरमेंट डिज़ाइन रिकवरी दक्षता में सुधार के लिए प्रॉम्प्ट वितरण के अनुकूल होता है।
टोकन-एडाप्टिव रिकवरी: डिकोडिंग के दौरान ऑनलाइन सक्रिय सब-नेटवर्क का पुनर्मूल्यांकन किया जाता है, जिससे फिक्स्ड स्टैटिक मॉडल के बजाय डायनेमिक रिसोर्स एलोकेशन संभव होता है।
फॉर्मल सैंपल कॉम्प्लेक्सिटी एनालिसिस: रेस्ट्रिक्टेड आइसोमेट्री प्रॉपर्टी (RIP) और म्यूचुअल इनकोहेरेंस (Mutual Incoherence) पर आधारित सैद्धांतिक सीमाएं (bounds) प्राप्त की गई हैं, जो दिखाती हैं कि प्रॉम्प्ट-कंडीशनिंग और टेम्पोरल निरंतरता कैसे आवश्यक प्रोब मेजरमेंट्स की संख्या को कम करती हैं।
कंपाइल-टू-हार्डवेयर कंस्ट्रेंट्स: रिकवरी को कुशल GPU कर्नेल्स के अनुकूल स्ट्रक्चर्ड स्पर्सिटी पैटर्न तक सीमित किया गया है, जो सैद्धांतिक स्पर्सिटी और व्यावहारिक त्वरण (acceleration) के बीच के अंतर को पाटता है।
एकीकृत ऑब्जेक्टिव: प्रॉम्प्ट कंप्रेशन और मॉडल रिडक्शन को एक एकल कंप्रेस्ड-सेंसिंग ऑब्जेक्टिव में संयुक्त रूप से हल किया जाता है, जो इनपुट चयन को सब-नेटवर्क चयन के साथ जोड़ता है।

4. सैद्धांतिक गारंटी और स्थिरता (Theoretical Guarantees & Stability)

रिकवरी गारंटी: पेपर यह सिद्ध करता है कि RIP धारणाओं के तहत, सक्रिय सपोर्ट को स्थिर रूप से रिकवर किया जा सकता है। यह दिखाया गया है कि सैंपल कॉम्प्लेक्सिटी ग्लोबल मॉडल साइज के बजाय प्रॉम्प्ट द्वारा प्रेरित लोकलाइज्ड सपोर्ट फैमिली पर निर्भर करती है।
UDS की स्थिरता: लेखक अनसर्टेन्टी-ड्रिवन सेंसिंग लूप की स्थिरता का विश्लेषण करते हैं। वे एक स्थिति ( $\gamma L_H m_{base} \frac{\partial G}{\partial m} < 1$ ) निकालते हैं जो यह सुनिश्चित करती है कि सपोर्ट रिकवरी में त्रुटियां मेजरमेंट बजट को अनियंत्रित रूप से दोलन (oscillate) न कराएं। इसके लिए कंट्रोलर की आक्रामकता, मॉडल की मजबूती और सेंसिंग दक्षता के बीच संतुलन की आवश्यकता होती है।

5. अपेक्षित परिणाम और प्रयोगात्मक कार्यक्रम (Expected Results & Experimental Program)

यद्यपि यह पेपर अंतिम अनुभवजन्य डेटा प्रस्तुत करने के बजाय एक सैद्धांतिक ढांचे और प्रयोगात्मक योजना को रेखांकित करता है, यह स्पष्ट सफलता मेट्रिक्स को परिभाषित करता है:

पारेटो एफिशिएंसी (Pareto Efficiency): इस पद्धति से डेंस मॉडल्स की तुलना में कम लेटेंसी और प्रॉम्प्ट-ओनली कंप्रेसर्स की तुलना में उच्च सटीकता प्राप्त करने की उम्मीद है, जिससे यह क्वालिटी-लेटेंसी फ्रंटियर पर हावी हो जाएगा।
बेसलाइन तुलना: इस ढांचे को इनके विरुद्ध रखा गया है:
- स्टैटिक प्रूनिंग: SparseGPT, Wanda, ZipLM।
- प्रॉम्प्ट कंप्रेशन: LLMLinglu, LongLLMLingua।
- एक्टिवेशन स्पर्सिटी: CATS, TEAL।
अनुमानित लाभ: लेखक अनुमान लगाते हैं कि प्रस्तावित विधि 3.0x–5.0x प्रॉम्प्ट कंप्रेशन रेश्यो और 35%–50% एक्टिव स्ट्रक्चर्ड सपोर्ट को जोड़कर, डेंस मॉडल की टास्क क्वालिटी के 97%–99% को बनाए रखते हुए, डेंस इन्फरेंस पर 1.55x–2.00x नेट स्पीडअप प्राप्त कर सकती है।

6. महत्व (Significance)

यह कार्य LLM इन्फरेंस के लिए एक प्रतिमान परिवर्तन (paradigm shift) है:

स्थिर से गतिशील की ओर: यह "वन-साइज़-फिट्स-ऑल" प्रूनिंग से हटकर सेंसिंग, अनुमान लगाने और केवल आवश्यक गणना को निष्पादित करने की एक निरंतर प्रक्रिया की ओर बढ़ता है।
सिस्टम्स-थ्योरेटिक दृष्टिकोण: यह इन्फरेंस को एक कंट्रोल समस्या के रूप में देखता है जहाँ "सेंसर" (मापन) और "एक्टुएटर" (स्पार्स कर्नेल्स) आपस में मजबूती से जुड़े हुए हैं।
सैद्धांतिक आधार: कंप्रेस्ड सेंसिंग थ्योरी को लागू करके, यह डायनेमिक मॉडल निष्पादन के लिए स्पष्ट एप्रोक्सिमेशन गारंटी और सैंपल कॉम्प्लेक्सिटी बाउंड प्रदान करता है, जो कि एक ऐसा क्षेत्र है जो पहले से ही ह्यूरिस्टिक गेटिंग मैकेनिज्म द्वारा संचालित था।
व्यावहारिक परिनियोजन (Practical Deployment): हार्डवेयर-अवेयर कंस्ट्रेंट्स को लागू करके, यह सुनिश्चित करता है कि स्पर्सिटी के सैद्धांतिक लाभ आधुनिक एक्सेलेरेटर्स पर वास्तविक रनटाइम स्पीडअप के रूप में प्राप्त हों।

संक्षेप में, यह शोध पत्र एक गणितीय रूप से कठोर, हार्डवेयर-अवेयर ढांचे का प्रस्ताव करता है जो प्रॉम्प्ट और मॉडल कंप्रेशन को एकीकृत करता है, जिससे LLMs को इनपुट और डिकोडिंग स्टेप की विशिष्ट मांगों के अनुसार अपने कम्प्यूटेशनल ग्राफ को गतिशील रूप से अनुकूलित करने में सक्षम बनाया जा सके।