⚡ electrical engineering

AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models

AIRE-Prune स्टेट स्पेस मॉडल्स (State Space Models) के लिए एक संरचित पोस्ट-ट्रेनिंग प्रूनिंग विधि है जो क्लोज्ड-फॉर्म एसिम्प्टोटिक इम्पल्स-रिस्पॉन्स एनर्जी स्कोर के आधार पर अवस्थाओं को असाइन और चुनकर अवस्था आयामों (state dimensions) को कम करती है, जिससे विविध बेंचमार्क पर न्यूनतम सटीकता हानि के साथ महत्वपूर्ण कंप्यूट कटौती प्राप्त होती है।

मूल लेखक: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट लाइब्रेरी (एक स्टेट स्पेस मॉडल) है जो लंबी कहानियाँ पढ़ती है या लंबे ऑडियो क्लिप सुनती है। कहानी को समझने के लिए, इस लाइब्रेरी के दिमाग के अंदर हजारों छोटे "नोट-टेकर" (जिन्हें स्टेट्स कहा जाता है) हैं। प्रत्येक नोट-टेकर अतीत की किसी विशिष्ट जानकारी को याद रखने के लिए जिम्मेदार है।

समस्या यह है कि लाइब्रेरी में कर्मचारियों की संख्या बहुत अधिक है। उन्होंने वास्तव में जितने नोट-टेकर्स की जरूरत थी, उससे कहीं ज्यादा कामगार रख लिए हैं। यह इस वजह से लाइब्रेरी को धीमा, चलाने में महंगा और प्रबंधित करने में कठिन बनाता है, भले ही उनमें से अधिकांश नोट-टेकर बिना किसी महत्वपूर्ण काम के बस बैठे रहते हैं।

AIRE-Prune एक नया, चतुर तरीका है जिससे लाइब्रेरी की कहानी बताने की क्षमता को नुकसान पहुँचाए बिना अनावश्यक नोट-टेकर्स को निकाला जा सकता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. पुराना तरीका: "सबसे तेज़ चिल्लाहट" (वर्स्ट-केस)

पिछले तरीकों ने यह तय करने की कोशिश की कि किन नोट-टेकर्स को रखना है, यह पूछकर कि: "सबसे तेज़ कौन है? अगर हम उन्हें उनकी परम सीमा तक धकेल दें, तो कौन सबसे ज़ोर से चिल्ला सकता है?"

यह एक फायर ड्रिल की तरह है जहाँ आप केवल उन लोगों को रखते हैं जो सबसे ज़ोर से चिल्ला सकते हैं। समस्या यह है कि वास्तविक जीवन में, कोई भी इतना ज़ोर से नहीं चिल्लाता। इसलिए, आप ऐसे लोगों को रखते हैं जो चिल्लाने में तो माहिर हैं लेकिन सामान्य बातचीत के लिए बेकार हैं, जबकि उन शांत लोगों को निकाल देते हैं जो वास्तव में दैनिक कार्य करते हैं। इसे "वर्स्ट-केस" (सबसे खराब स्थिति) दृष्टिकोण कहा जाता है, और यह अक्सर बहुत अधिक रूढ़िवादी होता है।

2. नया तरीका: "कुल ऊर्जा स्कोर" (AIRE-Prune)

लेखक कहते हैं: "आइए सबसे तेज़ चिल्लाहट की चिंता करना बंद करें। इसके बजाय, आइए मापें कि प्रत्येक नोट-टेकर एक लंबे, अनंत काल के दौरान वास्तव में कितना कुल काम करता है।"

वे इसे एसिम्प्टोटिक इम्पल्स-रिस्पॉन्स एनर्जी (Asymptotic Impulse-Response Energy) कहते हैं।

उपमा: कल्पना कीजिए कि आप एक नोट-टेकर को एक बार थपथपाते हैं (एक "इम्पल्स")। वह एकल थपकी अंतिम कहानी में कितनी ऊर्जा पैदा करती है?
कुछ नोट-टेकर एक भारी ड्रम की तरह हैं: आप उन्हें एक बार थपथपाते हैं, और वे लंबे समय तक कंपन करते हैं, जिससे कहानी में बहुत अधिक "ऊर्जा" जुड़ती है।
अन्य नोट-टेकर एक पंख की तरह हैं: आप उन्हें थपथपाते हैं, और वे शायद ही हिलते हैं। वे लगभग कुछ भी योगदान नहीं देते हैं।

AIRE-Prune हर एक नोट-टेकर के लिए इस कुल ऊर्जा के आधार पर एक स्कोर की गणना करता है। यदि किसी नोट-टेकर का स्कोर कम है, तो इसका मतलब है कि वे अनिवार्य रूप से "बेकार भार" (dead weight) हैं।

3. "ग्लोबल स्कोरबोर्ड" (नॉर्मलाइजेशन)

यहाँ पेचीदा हिस्सा है: लाइब्रेरी में अलग-अलग कमरे (लेयर्स) हैं। "एंट्री रूम" में, नोट-टेकर स्वाभाविक रूप से बहुत तेज़ हो सकते हैं। "एग्जिट रूम" में, वे स्वाभाविक रूप से शांत हो सकते हैं। यदि आप केवल कच्चे स्कोर (raw scores) की तुलना करते हैं, तो आप गलती से शांत कमरे के सभी लोगों को निकाल सकते हैं।

AIRE-Prune इसे एक नॉर्मलाइज्ड स्कोरबोर्ड बनाकर हल करता है। यह "एंट्री रूम" को देखता है और कहता है, "ठीक है, यहाँ के शीर्ष 10% कार्यकर्ता कौन हैं?" और यही वह "एग्जिट रूम" के लिए भी करता है। फिर, यह सभी "शीर्ष कार्यकर्ताओं" को एक विशाल सूची में रखता है ताकि यह तय किया जा सके कि कौन रहेगा। यह सुनिश्चित करता है कि प्रत्येक कमरे को उचित अवसर मिले, चाहे वह कमरा सामान्य रूप से कितना भी तेज़ या शांत क्यों न हो।

4. परिणाम: अतिरिक्त भार को काटना

लेखकों ने परीक्षण के लिए लॉन्ग रेंज एरिना (Long Range Arena) नामक एक प्रसिद्ध चुनौती का उपयोग किया (जहाँ मॉडल्स को डेटा के बहुत लंबे अनुक्रमों को याद रखना होता है)।

जादुई संख्या: वे औसतन 60.8% नोट-टेकर्स (स्टेट्स) को निकालने में सक्षम रहे।
लागत: लाइब्रेरी की सटीकता केवल 0.29% गिरी। यह व्यावहारिक रूप से अदृश्य है।
लाभ: क्योंकि उन्होंने इतने सारे नोट-टेकर्स को निकाल दिया, इसलिए लाइब्रेरी बहुत तेज़ हो गई और उसने बहुत कम मेमोरी का उपयोग किया।

यह प्रतिस्पर्धा से बेहतर क्यों है?

पेपर पिछले सर्वश्रेष्ठ तरीके (जिसे LAST कहा जाता है, जो "Loud Shout" यानी वर्स्ट-केस पद्धति का उपयोग करता था) के साथ तुलना करता है।

LAST एक सतर्क मैनेजर की तरह था जो केवल सावधानी के तौर पर बहुत से लोगों को रखता था।
AIRE-Prune एक स्मार्ट मैनेजर की तरह है जो वास्तव में दैनिक आउटपुट को देखता है। इसने पाया कि लाइब्रेरी में बहुत सारा "बेकार भार" था जिसे पुराने तरीके ने मिस कर दिया था।

सारांश

AIRE-Prune को AI मॉडल्स के लिए एक अत्यधिक कुशल एचआर (HR) विभाग के रूप में समझें। यह अनुमान लगाने के बजाय कि कौन ज़ोर से चिल्लाने की क्षमता रखता है, यह मापता है कि समय के साथ कौन वास्तव में ऊर्जा का योगदान देता है। कम ऊर्जा वाले श्रमिकों को निकालकर, यह AI को तेज़ और सस्ता बनाता है, जबकि कहानी (सटीकता) को लगभग वैसा ही बनाए रखता है।

पेपर का दावा है कि यह विभिन्न प्रकार के AI मॉडल्स (जैसे S5, S4D, और Mamba) के लिए काम करता है और इसके लिए पुनः प्रशिक्षण (retraining) की आवश्यकता नहीं है। आप बस स्कोर की गणना करते हैं, निचले 60% को काटते हैं, और आपका काम हो गया।

तकनीकी सारांश: AIRE-Prune

समस्या विवरण (Problem Statement)

डीप स्टेट स्पेस मॉडल्स (SSMs) ने आंतरिक अवस्थाओं (internal states) में इनपुट इतिहास को संकुचित करके अनुक्रमिक डेटा (sequential data) को मॉडल करने में प्रभावकारिता प्रदर्शित की है। हालाँकि, स्टेट डायमेंशन $n$ कंप्यूटेशनल और मेमोरी लागत का एक प्राथमिक चालक बना हुआ है। जबकि आधुनिक आर्किटेक्चर अक्सर स्थिरता और दक्षता सुनिश्चित करने के लिए डायगोनल या डायगोनलाइज़ेबल पैरामीटराइजेशन (जैसे कि मल्टी-SISO या MIMO स्टैक्स जैसे S5) का उपयोग करते हैं, ये मॉडल अक्सर ओवर-पैरामीटराइजेशन से ग्रस्त होते हैं। $n$ को अनुकूलित करने के लिए मौजूदा पोस्ट-ट्रेनिंग तंत्र सीमित हैं। अन्य दृष्टिकोण, जैसे कि अनस्ट्रक्चर्ड वेट प्रूनिंग (unstructured weight pruning), सीधे स्टेट डायमेंशन को कम नहीं करते हैं। अन्य स्ट्रक्चर्ड तरीके, जैसे कि हालिया LAST (Gwak etol., 2025), वर्स्ट-केस फ्रीक्वेंसी-डोमेन गेन ( $H_\infty$ ) पर निर्भर करते हुए अवस्थाओं को स्कोर करने के लिए, प्रभावी तो हैं, लेकिन वर्स्ट-केस उपाय विशिष्ट वर्कलोड के लिए अत्यधिक रूढ़िवादी हो सकते हैं, क्योंकि वे उस पीक एम्प्लीफिकेशन (peak amplification) पर जोर देते हैं जिसे कार्य शायद ही कभी उत्तेजित (excite) करते हैं, जिससे सब-ऑप्टिमल कंप्रेशन अनुपात की संभावना बढ़ जाती है।

कार्यप्रणाली (Methodology): AIRE-Prune

लेखक AIRE-Prune (Asymptotic Impulse-Response Energy for State PRUN(E)ing) पेश करते हैं, जो डायगोनल (या डायगोनलाइज़ेबल) SSMs के लिए डिज़ाइन किया गया एक स्ट्रक्चर्ड, पोस्ट-ट्रेनिंग, लेयर-एडेप्टिव प्रूनिंग मेथड है। पिछले तरीकों के विपरीत जो वर्स्ट-केस गेन पर ध्यान केंद्रित करते हैं, AIRE-Prune एसिम्प्टोटिक इम्पल्स-रिस्पॉन्स एनर्जी (asymptotic impulse-response energy) के साथ संरेखित है, जो एक 'टिपिकल-केस' मानदंड है जो अनंत समय क्षितिज (infinite time horizon) में एक स्टेट द्वारा योगदान की गई कुल आउटपुट ऊर्जा का प्रतिनिधित्व करता है।

मुख्य तंत्र (Core Mechanism)

ऊर्जा-आधारित रैंकिंग (Energy-Based Ranking):
एक स्थिर डिस्क्रीट-टाइम डायगोनल SSM लेयर के लिए, जिसे $(\Lambda, B, C)$ द्वारा परिभाषित किया गया है, जहाँ $\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$ और $|\lambda_i| < 1$ है, यह विधि प्रत्येक स्टेट (मोड) $i$ के लिए उत्पन्न कुल स्क्वेर्ड आउटपुट एनर्जी की गणना करती है।
$i$ -वें मोड के लिए क्लोज्ड-फॉर्म स्कोर इस प्रकार प्राप्त किया जाता है:
$\text{EnergyScore}_{\text{local}}(x_i) = E_i = \frac{\|C_{:,i}\|_2^2 \|B_{i,:}\|_2^2}{1 - |\lambda_i|^2}$
यह स्कोर तीन कारकों को एकीकृत करता है:
- कंट्रोलेबिलिटी (Controllability): $\|B_{i,:}\|_2^2$ द्वारा प्रतिनिधित्व (उत्तेजना की सुगमता)।
- ऑब्जर्वेबिलिटी (Observability): $\|C_{:,i}\|_2^2$ द्वारा प्रतिनिधित्व (मापन की सुगमता)।
- डैम्पिंग/मेमोरी (Damping/Memory): पोल $\lambda_i$ द्वारा प्रतिनिधित्व; यूनिट सर्कल के करीब वाले पोल्स (धीमी गिरावट) वाले स्टेट्स लंबी अवधि की ऊर्जा में अधिक योगदान देते हैं।
क्रॉस-लेयर नॉर्मलाइजेशन (Cross-Layer Normalization):
चूंकि ऊर्जा के स्केल विभिन्न लेयर्स (जैसे कि एनकोडर/डिकोडर गेन्स के कारण) में काफी भिन्न हो सकते हैं, लेखक वैश्विक तुलना को सक्षम करने के लिए एक प्रीफिक्स-नॉर्मलाइज्ड स्कोरिंग रणनीति प्रस्तावित करते हैं:
- प्रत्येक लेयर $\ell$ के भीतर, मोड्स को उनके लोकल एनर्जी $E^{(\ell)}_i$ के आधार पर अवरोही क्रम (descending order) में सॉर्ट किया जाता है।
- सॉर्ट किए गए एनर्जियों के लिए एक प्रीफिक्स सम $S^{(\ell)}_{(i)}$ की गणना की जाती है।
- ग्लोबल स्कोर "हैज़र्ड-रेट" अनुपात के रूप में परिभाषित किया गया है:
  $\text{AIREPrune}(x^{(\ell)}_{(i)}) = \frac{E^{(\ell)}_{(i)}}{S^{(\ell)}_{(i)} + \epsilon}$
  यह नॉर्मलाइजेशन सुनिश्चित करता है कि स्कोर एक लेयर के भीतर मोनोटोनिकली नॉन-इंक्रीजिंग हों, जिससे पूरे मॉडल पर एक सिंगल ग्लोबल थ्रेशोल्ड $\tau$ लागू किया जा सके।
प्रूनिंग निष्पादन (Pruning Execution):
एक लक्षित प्रूनिंग अनुपात या थ्रेशोल्ड दिए जाने पर, एल्गोरिदम प्रत्येक लेयर में स्टेट्स के सबसे लंबे प्रीफिक्स को बनाए रखता है जहाँ नॉर्मलाइज्ड स्कोर $\tau$ से अधिक होता है। यह लेयर-एडेप्टिव प्रूनिंग की अनुमति देता है जहाँ कुछ लेयर्स को भारी रूप से प्रून किया जा सकता है या पूरी तरह से हटाया जा सकता है यदि उनके स्टेट्स ग्लोबल थ्रेशोल्ड से नीचे गिर जाते हैं, जबकि अन्य काफी हद तक बरकरार रहते हैं।

मुख्य योगदान (Key Contributions)

क्लोज्ड-फॉर्म एसिम्प्टोटिक एनर्जी स्कोर: पेपर हर सीखे गए मोड के लिए अनंत-क्षितिज आउटपुट ऊर्जा के आधार पर गणितीय रूप से व्युत्पन्न क्लोज्ड-फॉर्म स्कोर प्रदान करता है। यह महंगी संख्यात्मक सिमुलेशन या रिट्रेनिंग की आवश्यकता को समाप्त करता है।
मोडल ट्रंकेशन का विस्तार: यह कार्य क्लासिकल मोडल ट्रंकेशन (जो आमतौर पर सिंगल लीनियर सिस्टम पर लागू होता है) को डीप स्टैक्स ऑफ नॉनलीन SSMs तक विस्तारित करता है, जो दक्षता के लिए आवश्यक डायगोनल संरचना को सुरक्षित रखता है।
टिपिकल-केस बनाम वर्स्ट-केस: महत्व मेट्रिक को वर्स्ट-केस $H_\infty$ गेन से हटाकर कुल इम्पल्स-रिस्पॉन्स एनर्जी पर केंद्रित करके, यह विधि सिस्टम के समग्र व्यवहार को लक्षित करती है न कि दुर्लभ पीक एम्प्लीफिकेशन को।
आर्किटेक्चर एग्नोस्टिक (Architecture Agnostic): यह विधि मल्टी-SISO कंस्ट्रक्शन और MIMO स्टैक्स (जैसे S5-स्टाइल) के साथ-साथ S4D और Mamba जैसे अन्य SSM परिवारों के लिए भी लागू है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने S5, S4D, और Mamba बैकबोन का उपयोग करके लॉन्ग रेंज एरिना (LRA) बेंचमार्क और स्पीच कमांड्स (Speech Commands) डेटासेट पर AIRE-Prune का मूल्यांकन किया।

कंप्रेशन एफिशिएंसी (Compression Efficiency): विविध बेंचमार्क में, AIRE-Prune ने बिना किसी रिट्रेनिंग के औसतन 60.8% स्टेट प्रूनिंग के साथ केवल 0.29% का औसत सटीकता ड्रॉप हासिल किया।
बेसलाइन्स से तुलना:
- LRA सूट पर, AIRE-Prune ने रैंडम, यूनिफॉर्म मैग्नीट्यूड, ग्लोबल मैग्नीट्यूड, LAMP, यूनिफॉर्म $H_\infty$ , ग्लोबल $H_\infty$ , और LAST सहित बेसलाइन्स को काफी पीछे छोड़ दिया।
- $\le 1$ प्रतिशत पॉइंट (pp) सटीकता हानि के सख्त प्रतिबंध के तहत, AIRE-Prune ने सबसे मजबूत बेसलाइन (LAST) की तुलना में काफी उच्च प्रूनिंग अनुपात की अनुमति दी। उदाहरण के लिए, Path-X कार्य पर, AIRE-Prune ने सुरक्षित रूप से 70% स्टेट्स को प्रून किया, जबकि LAST ने केवल 30% किया।
- स्पीच कमांड्स कार्य पर, 45% स्टेट्स को नगण्य सटीकता हानि (96.40% बनाम फुल मॉडल के लिए 96.43%) के साथ प्रून किया गया।
इन्फरेंस एफिशिएंसी (Inference Efficiency): प्रूनिंग सीधे सिस्टम-लेवल लाभों में परिवर्तित हुई। NVIDIA H100 GPU पर, विधि ने कार्य और प्रूनिंग अनुपात के आधार पर 1.23 $\times$ से 2.86 $\times$ तक इन्फरेंस स्पीडअप और 19% से 65% तक पैरामीटर रिडक्शन प्रदान किया।
जनरलाइजेशन (Generalization): विधि ने S4D और Mamba आर्किटेक्चर पर मजबूत प्रदर्शन दिखाया, जिसमें न्यूनतम सटीकता गिरावट के साथ S4D के लिए टेक्स्ट कार्य पर 90% और Mamba के लिए इमेज कार्य पर 80% तक प्रूनिंग हासिल की गई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि AIRE-Prune प्रशिक्षित SSMs के स्टेट स्पेस में पर्याप्त रेडंडेंसी (redundancy) को प्रकट करता है, जिसे बिना रिट्रेनिंग के हटाया जा सकता है। वर्स्ट-केस गेन के बजाय एसिम्प्टोटिक रिस्पॉन्स एनर्जी के साथ संरेखित करके, यह विधि कार्य प्रदर्शन की लागत को नगण्य रखते हुए आक्रामक कंप्रेशन प्राप्त करती है।

लेखक देखते हैं कि AIRE-Prune के साथ देखे गए "स्टेप-लाइक" (step-like) सटीकता ड्रॉप प्रोफाइल (जहाँ एक उच्च प्रूनिंग थ्रेशोल्ड तक सटीकता स्थिर रहती है, फिर तेजी से गिरती है) महत्वपूर्ण और गैर-महत्वपूर्ण स्टेट्स के बीच एक मजबूत अलगाव को दर्शाता है। यह उन बेसलाइन्स के विपरीत है जो स्मूथ डिग्रेडेशन दिखाते हैं, जो यह सुझाव देता है कि उनके स्कोरिंग तरीके महत्वपूर्ण और गैर-महत्वपूर्ण स्टेट्स को मिला देते हैं।

व्यावहारिक रूप से, यह विधि सक्षम बनाती है:

ग्लोबल बजटिंग (Global Budgeting): प्रति-लेयर ट्यूनिंग के बिना एक सिंगल टारगेट बजट सेट करना।
ब्लॉक-लेवल रिडक्शन (Block-Level Reduction): जब उनके स्टेट्स थ्रेशोल्ड से नीचे गिर जाते हैं तो पूरी लेयर्स को प्रून करने की क्षमता, जो फाइन-ग्रेन्ड स्पर्सिटी को ब्लॉक-स्ट्रक्चर्ड रिडक्शन में बदल देता है जो हार्डवेयर के अनुकूल है।
ट्रेनिंग-फ्री ऑप्टिमाइजेशन (Training-Free Optimization): एक पोस्ट-ट्रेनिंग तंत्र जिसमें कोई अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता नहीं होती है, जिससे यह तैनात मॉडल्स के लिए तुरंत लागू करने योग्य हो जाता है।

कार्य निष्कर्ष निकालता है कि AIRE-Prune डीप SSMs में मॉडल ऑर्डर रिडक्शन के लिए एक सिद्धांत-आधारित, ऊर्जा-आधारित दृष्टिकोण प्रदान करता है, जो कंप्रेशन अनुपात और सटीकता संरक्षण दोनों में वर्तमान स्टेट-ऑफ-द-आर्ट रणनीतियों से बेहतर है।