तकनीकी सारांश: जब 'पर्याप्त अच्छा' ही इष्टतम हो: क्वांटाइज्ड गेटेड डेल्टानेट के लिए मल्टीप्लिकेशन-ओनली मैट्रिक्स इनवर्जन एप्रोक्सिमेशन

समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) के संदर्भ की लंबाई (context length) बढ़ती है, मानक अटेंशन मैकेनिज्म में क्वाड्रेटिक मेमोरी और रनटाइम लागत का सामना करना पड़ता है। लीनियर अटेंशन विधियाँ, जैसे कि गेटेड डेल्टानेट (Gated DeltaNet), एक निश्चित आकार के रिकरेंट स्टेट को बनाए रखकर इस समस्या का समाधान करती हैं। हालाँकि, हालिया कार्यान्वयन (जैसे Qwen3.5 और KiMi में) टोकन अनुक्रमों के भीतर पैरेललिज्म (parallelism) को उजागर करने के लिए एक चंक-वाइज (chunk-wise) समानांतर रणनीति का उपयोग करते हैं। जबकि यह बाहरी टोकन-दर-टोकन निर्भरताओं को हटा देता है, यह एक नई बाधा पेश करता है: प्रत्येक चंक के भीतर ट्रायंगुलर मैट्रिक्स इनवर्जन (triangular matrix inversion)।

विशेष रूप से, चंक-वाइज अपडेट के लिए $T = (I - A)^{-1}$ की गणना करने की आवश्यकता होती है, जहाँ $A$ एक स्ट्रिक्टली लोअर-ट्रायंगुलर (strictly lower-triangular) मैट्रिक्स है। पारंपरिक दृष्टिकोण फॉरवर्ड सब्स्टीट्यूशन (forward substitution) पर निर्भर करते हैं, जो $k \times k$ मैट्रिक्स के लिए एक क्रमिक (sequential) एल्गोरिदम है। यह विधि सीमित पैरेललिज्म और न्यूरल प्रोसेसिंग यूनिट्स (NPUs) पर खराब हार्डवेयर यूटिलाइजेशन प्रदर्शित करती है, क्योंकि यह डेंस मैट्रिक्स मल्टीप्लिकेशन के बजाय वेक्टर ऑपरेशन्स पर अत्यधिक निर्भर करती है। Qwen3.5-4B में, यह इनवर्जन स्टेप कुल चक्र लागत (cycle costs) का 22%–31% हिस्सा है, और चंक साइज बढ़ने के साथ यह ओवरहेड भी बढ़ता जाता है।

इसके अलावा, ब्लॉक-वाइज डिकंपोजिशन या न्यूमैन सीरीज़ एक्सपेंशन (Neumann series expansion) के माध्यम से इसे समानांतर करने के मौजूदा प्रयास चुनौतियों का सामना करते हैं:

1. ब्लॉक-वाइज इनवर्जन मैट्रिक्स के आकार को प्रतिबंधित करता है, जिससे उपलब्ध पैरेललिज्म सीमित हो जाता है।
2. डायरेक्ट न्यूमैन सीरीज़ एक्सपेंशन ($(I-A)^{-1} = \sum A^n$) परिमित परिशुद्धता (FP16/INT) के तहत संख्यात्मक अस्थिरता (numerical instability) से ग्रस्त है। उच्च-क्रम के पद (higher-order terms) तेजी से बढ़ते हैं, जिससे ओवरफ्लो और हेवी-टेल्ड डिस्ट्रीब्यूशन होता है जो क्वांटाइजेशन प्रदर्शन को खराब कर देता है।

कार्यप्रणाली (Methodology)

लेखक एक मल्टीप्लिकेशन-ओनली (MatMul) एप्रोक्सिमेशन एल्गोरिदम प्रस्तावित करते हैं जो चंक-वाइज लीनियर अटेंशन में स्ट्रिक्टली लोअर-ट्रायंगुलर मैट्रिसेस के लिए अनुकूलित है। मुख्य दर्शन है "पर्याप्त अच्छा ही इष्टतम है" (Good Enough Is Optimal): सटीक इनवर्जन अनावश्यक है यदि एप्रोक्सिमेशन मॉडल की सटीकता को बनाए रखते हुए हार्डवेयर-कुशल निष्पादन को सक्षम करता है।

यह विधि तीन प्रमुख घटकों से बनी है:

1. लो-ऑर्डर ट्रंकेटेड न्यूमैन एक्सपेंशन (Low-Order Truncated Neumann Expansion)

पूर्ण परिमित विस्तार (जिसके लिए $k$ पदों की आवश्यकता होती है) की गणना करने के बजाय, यह विधि न्यूमैन सीरीज़ को कम संख्या में पदों $N$ ($N \ll k$) के बाद ट्रंकेट (truncate) कर देती है।

• सैद्धांतिक आधार: लेम्मा 3.1 स्थापित करता है कि एक स्ट्रिक्टली लोअर-ट्रायंगुलर मैट्रिक्स $A$ के लिए, $n$-वाँ घात $A^n$ केवल $n$-वें सब-डायगोनल और उसके नीचे योगदान देता है। फलस्वरूप, इनवर्स की ऊर्जा मुख्य डायगोनल के पास केंद्रित होती है।
• कार्यान्वयन: प्रारंभिक एप्रोक्सिमेशन $T^{(0)} = \sum_{n=0}^{N} A^n$ है। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि एक निम्न क्रम (जैसे, $N \approx 3$) इनवर्स की अधिकांश संरचना को कैप्चर कर लेता है, जिससे पूर्ण विस्तार की कम्प्यूटेशनल लागत से बचा जा सकता है।

2. स्ट्रक्चरल डायगोनल मास्किंग (Structural Diagonal Masking)

उच्च-क्रम के पदों के कारण होने वाली संख्यात्मक अस्थिरता (जो तेजी से बढ़कर FP16/INT रेंज से बाहर जा सकते हैं) को संबोधित करने के लिए, लेखक एक डायगोनल मास्क $M^{(N)}$ लागू करते हैं।

• तंत्र: मास्क उन प्रविष्टियों (entries) को शून्य कर देता है यदि उनकी मुख्य डायगोनल से दूरी ट्रंकेट ऑर्डर $N$ से अधिक हो जाती है (अर्थात, $M_{ij} = 1$ यदि $i-j \le N$, अन्यथा $0$)।
• प्रभाव: यह मैट्रिक्स के निचले-बाएँ क्षेत्र में मौजूद "अनावश्यक" बड़े-परिमाण वाले मानों को हटा देता है जो इनवर्स की सटीकता में बहुत कम योगदान देते हैं लेकिन ओवरफ्लो और क्वांटाइजेशन नॉइज़ का कारण बनते हैं। यह एप्रोक्सिमेशन को लो-बिट इंटीजर (INT) क्वांटाइजेशन के लिए मजबूत बनाता है।

3. पैरेलल रेसिडुअल करेक्शन (Parallel Residual Correction)

ट्रंकेटेशन और मास्किंग एप्रोक्सिमेशन त्रुटियों को जन्म देते हैं। सटीकता को पुनः प्राप्त करने के लिए बिना क्रमिक निर्भरता (sequential dependencies) को फिर से पेश किए, लेखक एक पैरेलल रेसिडुअल करेक्शन योजना का उपयोग करते हैं।

• फॉर्मूलेशन: क्रमिक अपडेट ($T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$) के बजाय, जो कि क्रमिक है, यह विधि करेक्शन को रेसिडुअल एरर $E = I - (I-A)T^{(0)}$ के मैट्रिक्स पावर्स के संचय (accumulation) के रूप में पुनर्गठित करती है।
• निष्पादन: अंतिम एप्रोक्सिमेशन को $T \approx T^{(0)} \sum_{s=0}^{S} E^s$ के रूप में कंप्यूट किया जाता है। यह पूरे प्रोसेस को केवल मैट्रिक्स मल्टीप्लिकेशन (MatMul) कर्नेल्स का उपयोग करके निष्पादित करने की अनुमति देता है, जो NPUs को पूरी तरह से पैरेललिज्म एक्सपोज़ करता है।

क्वांटाइजेशन के लिए अनुकूलन

यह विधि विशेष रूप से लो-बिट इन्फरेंस (जैसे, INT8/INT16) के लिए ट्यून की गई है। लेखक देखते हैं कि ट्रंकेट ऑर्डर $N$ (जैसे, 3 से 4 तक) बढ़ाने से मानों की डायनेमिक रेंज नाटकीय रूप से बढ़ जाती है, जिससे गंभीर क्वांटाइजेशन त्रुटियां होती हैं। $N$ (जैसे, $N=3$) को सीमित करके और रेसिडुअल स्टेप्स ($S=8$) के साथ क्षतिपूर्ति करके, यह विधि संख्यात्मक स्थिरता, सटीकता और दक्षता के बीच संतुलन बनाती है।

मुख्य योगदान

1. एप्रोक्सिमेट-बट-सफिशिएंट MatMul-ओनली इनवर्जन: यह पेपर स्ट्रिक्टली लोअर-ट्रायंगुलर इनवर्जन को लो-ऑर्डर न्यूमैन एप्रोक्सिमेशन, स्ट्रक्चर्ड मास्किंग और पैरेलल रेसिडुअल करेक्शन के साथ बदलकर, फ्लोटिंग-पॉइंट और इंटीजर क्वांटाइजेशन दोनों के तहत सटीकता बनाए रखते हुए इसे MatMul कर्नेल्स में मैप करता है।
2. हार्डवेयर-कुशल NPU निष्पादन: ट्राइएंगुलर-सॉल्व डिपेंडेंसी को समाप्त करके, यह फॉर्मूलेशन डेंस मैट्रिक्स मल्टीप्लिकेशन को एक्सपोज़ करता है। यह NPUs पर 5× तक का कर्नेल-लेवल स्पीडअप प्राप्त करता है और बिना सटीकता हानि के डिकोड-लेयर ओवरहेड को 20% कम करता है।
3. लो-प्रिसिजन के तहत मजबूती: यह दृष्टिकोण बार-बार होने वाले मैट्रिक्स पावर ऑपरेशन्स में डायनेमिक रेंज विस्तार को कम करता है, जिससे उन स्थितियों में भी स्थिर इन्फरेंस सक्षम होता है जहाँ पिछले तरीके विफल हो जाते हैं या काफी खराब प्रदर्शन करते हैं।

प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन Qwen3.5 फैमिली के मॉडल्स (0.8B से 9B पैरामीटर्स) और Qwen3-Next मॉडल पर किया गया।

• सटीकता (Accuracy):
  • सिंगल कर्नेल: यह विधि FP16 और INT16 में उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) बनाए रखती है, जो FP32 बेसलाइन के तुलनीय है।
  • एंड-टू-एंड: परप्लेक्सिटी (PPL) और डाउनस्ट्रीम टास्क एक्यूरेसी (MMLU, CSR, RealWorldQA) सभी मॉडल स्केल्स में FLA बेसलाइन के समान है।
  • क्वांटाइजेशन: W4A16 क्वांटाइजेशन के तहत, प्रस्तावित विधि मानक FLA की तुलना में प्रदर्शन को काफी बेहतर तरीके से सुरक्षित रखती है, विशेष रूप से RealWorldQA पर, जिसमें PPL और MMLU स्कोर में नगण्य अंतर है।
• प्रदर्शन (Performance):
  • स्पीडअप: चंक साइज 32, 64, और 128 के लिए मैट्रिक्स इनवर्जन कर्नेल्स के लिए क्रमशः 5.2×, 4.2×, और 4.6× की गति प्राप्त की गई।
  • ओवरहेड में कमी: मैट्रिक्स-इनवर्स लागत को FLA में ~22–31% से घटाकर ~5–9% कर दिया गया, जिसके परिणामस्वरूप कुल साइकिल रिडक्शन 18.1% से 24.6% हुआ।
• एब्लेशन स्टडीज (Ablation Studies):
  • केवल लो-ऑर्डर ट्रंकेटेशन ($N=3$) लो-प्रिसिजन में विचलन (divergence) का कारण बनता है; हालाँकि, डायगोनल मास्क और रेसिडुअल करेक्शन ($S=8$) जोड़ने से स्थिरता और सटीकता बहाल हो जाती है।
  • 64×64 मैट्रिक्स के लिए, इष्टतम कॉन्फ़िगरेशन $N=3$ और $S=8$ है।

महत्व और दावे

यह पेपर एक कुशल और हार्डवेयर-फ्रेंडली समाधान प्रदान करने का दावा करता है, जो विशेष रूप से NPUs पर लॉन्ग-कॉन्टेक्स्ट मॉडलिंग के लिए बाधाओं को लक्षित करता है।

• स्केलेबिलिटी: फॉरवर्ड सब्स्टीट्यूशन के क्रमिक दंड (sequential penalty) के बिना बड़े चंक साइज (128 तक) को सक्षम करके, यह विधि अधिक कुशल लॉन्ग-कॉन्टेक्स्ट प्रोसेसिंग का समर्थन करती है।
• डिप्लॉयमेंट: यह दृष्टिकोण कंप्यूट और ऊर्जा आवश्यकताओं को कम करके संसाधन-सीमित उपकरणों (मोबाइल और एज प्लेटफॉर्म) पर लॉन्ग-कॉन्टेक्स्ट मॉडल्स के डिप्लॉयमेंट को सुगम बनाता है।
• ट्रेड-ऑफ दर्शन: यह कार्य इस बात पर जोर देता है कि उच्च-गुणवत्ता वाले मॉडल प्रदर्शन के लिए "सटीक" इनवर्जन की आवश्यकता नहीं है। एक "पर्याप्त अच्छे" एप्रोक्सिमेशन को स्वीकार करके जो हार्डवेयर क्षमताओं (MatMul-भारी, पैरेलल) के अनुरूप है, यह विधि इष्टतम व्यावहारिक प्रदर्शन प्राप्त करती है।

लेखक नोट करते हैं कि जबकि यह विधि दक्षता में सुधार करती है, यह विश्वसनीयता सुनिश्चित करने के लिए सावधानीपूर्वक मूल्यांकन पर निर्भर करती है, विशेष रूप से लो-प्रिसिजन बाधाओं के तहत, और यह सभी संभावित आर्किटेक्चर में सभी संख्यात्मक अस्थिरता मुद्दों को हल करने का दावा नहीं करती है, बल्कि विशेष रूप से गेटेड डेल्टानेट कॉन्टेक्स्ट को लक्षित करती है।