🤖 AI

COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models

COREY एक प्रोटोटाइप फ्रेमवर्क है जो मेमोरी-अवेयर ऑपरेटर फ्यूजन को हैडामार्ड-आधारित फीचर रीपैरामीट्राइजेशन और एंट्रॉपी-गाइडेड शेड्यूलिंग के साथ जोड़कर स्टेट स्पेस मॉडल्स को उन्नत करता है ताकि लॉन्ग-कॉन्टेक्स्ट इन्फरेंस में लेटेंसी को कम करने, थ्रूपुट को सुधारने और DRAM ट्रैफिक को घटाने में मदद मिल सके।

मूल लेखक: Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च-गति वाली लाइब्रेरी चला रहे हैं जहाँ किताबों (डेटा) को पढ़ा, प्रोसेस और सारांशित किया जाना है। अतीत में, इसे करने का सबसे अच्छा तरीका यह था कि एक लाइब्रेरियन (AI) हर एक शब्द को पढ़ता, संदर्भ को याद रखता और एक सारांश लिखता। लेकिन जैसे-जैसे किताबें लंबी होती गईं, लाइब्रेरियन अभिभूत होने लगा, और प्रक्रिया धीमी हो गई क्योंकि उन्हें नए पन्ने लेने के लिए बार-बार शेल्फ तक वापस जाना पड़ता था।

यहाँ स्टेट स्पेस मॉडल्स (SSMs) का प्रवेश होता है, जैसे कि "माम्बा" (Mamba) परिवार। ये एक अत्यंत कुशल लाइब्रेरियन की तरह हैं जो पूरी किताब को लीनियर टाइम (linear time) में पढ़ सकते हैं—वे किताब लंबी होने पर धीमे नहीं होते। हालाँकि, इसमें एक पेच है। भले ही वे तेज़ी से पढ़ते हैं, लेकिन वे लगातार फर्श पर नोट्स के ढेर गिराते रहते हैं और उन्हें उठाने के लिए वापस दौड़कर जाते हैं। यह "आगे-पीछे दौड़ना" (मेमोरी और प्रोसेसर के बीच डेटा ले जाना) ही मुख्य बाधा (bottleneck) है। यह एक ऐसे शेफ की तरह है जो सब्जियां काटने में तो तुरंत माहिर है, लेकिन अपना 90% समय सामग्री लेने के लिए फ्रिज तक जाने में बिता देता है।

यह पेपर COREY को पेश करता है, जो इस "चलने-फिरने" को रोकने के लिए रसोई को व्यवस्थित करने का एक नया तरीका है।

यहाँ सरल शब्दों में बताया गया है कि COREY कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करते हुए:

1. समस्या: फ्रिज तक बहुत अधिक चक्कर लगाना

वर्तमान AI सिस्टम में, "शेफ" (प्रोसेसर) को रुकना पड़ता है, एक नोट लिखना पड़ता है, फ्रिज तक चलना पड़ता है (मेमोरी), एक नई सामग्री उठानी पड़ती है, वापस आना पड़ता है, और फिर खाना बनाना शुरू करना पड़ता है। एक एकल वाक्य के लिए यह हजारों बार होता है। इससे ऊर्जा और समय दोनों बर्बाद होते हैं।

2. समाधान: "ऑपरेटर फ्यूजन" (कतरने का बैच बनाना)

COREY द्वारा उपयोग किया जाने वाला पहला तरीका ऑपरेटर फ्यूजन (Operator Fusion) है। एक प्याज काटने, फिर फ्रिज तक जाने, फिर एक गाजर काटने और फिर वापस आने के बजाय, शेफ कार्यों को समूहों में बांट देता है। वे एक ही बार में प्याज, गाजर और लहसुन काट लेते हैं।

उदाहरण: कल्पना कीजिए कि एक डिलीवरी ड्राइवर आमतौर पर एक पैकेज छोड़ता है, गोदाम वापस जाता है, दूसरा लेता है, और फिर वापस आता है। फ्यूजन एक साथ 10 पैकेज ट्रक में लोड करने और एक कुशल यात्रा करने जैसा है।

3. स्मार्ट शेड्यूलर: "एन्ट्रॉपी" ट्रैफिक पुलिस

यह कठिन काम यह जानना है कि किन कार्यों को एक साथ समूह में रखना है। यदि आप बहुत अधिक कार्यों को एक साथ रखते हैं, तो ट्रक बहुत भारी हो जाएगा और खराब हो जाएगा। यदि आप बहुत कम रखते हैं, तो ईंधन बर्बाद होगा।

पुराना तरीका: ड्राइवर बिना सोचे समझे हर बार 3 आइटमों का समूह बनाता है, चाहे स्थिति कुछ भी हो।
COREY का तरीका: COREY एन्ट्रॉपी (Entropy) नामक एक मीट्रिक का उपयोग करता है। एन्ट्रॉपी को डेटा में "अराजकता" या "आश्चर्य" के माप के रूप में समझें।
- यदि डेटा बहुत अनुमानित (low entropy) है, तो शेफ को पता है कि आगे क्या आने वाला है। वे सुरक्षित रूप से कार्यों का एक बड़ा बैच एक साथ रख सकते हैं क्योंकि त्रुटि का जोखिम कम है।
- यदि डेटा अराजक और आश्चर्यों से भरा (high entropy) है, तो शेफ को सावधान रहने की आवश्यकता होती है। वे गलतियों से बचने के लिए कम कार्यों को समूह में रखते हैं।
- रूपक: एक व्यस्त चौराहे पर एक ट्रैफिक पुलिसकर्मी की कल्पना करें। यदि यातायात सुचारू और अनुमानित है, तो वे एक लंबी कारों की लाइन को एक साथ ग्रीन लाइट से गुजरने देते हैं। यदि यातायात अनिश्चित और खतरनाक है, तो वे सुरक्षा बनाए रखने के लिए एक बार में केवल कुछ ही कारों को जाने देते हैं। COREY वही ट्रैफिक पुलिसकर्मी है, जो तय करता है कि डेटा की "अराजकता" के आधार पर कितने कार्यों को एक साथ बांधना है।

4. सीक्रेट सॉस: "हाडामाड शफल" (आउटलेयर्स को स्मूथ करना)

कभी-कभी, डेटा में "आउटलेयर्स" (outliers) होते हैं—संख्याओं के अजीब, विशाल उछाल जो सिस्टम को क्रैश कर सकते हैं (जैसे तापमान में अचानक आया बड़ा उछाल जो थर्मामीटर को तोड़ दे)। ये उछाल कार्यों को एक साथ रखने (फ्यूजन) को खतरनाक बनाते हैं क्योंकि सिस्टम भ्रमित हो सकता है।

समाधान: COREY एक गणितीय ट्रिक का उपयोग करता है जिसे हाडामाड ट्रांसफॉर्म (Hadamard Transform) कहा जाता है।
उदाहरण: कल्पना कीजिए कि आपके पास कंचों (marbles) का एक थैला है जिसमें एक विशाल पत्थर है और बाकी छोटे कंचे हैं। यदि आप उन्हें एक संकीले पाइप से डालने की कोशिश करते हैं, तो वह पत्थर फंस जाएगा।
- COREY उस थैले को शफल (shuffle) करता है। यह कुल वजन को नहीं बदलता (जानकारी अभी भी वहीं है), लेकिन यह उस विशाल पत्थर को छोटे, प्रबंधनीय टुकड़ों में तोड़ देता है और उन्हें कंचों के बीच समान रूप से फैला देता है।
- अब, "पाइप" (प्रोसेसर) प्रवाह को सुचारू रूप से संभाल सकता है। यह "शफलिंग" डेटा को कम "नुकीला" बनाती है और प्रोसेसर को बिना क्रैश के डर के अधिक कार्यों को समूह में रखने की अनुमति देती है।

5. परिणाम: तेज़, सुचारू और बेहतर

इन दो विचारों को मिलाकर:

स्मार्ट ग्रुपिंग: केवल तभी कार्यों को समूह में रखना जब डेटा इसे संभालने के लिए पर्याप्त शांत हो।
स्मूथिंग: "बौल्डर्स" (बड़े पत्थरों) को तोड़ना ताकि वे ट्रैफिक जाम न लगाएं।

COREY प्राप्त करता है:

कम चलना: प्रोसेसर मेमोरी से डेटा लाने में कम समय बिताता है।
तेज़ कुकिंग: कार्यों को जल्दी पूरा किया जाता है, विशेष रूप से बहुत लंबी किताबों (लंबे अनुक्रमों) के साथ।
कम ऊर्जा: कम आवाजाही का मतलब है कम बिजली की खपत।

निष्कर्ष

पेपर स्वीकार करता है कि यह वर्तमान में एक "प्रोटोटाइप" (एक लैब में काम करने वाला मॉडल, अभी तक पूर्ण व्यावसायिक उत्पाद नहीं) है। उन्होंने सिंथेटिक डेटा पर इसका परीक्षण किया और पाया कि यह लगातार उस समय को कम करता है जब AI मेमोरी का इंतज़ार करता है और प्रोसेसिंग की गति बढ़ाता है।

संक्षेप में: COREY एक स्मार्ट किचन मैनेजर है जो सामग्रियों को शफल करता है ताकि उन्हें संभालना आसान हो जाए और फिर शेफ को बताता है कि एक बार में कितने व्यंजन तैयार करने हैं, जिससे यह सुनिश्चित होता है कि रसोई अधिकतम गति से चले और खाना जले या चूल्हा न टूटे।

यहाँ शोध पत्र "COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सेलेक्टिव स्टेट स्पेस मॉडल्स (SSMs), जैसे कि मम्बा (Mamba) परिवार, लीनियर-टाइम सीक्वेंस मॉडलिंग ( $O(L)$ ) प्रदान करते हैं, जो उन्हें लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लिए ट्रांसफॉर्मर्स से बेहतर बनाते हैं। हालाँकि, GPU पर व्यावहारिक परिनियोजन (deployment) दो महत्वपूर्ण बाधाओं का सामना करता है:

मेमोरी-बाउंड निष्पादन (Memory-Bound Execution): वर्तमान SSM कार्यान्वयन सेलेक्टिव स्कैन्स को खंडित कर्नेल (पॉइंटवाइज और रिडक्शन ऑपरेशन्स) में विभाजित करते हैं। इससे इंटरमीडिएट टेंसर मैटेरियलाइजेशन के लिए बार-बार ग्लोबल मेमोरी ट्रैफिक होता है, जिससे क्रिटिकल पाथ एक कंप्यूट-बाउंड वर्कलोड के बजाय मेमोरी-बाउंड वर्कलोड में बदल जाता है।
एक्टिवेशन आउटलेयर्स और क्वांटाइजेशन अस्थिरता (Activation Outliers & Quantization Instability): SSM इंटरनल अक्सर भारी-पूंछ वाले (heavy-tailed) एक्टिवेशन डिस्ट्रीब्यूशन और महत्वपूर्ण आउटलेयर्स प्रदर्शित करते हैं। ये आउटलेयर्स लो-बिट क्वांटाइजेशन (जैसे, W4A8, W8A8) को अस्थिर करते हैं और फ्यूजन की "सुरक्षित गहराई" (safe depth) को सीमित करते हैं, क्योंकि उच्च आउटलेयर सांद्रता वाले क्षेत्रों में आक्रामक फ्यूजन संख्यात्मक संवेदनशीलता (numeric sensitivity) को बढ़ा सकता है और मॉडल की गुणवत्ता को कम कर सकता है।

मौजूदा समाधान अक्सर ऑपरेटर फ्यूजन (सिस्टम ऑप्टिमाइज़ेशन) और एक्टिवेशन स्मूथिंग (क्वांटाइजेशन/न्यूमेरिकल स्टेबिलिटी) को अलग-अलग समस्याओं के रूप में देखते हैं।

2. कार्यप्रणाली: COREY फ्रेमवर्क (Methodology: The COREY Framework)

लेखक COREY प्रस्तावित करते हैं, जो एक प्रोटोटाइप फ्रेमवर्क है जो मेमोरी-अवेयर ऑपरेटर फ्यूजन को हैडामार्ड-आधारित फीचर रीपैरामीट्राइजेशन (Hadamard-based feature reparameterization) के साथ एकीकृत करता है। मुख्य नवाचार वितरण शेपिंग (distribution shaping) और सिस्टम ऑप्टिमाइज़ेशन के बीच सेतु बनाने के लिए एक्टिवेशन एंट्रॉपी (Activation Entropy) को एक रनटाइम शेड्यूलिंग सिग्नल के रूप में उपयोग करना है।

A. एंट्रॉपी-गाइडेड ऑपरेटर फ्यूजन (Entropy-Guided Operator Fusion)

स्थिर फ्यूजन नियमों या फिक्स्ड-डेप्थ ह्यूरिस्टिक्स के बजाय, COREY एक्टिवेशन टेंसर के शैनन एंट्रॉपी (Shannon entropy) के आधार पर फ्यूजन बाउंड्रीज और टाइल साइज़ को गतिशील रूप से निर्धारित करता है।

एंट्रॉपी अनुमान (Entropy Estimation): एंट्रॉपी ( $H$ ) का अनुमान लगाने के लिए एक्टिवेशन्स को फिक्स्ड-विड्थ हिस्टोग्राम में वर्गीकृत किया जाता है।
फ्यूजन स्कोर (Fusion Score): एक क्षेत्र को तब फ्यूज किया जाता है यदि एक कंपोजिट स्कोर $S(R)$ थ्रेशोल्ड $\tau$ से अधिक हो:
$S(R) = \alpha \hat{H}(R) + \beta \widehat{AI}(R) - \gamma \hat{M}(R)$
जहाँ $\hat{H}$ नॉर्मलाइज्ड एंट्रॉपी है, $\widehat{AI}$ अर्थमैटिक इंटेंसिटी है, और $\hat{M}$ अनुमानित मेमोरी ट्रैफिक है।
डायनेमिक शेड्यूलिंग (Dynamic Scheduling): उच्च-एंट्रॉपी वाले क्षेत्र (जहाँ एक्टिवेशन मास समान रूप से वितरित होता है) बड़े टाइल्स और गहरी फ्यूजन की अनुमति देते हैं। निम्न-एंट्रॉपी वाले क्षेत्र (जो आउटलेयर्स के प्रति संवेदनशील होते हैं) रजिस्टर प्रेशर और ओवर-फ्यूजन को रोकने के लिए छोटे टाइल्स को ट्रिगर करते हैं।

B. फ्यूज्ड हैडामार्ड रीपैरामीट्राइजेशन (Fused Hadamard Reparameterization)

भारी-पूंछ वाले एक्टिवेशन की समस्या को हल करने के लिए, COREY सीधे लीनियर प्रोजेक्शन लेयर्स में एक हैडामार्ड ट्रांसफॉर्म (Hadamard transform) को एकीकृत करता है।

मैकेनिज्म (Mechanism): एक लीनियर प्रोजेक्शन $y = Wx $के लिए, यह विधि एक हैडामार्ड ट्रांसफॉर्म पेयर को सम्मिलित करती है:$ y = (WH^\top)(Hx) = W'\hat{x}$।
फ्यूजन (Fusion): हैडामार्ड ट्रांसफॉर्म ($Hx $), प्रोजेक्शन ($ W'$), और आसन्न एलिमेंट-वाइज ऑपरेटर्स को एक सिंगल कर्नेल में फ्यूज किया जाता है, जिससे अतिरिक्त मेमोरी पासेज से बचा जा सकता है।
प्रभाव (Effect): हैडामार्ड रोटेशन भारी-पूंछ वाले ऊर्जा को चैनल्स के बीच पुनर्वितरित करता है, जिससे एक्टिवेशन डिस्ट्रीब्यूशन स्मूथ हो जाता है। यह अनुभवजन्य एंट्रॉपी (empirical entropy) को बढ़ाता है और पीक कोऑर्डिनेट मैग्नीट्यूड (आउटलेयर्स) को कम करता है, जिससे आक्रामक फ्यूजन और लो-प्रिसिजन निष्पादन के लिए सुरक्षित ऑपरेटिंग क्षेत्र का विस्तार होता है।

C. सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर इस दृष्टिकोण का समर्थन करने वाले सैद्धांतिक प्रमाण प्रदान करता है:

एंट्रॉपी ग्रोथ (Entropy Growth): डबली-स्टोकेस्टिक मिक्सिंग (जो फिक्स्ड बिन्स पर हैडामार्ड रोटेशन द्वारा अनुमानित है) के तहत, हिस्टोग्राम एंट्रॉपी सख्ती से बढ़ती है यदि प्री-रोटेशन डिस्ट्रीब्यूशन नॉन-यूनिफॉर्म है।
फ्यूजन डेप्थ बाउंड (Fusion Depth Bound): एक व्युत्पन्न बाउंड दिखाता है कि फ्यूजन डेप्थ शेयर्ड मेमोरी बाधाओं द्वारा सीमित है, जो डेप्थ और रिसोर्स यूसेज को संतुलित करने के लिए एंट्रॉपी-गाइडेड टिलिंग की आवश्यकता को न्यायसंगत ठहराता है।
स्थिरता (Stability): हैडामार्ड रोटेशन कुल वेरिएंस ( $\ell_2$ norm) को संरक्षित करता है लेकिन पीक कोऑर्डिनेट मैग्नीट्यूड ( $\ell_\infty$ norm) को $\sqrt{d}$ के कारक से कम करता है, जिससे लो-बिट क्वांटाइजेशन के लिए क्लिपिंग बाउंड्स टाइट हो जाते हैं।

3. प्रमुख योगदान (Key Contributions)

एंट्रॉपी-ड्रिवन क्राइटेरिया (Entropy-Driven Criterion): SSM कर्नेल्स में फ्यूजन बाउंड्रीज और टाइल ग्रैनुलैरिटी चुनने के लिए एक डायनेमिक, रनटाइम-फ्रेंडली एंट्रॉपी सिग्नल की शुरुआत, जो स्टैटिक ग्राफ्स से आगे बढ़कर है।
फ्यूज्ड हैडामार्ड लेयर (Fused Hadamard Layer): एक रीपैरामीट्राइजेशन लेयर का डिज़ाइन जो फंक्शनल इक्विवेलेंस को बनाए रखते हुए और पीक-कोऑर्डिनेट कंसंट्रेशन को कम करते हुए फॉरवर्ड/इनवर्स हैडामार्ड ट्रांसफॉर्म को प्रोजेक्शन ब्लॉक्स में एम्बेड करता है।
एकीकृत लिंक (Unified Link): एंट्रॉपी गेन (हैडामार्ड स्मूथिंग से) और आक्रामक फ्यूजन तथा लो-प्रिसिजन निष्पादन की व्यवहार्यता के बीच स्पष्ट संबंध।
प्रोटोटाइप वैलिडेशन (Prototype Validation): एक रिप्रोड्यूसिबल प्रोटोटाइप स्टडी जो अनफ्यूज्ड और स्टैटिक-फ्यूजन बेसलाइन्स की तुलना में निरंतर कम प्रॉक्सी लेटेंसी, बेहतर थ्रूपुट और कम DRAM ट्रैफिक प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

यह अध्ययन सिंथेटिक हेवी-टेल्ड एक्टिवेशन्स का उपयोग करके एक नियंत्रित प्रोटोटाइप के रूप में किया गया था और इसे WSL2/CUDA वातावरण में मम्बा चेकपॉइंट्स (370M, 1.4B, 2.8B) के विरुद्ध मान्य किया गया था।

प्रदर्शन लाभ (FP16):
- थ्रूपुट (Throughput): COREY ने लगातार "No Fusion" और "Static Fusion" बेसलाइन्स को पछाड़ दिया। अल्ट्रा-लॉन्ग सीक्वेंस (64k) के लिए, थ्रूपुट 751 टोक/सेकंड (Static) से बढ़कर **840 टोक/सेकंड** (COREY) हो गया।
- लेटेंसी (Latency): सभी सीक्वेंस लेंथ के लिए स्टैटिक फ्यूजन की तुलना में लेटेंसी लगभग 10-15% कम हुई।
- मेमोरी ट्रैफिक (Memory Traffic): DRAM बाइट्स प्रति टोक काफी कम हो गए (उदाहरण के लिए, अल्ट्रा-लॉन्ग सीक्वेंस में 102.4 से 90.6), जो पुष्टि करता है कि यह विधि मुख्य रूप से मेमोरी मैटेरियलाइजेशन को कम करके काम करती है।
क्वांटाइजेशन स्थिरता (Quantization Stability):
- W8A8 और W4A8 सेटिंग्स में, हैडामार्ड-रीपैरामीट्राइज्ड COREY ने स्टैटिक फ्यूजन की तुलना में कम "डायग्नोस्टिक प्रॉक्सी" डिग्रेडेशन स्कोर दिखाया। यह इंगित करता है कि लो-एंट्रॉपी, आउटलेयर-डोमिनेटेड क्षेत्रों में बेहतर स्थिरता है।
- विधि ने लो-एंट्रॉपी क्षेत्रों में "ओवर-फ्यूजन" पेनल्टी को सफलतापूर्वक कम किया और उच्च-एंट्रॉपी क्षेत्रों में लाभ को अधिकतम किया।
स्केलेबिलिटी (Scalability):
- स्पीडअप सीक्वेंस लेंथ के साथ बढ़ता गया, जो पुष्टि करता है कि रणनीति उन मेमोरी-बाउंड बॉटलनेक्स को लक्षित करती है जो लॉन्ग कॉन्टेक्स्ट में प्रभावी होते हैं।
- मल्टी-जीपीयू डेटा-पैरेलल शार्डिंग ने बिना किसी एक्यूरेसी लॉस के लगभग लीनियर स्पीडअप (2 GPUs पर 2x) प्रदर्शित किया।
चेकपॉइंट वैलिडेशन (Checkpoint Validation):
- क्रॉस-हार्डवेयर वैलिडेशन (RTX 3070 बनाम RTX 3090) ने पुष्टि की कि टास्क स्कोर्स (NarrativeQA, Qasper, आदि) और परप्लेक्सिटी प्लेटफॉर्म-स्वतंत्र थे।
- नोट: लेखक स्पष्ट रूप से कहते हैं कि ये प्रोटोटाइप परिणाम हैं। "क्वालिटी ड्रॉप" मेट्रिक एक सिंथेटिक डायग्नोस्टिक प्रॉक्सी है, न कि पूर्ण परप्लेक्सिटी बेंचमार्क, और अध्ययन यह दावा नहीं करता है कि ये डिप्लॉयमेंट-ग्रेड हार्डवेयर गेन्स हैं।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

महत्व (Significance): COREY यह प्रदर्शित करता है कि एक्टिवेशन ज्योमेट्री (विशेष रूप से एंट्रॉपी और आउटलेयर डिस्ट्रीब्यूशन) का उपयोग सिस्टम ऑप्टिमाइज़ेशन (फ्यूजन और टिलिंग) के लिए एक प्रत्यक्ष कंट्रोल सिग्नल के रूप में किया जा सकता है। यह सिद्ध करता है कि हैडार्म रोटेशन के माध्यम से एक्टिवेशन को स्मूथ करना केवल एक क्वांटाइजेशन ट्रिक नहीं है, बल्कि एक सिस्टम इनेबलर है जो अधिक गहरे, कुशल कर्नेल फ्यूजन की अनुमति देता है।
सीमाएं (Limitations):
- वर्तमान परिणाम पायथन-लेवल प्रोटोटाइप पर आधारित हैं; वास्तविक GPU कर्नेल टाइमिंग्स (Triton) को अभी तक मुख्य प्रदर्शन तालिकाओं में पूरी तरह से एकीकृत नहीं किया गया है।
- जेनेरिक AWQ/GPTQ स्टैक्स के साथ कम्पैटिबिलिटी इश्यूज के कारण क्वांटाइजेशन सपोर्ट विशिष्ट मम्बा वेरिएंट (Quamba) तक सीमित है।
- "क्वालिटी ड्रॉप" मेट्रिक एक प्रॉक्सी है; वास्तविक फ्यूज्ड कर्नेल्स पर पूर्ण परप्लेक्सिटी और डाउनस्ट्रीम टास्क एक्यूरेसी की तुलना भविष्य का कार्य है।
भविष्य की दिशाएं (Future Directions): लेखक व्यापक LongBench सैंपल्स के लिए बेंचमार्क मैट्रिक्स का विस्तार करने, पूर्ण Triton फ्यूज्ड कर्नेल्स को लागू करने और वास्तविक हार्डवेयर पावर मेजरमेंट्स के माध्यम से ऊर्जा बचत को मापने की योजना बना रहे हैं।

संक्षेप में, COREY एक्टिवेशन डिस्ट्रीब्यूशन प्रॉपर्टीज को अपने कंपाइलर शेड्यूलिंग प्रोसेस में फर्स्ट-क्लास सिटीजन के रूप में मानकर SSMs को ऑप्टिमाइज़ करने का एक अभिनव, सैद्धांतिक रूप से आधारित दृष्टिकोण प्रदान करता है, जो लॉन्ग-कॉन्टेक्स्ट AI इन्फरेंस के लिए महत्वपूर्ण दक्षता लाभ का वादा करता है।