🤖 machine learning

COBS: Cumulant Order Block Sparse Attention

यह शोध पत्र COBS को प्रस्तुत करता है, जो एक ब्लॉक स्पार्स अटेंशन विधि है जो अटेंशन मास (attention mass) का बेहतर अनुमान लगाने के लिए संकुचित द्वितीय-क्रम सांख्यिकी (compressed second-order statistics) वाले एक नवीन सेलेक्टर का उपयोग करके लॉन्ग-कॉन्टेक्स्ट रिट्रीवल प्रदर्शन में सुधार करता है, जिससे हार्डवेयर दक्षता बनाए रखते हुए डेंस अटेंशन के साथ गुणवत्ता अंतराल को काफी कम किया जा सकता है।

मूल लेखक: Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप घास के एक विशाल ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन घास का ढेर इतना बड़ा है कि आप हर एक तिनके को नहीं देख सकते, अन्यथा आपका दिमाग (या कंप्यूटर) थक कर रुक जाएगा। यह उस समस्या का रूप है जिसका सामना आधुनिक AI मॉडल तब करते हैं जब वे बहुत लंबे दस्तावेज़ पढ़ने की कोशिश करते हैं। उन्हें अब तक पढ़े गए हर एक शब्द को याद रखना पड़ता है, और हर एक मेमोरी टोकन की जाँच करना धीमा और महंगा होता है।

इस समस्या को हल करने के लिए, शोधकर्ताओं ने ब्लॉक स्पार्स अटेंशन (Block Sparse Attention) नामक एक शॉर्टकट आज़माया। हर एक तिनके को देखने के बजाय, उन्होंने तिनकों के छोटे समूहों (जिन्हें "ब्लॉक्स" कहा जाता है) को देखने का फैसला किया और केवल उन्हीं को चुनने का निर्णय लिया जो सबसे दिलचस्प लग रहे हों। यह एक स्काउट (जासूस) को नियुक्त करने जैसा है जो कुछ बंडलों को स्कैन करे और आपको बताए कि किनमें सुई होने की संभावना है।

समस्या: स्काउट बहुत साधारण था

यह शोध पत्र NSA (Native Sparse Attention) नामक एक लोकप्रिय पद्धति का अध्ययन करता है। इस प्रणाली में, स्काउट घास के एक बंडल को देखता है और इस बारेği एक त्वरित अनुमान लगाता है कि क्या वह महत्वपूर्ण है। शोध पत्र ने पाया कि यह स्काउट एक बहुत ही सरल ट्रिक का उपयोग कर रहा था: वह बंडल में तिनकों की औसत (average) स्थिति को देख रहा था।

इसे ऐसे समझें: कल्पना कीजिए कि आपके पास तिनकों के दो बंडल हैं।

बंडल A में तिनके बीच में बहुत कसकर एक साथ रखे गए हैं।
बंडल B में तिनके बिखरे हुए हैं, कुछ बहुत बाईं ओर और कुछ बहुत दाईं ओर।

यदि आप केवल औसत स्थिति देखते हैं, तो दोनों बंडल बिल्कुल एक जैसे दिखते हैं! लेकिन वास्तव में, बंडल B में सुई मिलने की संभावना बहुत अधिक है क्योंकि यह अधिक क्षेत्र को कवर करता है। पुराने स्काउट्स (प्रथम-क्रम या first-order तरीके) इस "फैलाव" या "वक्रता" (curvature) को देखने में अंधे थे। वे उस व्यक्ति की तरह थे जो केवल अपने केंद्र बिंदु को देखकर किसी बादल के आकार का अनुमान लगाने की कोशिश करता है; वे उन किनारों को भूल गए जो वास्तव में मायने रखते थे।

समाधान: COBS (एक स्मार्ट स्काउट)

लेखक COBS (Cumulant Order Block Sparse Attention) नामक एक नई विधि प्रस्तावित करते हैं। केवल औसत स्थिति बताने के बजाय, COBS का स्काउट एक छोटा, संकुचित (compressed) मानचित्र लेकर चलता है जो न केवल यह दिखाता है कि तिनके औसतन कहाँ हैं, बल्कि यह भी दिखाता है कि वे कितने फैले हुए हैं।

गणितीय शब्दों में, शोध पत्र इसे "सेकंड-ऑर्डर स्टैटिस्टिक" या "कोवेरिएंस" (covariance) कहता है। हमारी उपमा में, यह स्काउट के यह महसूस करने जैसा है कि, "हे, यह बंडल चौड़ा और अस्त-व्यस्त है, इसलिए इसमें सुई होने की संभावना अधिक है!" इस अतिरिक्त जानकारी को रखने से (लेकिन इसे संकुचित करके ताकि यह बहुत अधिक जगह न ले), COBS बेहतर अनुमान लगा सकता है।

परिणाम: एक बड़ी छलांग

टीम ने इसे 32k RULER बेंचमार्क (लंबे संदर्भ वाले रिट्रीवल कार्यों के 11 अलग-अलग परीक्षणों का एक टेस्ट) पर परखा। उन्हें यह पता चला:

पुराना तरीका (NSA MLP): साधारण स्काउट का स्कोर 0.2999 था। वह सुइयों को खोजने के लिए संघर्ष कर रहा था।
परफेक्ट तरीका (OSA): यदि आप जादू से बिना किसी शॉर्टकट के सटीक उत्तर जान लेते (जिसे "ओरेकल" कहा जाता है), तो आपको 0.9040 का स्कोर मिलता।
नया तरीका (COBS): स्मार्ट स्काउट, जिसके पास फैलाव का मैप था, उसे 0.8195 का स्कोर मिला।

इसका मतलब है कि COBS ने संघर्ष कर रहे पुराने तरीके और परफेक्ट तरीके के बीच के अंतर को लगभग 86% तक कम कर दिया। यह एक बहुत बड़ा सुधार है!

लागत: क्या यह सार्थक है?

आमतौर पर, स्मार्ट बनने का मतलब अधिक काम करना होता है। लेकिन COBS कुशल है।

पुराने तरीके ने एक निश्चित मात्रा में डेटा पढ़ा।
परफेक्ट तरीका (जो सब कुछ पढ़ता है) COBS की तुलना में 15.15 गुना अधिक डेटा पढ़ता है।
COBS केवल पुराने, साधारण तरीके की तुलना में 1.21 गुना अधिक डेटा पढ़ता है।

तो, COBS आपको लगभग पूर्णता के करीब ले जाता है जबकि यह पुराने, सरल तरीके की तुलना में बहुत कम अतिरिक्त काम मांगता है।

शोध पत्र किन चीज़ों को "ना" कहता है

लेखक उन विचारों को खारिज करने में बहुत सावधान रहे जो अच्छे शॉर्टकट लग सकते हैं लेकिन वास्तव में काम नहीं करते:

केवल औसत में अधिक जटिलता जोड़ना: उन्होंने "औसत" के अनुमान को स्मार्ट बनाने के लिए एक फैंसी न्यूरल नेटवर्क (MLP) का उपयोग करने की कोशिश की, लेकिन इससे ज्यादा मदद नहीं मिली। समस्या औसत की जटिलता नहीं थी; समस्या यह थी कि औसत स्वयं गलत उपकरण था। आपको औसत के बजाय "फैलाव" की जानकारी चाहिए थी।
एक साधारण बॉक्स में "फैलाव" देखना: एक अन्य पद्धति ने न्यूनतम और अधिकतम तिनकों (एक बॉक्स) को देखकर फैलाव का अनुमान लगाने की कोशिश की। इससे थोड़ी मदद मिली, लेकिन यह COBS के फैलाव वाले मैप जितना सटीक नहीं था।
अधिक जटिल गणित (Third-order) जोड़ना: लेखकों ने "स्क्यू" (skew - यह मापने का तरीका कि फैलाव कितना एकतरफा है) जोड़ने का परीक्षण किया। आश्चर्यजनक रूप से, इसने कम जटिलता वाले स्तरों पर चीज़ों को और खराब कर दिया, जिससे मॉडल भ्रमित हो गया। यह केवल तभी मदद करता था जब मॉडल पहले से ही बहुत जटिल हो और विफल हो रहा हो, जो कि एक समाधान के बजाय एक 'बैंड-एड' की तरह था। उन्होंने "फैलाव" (second-order) को ही सही संतुलन के रूप में चुना।

वे कितने आश्वस्त हैं?

शोध पत्र इन आंकड़ों के बारे में बहुत आश्वस्त है क्योंकि उन्होंने नियंत्रित प्रयोग किए। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने 32k RULER टेस्ट पर प्रदर्शन को मापा और पाया कि COBS लगातार पुराने तरीकों से बेहतर प्रदर्शन करता है। उन्होंने यह भी जांचा कि क्या इससे मॉडल की छोटी वाक्यों को समझने की क्षमता प्रभावित होती है (ऐसा नहीं हुआ) और यह भी कि क्या यह वास्तव में पुराने तरीकों की तुलना में लंबे टेक्स्ट में अगले शब्द की भविष्यवाणी करने में मॉडल की मदद करता है (हाँ, इसने मदद की)।

हालाँकि, लेखक अपनी सीमाओं के बारे में ईमानदार हैं:

उन्होंने इसे लगभग 1.2 बिलियन पैरामीटर्स वाले मॉडल पर परखा। उन्हें यकीन नहीं है कि क्या यह बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले विशाल मॉडलों पर बिल्कुल वैसा ही काम करेगा, हालांकि गणित सुझाव देता है कि ऐसा होना चाहिए।
उन्होंने इस तकनीक को एक विशिष्ट प्रकार के सिंथेटिक डेटा (RULER-शैली) पर प्रशिक्षित किया। हालांकि यह लंबे संदर्भ (long-context) की क्षमता का परीक्षण करने का एक मानक तरीका है, वास्तविक दुनिया का डेटा थोड़ा अलग व्यवहार कर सकता है।

मुख्य निष्कर्ष

यह शोध पत्र दिखाता है कि घास के ढेर में सुई कुशलतापूर्वक खोजने के लिए, आप केवल बंडल के केंद्र को नहीं देख सकते। आपको यह जानने की आवश्यकता है कि बंडल कितना फैला हुआ है। फैलाव के एक छोटे, संकुचित मानचित्र को जोड़कर, COBS AI मॉडल्स को बिना धीमा किए बहुत अधिक सटीकता के साथ लंबे दस्तावेज़ पढ़ने की अनुमति देता है, जो बहुत कम अतिरिक्त प्रयास के साथ "काफी अच्छे" और "परफेक्ट" के बीच के अंतर को पाट देता है।

तकनीकी सारांश: COBS (क्युमुलेन्ट ऑर्डर ब्लॉक स्पार्स अटेंशन)

1. समस्या विवरण

लंबे संदर्भ लंबाई (long context lengths) पर लार्ज लैंग्वेज मॉडल (LLM) का इन्फरेंस, कंप्यूट के बजाय मेमोरी बैंडविड्थ द्वारा बाधित होता है। विशेष रूप से, डेंस अटेंशन के लिए आवश्यक की-वैल्यू (KV) कैश रीड ऑपरेशन डिकोडिंग गति को सीमित करता है और हार्डवेयर का पूर्ण उपयोग नहीं होने देता है। जबकि ब्लॉक स्पार्स अटेंशन केवल टोकन के निरंतर ब्लॉक्स को पढ़ने के माध्यम से एक हार्डवेयर-अनुकूल समाधान प्रदान करता है, यह प्रमुख ओपन-वेट मॉडल्स में अभी भी कम उपयोग किया जा रहा है। मौजूदा विधियाँ अक्सर डेंस अटेंशन, फाइन-ग्रेन्ड टोकन चयन, या KV इविक्शन (eviction) पर निर्भर करती हैं।

ब्लॉक स्पार्स अटेंशन में प्राथमिक चुनौती ब्लॉक चयन (block selection) है: यह पहचानना कि KV कैश के कौन से ब्लॉक्स दिए गए क्वेरी के लिए सबसे प्रासंगिक जानकारी रखते हैं, बिना प्रत्येक ब्लॉक के सभी कीज़ (keys) और वैल्यूज (values) को पढ़े। वर्तमान अत्याधुनिक विधियाँ, जैसे कि डीपसीक (DeepSeek) की नेटिव स्पार्स अटेंशन (NSA), एक "फर्स्ट-ऑर्डर" चयन रणनीति का उपयोग करती हैं। ये विधियाँ ब्लॉक्स को एक क्वेरी-स्वतंत्र वेक्टर (जैसे कि MLP या मीन-पूलिंग के माध्यम से) में संक्षेपित करती हैं और उन्हें क्वेरी के विरुद्ध रैखिक रूप से स्कोर करती हैं। पेपर का तर्क है कि ये फर्स्ट-ऑर्डर सन्निकटन (approximations) अटेंशन मास की नॉन-लीनियर कर्वेचर (non-linear curvature) को पकड़ने में विफल रहते हैं, जिससे डेंस अटेंशन की तुलना में महत्वपूर्ण प्रदर्शन अंतराल उत्पन्न होता है।

2. कार्यप्रणाली

2.1 सैद्धांतिक आधार: सिलेक्शन ऑरेकल (Selection Oracle)

लेखक ब्लॉक चयन को ब्लॉक्स के एक उपसमुच्चय (subset) से डेंस अटेंशन आउटपुट को पुनर्गठित करने की समस्या के रूप में औपचारिक रूप देते हैं। वे व्युत्पन्न करते हैं कि इष्टतम चयन मानदंड उनके अटेंशन मास ( $m_b$ ) द्वारा ब्लॉक्स को रैंक करना है, जिसे एक ब्लॉक के भीतर अटेंशन स्कोर के योग के रूप में परिभाषित किया गया है:
$m_b = \sum_{r \in b} e^{q^T k_r}$
एक "ऑरेकल स्पार्स अटेंशन" (OSA) जो सटीक अटेंशन मास (सभी कीज़ को पढ़ने की आवश्यकता के साथ) के आधार पर ब्लॉक्स का चयन करता है, डेंस अटेंशन प्रदर्शन के लगभग बराबर पहुँच जाता है, जो यह सिद्ध करता है कि चयन मानदंड स्वयं सुदृढ़ है। बाधा एक संक्षिप्त, क्वेरी-स्वतंत्र सारांश से इस मास का अनुमान लगाने में है।

2.2 क्युमुलेन्ट एक्सपेंशन (The Cumulant Expansion)

पेपर क्युमुलेन्ट एक्सपेंशन (जो लॉग-मोमेंट जनरेटिंग फंक्शन के टेलर एक्सपेंशन के समान है) का उपयोग करके अटेंशन मास के अनुमान का विश्लेषण करता है। लॉग-मास का विस्तार इस प्रकार है:
$\ln m_b = \ln L + q^T \kappa_1 + \frac{1}{2} q^T \kappa_2 q + \dots$
जहाँ:

$\kappa_1$ ब्लॉक मीन की ( $\bar{k}_b$ ) है।
$\kappa_2$ ब्लॉक के भीतर की की कोवेरिएंस (within-block key covariance) ( $\Sigma_b$ ) है।

मौजूदा फर्स्ट-ऑर्डर सेलेक्टर (जैसे NSA का MLP या मीन-पूल) केवल लीनियर टर्म ( $q^T \bar{k}_b$ ) को कैप्चर करते हैं, और सेकंड-ऑर्डर कर्वेचर टर्म ( $\frac{1}{2} q^T \Sigma_b q$ ) को छोड़ देते हैं। यह चूक तब विफल हो जाती है जब ब्लॉक के भीतर कीज़ का वितरण क्वेरी दिशा के सापेक्ष महत्वपूर्ण फैलाव (spread) रखता है, भले ही मीन (mean) समान हो।

2.3 COBS विधि

COBS (क्युमुलेन्ट ऑर्डर ब्लॉक स्पार्स अटेंशन) इसे चयन प्रक्रिया में सेकंड-ऑर्डर टर्म को शामिल करके संबोधित करता है। यह विधि NSA आर्किटेक्चर (जिसमें कंप्रेशन, सिलेक्शन और स्लाइडिंग-विंडो शाखाएं शामिल हैं) पर आधारित है और निम्नलिखित नवाचारों को अपनाती है:

सेकंड-ऑर्डर स्कोरिंग: केवल एक मीन वेक्टर के बजाय, ब्लॉक सेलेक्टर ब्लॉक मीन की ( $\bar{k}_b$ ) और ब्लॉक के भीतर की कोवेरिएंस मैट्रिक्स ( $\Sigma_b$ ) का एक संकुचित प्रतिनिधित्व संग्रहीत करता है। चयन स्कोर बनता है:
$\text{score}_b \approx q^T \bar{k}_b + \frac{1}{2} q^T \Sigma_b q$
कोवेरिएंस कंप्रेशन: चूंकि एक पूर्ण $D \times D$ $D \times D$ कोवेरिएंस मैट्रिक्स को स्टोर करना मेमोरी के लिहाज से अत्यधिक महंगा है, COBS तीन कंप्रेशन तकनीकों का उपयोग करता है:
- लो-रैंक फैक्टराइजेशन: $\Sigma_b$ के केवल शीर्ष $r$ आइजनवेक्टर्स (eigenvectors) और आइजनवैल्यूज (eigenvalues) को स्टोर करना।
- सबस्पेस प्रोजेक्शन: कोवेरिएंस को एक निम्न-आयामी क्वेरी सबस्पेस (क्वेरी सेकंड मोमेंट के शीर्ष आइजनवेक्टर्स द्वारा स्पैन किया गया) में प्रोजेक्ट करना, जिससे स्टोरेज $rD $से घटकर$ rs$ हो जाता है।
- क्वांटाइजेशन: स्केल्ड आइजनवेक्टर्स को FP4 (E2M1) फॉर्मेट में स्टोर करना जबकि ब्लॉक मीन को BF16 में रखना।
NoPE (No Position Encoding): कंप्रेशन और सिलेक्शन शाखाएं रोटरी पोजीशन एनकोडिंग (RoPE) को हटा देती हैं ताकि यह सुनिश्चित हो सके कि ब्लॉक सारांश केवल कंटेंट पर निर्भर है, जिससे पोजीशनल नॉइज़ (positional noise) सारांश को खराब न कर सके।

3. मुख्य योगदान

सिलेक्शन का औपचारिकीकरण: पेपर ब्लॉक चयन को अटेंशन मास द्वारा रैंकिंग में बदल देता है और प्रदर्शित करता है कि सटीक मास का उपयोग करने वाला एक ऑरेकल लगभग सारा डेंस अटेंशन प्रदर्शन को रिकवर करता है।
क्युमुलेन्ट-ऑर्डर विश्लेषण: यह मौजूदा फर्स्ट-ऑर्डर सेलेक्टर की सीमाओं के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है, जो यह पहचानता है कि छोड़ा गया 'विदिन-ब्लॉक कोवेरिएंस' प्रदर्शन अंतराल का स्रोत है।
COBS एल्गोरिदम: एक व्यावहारिक विधि प्रस्तावित करता है जो प्रति ब्लॉक संकुचित सेकंड-ऑर्डर सांख्यिकी (कोवेरिएंस) को स्टोर करती है, जिससे पूर्ण कीज़ को पढ़े बिना अटेंशन मास का अधिक सटीक अनुमान लगाया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शित करता है कि सेकंड-ऑर्डर चयन लॉन्ग-कॉन्टेक्स्ट बेंचमार्क पर डेंस अटेंशन के बीच के अंतर को काफी कम कर देता है।

4. प्रयोगात्मक परिणाम

4.1 लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (32k RULER)

11-टास्क वाले 32k RULER बेंचमार्क पर मूल्यांकन:

NSA बेसलाइन (MLP): औसत स्कोर 0.2999।
NSA मीन-पूल (NoPE): औसत स्कोर 0.5554 (जो NoPE के लाभ को दर्शाता है)।
COBS (सबस्पेस, $r=4$ , FP4): औसत स्कोर 0.8195।
डेंस अटेंशन: औसत स्कोर 0.9040।
भरा गया गैप (Gap Closed): COBS, NSA बेसलाइन और डेंस अटेंशन के बीच के अंतर को लगभग 86% तक भर देता है।
ट्रैफिक एफिशिएंसी: COBS, NSA बेसलाइन की तुलना में केवल 1.21 $\times$ KV कैश रीड ट्रैफिक का उपयोग करता है और डेंस अटेंशन की तुलना में 15.15 $\times$ कम ट्रैफिक का उपयोग करता है।

4.2 शॉर्ट-कॉन्टेक्स्ट और लैंग्वेज मॉडलिंग

शॉर्ट-कॉन्टेक्स्ट रीजनिंग: COBS शॉर्ट-कॉन्टेक्स्ट कॉमन-सेंस रीजनिंग प्रदर्शन को बनाए रखता है, जो मानक बेंचमार्क (OpenBookQA, PIQA, आदि) पर डेंस अटेंशन के बराबर प्रदर्शन प्राप्त करता है।
पोजीशन-वाइज NLL: COBS सबसे कम औसत नेक्स्ट-टोकन नेगेटिव लॉग-लाइक्लीहुड (NLL) 1.633 प्राप्त करता है (डेंस के 1.727 की तुलना में), जो इंगित करता है कि रिट्रीवल सुधारों से लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग क्षमताओं की हानि नहीं होती है।

4.3 एब्लेशन (Ablations)

रैंक स्वीप: प्रदर्शन रैंक $r=8$ पर चरम पर पहुँचता है और उच्च रैंक ( $r=16$ ) पर डिस्ट्रैक्टर्स के अनसाइंड वेरिएंस मास के संचय के कारण गिर जाता है। लेखक $r \le 8$ की सिफारिश करते हैं।
सबस्पेस बनाम ग्लोबल: एडेप्टिव प्रति-लेयर सबस्पेस डाइमेंशन ( $s \approx 85$ ), ग्लोबल डाइमेंशन 128 की तुलना में समान प्रदर्शन करते हुए स्टोरेज लागत को कम करते हैं।
क्वांटाइजेशन: दिखाया गया है कि आइजनवेक्टर्स का FP4 क्वांटाइजेशन अनिवार्य रूप से लॉसलेस (lossless) है।

5. महत्व और दावे

पेपर दावा करता है कि क्युमुलेन्ट ऑर्डर मौजूदा स्पार्स अटेंशन विधियों के लिए एक डायग्नोस्टिक लेंस और सुधार के लिए एक व्यावहारिक डिज़ाइन एक्सिस दोनों के रूप में कार्य करता है। फर्स्ट-ऑर्डर (मीन) से सेकंड-ऑर्डर (कोवेरिएंस) सारांशों की ओर बढ़कर, COBS यह प्रदर्शित करता है कि ब्लॉक स्पार्स अटेंशन, मेमोरी बैंडविड्थ उपयोग में महत्वपूर्ण कमी बनाए रखते हुए, डेंस अटेंशन की गुणवत्ता के करीब पहुँच सकता है।

लेखक इस बात पर जोर देते हैं कि यह एक विशिष्ट ट्रेनिंग प्रोटोकॉल (RULER-शैली SFA) के साथ $\approx 1.2$ B पैरामीटर स्केल पर किया गया एक मैकेनिज्म स्टडी है। वे यह दावा नहीं कर रहे हैं कि यह सभी LLMs के लिए तैनाती योग्य सिस्टम है, बल्कि यह प्रमाण है कि ब्लॉक चयन में मौजूद सैद्धांतिक अंतर को भरा जा सकता है। यह कार्य सुझाव देता है कि ब्लॉक स्पार्सिटी, जो अक्सर अग्रणी मॉडलों में अनुपस्थित होती है, व्यवहार्य है यदि चयन तंत्र पर्याप्त अभिव्यंजक (expressive) हो (अर्थात, उच्च क्युमुलेन्ट ऑर्डर)।

लेखकों द्वारा नोट की गई सीमाएँ:

अध्ययन एक विशिष्ट बैकबोन स्केल और प्रीट्रेनिंग सीक्वेंस लेंथ तक सीमित है।
तुलना एक नियंत्रित NSA बेसलाइन के साथ की गई है जिसके हाइपरपैरामीटर्स (जैसे, नॉन-ओवरलैपिंग ब्लॉक्स, बड़े MLPs) मूल NSA रिपोर्टों से भिन्न हैं।
लॉन्ग-कॉन्टेक्स्ट तुलनाओं में डेंस ब्रांच में RoPE के मुकाबले स्पार्स ब्रांच में NoPE का उपयोग एक कन्फाउंडिंग वेरिएबल (confounding variable) पेश करता है।
परिणाम RULER-शैली की फाइन-ट्यूनिंग पर निर्भर करते हैं, जो सभी लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में पूरी तरह से सामान्यीकृत (generalize) नहीं हो सकते हैं।