🔢 mathematics

Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression

यह शोध पत्र यह स्थापित करता है कि ऑटोरेग्रेसिव लैंग्वेज मॉडल्स में नेक्स्ट-टोकन डिस्ट्रीब्यूशन्स की कॉन्टेक्स्ट ट्रंकेशन के प्रति संवेदनशीलता ज्यामितीय (जियोमेट्रिक) के बजाय बहुपद (पॉलिनोमियल) रूप से घटती है, जिससे अनुक्रमिक वाइनर-ज़िव सोर्स कोडिंग के तहत सफिक्स-ओनली KV कैश कंप्रेशन पॉलिसियों की मेमोरी आवश्यकताओं के लिए एक व्युत्पन्न $\Theta(\varepsilon^{-1/\alpha})$ स्केलिंग लॉ प्राप्त होता है।

मूल लेखक: Munsik Kim

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Munsik Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी याद रखने की कोशिश कर रहे हैं ताकि आप अनुमान लगा सकें कि आगे क्या होगा। AI की दुनिया में, यह कहानी "कॉन्टेक्स्ट" (context) है (वे सभी शब्द जो मॉडल ने अब तक पढ़े हैं), और "प्रेडिक्शन" (prediction) अगला शब्द पहचानने का प्रयास है।

इसे करने के लिए, AI एक विशाल डिजिटल नोटबुक रखता है जिसे KV Cache कहा जाता है। हर बार जब वह एक शब्द पढ़ता है, तो वह उसके बारे में एक नोट लिखता है। समस्या क्या है? जैसे-जैसे कहानी लंबी होती जाती है, यह नोटबुक बहुत बड़ी हो जाती है, जिससे कंप्यूटर की सारी मेमोरी खत्म होने लगती है। इसे ठीक करने के लिए, इंजीनियर पुराने नोट्स को फेंकने की कोशिश कर रहे हैं, केवल सबसे महत्वपूर्ण नोट्स को ही रख रहे हैं।

यह शोध पत्र एक मौलिक प्रश्न पूछता है: पुराने शब्दों का महत्व कितनी तेजी से कम होता है?

बड़ी खोज: यह कोई लाइट स्विच नहीं, बल्कि एक मंद होती गूँज है

लंबे समय से, शोधकर्ता यह मान रहे थे कि इन मॉडल्स में पुरानी जानकारी एक लाइट स्विच बंद होने की तरह गायब हो जाती है। उन्हें लगा था कि यदि आप केवल कुछ दर्जन शब्द पीछे जाते हैं, तो मॉडल पहले जो कुछ भी आया था उसे पूरी तरह भूल जाएगा। तकनीकी शब्दों में, उन्होंने माना था कि "भूलने" की प्रक्रिया एक्सपोनेंशियल (exponentially) (बहुत तेजी से) होती है।

इस पेपर की मुख्य खोज यह है कि यह धारणा गलत है।

एक लाइट स्विच के बजाय, लेखकों ने पाया कि भूलने की प्रक्रिया एक मंद होती गूँज (fading echo) या धीरे-धीरे ढलते सूर्यास्त की तरह है। पुराने शब्दों का महत्व पॉलीनोमियल (polynomially) (बहुत धीरे-धीरे) कम होता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक गाना सुन रहे हैं।
- पुराना दृष्टिकोण (Exponential): यदि आप 10 सेकंड के लिए सुनना बंद कर देते हैं, तो संगीत तुरंत शांत हो जाता है। आप 10 सेकंड पहले की कोई भी चीज़ नहीं सुन सकते।
- नया दृष्टिकोण (Polynomial): यदि आप 10 सेकंड के लिए सुनना बंद कर देते हैं, तो संगीत धीमा हो जाता है, लेकिन आप अभी भी एक हल्की सी गूँज सुन सकते हैं। यदि आप 100 सेकंड के लिए रुकते हैं, तो यह और भी धीमा हो जाता है, लेकिन वह हल्की गूँज अभी भी वहीं है। अतीत का "सिग्नल" उम्मीद से कहीं अधिक लंबे समय तक बना रहता है।

प्रयोग: "मेमोरी" का परीक्षण

लेखकों ने कई AI मॉडल्स (जैसे Qwen और SmolLM) पर दो प्रकार के टेक्स्ट का उपयोग करके इसका परीक्षण किया: किताबें (प्राकृतिक भाषा) और कंप्यूटर कोड (Python)।

उन्होंने यह मापा कि जब उन्होंने कहानी की शुरुआत को काट दिया और केवल आखिरी कुछ शब्द दिखाए, तो मॉडल का प्रेडिक्शन कितना बदल गया।

परिणाम: जैसे-जैसे उन्होंने अधिक शब्द हटाए, मॉडल का प्रेडिक्शन धीरे-धीरे बदला। यह तुरंत क्रैश नहीं हुआ।
गणित: उन्होंने एक विशिष्ट "डिके रेट" (decay rate) पाया (एक संख्या जिसे $\alpha$ कहा जाता है)। किताबों के लिए, मेमोरी लगभग 0.44 की दर से कम होती है; कोड के लिए, यह लगभग 0.38 है। यह "स्लो फेड" (धीमी गिरावट) के सिद्धांत की पुष्टि करता है।

परिणाम: आपको एक बड़ी नोटबुक की आवश्यकता है

चूंकि मेमोरी बहुत धीरे-धीरे कम होती है, इसलिए एक छोटा "स्लाइडिंग विंडो" (जैसे, केवल पिछले 4,000 शब्द) रखने की पुरानी रणनीति उतनी कुशल नहीं है जितनी हमें उम्मीद थी।

पुराना तर्क: "यदि मैं पिछले 50 शब्द रखता हूँ, तो मैं 99% सुरक्षित हूँ।"
नई वास्तविकता: "क्योंकि मेमोरी धीरे-धीरे कम होती है, इसलिए 99% सुरक्षित रहने के लिए, मुझे शायद पिछले 500 शब्दों को रखना होगा।"

यह पेपर गणितीय रूप से सिद्ध करता है कि यदि आप त्रुटि (डिस्टॉर्शन) को कम रखना चाहते हैं, तो आपकी नोटबुक (विंडो) का आकार एक विशिष्ट पावर लॉ (power law) के अनुसार बढ़ना चाहिए। आप केवल एक छोटी विंडो रखकर पूर्ण परिणाम की उम्मीद नहीं कर सकते; आपको अतीत का एक बहुत बड़ा हिस्सा रखना होगा जितना कि पहले आवश्यक माना जाता था।

"सिंक" (Sink) और "रिसेंट" (Recent) की तकनीक

यह पेपर वास्तविक दुनिया के AI सिस्टम में उपयोग की जाने वाली एक लोकप्रिय ट्रिक का भी विश्लेषण करता है जिसे "Sink-Plus-Recent" कहा जाता है।

ट्रिक: कहानी के पहले कुछ शब्दों को रखें (जिसे "सिंक" कहा जाता है, जो एक एंकर की तरह काम करते हैं) और आखिरी कुछ शब्दों को रखें ("रिसेंट"), और बीच के सब कुछ हटा दें।
निष्कर्ष: यह आश्चर्यजनक रूप से अच्छा काम करता है! यह पेपर दो प्रकार की त्रुटियों के बीच एक गणितीय संबंध का उपयोग करके समझाता है कि यह क्यों काम करता है। यह पता चलता है कि क्योंकि "फेडिंग" धीमी है, इसलिए केवल शुरुआत और अंत को रखने से सबसे महत्वपूर्ण जानकारी मिल जाती है, जो रैंडम शब्दों को रखने की तुलना में त्रुटियों को लगभग 100 गुना कम कर देती है।

सरल अंग्रेजी में सारांश

समस्या: AI मॉडल्स को लंबी कहानियों को याद रखने के लिए बहुत अधिक मेमोरी की आवश्यकता होती है।
गलत धारणा: हमें लगा था कि पुरानी यादें थोड़े समय के बाद तुरंत गायब हो जाती हैं।
सच्चाई: पुरानी यादें बहुत धीरे-धीरे कम होती हैं, जैसे एक लंबी गूँज की पूंछ।
प्रभाव: अच्छे परिणाम प्राप्त करने के लिए, हमें अतीत की एक बहुत बड़ी "विंडो" रखनी होगी। यदि हम मेमोरी को बहुत आक्रामक तरीके से कंप्रेस करने की कोशिश करते हैं, तो AI अधिक गलतियाँ करेगा क्योंकि वह उस जानकारी को काट रहा है जो अभी भी सूक्ष्म रूप से प्रासंगिक है।
अच्छी खबर: अब हमारे पास एक गणितीय मानचित्र (एक फॉर्मूला) है जो हमें बताता है कि एक निश्चित स्तर की सटीकता प्राप्त करने के लिए हमारी मेमोरी विंडो कितनी बड़ी होनी चाहिए। यह इंजीनियरों को बेहतर, अधिक कुशल AI सिस्टम डिजाइन करने में मदद करता है जो मेमोरी बर्बाद नहीं करते हैं लेकिन महत्वपूर्ण कॉन्टेक्स्ट भी नहीं खोते हैं।

यह पेपर किसी नए AI मॉडल या नए मेडिकल टूल के आविष्कार का दावा नहीं करता है। यह केवल एक सैद्धांतिक नियम पुस्तिका (theoretical rulebook) प्रदान करता है जो समझाती है कि ये मॉडल्स वास्तव में चीजों को कैसे याद रखते हैं, और एक लंबे समय से चली आ रही धारणा को सुधारता है कि वे कितनी तेजी से भूल जाते हैं।

तकनीकी सारांश: ऑटोरेग्रेसिव लैंग्वेज मॉडल्स में पॉलिनोमियल कॉन्टेक्स्ट-ट्रंकेशन सेंसिटिविटी

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑटोरेग्रेसिव लैंग्वेज मॉडल्स (LLMs) में ऑनलाइन KV (Key-Value) कैश कंप्रेशन की सैद्धांतिक सीमाओं को संबोधित करता है। जैसे-जैसे कॉन्टेक्स्ट की लंबाई बढ़ती है, KV कैश का रैखिक विकास (linear growth) इन्फरेंस के लिए एक प्राथमिक बाधा बन जाता है। हालांकि कई अनुभवजन्य (empirical) कंप्रेशन स्कीम्स मौजूद हैं (जैसे, हेवी-हिटर इविक्शन, स्लाइडिंग विंडोज, अटेंशन सिंक्स, क्वांटाइजेशन), ऑनलाइन कंप्रेशन समस्या के लिए क्या हासिल किया जा सकता है, इस पर मात्रात्मक सैद्धांतिक सीमाओं का अभाव है।

मूल प्रश्न यह है: कॉन्टेक्स्ट को कंप्रेस करने के लिए विशिष्ट स्तर की विरूपता (accuracy/distortion) बनाए रखने के लिए कितनी मेमोरी (विंडो साइज) की आवश्यकता है?

क्लासिकल इंफॉर्मेशन थ्योरी अक्सर जियोमेट्रिक मिक्सिंग (या $\rho$ -mixing) को मानती है, जहाँ दूर के अतीत के टोकन्स का प्रभाव तेजी से (exponentially) घटता है ( $C\rho^w$ )। इस धारणा के तहत, $\epsilon$ -सटीकता के लिए $O(\log(1/\epsilon))$ विंडो साइज पर्याप्त होता है। हालाँकि, यह धारणा लैंग्वेज मॉडलिंग सेटअप से व्युत्पन्न नहीं है और यह प्रशिक्षित LLMs के लिए मान्य नहीं हो सकती है।

2. कार्यप्रणाली और रूपरेखा (Methodology and Framework)

2.1 अनुक्रमिक वायनर-ज़िव फॉर्मूलेशन (Sequential Wyner–Ziv Formulation)

लेखक KV कैश कंप्रेशन को एक अनुक्रमिक वायनर-ज़िव सोर्स कोडिंग समस्या के रूप में तैयार करते हैं।

स्रोत (Source): मॉडल द्वारा उत्पन्न टोकन्स का अनुक्रम $X_{1:t-1}$ ।
एनकोडर (Encoder): एक कॉज़ल ऑनलाइन एनकोडर $\phi_t$ जो पिछले टोकन्स को एक कंप्रेस्ड कोड $\hat{C}_t$ में मैप करता है।
डिकोडर साइड इंफॉर्मेशन: अगला-स्टेप क्वेरी वेक्टर $Q_t$ (अनकंप्रेस्ड मॉडल द्वारा कंप्यूट किया गया) डिकोडर पर साइड इंफॉर्मेशन के रूप में कार्य करता है।
लक्ष्य: दिए गए रेट के लिए अपेक्षित KL डाइवर्जेंस $E[D_{KL}(p_t \| \tilde{p}_t)]$ को न्यूनतम करते हुए $(\hat{C}_{\le t}, Q_t)$ से अगले-टोकन वितरण $\tilde{p}_t$ को पुनर्गठित करना।

2.2 ट्रंकेशन सेंसिटिविटी का अनुभवजन्य लक्षण वर्णन (Empirical Characterization of Truncation Sensitivity)

जियोमेट्रिक मिक्सिंग को मानने के बजाय, लेखक प्रशिक्षित मॉडल्स की ट्रंकेशन सेंसिटिविटी को अनुभवजन्य रूप से मापते हैं। वे सेंसिटिविटी $d_{TV}^w$ को फुल-कॉन्टेक्स्ट नेक्स्ट-टोकन वितरण और केवल सबसे हालिया $w$ टोकन्स पर आधारित वितरण के बीच टोटल वेरिएशन (TV) दूरी के रूप में परिभाषित करते हैं:
$d_{TV}^w := TV(p_\theta(\cdot | X_{1:t-1}), p_\theta(\cdot | X_{t-w:t-1}))$

मुख्य अनुभवजन्य निष्कर्ष: चार मॉडल्स (Qwen2.5-0.5B/1.5B/3B, SmolLM2-1.7B) और दो डोमेन (नेचुरल लैंग्वेज, कोड) में, $d_{TV}^w$ का ह्रास (decay) एक्सपोनेंशियल (exponential) के बजाय एक पॉलिनोमियल (power law) का अनुसरण करता है:
$d_{TV}^w \propto w^{-\alpha}$

मापे गए एक्सपोनेंट्स: $\alpha_{\text{nat}} \approx 0.44$ (नेचुरल लैंग्वेज) और $\alpha_{\text{code}} \approx 0.38$ (कोड)।
पावर-लॉ फिट्स एक्सट्रैपोलेशन (extrapolation) में एक्सपोनेंशियल फिट्स की तुलना में काफी बेहतर प्रदर्शन करते हैं (log-RMSE सुधार 2–2.5 $\times$ )।
इस गुण को पोजीशन-प्रिजर्विंग एब्लेशन के माध्यम से सत्यापित किया गया है कि यह पोजीशनल-एनकोडिंग आर्टिफैक्ट्स से मुक्त है।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

$\alpha$ -पॉलिनोमियल ट्रंकेशन सेंसिटिविटी के अनुभवजन्य अवलोकन के आधार पर, शोध पत्र एक इंफॉर्मेशन-थ्योरेटिक फ्रेमवर्क विकसित करता है जिसमें निम्नलिखित मुख्य परिणाम शामिल हैं:

C1: अनुक्रमिक वायनर–ज़िव कॉनवर्स (Lower Bound)

लेखक एक लक्षित डिस्टॉर्शन $D$ प्राप्त करने के लिए आवश्यक रेट पर एक मौलिक निचली सीमा (lower bound) स्थापित करते हैं। किसी भी कॉज़ल ऑनलाइन स्कीम के लिए:
$\liminf_{n \to \infty} E[R_n] \ge R^\star(D)$
यह बाउंड विशिष्ट मिक्सिंग स्थितियों को माने बिना, केवल अनुक्रमिक वायनर-ज़िव समस्या की संरचना पर निर्भर करता है।

C2: सफिक्स-ओनली पॉलिसीज के लिए विंडो स्केलिंग (Window Scaling for Suffix-Only Policies)

शोध पत्र सफिक्स-ओनली पॉलिसीज (ऐसी स्कीम्स जहाँ पुनर्गठन केवल सबसे हालिया $w$ टोकन्स पर निर्भर करता है, जैसे स्लाइडिंग विंडोज) के लिए मेमोरी आवश्यकताओं को स्पष्ट करता है।

अपर बाउंड (Upper Bound): एक स्लाइडिंग-विंडो स्कीम विंडो साइज $w = O(\epsilon^{-1/\alpha})$ के साथ TV डिस्टॉर्शन $\epsilon$ प्राप्त करती है।
लोअर बाउंड (Converse): एक अतिरिक्त "टू-साइडेड बेयस-रिस्क" स्थिति (परिभाषा 4.4) के तहत, किसी भी सफिक्स-ओनली पॉलिसी को $w = \Omega(\epsilon^{-1/\alpha})$ की आवश्यकता होती है।
परिणाम: सफिक्स-ओलनी पॉलिसीज के लिए प्रति-टोकन मेमोरी आवश्यकता टाइट है: $\Theta(\epsilon^{-1/\alpha})$ ।
- जियोमेट्रिक मिक्सिंग के विपरीत: जियोमेट्रिक मिक्सिंग के तहत, $w = O(\log(1/\epsilon))$ होता है। $\alpha \approx 0.5$ के साथ, विंडो साइज पॉलिनोमियल रूप से स्केल करता है (उदाहरण के लिए, $\epsilon=0.01$ के लिए $w \sim 10^2$ ), जो समझाता है कि तैनात (deployed) स्कीम्स को जियोमेट्रिक मिक्सिंग की तुलना में बहुत बड़े विंडोज की आवश्यकता क्यों होती है।

C3: स्पष्ट उपलब्धि योजना (Explicit Achievability Scheme)

लेखक एक ब्लॉक-मार्कोव रैंडम-कोडिंग स्कीम प्रस्तावित करते हैं जो सैद्धांतिक सीमाओं को प्राप्त करती है।

विंडो साइज: $w_n = \lceil n^{1/(\alpha+1)} \rceil$ ।
अभिसरण (Convergence): यह स्कीम लक्षित डिस्टॉर्शन के $O(n^{-\alpha/(\alpha+1)})$ के भीतर पहुँचती है।
रेट कन्वर्जेंस:
- अपेक्षा (expectation) में, रेट एक्सपोनेंट $\alpha/(\alpha+1)$ के साथ अभिसरित होता है।
- हाई प्रोबेबिलिटी (high probability) में, एक्सपोनेंट $\alpha/(2(\alpha+1))$ है, बिना किसी अतिरिक्त धारणा के।
- अतिरिक्त हाइपोथीसिस (फॉरवर्ड कोवेरिएंस डिके, एडिटिव टिल्टेड-इन्फॉर्मेशन) के तहत, हाई-प्रोबेबिलिटी एक्सपोनेंट कॉनवर्स ( $\alpha/(\alpha+1)$ ) से मेल खाता है।

C4: सिंक-प्लस-रिसेंट इविक्शन इम्प्लिकेशन (Sink-Plus-Recent Eviction Implication)

शोध पत्र लोकप्रिय "सिंक-प्लस-रिसेंट" इविक्शन रणनीति का विश्लेषण करता है (अटेंशन सिंक्स + हाल के टोकन्स को बनाए रखना)।

परिणाम: $\alpha$ -पॉलिनोमियल सेंसिटिविटी के तहत, KL डिस्टॉर्शन गैप $O(k^{-2\alpha})$ के रूप में घटता है, जहाँ $k$ बजट है।
मैकेनिज्म: एक्सपोनेंट का दोगुना होना ( $2\alpha$ बनाम $\alpha$ ) बाउंडेड-फ्लोर रिजीम में KL डाइवर्जेंस और TV डिस्टेंस के बीच स्थानीय क्वाड्रेटिक संबंध ( $KL \le C \cdot TV^2$ ) के कारण है, न कि पिंसकर की असमानता (Pinsker's inequality) के कारण।
अनुभवजन्य सत्यापन: मापे गए KL एक्सपोनेंट्स ( $\alpha_{KL} \approx 1.04$ नेचुरल के लिए, $0.74$ कोड के लिए) लगातार TV एक्सपोनेंट्स ($0.44 $और$ 0.38$) के लगभग दोगुने हैं, जो सैद्धांतिक भविष्यवाणी की पुष्टि करते हैं।

4. अनुभवजन्य परिणाम (Empirical Results)

शोध पत्र Qwen2.5 (0.5B, 1.5B, 3B) और SmolLM2 (1.7B) पर फ्रेमवर्क को मान्य करता है:

पॉलिनोमियल डिके (Polynomial Decay): सभी मॉडल्स और डोमेन में TV डिके के लिए पावर-लॉ फिट्स, एक्सपोनेंशियल फिट्स की तुलना में श्रेष्ठ हैं।
एक्सपोनेंट कंसिस्टेंसी: $\alpha_{KL} / \alpha_{TV}$ का अनुपात लगातार अनुमानित कारक 2 को घेरे रहता है (देखे गए अनुपात: 1.93 से 2.38)।
पॉलिसी डिग्रेडेशन: रिसेंसी-आधारित पॉलिसीज (स्लाइडिंग विंडो, सिंक-प्लस-रिसेंट) समान बजट पर रैंडम टोकन रिटेंशन की तुलना में डिस्टॉर्शन को लगभग दो ऑर्डर ऑफ मैग्नीट्यूड कम करती हैं।
डोमेन अंतर: नेचुरल लैंग्वेज, कोड ( $\alpha \approx 0.38$ ) की तुलना में तेज़ ट्रंकेशन सेंसिटिविटी डिके ( $\alpha \approx 0.44$ ) प्रदर्शित करती है, जो यह सुझाव देता है कि कोड लंबी दूरी की संरचनात्मक निर्भरताओं (स्कोप, इम्पोर्ट्स) को अधिक मजबूती से बनाए रखता है।
मजबूती (Robustness): पावर लॉ $w=8192$ की विंडो साइज तक बना रहता है, जो सामान्य 4k डिप्लॉयमेंट रेंज से कहीं अधिक है, और यह पोजीशनल एनकोडिंग आर्टिफैक्ट्स के प्रति भी मजबूत है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र निम्नलिखित महत्व का दावा करता है:

सैद्धांतिक आधार: यह LLMs के अनुभवजन्य रूप से देखे गए पॉलिनोमियल कॉन्टेक्स्ट-ट्रंकेशन सेंसिटिविटी पर आधारित पहला मात्रात्मक रेट-डिस्टॉर्शन लक्षण वर्णन प्रदान करता है, जो अनवेरिफाइड जियोमेट्रिक मिक्सिंग धारणा को बदल देता है।
अनुभवजन्य प्रथाओं की व्याख्या: पॉलिनोमियल स्केलिंग लॉ ( $\Theta(\epsilon^{-1/\alpha})$ ) यह समझाता है कि क्यों तैनात सिस्टम (जैसे मिस्ट्रल विद $w=4096$ , स्ट्रीमिंगएलएलएम) को जियोमेट्रिक मिक्सिंग द्वारा सुझाए गए विंडोज की तुलना में बहुत बड़े विंडोज की आवश्यकता होती है।
सफिक्स-ओनली पॉलिसीज की इष्टतमता: यह स्थापित करता है कि सफिक्स-ओनली पॉलिसीज के वर्ग के लिए, मेमोरी स्केलिंग टाइट है। क्या अधिक जटिल रिकरेंट या प्रोपेगेटिंग समरीज़ इस स्केलिंग को मात दे सकती हैं, यह एक खुला प्रश्न है।
"सिंक-प्लस-रिसेंट" का सत्यापन: यह सिंक-प्लस-रिसेंट इविक्शन की प्रभावकारिता के लिए एक सैद्धांतिक औचित्य प्रदान करता है, जो देखे गए $k^{-2\alpha}$ डिके को अंतर्निहित पॉलिनोमियल सेंसिटिविटी और स्थानीय क्वाड्रेटिक KL-TV संबंध से जोड़ता है।

लेखकों द्वारा स्वीकार की गई सीमाएं (Limitations Acknowledged by the Authors):

कम्प्यूटेशनल बाधाओं के कारण विश्लेषण $\le 3B$ पैरामीटर्स वाले मॉडल्स तक सीमित है; बड़े मॉडल्स (7B–8B) भविष्य के कार्य के लिए छोड़े गए हैं।
टाइट हाई-प्रोबेबिलिटी बाउंड्स के लिए आवश्यक "टू-साइडेड बेयस-रिस्क" कंडीशन और "फॉरवर्ड-डिके" हाइपोथीसिस केवल ट्रंकेशन सेंसिटिविटी से स्वतः प्राप्त नहीं होते हैं और उन्हें अतिरिक्त धारणाओं के रूप में माना गया है।
फ्रेमवर्क मानक ट्रांसफार्मर आर्किटेक्चर मानता है; स्टेट-स्पेस मॉडल्स (जैसे मम्बा/Mamba) का विश्लेषण नहीं किया गया है।
शोध पत्र यह दावा नहीं करता है कि वह आर्किटेक्चरल पैरामीटर्स से एक्सपोनेंट $\alpha$ को व्युत्पन्न करता है, बल्कि इसे अनुभवजन्य रूप से मापता है।

संक्षेप में, शोध पत्र तर्क देता है कि पॉलिनोमियल कॉन्टेक्स्ट-ट्रंकेशन सेंसिटिविटी प्रशिक्षित LLMs का एक मौलिक गुण है जो मेमोरी-रेट ट्रेड-ऑफ को निर्धारित करता है, जिसके लिए उच्च-सटीकता वाले कंप्रेशन के लिए पॉलिनोमियल रूप से स्केल होने वाले विंडोज की आवश्यकता होती है और यह रिसेंसी-आधारित इविक्शन रणनीतियों की प्रभावकारिता के लिए एक सैद्धांतिक आधार प्रदान करता है।