🤖 machine learning

Towards Tight Bounds for Streaming Attention

यह शोधपत्र कर्नेल डेंसिटी एस्टीमेशन तकनीकों और साइड इंफॉर्मेशन के साथ INDEX समस्या पर आधारित एक नई लोअर बाउंड पद्धति के नवीन संयोजन के माध्यम से लगभग सटीक स्पेस कॉम्प्लेक्सिटी बाउंड्स स्थापित करके स्ट्रीमिंग अटेंशन एप्रोक्सिमेशन समस्या के लिए मौजूदा अपर और लोअर बाउंड्स के बीच के महत्वपूर्ण अंतर को हल करता है।

मूल लेखक: Justin Y. Chen, Ying Feng, Piotr Indyk, Michael Kapralov, Ekaterina Kochetkova, Boris Prokhorov

प्रकाशित 2026-06-08

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Justin Y. Chen, Ying Feng, Piotr Indyk, Michael Kapralov, Ekaterina Kochetkova, Boris Prokhorov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट बनाने की कोशिश कर रहे हैं जो एक किताब पढ़ सके और फिर उसके आधार पर एक नया अध्याय लिख सके। ऐसा करने के लिए, रोबोट को अब तक पढ़े गए हर शब्द (जिसे "संदर्भ" या "context" कहा जाता है) को याद रखने की आवश्यकता होगी और यह समझने की आवश्यकता होगी कि अगले वाक्य को लिखने के लिए उन शब्दों में से कौन से शब्द सबसे महत्वपूर्ण हैं।

AI की दुनिया में, इस प्रक्रिया को अटेंशन (Attention) कहा जाता है। समस्या यह है कि जैसे-जैसे किताब लंबी होती जाती है, रोबoid की याददाश्त जाम होने लगती है। उसे देखे गए हर एक शब्द की एक विशाल सूची रखनी पड़ती है, जिसमें बहुत अधिक जगह लगती है और इससे सब कुछ धीमा हो जाता है।

यह शोध पत्र (paper) एक टीम इंजीनियरों की तरह है जिन्होंने उस विशाल मेमोरी लिस्ट को एक बहुत ही छोटे, कुशल आकार में सिकोड़ने का तरीका खोज निकाला है, बिना रोबोट की कहानी समझने की क्षमता को खोए। उन्होंने पाया कि आप उनके तरीके से बेहतर बहुत कम ही कर सकते हैं, और उन्होंने इसे साबित भी किया।

उन्होंने इसे कैसे किया, इसे रोजमर्रा के उदाहरणों के साथ समझाया गया है:

1. समस्या: "विशाल पुस्तकालय" बनाम "जेब का नोट"

रोबोट की याददाश्त को एक पुस्तकालय के रूप में सोचें।

पुराना तरीका: हर बार जब रोबोट एक नया शब्द पढ़ता है, तो वह एक पूरी, भारी विश्वकोश (encyclopedia) शेल्फ पर रख देता है। यदि किताब में 1,000 शब्द हैं, तो रोबोट को 1,000 विश्वकोशों की आवश्यकता होगी। यह धीमा और महंगा है।
लक्ष्य: रोबोट चाहता है कि वह एक "जेब के नोट" (Pocket Note) को रखे। वह चाहता है कि वह पूरे पुस्तकालय को कुछ प्रमुख वाक्यों में संक्षिप्त कर दे जो अभी भी उसे किसी भी प्रश्न का सटीक उत्तर देने में सक्षम रखें।

पिछले शोधकर्ताओं ने इन जेब के नोट्स को बनाने की कोशिश की, लेकिन उनके द्वारा बनाए गए नोट के आकार और जितना छोटा वह वास्तव में हो सकता था, उसके बीच एक बड़ा अंतर रह गया। उन्हें वास्तविक सीमा का पता नहीं था।

2. समाधान: एक काम के लिए तीन उपकरण

इस शोध पत्र के लेखकों ने महसूस किया कि मेमोरी को पूरी तरह से सिकोड़ने के लिए, आपको डेटा के "तापमान" (जिसे वे "टेम्परेचर" कहते हैं) के आधार पर एक ही समय में तीन अलग-अलग उपकरणों का उपयोग करने की आवश्यकता है।

उपकरण A: "मोमेंट" स्केच (एक स्नैपशॉट)
कल्पना कीजिए कि आप लोगों की भीड़ का वर्णन करना चाहते हैं। हर व्यक्ति की सूची बनाने के बजाय, आप एक फोटो लेते हैं जो औसत ऊंचाई, औसत वजन और सामान्य मूड को कैप्चर करता है। यह एक "स्केच" है। यह भीड़ का वर्णन करने के लिए बेहतरीन है जब लोग फैले हुए और मिश्रित होते हैं (इसे "हाई टेम्परेचर" शासन कहा जाता है)। लेखकों ने इस स्केच को अविश्वसनीय रूप से कुशल बनाने के लिए कुछ उन्नत गणित (पॉलीनोमियल्स) का उपयोग किया।
उपकरण B: "डिस्क्रिपेंसी" फ़िल्टर (एक संतुलित तराजू)
कभी-कभी भीड़ मिश्रित नहीं होती; शायद बाईं ओर लंबे लोगों का एक समूह है और दाईं ओर छोटे लोगों का। एक साधारण फोटो यहाँ काम नहीं करती। इसके बजाय, आपको एक ऐसे "फ़िल्टर" की आवश्यकता है जो समूहों को संतुलित करे ताकि आप अंतर को न खो दें। लेखकों ने एक "कोरेसेट" (coreset) बनाने के लिए "डिस्क्रिपेंसी थ्योरी" नामक एक गणितीय ट्रिक का उपयोग किया जो पूरे समूह का सटीक प्रतिनिधित्व करता है।
उपकरण C: "स्पेस पार्टीशन" मैप (पड़ोस/मोहल्ले)
यदि भीड़ घने मोहल्लों में बंटी हुई है (जैसे कि एक "लो टेम्परेचर" शासन जहाँ रोबोट केवल कुछ शब्दों पर अत्यधिक केंद्रित है), तो लेखकों ने महसूस किया कि आपको पूरे पुस्तकालय को एक बड़े कमरे के रूप में नहीं देखना चाहिए। इसके बजाय, आपको पुस्तकालय को छोटे कमरों में बांटना चाहिए और प्रत्येक कमरे का अलग से सारांश बनाना चाहिए। उन्होंने इन समूहों को खोजने, उन्हें कमरे के केंद्र में लाने (री-सेंटरिंग), और फिर उन्हें सिकोड़ने का एक तरीका विकसित किया।

जादू: यह पेपर दिखाता है कि स्थिति के आधार पर इन तीन उपकरणों के बीच स्विच करके, आप मेमोरी के आकार को लगभग उतना छोटा कर सकते हैं जितना गणितीय रूप से संभव है।

3. "टाइट" परिणाम: अब कोई अनुमान नहीं

इस पेपर से पहले, वैज्ञानिक अनुमान लगा रहे थे कि मेमोरी कितनी छोटी हो सकती है। उनके पास सबसे छोटे आकार का एक "सर्वश्रेष्ठ अनुमान" (Upper Bound) और एक "न्यूनतम संभव" आकार (Lower Bound) था, लेकिन उनके बीच एक बड़ा अंतर था।

उदाहरण: कल्पना कीजिए कि आप एक सूटकेस को कार की डिक्की में फिट करने की कोशिश कर रहे हैं। पिछले शोधकर्ताओं ने कहा, "यह फिट हो सकता है यदि हम इसे जोर से दबाएं," लेकिन उन्हें यह नहीं पता था कि डिक्की वास्तव में कितनी बड़ी है।
यह पेपर: लेखकों ने लेजर रूलर से सूटकेस और डिक्की को मापा। उन्होंने साबित किया, "हाँ, यह फिट होता है, और यहाँ वह सटीक स्थान दिया गया है जिसकी आपको आवश्यकता है। आप इसे इससे छोटा नहीं कर सकते, और आपको इससे अधिक स्थान की आवश्यकता नहीं है।"

उन्होंने साबित किया कि कई परिदृश्यों के लिए, उनका तरीका लगभग पूर्ण है। यदि आप उनकी विधि से छोटा मेमोरी बनाने की कोशिश करते हैं, तो रोबोट गलतियाँ करने लगेगा। यदि आप इसे बड़ा बनाने की कोशिश करते हैं, तो आप केवल जगह बर्बाद कर रहे हैं।

4. उन्होंने इसे कैसे साबित किया ("जासूस" का खेल)

यह साबित करने के लिए कि आप उनके तरीके से बेहतर नहीं कर सकते, उन्होंने "20 सवाल" (गणित में INDEX समस्या कहा जाता है) के खेल से जुड़ी एक चतुर ट्रिक का उपयोग किया।

सेटअप: कल्पना कीजिए कि एक जासूस (एलिस) के पास एक गुप्त कोड (0 और 1 की एक लंबी स्ट्रिंग) है। वह अपने साथी (बॉब) को एक छोटा संदेश भेजती है। बॉब को कोड के एक विशिष्ट बिट का अनुमान लगाना है।
ट्रिक: लेखकों ने दिखाया कि यदि रोब-नोट की मेमोरी उनके द्वारा निर्धारित सीमा से छोटी होती, तो जासूस रोबोट की मेमोरी का उपयोग एक ऐसा संदेश भेजने के लिए कर सकता था जो इस खेल को हल करने के लिए बहुत छोटा होता। चूंकि हम गणित से जानते हैं कि खेल को हल करने के लिए संदेश का एक निश्चित आकार होना चाहिए, इसलिए रोबोट की मेमोरी कम से कम उतनी बड़ी होनी ही चाहिए।
नवाचार: उन्होंने एक मोड़ जोड़ा जहाँ जासूस बॉब की मदद के लिए थोड़ा "साइड इंफॉर्मेशन" (जैसे कि एक संकेत) भेजता है। इसने उन्हें यह साबित करने की अनुमति दी कि सीमा पहले की तुलना में और भी सटीक है, जिससे वह अंतर खत्म हो गया जिसे पिछले शोधकर्ता ठीक नहीं कर सके थे।

सारांश

सरल शब्दों में, यह पेपर कंप्रेशन (संपीड़न) का एक मास्टरक्लास है।

समस्या: AI मॉडल मेमोरी के बहुत भूखे हैं।
समाधान: लेखकों ने एक नई प्रणाली बनाई जो डेटा को पूरी तरह से संक्षिप्त करने के लिए स्केच, फिल्टर और मैपिंग का मिश्रण उपयोग करती है।
प्रमाण: उन्होंने गणितीय रूप से सिद्ध किया कि यह प्रणाली सबसे अच्छी संभव प्रणाली है। आप AI के दिमाग को खराब किए बिना मेमोरी को और अधिक नहीं सिकोड़ सकते।

उन्होंने केवल एक बेहतर टूल नहीं बनाया; उन्होंने उस नक्शे को भी खींचा है जो दिखाता है कि चट्टान का किनारा कहाँ है, ताकि किसी और को उस किनारे से नीचे गिरने की कोशिश करने में समय बर्बाद न करना पड़े।

तकनीकी सारांश: स्ट्रीमिंग अटेंशन के लिए टाइट बाउंड्स की ओर

समस्या विवरण

यह शोध पत्र स्ट्रीमिंग अटेंशन एप्रोक्सिमेशन प्रॉब्लम को संबोधित करता है, जो बड़े पैमाने पर ट्रांसफार्मर आर्किटेक्चर को तैनात करने में एक मौलिक चुनौती है। मानक ट्रांसफार्मर मॉडलों में, अटेंशन मैकेनिज्म एक क्वेरी वेक्टर $q$ और की-वैल्यू पेयर्स $(K, V)$ के अनुक्रम के बीच सहसंबंधों की गणना करके आउटपुट उत्पन्न करता है। कम्प्यूटेशनल बाधा इसलिए उत्पन्न होती है क्योंकि इसका नैव (naive) कार्यान्वयन सभी $n$ पहले से देखे गए टोकन (जिसे "KV कैश" कहा जाता है) को संग्रहीत करने की आवश्यकता होती है, जिससे संदर्भ लंबाई (context length) के सापेक्ष रैखिक स्थान जटिलता $O(n)$ और द्विघाती समय जटिलता $O(n^2)$ होती है।

जबकि हाल के कार्यों (जैसे, Haris et al., COLT'25; Kochetkova et al., NeurIPS'25) ने इसे एक स्ट्रीमिंग समस्या के रूप में औपचारिक रूप दिया और विसंगति सिद्धांत (discrepancy theory) पर आधारित एल्गोरिदम प्रदान किए, एक महत्वपूर्ण अंतर उनके अपर बाउंड्स (एल्गोरिथमिक स्पेस कॉम्प्लेक्सिटी) और लोअर बाउंड्स (इन्फॉर्मेशन-थ्योरेटिक लिमिट्स) के बीच बना रहा। विशेष रूप से, पिछले एल्गोरिदम में परिशुद्धता पैरामीटर $1/\epsilon$ के व्युत्क्रम के साथ स्पेस का उपयोग रैखिक रूप से बढ़ता था, जबकि लोअर बाउंड्स इस निर्भरता को प्रतिबिंबित नहीं करते थे, जिससे समस्या की वास्तविक जटिलता अनसुलझी रह गई।

यह शोध पत्र दो विशिष्ट व्यवस्थाओं (regimes) पर ध्यान केंद्रित करता है:

हाई टेम्परेचर रिजीम (छोटा $r$ ): जहाँ की/क्वेरी वेक्टर्स की त्रिज्या $r$ छोटी है ( $r = (\log n)^{o(1)}$ )।
लो टेम्परेचर रिजीम (बड़ा $r$ ): जहाँ $r^2 = \Omega(\log n)$ है, जिससे $r$ पर घातांकीय (exponential) निर्भरता होती है।

लक्ष्य नॉर्मलाइजिंग कांस्टेंट (Kernel Density Estimation, KDE) और पूर्ण अटेंशन वेक्टर का अनुमान लगाने के लिए टाइट स्पेस कॉम्प्लेक्सिटी निर्धारित करना है, एक स्ट्रीमिंग सेटिंग में, जहाँ डेटा क्रमिक रूप से आता है और इसे सीमित मेमोरी के साथ प्रोसेस किया जाना चाहिए।

कार्यप्रणाली (Methodology)

लेखक एक दोहरी पद्धति का उपयोग करते हैं, जिसमें नवीन एल्गोरिथमिक अपर बाउंड्स और मिलान करने वाले इन्फॉर्मेशन-थ्योरेटिक लोअर बाउंड्स विकसित किए गए हैं।

1. एल्गोरिथमिक अपर बाउंड्स

प्रस्तावित एल्गोरिदम तीन विशिष्ट पद्धतियों को एकीकृत करके टाइट बाउंड्स प्राप्त करते हैं:

विसंगति-आधारित कोरेस्ट कंस्ट्रक्शन (Discrepancy-Based Coreset Constructions): Charikar-Kaporalov-Waingarten (CKW'24) और Banaszczyk के प्रमेय के परिणामों का उपयोग करते हुए, लेखक डेटा के छोटे उपसमुच्चय (कोरेट्स) का निर्माण करते हैं जो किसी भी क्वेरी के लिए कर्नल डेंसिटी एस्टीमेशन (KDE) मान का अनुमान लगाते हैं। यह एक्सपोनेंशियल कर्नल एक्सपेंशन की "टेल" (tail) के लिए विशेष रूप से प्रभावी है।
पॉलीनोमियल मेथड: Greengard-Rokhlin '87 की फास्ट मल्टीपोल मेथड और हालिया प्रगति (Alman-Song '23) का लाभ उठाते हुए, लेखक एक्सपोनेंशियल फंक्शन के लो-डिग्री भाग का अनुमान लगाने के लिए डेटासेट के लो-डिग्री मोमेंट्स का एक स्केच बनाए रखने के लिए ट्रंकेटेड पॉलीनोमियल एक्सपेंशन (Taylor या Hermite) का उपयोग करते हैं।
स्पेस पार्टीशनिंग और रीसेंटरिंग: लो-टेम्परेचर रिजीम (बड़े $r$ $r$ ) के लिए, लेखक एक रिकर्सिव पार्टीशन प्रक्रिया पेश करते हैं। यह डेटासेट को निम्नलिखित में विभाजित करता है:
- स्यूडो-रैंडम घटक: जहाँ डेटा फैला हुआ है, जिससे मानक विसंगति न्यूनीकरण (discrepancy minimization) कुशलतापूर्वक काम कर सके।
- लो-रेडियस घटक: घने क्लस्टर जहाँ लेखक रीसेंटरिंग और रीस्केलिंग तकनीक लागू करते हैं। क्लस्टर को मूल बिंदु (origin) पर शिफ्ट करके और उसे रीस्केल करके, वे डेटा की प्रभावी त्रिज्या को कम करते हैं, जिससे वैश्विक स्तर पर एल्गोरिदम लागू करने की तुलना में कोरेस्ट निर्माण में एरर टर्म काफी कम हो जाता है।

अंतिम स्ट्रीमिंग एल्गोरिदम इन घटकों को एक मर्ज-एंड-रिड्यूस फ्रेमवर्क का उपयोग करके जोड़ता है, जिससे ऑफलाइन कंप्रेशन प्रिमिटिव्स को स्ट्रीमिंग मॉडल में अनुकूलित किया जा सके।

2. लोअर बाउंड तकनीकें

टाइट लोअर बाउंड्स सिद्ध करने के लिए, लेखक INDEX समस्या (एक संचार जटिलता समस्या जहाँ एलिस के पास एक स्ट्रिंग $x$ है और बॉब के पास एक इंडेक्स $i$ है) को स्ट्रीमिंग अटेंशन समस्या में रिड्यूस करते हैं।

साइड इंफॉर्मेशन स्ट्रैटेजी: रिडक्शन में एक प्रमुख तकनीकी योगदान "साइड इंफॉर्मेशन" का उपयोग है। पिछले रिडक्शन के विपरीत जो कर्नल वैल्यूज में उच्च शोर (noise) के कारण विफल रहे थे, लेखक डेटासेट के लो-डिग्री भाग का एक स्केच भेजने के लिए एलिस का उपयोग करते हैं (जो पॉलीनोमियल स्केच की नकल करता है)।
हर्मिट एक्सपेंशन (Hermite Expansion): मानक टेलर एक्सपेंशन के बजाय, लोअर बाउंड प्रमाण हर्मिट पॉलीनोमियल्स का उपयोग करता है। यह चुनाव महत्वपूर्ण है क्योंकि यह डेटासेट में एक विशिष्ट टोकन की उपस्थिति और अनुपस्थिति के बीच अंतर करने के लिए बेहतर सिग्नल-टू-नॉइज रेशियो प्रदान करता है। यह दिखाया गया है कि इस विशिष्ट बेसिस का उपयोग करने पर ही शोर टर्म (जो अन्य टोकन द्वारा योगदान किया गया है) सिग्नल टर्म से छोटा होता है, जिससे परिशुद्धता पैरामीटर $\epsilon$ और त्रिज्या $r$ पर टाइट निर्भरता संभव होती है।

मुख्य परिणाम

यह शोध पत्र स्ट्रीमिंग अटेंशन और सॉफ्टमैक्स KDE के लिए स्पेस कॉम्प्लेक्सिटी के लिए लगभग टाइट बाउंड्स स्थापित करता है, जिससे पिछले कार्य (Haris et al., Kochetkova et al.) द्वारा छोड़े गए अंतराल को हल किया गया है।

1. हाई टेम्परेचर रिजीम (छोटा $r$ )

यह मानते हुए कि $r = (\log n)^{o(1)}$ और $d = \log^a n$ (जहाँ $a > 1$ ):

अपर बाउंड: इस समस्या को $\tilde{O}\left((1/\epsilon)^{1 - 1/a + o(1)}\right)$ स्पेस का उपयोग करके हल किया जा सकता है।
लोअर बाउंड: किसी भी एल्गोरिदम को $\tilde{\Omega}\left(\min\left(n, (1/\epsilon)^{1 - 1/a - o(1)}\right)\right)$ स्पेस की आवश्यकता होती है।
महत्व: यह परिणाम दर्शाता है कि स्पेस कॉम्प्लेक्सिटी $1/\epsilon$ में सब-लीनियर (विशेष रूप से $(1/\epsilon)^{1-1/a}$ ) है, जो पिछले एल्गोरिदम के रैखिक $O(1/\epsilon)$ निर्भरता में सुधार करता है। उदाहरण के लिए, यदि $d = \log^2 n$ ( $a=2$ ) है, तो स्पेस कॉम्प्लेक्सिटी लगभग $\tilde{O}(1/\sqrt{\epsilon})$ होगी।

2. लो टेम्परेचर रिजीम (बड़ा $r$ )

यह मानते हुए कि $r^2 = \Omega(\log n)$ और $d = (\log n)^{1+\Omega(1)}$ :

अपर बाउंड: इस समस्या को $\tilde{O}\left(\frac{e^{r^2(1+o(1))}}{\epsilon}\right)$ स्पेस का उपयोग करके हल किया जा सकता है।
लोअर बाउंड: इस समस्या को $\tilde{\Omega}\left(\min\left(n, \frac{e^{r^2(1-o(1))}}{\epsilon}\right)\right)$ स्पेस की आवश्यकता होती है।
महत्व: यह $r$ पर घातांकीय निर्भरता का लगभग टाइट लक्षण वर्णन प्रदान करता है, यह दिखाते हुए कि पिछले बाउंड्स एक्सपोनेंट के कांस्टेंट फैक्टर्स के संबंध में इष्टतम नहीं थे।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह मापदंडों की एक विस्तृत श्रृंखला में स्ट्रीमिंग अटेंशन की स्पेस कॉम्प्लेक्सिटी के लिए पहले लगभग टाइट बाउंड्स प्रदान करता है।

अंतराल को भरना (Closing the Gap): यह कार्य पिछले साहित्य (Haris et al., Kochetkova et al.) द्वारा पहचाने गए अपर और लोअर बाउंड्स के बीच महत्वपूर्ण विसंगति को हल करता है, यह दिखाते हुए कि स्पेस कॉम्प्लेक्सिटी केवल $1/\epsilon$ में रैखिक नहीं है बल्कि डाइमेंशनलिटी के आधार पर काफी सब-लीनियर हो सकती है।
एल्गोरिथमिक नवाचार: पेपर विसंगति सिद्धांत, पॉलीनोमियल मेथड्स और ज्यामितीय स्पेस पार्टीशनिंग के बीच "आश्चर्यजनक रूप से टाइट इंटरप्ले" को उजागर करता है। लो-रेडियस क्लस्टर्स के लिए रीसेंटरिंग और रीस्केलिंग तकनीक को त्रिज्या $r$ पर निर्भरता में सुधार करने वाले एक प्रमुख तंत्र के रूप में प्रस्तुत किया गया है।
नई लोअर बाउंड तकनीक: लेखक दावा करते हैं कि बड़ी मात्रा में साइड इंफॉर्मेशन (विशेष रूप से हर्मिट एक्सपेंशन के माध्यम से) के साथ INDEX समस्या का उपयोग करने की उनकी तकनीक एक नया योगदान है जो अन्य उच्च-आयामी ज्यामितीय एस्टीमेशन समस्याओं के लिए उपयोगी हो सकता है।
व्यावहारिक निहितार्थ: हालांकि यह शोध पत्र सैद्धांतिक बाउंड्स पर केंद्रित है, यह LLMs में KV कैश कंप्रेशन की व्यावहारिक चुनौती के भीतर इन परिणामों को संदर्भ देता है। परिशुद्धता और डाइमेंशन के साथ सब-लीनियर स्पेस को सैद्धांतिक रूप से प्राप्त करने योग्य बनाकर और सटीक ट्रेड-ऑफ को क्वांटिफाई करके, यह कार्य ट्रांसफॉर्मर्स में अधिक कुशल मेमोरी मैनेजमेंट रणनीतियों को विकसित करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

लेखक इसके दायरे के बारे में विनम्र रहते हैं, यह नोट करते हुए कि लो-टेम्परेचर रिजीम में अटेंशन समस्या के लिए उनके लोअर बाउंड्स विशेष रूप से $r^2 < (\log n)/2$ की धारणा के तहत लागू होते हैं, और इन परिणामों को अन्य पैरामीटर रेंज में विस्तारित करना एक खुला प्रश्न (open problem) बना हुआ है। वे यह भी पहचानते हैं कि एडाप्टिव स्ट्रीमिंग (जहाँ इनपुट फीडबैक लूप के माध्यम से उत्पन्न होते हैं) और गौसियन KDE भविष्य के अनुसंधान के लिए दिलचस्प दिशाएँ हैं।