📊 statistics

Efficient and Minimax Optimal In-context Nonparametric Regression with Transformers

यह शोध पत्र प्रदर्शित करता है कि लघुगणकीय (logarithmic) पैरामीटर्स और प्रीट्रेनिंग अनुक्रमों की काफी कम संख्या वाला एक प्रीट्रेन्ड ट्रांसफार्मर, कर्नेल-वेटेड पॉलीनोमियल बेसिस और ग्रेडिएंट डिसेंट के माध्यम से लोकल पॉलीनोमियल एस्टिमेटर्स को कुशलतापूर्वक अनुमानित करके, इन-कॉन्टेक्स्ट नॉनपैरामीट्रिक रिग्रेशन के लिए मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट्स प्राप्त कर सकता है।

मूल लेखक: Michelle Ching, Ioana Popescu, Nico Smith, Tianyi Ma, William G. Underwood, Richard J. Samworth

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michelle Ching, Ioana Popescu, Nico Smith, Tianyi Ma, William G. Underwood, Richard J. Samworth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कुछ उदाहरण देकर भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। इसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है। हर बार नया डेटा दिखाने के लिए रोबोट के दिमाग को फिर से प्रशिक्षित करने के बजाय, आप उसे बस कुछ उदाहरणों के साथ एक "प्रॉम्ट" देते हैं, और वह तुरंत पैटर्न को समझ लेता है।

यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: ये "ट्रांसफॉर्मर" रोबट (वही तकनीक जो आधुनिक AI चैटबॉट्स के पीछे है) "नॉनपैरामीट्रिक रिग्रेशन" नामक एक क्लासिक गणितीय समस्या को हल करने में कितने अच्छे हैं?

सरल शब्दोंх में, नॉनपैरामीट्रिक रिग्रेशन का अर्थ है बिखरे हुए बिंदुओं के समूह के माध्यम से सबसे सुचारू (smooth) संभव वक्र (curve) खींचना। बिंदु डेटा (जैसे घर की कीमत बनाम वर्ग फुट) का प्रतिनिधित्व करते हैं, और वक्र उस छिपे हुए नियम को दर्शाता है जो उन्हें जोड़ता है। चुनौती यह है कि यह नियम कोई साधारण सीधी रेखा नहीं है; यह टेढ़ा-मेढ़ा और जटिल हो सकता है।

यहाँ इस शोध पत्र की मुख्य खोज है, जिसे रचनात्मक रूपकों के माध्यम से समझाया गया है:

1. पुराना तरीका बनाम नया तरीका

पहले, शोधकर्ताओं का मानना था कि इन जटिल वक्रों को खींचने में वास्तव में कुशल होने के लिए, एक ट्रांसफॉर्मर को विशाल होने की आवश्यकता होगी।

पुरानी उपमा: कल्पना कीजिए कि आप हर संभावित पहेली के टुकड़े के लिए एक विशाल पुस्तकालय बनाने की कोशिश कर रहे हैं ताकि आप एक जटिल पहेली को हल कर सकें। पूर्ण होने के लिए, आपको लाखों किताबों (पैरामीटर्स) वाला एक पुस्तकालय चाहिए था और आपको इस कार्य को शुरू करने से पहले लाखों अन्य किताबें (प्रीट्रेनिंग सीक्वेंस) पढ़नी पड़ती थी। यह अक्षम था और इसके लिए बहुत अधिक "मस्तिष्क शक्ति" की आवश्यकता थी।
नई खोज: यह शोध पत्र सिद्ध करता है कि ट्रांसफॉर्मर वास्तव में हमारी सोच से कहीं अधिक स्मार्ट और कुशल हैं। उन्हें एक विशाल पुस्तकालय की आवश्यकता नहीं है। वे एक छोटे, संक्षिप्त टूलकिट के साथ पहेली को हल कर सकते हैं।
- नई उपमा: एक पुस्तकालय के बजाय, ट्रांसफॉर्मर एक मास्टर शेफ की तरह है जिसके पास चाकू का एक छोटा, उच्च गुणवत्ता वाला सेट है। केवल कुछ चतुर चालों के साथ, वह भोजन काट सकता है, बारीक काट सकता है और सही भोजन बना सकता है। यह पेपर दिखाता है कि ट्रांसफॉर्मर को केवल उतने ही "चाकुओं" (पैरामीटर्स) की आवश्यकता होती है जो पहेली के बड़े होने पर बहुत धीरे (लॉगारिदमिक रूप से) बढ़ते हैं।

2. रोबोट यह कैसे करता है? (सीक्रेट सॉस)

यह शोध पत्र बताता है कि ट्रांसफॉर्मर इसे कैसे अंजाम देता है। यह केवल अनुमान नहीं लगाता; यह वास्तव में लोकल पॉलीनोमियल एस्टीमेशन नामक एक विशिष्ट, अत्यधिक प्रभावी गणितीय रणनीति की नकल करता है।

इस रणनीति को इस प्रकार समझें:

समस्या: आपके पास बिंदुओं का एक बिखरा हुआ नक्शा है, और आप किसी विशिष्ट स्थान पर मान (value) जानना चाहते हैं।
रणनीति: आप अपने स्थान के सबसे करीब वाले बिंदुओं को देखते हैं। आप दूर के बिंदुओं को अनदेखा कर देते हैं। फिर, आप केवल उन नजदीकी बिंदुओं के लिए एक छोटा, सुचारू वक्र खींचते हैं जो पूरी तरह से फिट बैठता है।

पेपर दिखाता है कि ट्रांसमानफार्मर दो चतुर चरणों में यह कर सकता है:

पड़ोसियों को वेट (Weight) देना: यह अपने "अटेंशन मैकेनिज्म" (वह हिस्सा जो तय करता है कि ध्यान कहाँ केंद्रित करना है) का उपयोग एक स्पॉटलाइट की तरह करने के लिए करता है। यह पास के डेटा बिंदुओं पर तेज रोशनी डालता है और दूर के बिंदुओं को धुंधला कर देता है। फिर, यह केवल उन्हीं प्रकाशित बिंदुओं का उपयोग करके एक गणितीय "ढांचा" (पॉलीनोमियल बेसिस) बनाता है।
एक मानसिक दौड़ चलाना: एक साथ पूर्ण वक्र की गणना करने के बजाय (जो कठिन है), ट्रांसफॉर्मर एक त्वरित मानसिक दौड़ चलाता है जिसे ग्रेडिएंट डिसेंट कहा जाता है। कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) घाटी के निचले हिस्से को खोजने की कोशिश कर रहा है। पूरी घाटी का नक्शा बनाने के बजाय, वह बस नीचे की ओर छोटे कदम लेता है। ट्रांसफॉर्मर नजदीकी बिंदुओं के लिए सबसे अच्छे वक्र (घाटी के निचले हिस्से) को खोजने के लिए लगभग $\log n$ कदम लेता है।

3. परिणाम: दक्षता और पूर्णता का मिलन

इस पेपर का बड़ा दावा यह है कि यह विधि मिनिमैक्स ऑप्टिमल (Minimax Optimal) है।

इसका अर्थ क्या है: सांख्यिकी की दुनिया में, किसी भी विधि के लिए शोर वाले डेटा (noisy data) से पैटर्न सीखने की एक सैद्धांतिक "गति सीमा" होती है। यह पेपर सिद्ध करता है कि ट्रांसफॉर्मर उस गति सीमा को प्राप्त करता है। यह उतनी ही तेजी से सीखता है जितना कि सैद्धांतिक रूप से संभव है।
दक्षता बोनस: न केवल यह सबसे तेज़ सीखने वाला तरीका है, बल्कि यह पिछले तरीकों की तुलना में काफी कम संसाधनों के साथ भी काम करता है।
- पैरामीटर्स: इसे बहुत कम "मस्तिष्क कोशिकाओं" (पैरामीटर्स) की आवश्यकता होती है।
- प्रीट्रेनिंग: इस कार्य के लिए तैयार होने के लिए इसे बहुत कम "प्रशिक्षण पुस्तकें" (प्रीट्रेनिंग सीक्वेंस) पढ़ने की आवश्यकता है।

4. गणित का एक सरल सारांश

यह पेपर ऐसे डेटा से निपटता है जिसमें $d$ आयाम (dimensions) होते हैं (जैसे मानचित्र जिसमें अक्षांश, देशांतर और ऊंचाई होती है) और ऐसे फंक्शन जो "स्मूथ" (बिना किसी अचानक, ऊबड़-खाबड़ बदलाव के) होते हैं।

पुरानी आवश्यकता: सर्वोत्तम परिणाम प्राप्त करने के लिए, पिछले सिद्धांतों के अनुसार आपको एक ऐसे ट्रांसफॉर्मर आकार की आवश्यकता थी जो आपके डेटा के बढ़ने के साथ एक बहुपद (polynomial) (जैसे $n^2$ या $n^3$ ) की तरह बढ़ता है।
नई वास्तविकता: यह पेपर दिखाता है कि आपको केवल एक ऐसे आकार की आवश्यकता है जो $\log n$ (अर्थात $n$ के अंकों की संख्या) की तरह बढ़ता है। यदि आप अपने डेटा को दोगुना करते हैं, तो आपको ट्रांसफॉर्मर में बहुत कम "मस्तिष्क शक्ति" जोड़ने की आवश्यकता होती है।

निष्कर्ष

यह पेपर इस बात की खोज जैसा है कि एक स्विस आर्मी नाइफ एक पूर्ण औद्योगिक वर्कशॉप का काम कर सकता है। यह सिद्ध करता है कि ट्रांसफॉर्मर स्वाभाविक रूप से जटिल, टेढ़े-मेढ़े वक्र-फिटिंग समस्याओं को अविश्वसनीय दक्षता के साथ हल करने के लिए सुसज्जित हैं। उन्हें पूर्ण होने के लिए विशाल, फूले हुए मॉडल की आवश्यकता नहीं है; उन्हें बस सही आंतरिक तंत्र (जो कि एक स्मार्ट तरीके से लोकल ग्रेडिएंट डिसेंट चलाने के समान है) की आवश्यकता है ताकि सर्वोत्तम प्रदर्शन प्राप्त किया जा सके।

नोट: यह पेपर सख्ती से इस गणितीय सिद्धांत पर केंद्रित है कि ये मॉडल डेटा से "टेबुलर" प्रारूप (संख्याओं के रो और कॉलम) में कैसे सीखते हैं। यह दावा नहीं करता है कि ये परिणाम टेक्स्ट जेनरेट करने, बीमारियों का निदान करने या अन्य विशिष्ट वास्तविक दुनिया के अनुप्रयोगों पर लागू होते हैं, हालांकि यह इन-कॉन्टेक्स्ट लर्निंग की अवधारणा को समझाने के लिए "लंदन सिस्टम चेस ओपनिंग" के उदाहरण का उपयोग करता है।

तकनीकी सारांश: ट्रांसफॉर्मर्स के साथ कुशल और मिनिमैक्स अनुकूल इन-कॉन्टेक्स्ट नॉनपैरामेट्रिक रिग्रेशन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र नॉनपैरामेट्रिक रिग्रेशन के लिए इन-कॉन्टेक्स्ट लर्निंग (ICL) करने में प्रीट्रेंड ट्रांसफॉर्मर्स की सैद्धांतिक क्षमताओं की जांच करता है। विशिष्ट सेटिंग इस प्रकार है:

कार्य (Task): एक क्वेरी कोवेरिएट $X_{n+1}$ और $n$ इनपुट-आउटपुट जोड़ों $(X_i, Y_i)_{i=1}^n$ के संदर्भ (context) के आधार पर एक रिस्पॉन्स $Y$ की भविष्यवाणी करना।
मॉडल क्लास: अंतर्निहित रिग्रेशन फंक्शन $m(\cdot)$ को एक $\alpha$ -होल्डर स्मूथ क्लास $\mathcal{H}(d, \alpha, M)$ से संबंधित माना गया है, जहाँ $d$ कोवेरियेट्स का आयाम (dimension) है और $\alpha > 0$ स्मूथनेस पैरामीटर है।
उद्देश्य: यह निर्धारित करना कि क्या एक ट्रांसफॉर्मर, जो प्रीट्रेनिंग अनुक्रमों (sequences) के एक बड़े संग्रह पर प्रशिक्षित (meta-learning) है, केवल इन-कॉन्टेक्स्ट उदाहरणों का उपयोग करके, इन्फरेंस के दौरान अपने पैरामीटर्स को अपडेट किए बिना, मीन स्क्वेर्ड एरर (MSE) के लिए मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट प्राप्त कर सकता है।

इस समस्या के लिए मिनिमैक्स ऑप्टिमल रेट ज्ञात रूप से $O(n^{-2\alpha/(2\alpha+d)})$ है। पिछले सैद्धांतिक कार्यों (जैसे, किम एट अल., 2024; शेन एट अल., 2025) ने प्रदर्शित किया कि ट्रांसफॉर्मर्स इस दर को प्राप्त कर सकते हैं, लेकिन इसके लिए $n$ के साथ बहुपद रूप से (polynomially) बढ़ने वाले पैरामीटर्स और प्रीट्रेनिंग अनुक्रमों (जैसे, $\Theta(n)$ या $\Theta(n^{d/(2\alpha+d)})$ पैरामीटर्स) की आवश्यकता थी, जो मॉडल क्षमता और डेटा उपलब्धता पर प्रतिबंधात्मक धारणाएं थोपते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन निर्माण प्रस्तावित करते हैं जो यह दर्शाता है कि ट्रांसफॉर्मर्स लोकल पॉलीनोमियल एस्टिमेटर्स (local polynomial estimators) को कुशलतापूर्वक अनुमानित कर सकते हैं, जो कि एक शास्त्रीय नॉनपैरामेट्रिक विधि है जिसे मिनिमैक्स अनुकूलता प्राप्त करने के लिए जाना जाता है। कार्यप्रणाली दो मुख्य सैद्धांतिक चरणों में आगे बढ़ती है:

A. लोकल पॉलीनोमियल एस्टिमेटर्स का सन्निकटन (Approximation)

मुख्य तकनीकी नवाचार यह प्रदर्शित करना है कि $\Theta(\log n)$ पैरामीटर्स वाला एक ट्रांसफॉर्मर किसी भी सटीकता तक लोकल पॉलीनोमियल एस्टिमेटर के आउटपुट को अनुमानित कर सकता है। इस निर्माण में शामिल है:

डेटा एम्बेडिंग (Data Embedding): इनपुट प्रॉम्प्ट को कोवेरियेट्स, रिस्पॉन्स और क्वेरी पॉइंट को समाहित करने वाले एक मैट्रिक्स में एम्बेड किया जाता है।
कर्नेल-वेटेड बेसिस कंस्ट्रक्शन (Kernel-Weighted Basis Construction): एक विशिष्ट कर्नेल $K(x) = (1 - \|x\|_1)^2_+$ $K (x) = (1 - ∥ x ∥_{1})_{+}^{2}$ का उपयोग करके, ट्रांसफॉर्मर एक कर्नेल-वेटेड मोनॉमियल बेसिस मैट्रिक्स $\tilde{X}$ $\tilde{X}$ और एक रिस्पॉन्स वेक्टर $\tilde{Y}$ $\tilde{Y}$ का निर्माण करता है। यह निम्नलिखित द्वारा प्राप्त किया जाता है:
- क्वेरी पॉइंट के सापेक्ष कोवेरियेट्स का सेंट्रिंग और स्केलिंग।
- चुने गए कर्नेल की पीसवाइज लीनियर प्रकृति का लाभ उठाते हुए, ReLU फीड-फॉरवर्ड नेटवर्क (FFNs) का उपयोग करके डायगोनल कर्नेल मैट्रिक्स के वर्गमूल की गणना करना।
- मोनॉमियल बेसिस फंक्शन्स $P_h(x)$ का डीप ReLU नेटवर्क का उपयोग करके सन्निकटन, जो गहराई ( $\Theta(\log n)$ लेयर्स) में घातीय सटीकता के साथ पॉलिनोमिअल्स का अनुमान लगा सकते हैं।
ग्रेडिएंट डिसेंट कार्यान्वयन (Gradient Descent Implementation): क्लोज्ड-फॉर्म लीस्ट स्क्वायर्स सॉल्यूशन के लिए आवश्यक मैट्रिक्स इनवर्स (जो गणनात्मक रूप से महंगा और सटीक रूप से प्रदर्शित करना कठिन है) को कंप्यूट करने के बजाय, ट्रांसफॉर्मर वेटेड लीस्ट स्क्वायर्स समस्या को हल करने के लिए ग्रेडिएंट डिसेंट चरणों को लागू करता है:
$\min_{w} \| \tilde{Y} - \tilde{X}w \|_2^2$
लेखक दिखाते हैं कि ऑब्जेक्टिव की स्ट्रॉन्ग कॉनवेक्सिटी (strong convexity) के कारण (उच्च संभावना के साथ), इष्टतम समाधान $w^*$ तक पहुँचने के लिए केवल $\Theta(\log n)$ ग्रेडिएंट डिसेंट चरण पर्याप्त हैं। अटेंशन मैकेनिज्म का उपयोग इन इटरेटिव अपडेट्स को करने के लिए किया जाता है।

B. एम्पिरिकल प्रोसेस थ्योरी के माध्यम से जोखिम विश्लेषण (Risk Analysis)

प्रशिक्षित ट्रांसफॉर्मर (एम्पिरिकल रिस्क मिनिमाइज़र) के सांख्यिकीय प्रदर्शन को स्थापित करने के लिए, लेखक ट्रांसफॉर्मर क्लास के कवरिंग नंबर्स (covering numbers) को बाउंड करते हैं।

वे $\Theta(\log n)$ पैरामीटर्स वाले ट्रांसफॉर्मर्स द्वारा परिभाषित फंक्शन क्लास के $\epsilon$ -कवरिंग नंबर पर सीमाएं (bounds) निकालते हैं।
एम्पिरिकल प्रोसेस थ्योरी के मानक परिणामों का उपयोग करते हुए (विशेष रूप से $L_2$ -एम्पिरिकल रिस्क मिनिमाइज़र्स के लिए), वे अपेक्षित अतिरिक्त जोखिम (expected excess risk) को बाउंड करते हैं। इसमें जोखिम को एप्रोक्सिमेशन एरर (ट्रांसफॉर्मर और आदर्श लोकल पॉलीनोमियल एस्टिमेटर के बीच की दूरी) और एस्टिमेशन एरर (सीमित प्रीट्रेनिंग डेटा के कारण) में विभाजित करना शामिल है।

3. मुख्य योगदान और परिणाम

मुख्य सैद्धांतिक परिणाम

थ्योरम 3.1 (सन्निकटन): एक ऐसा ट्रांसफॉर्मर मौजूद है जिसमें $\Theta(\log n)$ पैरामीटर्स हैं (विशेष रूप से $L = \lceil C \log n \rceil$ लेयर्स), जो पॉपुलेशन रिस्क में $O(1/n)$ की त्रुटि के साथ $M$ -ट्रंकेटेड लोकल पॉलीनोमियल एस्टिमेटर का सन्निकटन करता है।
थ्योरम 3.2 (मिनिमैक्स ऑप्टिमलिटी): $\Gamma$ प्रीट्रेनिंग अनुक्रमों पर एम्पिरिकल रिस्क मिनिमाइजेशन के माध्यम से प्रशिक्षित एक ट्रांसफॉर्मर मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट प्राप्त करता है:
$\mathbb{E}[R(\hat{f}_\Gamma)] - \sigma^2 \leq C n^{-2\alpha/(2\alpha+d)}$
यह तब मान्य होता है जब प्रीट्रेनिंग अनुक्रमों की संख्या निम्नलिखित हो:
$\Gamma = \Omega\left( n^{2\alpha/(2\alpha+d)} \log^3 n \right)$
और ट्रांसफॉर्मर केवल $\Theta(\log n)$ पैरामीटर्स का उपयोग करता है।

पूर्ववर्ती कार्यों के साथ तुलना

यह शोध पत्र मौजूदा साहित्य की तुलना में महत्वपूर्ण सुधारों को रेखांकित करता है:

पैरामीटर दक्षता (Parameter Efficiency): पिछले कार्यों को $\Theta(n)$ (शेन एट अल., 2025) या $\Theta(n^{d/(2\alpha+d)})$ (किम एट अल., 2024) पैरामीटर्स की आवश्यकता थी। यह कार्य केवल $\Theta(\log n)$ की आवश्यकता बताता है।
डेटा दक्षता (Data Efficiency): आवश्यक प्रीट्रेनिंग अनुक्रमों $\Gamma$ की संख्या काफी कम हो गई है। उदाहरण के लिए, किम एट अल. (2024) द्वारा $\Gamma = \Omega(n^{(2\alpha+2d)/(2\alpha+d)} \log n)$ की आवश्यकता की तुलना में, यह कार्य $\Gamma = \Omega(n^{2\alpha/(2\alpha+d)} \log^3 n)$ की आवश्यकता बताता है।

सिमुलेशन परिणाम

लेखक रैंडम रिग्रेशन टास्क ( $d=3, \alpha=3$ ) पर अपने प्रीट्रेंड ट्रांसफॉर्मर बनाम एक लोकल क्यूबिक पॉलीनोमियल एस्टिमेटर की तुलना करने वाले सिमुलेशन प्रदान करते हैं। परिणाम दिखाते हैं कि ट्रांसफॉर्मर $n$ पर समान निर्भरता प्रदर्शित करता है (इन-कॉन्टेक्स्ट उदाहरणों की संख्या के साथ स्केल करता है) और एक्स्ट्रा रिस्क के मामले में लोकल पॉलीनोमियल एस्टिमेटर से बेहतर प्रदर्शन करता है, जो उनके सैद्धांतिक निष्कर्षों को अनुभवजन्य रूप से सत्यापित करता है।

4. महत्व और दावे

यह शोध पत्र दावा करता है कि ट्रांसफॉर्मर्स मानक होल्डर स्मूथनेस धारणाओं के तहत नॉनपैरामेट्रिक रिग्रेशन के लिए कुशल और मिनिमैक्स अनुकूल इन-कॉन्टेक्ट लर्नर्स हैं।

दक्षता (Efficiency): प्राथमिक महत्व आवश्यक मॉडल क्षमता में भारी कमी में निहित है। यह दिखाकर कि $\Theta(\log n)$ पैरामीटर्स पर्याप्त हैं, लेखक तर्क देते हैं कि ट्रांसफॉर्मर्स पिछले सैद्धांतिक विश्लेषणों द्वारा सुझाए गए अत्यधिक पैरामीटर काउंट के बिना इष्टतम सांख्यिकीय प्रदर्शन प्राप्त कर सकते हैं।
तंत्र (Mechanism): यह कार्य इस बात का एक ठोस तंत्र प्रदान करता है कि ट्रांसफॉर्मर्स यह कैसे प्राप्त करते हैं: कर्नेल-वेटेड बेसिस के निर्माण और अटेंशन लेयर्स के माध्यम से ग्रेडिएंट डिसेंट के निष्पादन के माध्यम से स्थानीय पॉलीनोमियल एस्टीमेशन को स्पष्ट रूप से लागू करके।
व्यापकता (Generality): परिणाम किसी भी स्मूथनेस स्तर $\alpha > 0$ और किसी भी आयाम $d$ के लिए मान्य हैं, जिसमें लो-डायमेंशनल मैनिफोल्ड्स के बारे में धारणाओं की आवश्यकता नहीं है (हालांकि लेखक इसे भविष्य की दिशा के रूप में नोट करते हैं)।

लेखक अपने व्यावहारिक निहितार्थों के संबंध में एक विनम्र लहजा बनाए रखते हैं, यह नोट करते हुए कि जबकि वे एम्पिरिकल रिस्क मिनिमाइज़र के सांख्यिकीय गुणों का विश्लेषण करते हैं, वास्तविक ट्रेनिंग डायनेमिक्स (जैसे, नॉन-कॉन्वेक्स सेटिंग्स में ग्लोबल मिनिमम तक ग्रेडिएंट डिसेंट का अभिसरण) का विश्लेषण इस सैद्धांतिक कार्य के दायरे से बाहर एक खुला और चुनौतीपूर्ण प्रश्न बना हुआ है। वे यह भी नोट करते हैं कि उनके प्रमाण सरलता के लिए लीनियर अटेंशन पर आधारित हैं, लेकिन उन्हें मामूली संशोधनों के साथ ReLU या सॉफ्टमैक्स अटेंशन तक विस्तारित किया जा सकता है।