🤖 machine learning

Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems Reconstruction

यह शोध पत्र GTF-DEER को प्रस्तुत करता है, जो एक नवीन 'पैरेलल-इन-टाइम' प्रशिक्षण ढांचा है जो स्टेट स्पेस मॉडल्स में लीनियर रिकरेंस की सीमाओं को दूर करने के लिए अत्यंत लंबी अनुक्रमों से नॉनलीनियर डायनेमिकल सिस्टम्स के स्थिर और प्रभावी पुनर्निर्माण को सक्षम बनाता है, यह प्रदर्शित करते हुए कि लंबी समय अवधि वाले सिस्टम्स के लिए लंबी प्रक्षेप पथों (ट्रैजेक्टरीज) तक पहुंच मॉडलिंग सटीकता में महत्वपूर्ण सुधार करती है।

मूल लेखक: Florian Hess, Florian Götz, Daniel Durstewitz

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Florian Hess, Florian Götz, Daniel Durstewitz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मौसम, शेयर बाजार की हलचल, या न्यूरॉन के सक्रिय होने की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। ये प्रणालियाँ अराजक (chaotic) हैं: आज के छोटे से बदलाव कल बड़े, अप्रत्याशित अंतर पैदा कर सकते हैं। इस रोबोट को सिखाने के लिए, आपको इसे डेटा के लंबे अनुक्रम (sequences) दिखाने होंगे ताकि यह खेल के "नियमों" को सीख सके।

समस्या क्या है? रोबोट को लंबी, अराजक कहानियों को समझने के लिए सिखाना पारंपरिक तरीकों का उपयोग करके अविश्वसनीय रूप से धीमा और कठिन है। यह एक 1,000 पन्नों की किताब को एक बार में एक शब्द करके पढ़ने की तरह है, जहाँ हर बार जब आप गलती करते हैं, तो आपको इसे ठीक करने के लिए पहले पन्ने से फिर से पढ़ना शुरू करना पड़ता है।

यह शोध पत्र इन रोबots को प्रशिक्षित करने का एक नया, सुपर-फास्ट तरीका पेश करता है, जिससे वे अत्यधिक लंबे डेटा अनुक्रमों से सीख सकते हैं जिन्हें पहले संभालना असंभव था।

यहाँ उनके समाधान का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. पुरानी समस्या: "रैखिक" (Linear) बाधा

पारंपरिक प्रशिक्षण (जिसे Backpropagation Through Time कहा जाता है) एक रिले रेस की तरह है जहाँ बैटन (baton) को एक सख्त रेखा में एक धावक से दूसरे धावक को पास किया जाना चाहिए।

यदि आपके पास 10 धावक हैं, तो इसमें 10 कदम लगते हैं।
यदि आपके पास 10,000 धावक हैं, तो इसमें 10,000 कदम लगते हैं।
यदि दौड़ अराजक है (धावक लड़खड़ा रहे हैं और गिर रहे हैं), तो बैटन अक्सर गिर जाता है, और पूरी प्रक्रिया क्रैश हो जाती है।

इस "रैखिक" सुस्ती के कारण, वैज्ञानिक केवल छोटे अनुक्रमों पर ही प्रशिक्षण लेने के लिए मजबूर थे। वे लंबे समय के पैटर्न के "बड़ी तस्वीर" को नहीं देख सकते थे क्योंकि प्रशिक्षण में बहुत अधिक समय लगता या वह क्रैश हो जाता।

2. नया समाधान: "पैरेलल स्कैन" (Parallel Scan) की महाशक्ति

लेखक दो मौजूदा विचारों को मिलाकर एक नई विधि बनाते हैं जिसे GTF-DEER कहा जाता है। इसे एक रिले रेस से बदलकर एक समकालिक ड्रोन झुंड (synchronized drone swarm) में बदलने के रूप में सोचें।

एक-एक करके बैटन पास करने के बजाय, झुंड पूरे अध्याय को एक साथ देखता है। वे पूरे अनुक्रम की गणना करने के लिए "पैरेलल स्कैन" नामक एक गणितीय ट्रिक का उपयोग करते हैं जो लॉगरिदमिक समय में काम करती है।

उपमा: किताब को शब्द-दर-शब्द पढ़ने के बजाय, झुंड एक जादुई लेंस का उपयोग करता है जो उन्हें तुरंत पूरा पन्ना पढ़ने की अनुमति देता है।
परिणाम: जिस प्रशिक्षण में घंटों या दिन लगते थे, वह अब मिनटों में हो सकता है। वे पुराने तरीके की तुलना में 870 गुना तेज़ गति की रिपोर्ट करते हैं।

3. दो प्रतिस्पर्धी: "रैखिक" बनाम "गैर-रैखिक" (Nonlinear)

यह पेपर दो अलग-अलग प्रकार के रोबोट दिमागों (मॉडल्स) का परीक्षण करता है कि कौन सा इस नई गति के साथ बेहतर सीखता है।

मॉडल A: "रैखिक" SSM (State Space Model)

उपमा: कल्पना करें कि एक रोबोट जो सीधी रेखाओं में सोचता है। यह बहुत तेज़ और स्थिर है क्योंकि यह अराजकता से कभी भ्रमित नहीं होता। हालाँकि, इसकी एक कमी है: यह जटिल, घुमावदार पैटर्न को तभी समझ सकता है जब अंत में इसके पास एक "गैर-रैखिक" सहायक हो।
दोष: शोध पत्र पाता है कि यह सहायक एक "लो-रैंक" (low-rank) बाधा पैदा करता है। यह एक जटिल 3D मूर्ति को केवल 2D छाया के रूप में वर्णित करने जैसा है। रोबोट महत्वपूर्ण विवरणों को मिस कर देता है कि सिस्टम वास्तव में कैसे चलता है, खासकर जब सिस्टम अराजक होता है।

मॉडल B: "गैर-रैखिक" RNN (Recurrent Neural Network)

उपमा: यह रोबोट लचीला है और स्वाभाविक रूप से जटिल, घुमावदार, अराजक पैटर्न को समझ सकता है। यह एक मूर्तिकार की तरह है जो पूरी 3D आकृति को देख सकता है।
दोष: अतीत में, यह रोबोट लंबे अनुक्रमों पर प्रशिक्षित होने के लिए बहुत अस्थिर था। जब डेटा अराजक हो जाता था, तो रोबोट की आंतरिक गणनाएँ विस्फोट कर देती थीं (जैसे गुब्बारा फटना), जिससे प्रशिक्षण विफल हो जाता था।

4. गुप्त नुस्खा: "जनरलाइज्ड टीचर फोर्सिंग" (GTF)

लचीले "गैर-रैखिक" रोबोट (मॉडल B) को सुपर-फास्ट "पैरेलल स्कैन" (DEER) के साथ काम करने के योग्य बनाने के लिए, लेखकों ने Generalized Teacher Forcing (GTF) नामक एक सुरक्षा तंत्र जोड़ा।

उपमा: कल्पना करें कि एक छात्र एक खड़ी, पथरीली पहाड़ी पर साइकिल चलाना सीख रहा है (अराजकता)।
- बिना GTF के: छात्र अकेले चलाने की कोशिश करता है, गिरता है और क्रैश हो जाता है।
- GTF के साथ: एक शिक्षक साइकिल को स्थिर रखता है, छात्र के रास्ते को धीरे से निर्देशित करता है ताकि वह गिरे नहीं, लेकिन फिर भी उसे पैडल मारने और संतुलन सीखने देता है।
यह कैसे काम करता है: प्रशिक्षण के दौरान, एल्गोरिदम वास्तविक डेटा का उपयोग करके रोबवर को एक स्थिर पथ पर रहने के लिए धीरे से "फोर्स" करता है, जिससे उसकी गणनाओं को फटने से रोका जा सके। एक बार जब रोबोट नियम सीख जाता है, तो वह अपने दम पर साइकिल चला सकता है।

5. बड़ी खोज: "लंबा" होना क्यों मायने रखता है

इस शोध पत्र की सबसे रोमांचक खोज यह है कि जब वे अंततः बहुत लंबे अनुक्रमों (10,000 से अधिक चरणों) पर प्रशिक्षण देते हैं, तो क्या होता है।

प्रयोग: उन्होंने रोबोट को उन प्रणालियों पर प्रशिक्षित किया जिनमें "धीमी लय" (जैसे कि एक मौसम का पैटर्न जो हफ्तों में बदलता है या एक न्यूरॉन जो लंबे अंतराल के बाद अचानक सक्रिय होता है) होती है।
परिणाम: लंबे अनुक्रमों पर प्रशिक्षित रोबोट लंबी अवधि के व्यवहार की भविष्यवाणी करने में काफी बेहतर हो गए। वे सिस्टम की धीमी, गहरी लय को "सुन" सके जिसे छोटे प्रशिक्षण ने मिस कर दिया था।
तुलना: "रैखिक" मॉडल (मॉडल A) इन लंबी लयों को पकड़ने में विफल रहे, चाहे उन्होंने कितना भी डेटा देखा हो। केवल लचीला "गैर-रैखिक" मॉडल (मॉडल B), जिसे नए GTF-DEER विधि के साथ प्रशिक्षित किया गया था, सफलतापूर्वक इन दीर्घकालिक पैटर्न को सीख सका।

सारांश

यह शोध पत्र AI को जटिल, अराजक प्रणालियों को समझने के लिए एक तेज़, स्थिर और लचीला तरीका बनाने के बारे में है।

उन्होंने पैरेलल कंप्यूटिंग का उपयोग करके प्रशिक्षण को 870 गुना तेज़ बनाया।
उन्होंने एक सुरक्षा जाल (GTF) जोड़ा ताकि अराजक डेटा सीखते समय AI क्रैश न हो।
उन्होंने साबित किया कि धीमी, दीर्घकालिक लय वाले सिस्टम को समझने के लिए लंबा प्रशिक्षण डेटा महत्वपूर्ण है, जिसे पिछले तरीके नहीं संभाल सके।

संक्षेप में: उन्होंने एक तेज़ इंजन बनाया, एक बेहतर स्टीयरिंग व्हील जोड़ा, और दिखाया कि सड़क को वास्तव में समझने के लिए लंबी दूरी तक गाड़ी चलाना ही एकमात्र तरीका है।

तकनीकी सारांश: डायनेमिकल सिस्टम्स के पुनर्निर्माण के लिए रिकरेंट न्यूरल नेटवर्क का पैरेलल-इन-टाइम प्रशिक्षण

समस्या विवरण

अवलोकित समय श्रृंखला (observed time series) से नॉनलीनर डायनेमिकल सिस्टम्स (DS) का पुनर्निर्माण करना (DSR) विज्ञान और इंजीनियरिंग में एक मौलिक चुनौती है। लक्ष्य केवल अल्पकालिक पूर्वानुमान (short-term forecasting) तक सीमित नहीं है, बल्कि अट्रैक्टर ज्योमेट्री (attractor geometry) और लयापुनोव एक्सपोनेंट्स (Lyapunov exponents) जैसे दीर्घकालिक सांख्यिकीय और ज्यामितीय गुणों को निष्ठापूर्वक पुनरुत्पादित करना भी है। पारंपरिक DSR विधियाँ, विशेष रूप से बैकप्रोपैगेशन थ्रू टाइम (BPTT) का उपयोग करके प्रशिक्षित रिकरेंट न्यूरल नेटवर्क (RNNs), दो प्राथमिक सीमाओं का सामना करती हैं:

कंप्यूटेशनल स्केलेबिलिटी (Computational Scalability): अनुक्रम लंबाई $T$ के संबंध में BPTT की रनटाइम जटिलता $O(T)$ होती है। यह लंबी आंतरिक समय-सीमाओं (जैसे, $T > 10^4$ ) वाले अनुक्रमों पर प्रशिक्षण को अत्यधिक महंगा बना देता है, जिससे ऐतिहासिक रूप से DSR अनुप्रयोग मध्यम अनुक्रम लंबाई तक ही सीमित रहे।
प्रशिक्षण अस्थिरता (Training Instability): अराजक प्रणालियों (chaotic systems) में, BPTT 'एक्सप्लोडिंग ग्रेडिएंट्स' (exploding gradients) से ग्रस्त होता है। हालांकि जनरलाइज्ड टीचर फोर्सिंग (GTF) जैसी नियंत्रण-सैद्धांतिक तकनीकें इसे कम कर सकती हैं, लेकिन वे अनुक्रमिक कंप्यूटेशनल बाधा (sequential computational bottleneck) को हल नहीं करती हैं।

हालिया पैरेलल-इन-टाइम एल्गोरिदम रैखिक पुनरावृत्तियों (linear recurrences) (जैसे, आधुनिक स्टेट स्पेस मॉडल्स या SSMs) के लिए लॉगरिदमिक समय जटिलता $O(\log T)$ प्रदान करते हैं, लेकिन सामान्य नॉनलीनर डायनेमिक्स के साथ संघर्ष करते हैं। इसके विपरीत, सामान्य नॉनलीनर RNNs को पैरेलल करना (जैसे, DEER फ्रेमवर्क के माध्यम से) अक्सर अराजक डेटा पर विफल हो जाता है क्योंकि न्यूटन अपडेट को चलाने वाले जैकोबियन उत्पाद (Jacobian products) उन स्थितियों में डाइवर्ज होते हैं जहाँ अंतर्निहित डायनेमिक्स में पॉजिटिव लयापुनोव एक्सपोनेंट्स होते हैं।

कार्यप्रणाली: GTF-DEER

यह शोध पत्र GTF-DEER नामक एक नवीन प्रशिक्षण एल्गोरिदम पेश करता है जो DEER (डीप इक्विलिब्रियम विद एफिशिएंट रिकरेंस) फ्रेमवर्क की समानांतर स्केलेबिलिटी को Generalized Teacher Forcing (GTF) की स्थिरता के साथ जोड़ता है।

मुख्य घटक

DEER फ्रेमवर्क: DEER एक अनुक्रम मॉडल के फॉरवर्ड पास को रेसिडुअल वेक्टर $r(z_{1:T}) = z_{1:T} - F(z_{0:T-1})$ के लिए रूट-फाइंडिंग समस्या के रूप में पुनर्गठित करता है। यह इसे न्यूटन के मेथड का उपयोग करके हल करता है, जहाँ प्रत्येक पुनरावृत्ति (iteration) में एक लीनियर सिस्टम को हल करना शामिल होता है। जैकोबियन की ब्लॉक-बाइडायगोनल संरचना का लाभ उठाकर, इन अपडेट्स को एसोसिएटिव स्कैन्स (associative scans) का उपयोग करके समानांतर में कंप्यूट किया जा सकता है, जिससे फॉरवर्ड पास के लिए $O(\log T)$ जटिलता प्राप्त होती है।
Generalized Teacher Forcing (GTF): अराजक प्रणालियों में न्यूटन अपडेट के डाइवर्जेंस को संबोधित करने के लिए, GTF को DEER लूप में एकीकृत किया गया है। GTF पुनरावृत्ति लागू करने से पहले लेटेंट स्टेट और एक "टीचर" सिग्नल (जो अवलोकित डेटा से प्राप्त होता है) के बीच लीनियर इंटरपोलेशन करता है।
- तंत्र (Mechanism): लेटेंट स्टेट अपडेट $z_t = F_\theta(\tilde{z}_{t-1})$ बन जाता है, जहाँ $\tilde{z}_{t-1} = (1-\alpha)z_{t-1} + \alpha \bar{z}_{t-1}$ है।
- स्थिरता गारंटी (Stability Guarantee): फोर्सिंग स्ट्रेंथ $\alpha$ जैकोबियन के नॉर्म (norm) को नियंत्रित करती है। शोध पत्र सिद्ध करता है (प्रपोजिशन 1) कि एक उपयुक्त $\alpha$ के लिए, फोर्स्ड सिस्टम ग्लोबली कॉन्ट्रैक्टिंग (globally contracting) हो जाता है, जो यह सुनिश्चित करता है कि लयापुनोव एक्सपोनेंट ऋणात्मक ( $\lambda < 0$ ) हो। यह गारंटी देता है कि अंतर्निहित अराजक डायनेमिक्स के बावजूद DEER फॉरवर्ड पास कन्वर्ज होगा।
इनिशियलाइजेशन रणनीति (Initialization Strategy): अभिसरण (convergence) को तेज करने के लिए, न्यूटन इटरेशन को ज़ीरो के बजाय फोर्सिंग सिग्नल्स ( $z^{(0)}_{1:T} = B^+ x_{1:T}$ ) का उपयोग करके इनिशियलाइज किया जाता है, जो आवश्यक इटरेशन की संख्या को काफी कम कर देता है।

आर्किटेक्चरल तुलना

शोध पत्र दो पैरामीटराइजेशन क्लास का मूल्यांकन करता है:

लीनियर ट्रेनिंग-टाइम रिकरेंसेस (LSSM): वे मॉडल जिनमें लीनियर लेटेंट डायनेमिक्स और नॉनलीनर रीडआउट्स होते हैं (जैसे, आधुनिक SSMs)। जबकि ये सहज समानांतरकरण (trivial parallelization) की अनुमति देते हैं, शोध पत्र तर्क देता है कि ये संरचनात्मक सीमाएं (विशेष रूप से प्रभावी टेस्ट-टाइम रिकरेंस पर लो-रैंक बाधा) सटीक नॉनलीनर डायनेमिक्स सीखने में बाधा डालती हैं, विशेष रूप से आंशिक रूप से अवलोकित (partially observed) सिस्टम के लिए।
नॉनलीनर ट्रेनिंग-टाइम रिकरेंसेस (shPLRNN): सामान्य नॉनलीनर RNN (विशेष रूप से शैलो पीसवाइज-लीनियर RNN) जिन्हें GTF-DEER के साथ प्रशिक्षित किया गया है। यह दृष्टिकोण LSSMs की संरचनात्मक बाधाओं से बचते हुए भी GTF-DEER तंत्र के माध्यम से समानांतर स्केलेबिलिटी बनाए रखता है।

प्रमुख परिणाम

1. कंप्यूटेशनल दक्षता

स्पीडअप: GTF-DEER अनुक्रम लंबाई के साथ सब-लीनियर स्केलिंग प्राप्त करता है, जो $T=32,768$ की अनुक्रम लंबाई के लिए अनुक्रमिक BPTT प्रशिक्षण की तुलना में 870× तक की स्पीडअप प्रदर्शित करता है।
अभिसरण (Convergence): फोर्सिंग पैरामीटर $\alpha$ प्रभावी रूप से जैकोबियन नॉर्म्स को नियंत्रित करता है। पर्याप्त बड़े $\alpha$ के लिए, फॉरवर्ड पास मात्र 2 न्यूटन इटरेशन में कन्वर्ज हो जाता है।
जैकोबियन एप्रोक्सिमेशन: अध्ययन में पाया गया कि कंप्यूटेशनल लागत को कम करने के लिए जैकोबियन के डायगोनल एप्रोक्सिमेशन (क्वासी-DEER) का उपयोग करने से प्रदर्शन गंभीर रूप से गिर जाता है, जिससे नॉन-कन्वर्जेंट लॉस कर्व्स और खराब पुनर्निर्माण गुणवत्ता मिलती है। स्थिर प्रशिक्षण के लिए फुल जैकोबियन कंप्यूटेशन आवश्यक है।

2. लंबे-अनुक्रम प्रशिक्षण के लाभ

लंबे समय-पैमाने (Long Time Scales): एक फोर्स्ड लोरेंज़-96 सिस्टम (एक 15,000-स्टेप साइनुसोइडल फोर्सिंग के साथ) और एक बर्स्टिंग न्यूरॉन मॉडल (जहाँ इंटर-बर्स्ट अंतराल $>10^4$ है) पर प्रयोगों से पता चलता है कि अत्यंत लंबे अनुक्रमों ( $T > 10^4$ ) पर प्रशिक्षण दीर्घकालिक सांख्यिकी ( $D_{stsp}$ ) के पुनर्निर्माण में काफी सुधार करता है।
तुलना: छोटे अनुक्रमों पर प्रशिक्षित मॉडल इन लंबे समय-पैमानों को पकड़ने में विफल रहते हैं, जबकि GTF-DEER द्वारा प्रशिक्षित मॉडल लंबे समय के फोर्सिंग डायनेमिक्स को सफलतापूर्वक सीख लेते हैं।

3. लीनियर बनाम नॉनलीनर रिकरेंसेस

LSSM की सीमाएं: लीनियर SSMs (LSSMs), भले ही उनमें नॉनलीनर रीडआउट्स हों, फोर्स्ड लोरेंज़-96 सिस्टम के लिमिटिंग डायनेमिक्स को पुनर्गठित करने में विफल रहते हैं जब कनेक्टिविटी मैट्रिक्स का रैंक अवलोकित वेरिएबल्स की संख्या द्वारा बाधित होता है। वे अनऑब्जर्व्ड डायनेमिकल वेरिएबल्स को प्रभावी ढंग से इन्फर (infer) नहीं कर सकते।
नॉनलीनर श्रेष्ठता: GTF-DEER के साथ प्रशिक्षित नॉनलीनर RNNs इन डायनेमिक्स को सफलतापूर्वक कैप्चर करते हैं। यहाँ तक कि Mamba-2 (एक अत्याधुनिक SSM जिसमें डेटा-डिपेंडेंट पैरामीटर्स हैं) के साथ तुलना करने पर भी, GTF-DEER द्वारा प्रशिक्षित shPLRNN पुनर्निर्माण की गुणवत्ता में बेहतर प्रदर्शन करता है और कम वेरिएंस प्रदर्शित करता है, भले ही Mamba-2 में अधिक पैरामीटर्स हों।
एक्सपोज़र बायस (Exposure Bias): GTF-DEER एक्सपोज़र बायस (ऑटो-रिग्रेसिव रोल-आउट्स का क्षरण) को कम करता है, क्योंकि यह अंतिम प्रशिक्षण चरणों के दौरान फोर्सिंग स्ट्रेंथ को न्यूनतम रखता है, जो कि मानक लीनियर SSMs में कुशल समानांतरकरण के साथ असंगत एक रणनीति है।

महत्व और दावे

शोध पत्र का दावा है कि यह GTF-DEER को डायनेमिकल सिस्टम्स रिकंस्ट्रक्शन के संदर्भ में अनुक्रमिक प्रशिक्षण के एक मजबूत, प्रत्यक्ष विकल्प के रूप में स्थापित करता है। इसके प्राथमिक योगदान हैं:

स्केलेबिलिटी: यह नॉनलीनर RNNs को $T > 10^4$ लंबाई के अनुक्रमों पर स्थिर रूप से प्रशिक्षित करने में सक्षम बनाता है, जो कि BPTT की लीनियर जटिलता और नेटिव पैरेललाइजेशन की अस्थिरता के कारण पहले अप्राप्य था।
सैद्धांतिक गारंटी: यह सिद्ध करता है कि GTF-DEER अराजक प्रणालियों के लिए फॉरवर्ड पास के अभिसरण को सुनिश्चित करने के लिए एक कॉन्ट्रैक्टिंग डायनेमिक को लागू करके एक सैद्धांतिक गारंटी प्रदान करता है।
अनुभवजन्य साक्ष्य (Empirical Evidence): यह इस बात का पहला व्यवस्थित प्रमाण प्रदान करता है कि जब डेटा में लंबे समय-पैमाने मौजूद होते हैं, तो काफी लंबे अनुक्रमों पर प्रशिक्षण से DSR की गुणवत्ता में वास्तविक सुधार होता है, जो एक ऐसा लाभ है जिसे लीनियर SSMs अपने संरचनात्मक प्रतिबंधों के कारण प्राप्त नहीं कर सकते।
अनछुआ потенциаल (Untapped Potential): यह कार्य जटिल डायनेमिकल सिस्टम्स को मॉडल करने के लिए लॉन्ग-सीक्वेंस लर्निंग की व्यापक क्षमता को रेखांकित करता है, जो यह सुझाव देता है कि लंबे ट्राजेक्टरीज को प्रोसेस करने की क्षमता पुनर्निर्माण की सटीकता को बेहतर बनाने के लिए एक महत्वपूर्ण लीवर है।

लेखक सीमाओं का उल्लेख करते हैं, विशेष रूप से कि न्यूटन इटरेशन के प्रति क्यूबिक वर्क कॉम्प्लेक्सिटी ( $O(M^3T)$ ) लेटेंट डायमेंशन $M$ में मॉडल के आकार पर व्यावहारिक सीमाएँ लगाती है, हालांकि अनुभवजन्य साक्ष्य $M > N$ के लिए मजबूती का सुझाव देते हैं।