🤖 machine learning

Path-dependent Discrete Amortized Inference

यह शोध पत्र "पाथ-डिपेंडेंट डिस्क्रीट एमोर्टाइज्ड इन्फरेंस" प्रस्तावित करता है, जो एक विधि है जो मानक मार्कोवियन धारणा को एक सीखने योग्य लेटेंट डायनेमिकल सिस्टम से बदलकर अननॉर्मलाइज्ड पोस्टीरियर्स से डिस्क्रीट सैंपलिंग को बेहतर बनाती है, जिससे नीतियों को स्टेट एलियासिंग को दूर करने और अभिसरण एवं अन्वेषण में सुधार करने के लिए पूर्ण प्रक्षेपवक्र इतिहास (ट्रैजेक्टरी हिस्ट्री) का उपयोग करने में सक्षम बनाया जा सके।

मूल लेखक: Tiago da Silva, Esmeralda S. Whitammer, Salem Lahlou

प्रकाशित 2026-08-11

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Tiago da Silva, Esmeralda S. Whitammer, Salem Lahlou

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को जटिल संरचनाएं बनाना सिखाने की कोशिश कर रहे हैं, जैसे कि एक लेगो (LEGO) किला या एक डीएनए (DNA) स्ट्रैंड, एक-एक करके। रोबोट के पास एक "लक्ष्य पत्रक" (गणितीय मानचित्र) है जो उसे बताता है कि कौन सी तैयार संरचनाएं सबसे मूल्यवान हैं। चुनौती यह है कि रोबोट केवल सबसे अच्छे अंतिम किले को नहीं चुनता; उसे वहां तक पहुँचने के लिए लाखों छोटे निर्णय लेने होते हैं। कृत्रिम बुद्धिमत्ता (AI) की दुनिया में, इसे "वितरण से नमूना लेना" (sampling from a distribution) कहा जाता है। चिकनी, निरंतर चीजों (जैसे एक वक्र खींचना) के लिए, कंप्यूटरों के पास शक्तिशाली उपकरण हैं। लेकिन जब कार्य में ब्लॉक जैसी असतत (discrete), खंडित चीजें बनाना शामिल हो (जैसे ग्राफ, वाक्य, या रासायनिक अणु), तो यह बहुत पेचीदा हो जाता है। संभावनाओं का स्थान इतना विशाल और ऊबड़-खाबड़ है कि मानक तरीके अक्सर अटक जाते हैं, भ्रमित हो जाते हैं, या सर्वोत्तम डिजाइनों को खोजने में विफल रहते हैं। यहीं पर "GFlowNets" नामक एक नया तरीका काम आता है। GFlowNets को एक स्मार्ट निर्माण दल की तरह समझें जो इन वस्तुओं को बनाने की प्रक्रिया को एक खेल की तरह मानकर सीखता है, जहाँ हर कदम एक मार्कोव निर्णय प्रक्रिया (MDP) में एक चाल है। इस खेल में, रोबोट अगले कदम का निर्णय लेने के लिए केवल वर्तमान स्थिति को देखता है, इस बात को नजरअंदाज करते हुए कि वह वहां तक कैसे पहुँचा।

हालाँकि, इसमें एक पेंच है। ठीक वैसे ही जैसे एक मानव निर्माता भूल सकता है कि उसने तीन कदम पहले गलत मोड़ लिया था और वही गलती दोहराता रहता है, एक रोबोट जो केवल वर्तमान स्थिति को देखता है, भ्रमित हो सकता है। इसे "स्टेट एलियासिंग" (state aliasing) कहा जाता है, जहाँ निर्माण के दो बहुत अलग इतिहास बिल्कुल एक जैसे दिखाई देते हैं, जिससे रोबक भ्रमित हो जाता है। इस शोध पत्र में, लेखक इस विशिष्ट समस्या पर ध्यान केंद्रित करते हैं। लेखक, टियागो डा सिल्वा और उनके सहयोगियों का तर्क है कि "केवल वर्तमान स्थिति को देखो" का नियम बहुत सीमित है। वे इस नए तरीके का प्रस्ताव रखते हैं: इन निर्माताओं को एक स्मृति (memory) दें। केवल वर्तमान लेगो टावर को देखने के बजाय, रोबोट को अपने पूरे रास्ते को भी याद रखना चाहिए कि उसने टावर कैसे बनाया। एक "लेटेंट डायनेमिकल सिस्टम" (latent dynamical system) जोड़कर—जो एक फैंसी तरीका है एक ऐसी अंतर्निहित स्मृति का जो रोबोट के निर्माण करते समय अपडेट होती है—वे दिखाते हैं कि रोबोट बहुत तेज़ी से सीख सकता है और बेहतर, अधिक जटिल संरचनाएं बना सकता है। वे गणितीय रूप से सिद्ध करते हैं कि यह "पथ-निर्भर" (path-dependent) दृष्टिकोण उस पुराने "स्मृति-विहीन" दृष्टिकोण के मुकाबले उन समस्याओं को हल कर सकता है जिन्हें वह नहीं कर सकता, और वे प्रयोगों के माध्यम से दिखाते हैं कि यह मानक परीक्षणों पर बेहतर काम करता है।

समस्या: भूलने की बीमारी वाला रोबोट

कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको ब्लॉकों का एक टावर बनाना है। आप नीचे से शुरू करते हैं, और हर कदम पर, आप एक ब्लॉक बाईं ओर, दाईं ओर जोड़ सकते हैं, या रुक सकते हैं। आपका लक्ष्य एक ऐसा टावर बनाना है जो रंगों के एक विशिष्ट, जटिल पैटर्न से मेल खाता हो।

करने के पुराने तरीके में (जिसे मार्कोवियन दृष्टिकोण कहा जाता है), टावर बनाने वाला रोबोट केवल टावर को अभी जैसा वह है वैसा ही देखता है। उसे यह याद नहीं रहता कि उसने पहले लाल ब्लॉक जोड़ा था या नीला ब्लॉक; वह केवल वर्तमान आकार को देखता है। यह सरल टावरों के लिए ठीक काम करता है। लेकिन कल्पना कीजिए कि एक पेचीदा स्थिति है: आपके पास टावर बनाने के दो अलग-अलग तरीके हैं जो कदम 10 पर एक जैसे दिखते हैं, लेकिन उनमें से एक रास्ता एक सुंदर उत्कृष्ट कृति (masterpiece) की ओर ले जाता है, और दूसरा एक डगमगाते हुए ढेर की ओर। क्योंकि रोबोट कदम 10 पर समान आकार को देखता है, वह अंतर नहीं कर सकता। यह भूलने की बीमारी जैसा है। शोध पत्र में, लेखक इसे स्टेट एलियासिंग कहते हैं। रोबोट भ्रमित हो जाता है क्योंकि दो अलग-अलग इतिहास एक जैसे दिखते हैं, इसलिए वह उत्कृष्ट कृति बनाने के लिए सही रणनीति नहीं सीख पाता है।

लेखक बताते हैं कि यह केवल एक छोटी सी गड़बड़ी नहीं है; यह एक मौलिक सीमा है। भले ही आप रोबोट को एक सुपर-स्मार्ट दिमाग (डीप न्यूरल नेटवर्क) दें, यदि उसे केवल वर्तमान स्थिति को देखने के लिए मजबूर किया जाता है, तो वह वास्तव में कुछ जटिल पहेलियों को हल करना नहीं सीख सकता। उन्होंने इसे गणित के साथ सिद्ध किया, यह दिखाते हुए कि "स्मृति-विहीन" रोबोट संभावनाओं के एक बॉक्स में फंसा हुआ है, जबकि स्मृति वाला रोबheid के पास खेलने के लिए एक बहुत बड़ा बॉक्स है।

समाधान: रोबोट को एक डायरी देना

इसे ठीक करने के लिए, लेखकों ने एक नया तरीका पेश किया जिसे वे पाथ-डिपेंडेंट डिस्क्रीट एमोर्टाइज्ड इन्फरेंस (Path-Dependent Discrete Amortized Inference) कहते हैं। केवल वर्तमान टावर को देखने के बजाय, रोबोट अब एक डायरी (या एक "लेटेंट डायनेमिकल सिस्टम") रखता है।

हर बार जब रोबोट एक ब्लॉक जोड़ता है, तो वह न केवल टावर को अपडेट करता है; वह अपनी डायरी को भी अपडेट करता है। डायरी इस पूरी यात्रा को रिकॉर्ड करती है कि टावर कैसे बनाया गया था। जब रोबोट को अगला कदम तय करना होता है, तो वह टावर और अपनी डायरी दोनों को देखता है।

इसे एक जासूस की तरह समझें जो रहस्य सुलझा रहा है। एक स्मृति-विहीन जासूस केवल अभी अपराध स्थल को देखता है। एक पथ-निर्भर जासूस अपराध स्थल और घटनाओं की समयरेखा (timeline) दोनों को देखता है। डायरी के साथ, रोबोट "मास्टरपीस पथ" और "डगमगाते पथ" के बीच अंतर कर सकता है, भले ही उस क्षण टावर एक जैसे दिखें। रोबोट कह सकता है, "आह, मैं इस आकार को जानता हूँ! लेकिन मेरी डायरी में, मैं देख रहा हूँ कि मैंने तीन कदम पहले बाईं ओर मुड़ा था, इसलिए मुझे पता है कि मुझे अब लाल ब्लॉक के बजाय नीला ब्लॉक जोड़ना चाहिए।"

लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने एक विशिष्ट प्रकार की "डायरी" बनाई जिसे सेल्फ-रेफरेंशियल वेट मैट्रिक्स (SRWM) नामक एक चतुर गणितीय ट्रिक का उपयोग करके बनाया गया है। यह एक विशेष प्रकार की स्मृति है जो खुद को अपडेट करती है, जैसे-जैसे रोबोट निर्माण करता है, यह अपनी आंतरिक स्थिति को घुमाती और बदलती है ताकि एक अद्वितीय इतिहास को ट्रैक किया जा सके। यह एक ऐसी डायरी की तरह है जो हर बार जब आप एक नई प्रविष्टि लिखते हैं तो अपने पन्नों को एक गुप्त कोड में फिर से लिखती है, यह सुनिश्चित करते हुए कि कोई भी दो इतिहास कभी आपस में न मिलें।

उन्होंने क्या पाया: तेज़ और स्मार्ट निर्माता

टीम ने अपने नए "पथ-निर्भर" रोबोट का पुराने "स्मृति-विहीन" रोबोट के विरुद्ध कई मानक चुनौतियों पर परीक्षण किया, जैसे संख्याओं के सेट बनाना, डीएनए अनुक्रमों को डिजाइन करना, और ग्रिड वर्ल्ड में नेविगेट करना।

असंभव को हल करना: कुछ प्रयोगों में, स्मृति-विहीन रोबोट सही पैटर्न सीखने में पूरी तरह विफल रहा। वह गलत चीजें बनाता रहा क्योंकि वह विभिन्न पथों के बीच अंतर नहीं कर सका। हालांकि, पथ-निर्भर रोबोट ने पैटर्न को पूरी तरह से सीख लिया। लेखकों ने गणितीय रूप से दिखाया कि कुछ प्रकार की समस्याओं के लिए, स्मृति-विहीन रोबोट को सही उत्तर पाने के लिए प्रशिक्षित करना असंभव है, जबकि पथ-निर्भर वाला कर सकता है।
गति बढ़ाना: भले ही स्मृति-विहीन रोबोट अंततः उत्तर सीख सकता था, लेकिन इसमें उसे बहुत समय लगा। पथ-निर्भर रोबोट बहुत तेज़ी से सीख गया। एक परीक्षण में, स्मृति-विहीन रोबोट को दो समान अवस्थाओं के बीच अंतर समझने के लिए लगभग 100 गुना अधिक प्रशिक्षण चरणों की आवश्यकता थी, जिसे पथ-निर्भर रोबोट ने लगभग तुरंत समझ लिया।
बेहतर परिणाम: जब उन्होंने यह मापा कि रोबोट का आउटपुट आदर्श लक्ष्य के कितने करीब है, तो पथ-निर्भर रोबोट लगातार बेहतर रहा। चाहे वह संख्याओं के सेट उत्पन्न कर रहा हो, डीएनए अनुक्रम, या ग्रिड में नेविगेट कर रहा हो, डायरी वाले रोबोट ने उच्च गुणवत्ता वाले परिणाम दिए।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि जब हम AI को जटिल, चरण-दर-चरण वस्तुएं बनाना सिखा रहे होते हैं, तो उसे अपने अतीत को भूलने के लिए मजबूर करना एक बुरा विचार है। उसे अपने पूरे सफर की "स्मृति" देकर, हम बुद्धिमत्ता के एक उच्च स्तर को अनलॉक करते हैं। लेखकों ने सिद्ध किया कि यह केवल एक अच्छा-से-अच्छा फीचर नहीं है; यह उन समस्याओं को हल करने के लिए एक आवश्यक अपग्रेड है जो पहले पहुंच से बाहर थीं। उन्होंने केवल यह नहीं कहा कि "यह काम कर सकता है"; उन्होंने कठोर गणित और कंप्यूटर सिमुलेशन के माध्यम से दिखाया कि पथ-निर्भर दृष्टिकोण पारंपरिक पद्धति की तुलना में स्पष्ट रूप से अधिक शक्तिशाली और कुशल है।

इसलिए, अगली बार जब आप किसी AI को कुछ जटिल बनाने की कोशिश करते देखें, तो याद रखें, यह केवल इस बारे में नहीं है कि वह अभी क्या देख रहा है। यह इस बारे में है कि वह वहां तक कैसे पहुँचा। और थोड़ी सी स्मृति के साथ, वह उन चमत्कारों का निर्माण कर सकता है जो पहले असंभव थे।

तकनीकी सारांश: पथ-निर्भर विविक्त परिशोधित अनुमान (Path-dependent Discrete Amortized Inference)

समस्या विवरण

यह शोध पत्र एक दिए गए अननॉर्मलाइज्ड पोस्टीरियर डिस्ट्रीब्यूशन (unnormalized posterior distribution) से कंपोजिशनल और डिस्क्रीट ऑब्जेक्ट्स (जैसे ग्राफ, सीक्वेंस, फाइलोगैनेटिक ट्री) को सैंपलिंग करने की चुनौती को संबोधित करता है। जबकि हालिया प्रगति में जेनेरेटिव फ्लो नेटवर्क्स (GFlowNets) ने इसे एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में सीखने के रूप में फ्रेम किया है जो वस्तुओं का निर्माण चरण-दर-चरण करता है, लेखक मानक मार्कोवियन धारणा (Markovian assumption) की महत्वपूर्ण सीमाओं की पहचान करते हैं। विशेष रूप से, मार्कोवियन गुण—जहाँ पॉलिसी केवल वर्तमान अवस्था (state) पर निर्भर करती है—प्रशिक्षण के दौरान सिग्नल प्रसार (signal propagation) को बाधित कर सकता है और स्टेट एलियासिंग (state aliasing) का कारण बन सकता है। स्टेट एलियासिंग में, अलग-अलग अवस्थाएं प्रतिनिधित्व के मामले में एक-दूसरे से अविभेद्य हो जाती हैं, जिससे सीखा गया सैंपलर विभिन्न ट्राजेक्टरीज (trajectories) के लिए इष्टतम कार्यों (optimal actions) को अलग करने में विफल हो जाता है जो एक ही अवस्था पर अभिसरित (converge) होती हैं। यह समस्या विशेष रूप से उन वातावरणों में गंभीर है जहाँ पुरस्कार विरल (sparse rewards) होते हैं या जटिल संरचनात्मक निर्भरताएं होती हैं, जहाँ मानक डीप न्यूरल नेटवर्क इष्टतम पॉलिसी को दर्शाने के लिए आवश्यक अभिव्यक्ति (expressivity) की कमी रख सकते हैं।

कार्यप्रणाली (Methodology)

इन सीमाओं को दूर करने के लिए, लेखक पथ-निर्भर विविक्त परिशोधित अनुमान (Path-dependent Discrete Amortized Inference) का प्रस्ताव करते हैं। मुख्य कार्यप्रणाली एक सीखने योग्य, स्टेट-कंडीशनल लेटेंट डायनेमिकल सिस्टम $\{W_t\}_{t \ge 1}$ को पेश करके MDP के मूल स्टेट स्पेस को "लिफ्ट" (lift) करने में शामिल है।

1. लिफ्टेड पॉइंटेड DAG (Lifted Pointed DAG)

एक मानक स्टेट ग्राफ $G = (S, X, E)$ के बजाय, यह विधि एक लिफ्टेड पॉइंटेड DAG $G^\star$ पर कार्य करती है। स्टेट स्पेस को $S$ से विस्तारित करके $S^\star \subseteq S \times \Omega$ कर दिया गया है, जहाँ $\Omega$ एक लेटेंट स्पेस (आमतौर पर $\mathbb{R}^d$ ) है।

लेटेंट डायनेमिक्स (Latent Dynamics): लेटेंट वेरिएबल $W_t$ एक सीखने योग्य वेक्टर फील्ड $\phi$ के माध्यम से वर्तमान अवस्था $s_t$ और पिछले लेटेंट स्टेट $W_{t-1}$ के आधार पर नियत रूप से विकसित होता है:
$W_t = W_{t-1} + \phi(s_t, W_{t-1})$
पॉलिसी निर्भरता (Policy Dependence): फॉरवर्ड पॉलिसी $p_F$ अब पथ-निर्भर (path-dependent) हो जाती है, जो जोड़ी $(s_t, W_t)$ पर आधारित होती है। यह पॉलिसी को एक ही अवस्था $s_t$ की ओर ले जाने वाली विभिन्न ट्राजेक्टरीज के बीच अंतर करने की अनुमति देता है, जिससे मूल स्टेट स्पेस की मार्कोवियन बाधा प्रभावी रूप से टूट जाती है।

2. आर्किटेक्चर: सेल्फ-रेफरेंशियल वेट मैट्रिक्स (SRWM)

इस लेटेंट डायनेमिकल सिस्टम को कुशलतापूर्वक लागू करने के लिए, लेखक एक संशोधित सेल्फ-रेफरेंशियल वेट मैट्रिक्स (SRWM) का उपयोग करते हैं।

लेटेंट स्टेट (जिसे वेट मैट्रिक्स $W_t$ के रूप में दर्शाया जाता है) के लिए अपडेट नियम एक विशिष्ट पुनरावृत्ति (recurrence) का पालन करता है:
$q_t, k_t, v_t, \beta_t = W \psi(s_t) + b$
$\bar{v}_t = W_{t-1} \zeta(k_t)$
$W_t = W_{t-1} R + \sigma(\beta_t) \cdot (v_t - \bar{v}_t) \otimes \zeta(q_t)$
मुख्य तंत्र (Key Mechanism): एक निश्चित, एर्गोडिक (ergodic) रोटेशन मैट्रिक्स $R$ का समावेश अत्यंत महत्वपूर्ण है। यह ट्राजेक्टरी रोलआउट के दौरान वेट मैट्रिक्स के आइजनवेक्टर्स (eigenvectors) को घुमाता है। यह तंत्र पॉलिसी के हिडन रिप्रेजेंटेशन में विविधता लाने के लिए डिज़ाइन किया गया है, जिससे LSTM या GRU जैसे मानक रिकरेंट आर्किटेक्चर की तुलना में स्टेट एलियासिंग को अधिक प्रभावी ढंग से कम किया जा सके।

3. लर्निंग ऑब्जेक्टिव्स (Learning Objectives)

लेखक सिद्ध करते हैं कि मौजूदा GFlowNet एल्गोरिदम को इस लिफ्टेड सेटिंग में विस्तारित किया जा सकता है। वे प्रदर्शित करते हैं कि ट्रैजेक्टरी बैलेंस (TB), सब-ट्रैजेक्टरी बैलेंस (SubTB), और कॉन्ट्रास्टिव बैलेंस (CB) की स्थितियाँ लिफ्टेड DAG के लिए भी मान्य रहती हैं।

लर्निंग प्रक्रिया बैलेंस समीकरणों के बाएं और दाएं पक्षों के अपेक्षित लॉग-स्क्वेर्ड डिफरेंस को कम करती है।
महत्वपूर्ण रूप से, वेक्टर फील्ड $\phi$ और पॉलिसी नेटवर्क को एक एकल लॉस फंक्शन पर स्टोकेस्टिक ग्रेडिएंट डिसेंट के माध्यम से संयुक्त रूप से सीखा जाता है।
सैद्धांतिक परिणाम (प्रपोजिशन 4.8) संकेत देते हैं कि यदि बैकवर्ड पॉलिसी $p_B$ मार्कोवियन है (अर्थात $W_t$ से स्वतंत्र है), तो इष्टतम फॉरवर्ड पॉलिसी $p_F$ भी अनलिफ्टेड स्टेट के संबंध में मार्कोवियन होगी। हालांकि, जब $p_B$ पथ-निर्भर होती है, तो $p_F$ बेहतर अभिव्यक्ति प्राप्त करने के लिए पूर्ण इतिहास (full history) का लाभ उठा सकती है।

मुख्य योगदान (Key Contributions)

पथ-निर्भर एल्गोरिदम: डिस्क्रीट और कंपोजिशनल स्पेस में परिशोधित अनुमान के लिए एक सामान्य-उद्देश्य वाले पथ-निर्भर एल्गोरिदम की शुरुआत, जो स्पष्ट रूप से मार्कोवियन सैंपलर की अभिव्यक्ति सीमाओं को संबोधित करती है।
सैद्धांतिक अभिव्यक्ति प्रमाण (Theoretical Expressivity Proofs):
- लीनियर पॉलिसियाँ: लेखक सिद्ध करते हैं (प्रपोजिशन 3.1) कि लीनियर पॉलिसियों के लिए, पथ-निर्भर सेटिंग में सीखने योग्य डिस्ट्रीब्यूशन का स्थान मार्कोवियन सेटिंग की तुलना में काफी बड़ा है।
- GNN पॉलिसियाँ: वे इसे ग्राफ न्यूरल नेटवर्क (प्रपोजिशन 3.2) तक विस्तारित करते हैं, यह दिखाते हुए कि पथ-निर्भर पैरामीटराइजेशन उन अवस्थाओं के बीच अंतर कर सकता है जिन्हें 1-WL GNN नहीं पहचान पाते (जैसे कि अलग-अलग समय पर जोड़े गए किनारे/edges), जिससे अभिव्यक्ति में स्पष्ट सुधार होता है।
लर्निंग थ्योरी का विस्तार: शोध पत्र औपचारिक रूप से सिद्ध करता है (प्रपोजिशन 4.5 और कोरोलरी 4.6, 4.7) कि मानक GFlowNet लर्निंग ऑब्जेक्टिव्स (TB, SubTB, CB) लिफ्टेड, पथ-निर्भर सेटिंग में सही सैंपलिंग सुनिश्चित करने के लिए पर्याप्त हैं।
अनुभवजन्य सत्यापन (Empirical Validation): मानक बेंचमार्क (सेट जनरेशन, सीक्वेंस डिजाइन, ग्रिड वर्ल्ड, आइसिंग मॉडल, आदि) पर व्यापक प्रयोग प्रदर्शित करते हैं कि पथ-निर्भर दृष्टिकोण समान रूप से पैरामीटराइज्ड मार्कोवियन मॉडल्स की तुलना में तेज़ अभिसरण (convergence) और बेहतर गुडनेस-ऑफ-फिट (टोटल वेरिएशन डिस्टेंस और फ्लो कंसिस्टेंसी स्कोर द्वारा मापा गया) प्राप्त करता है।

परिणाम (Results)

अनुभवजन्य विश्लेषण कई सुसंगत निष्कर्षों को रेखांकित करता है:

अभिव्यक्ति (Expressivity): "LINES" वातावरण और ग्राफ-स्ट्रक्चर्ड कार्यों में, मार्कोवियन सैंपलर गैर-यूनिफॉर्म डिस्ट्रीब्यूशन सीखने या संरचनात्मक रूप से समान अवस्थाओं के बीच अंतर करने में विफल रहे, जबकि पथ-निर्भर मॉडलों ने लगभग पूर्ण फिट प्राप्त किया।
अभिसरण (Convergence): पथ-निर्भर मॉडल लगातार तेजी से अभिसरित हुए। उदाहरण के लिए, विरल (sparse) LINES वातावरण में, एक मार्कोवियन ReLU नेटवर्क को पथ-निर्भर समकक्ष की तुलना में अलग-अलग अवस्थाओं के लिए पॉलिसियों को अलग करने में लगभग 100 गुना अधिक इटरेशन लेने पड़े।
आर्किटेक्चर दक्षता: रोटेशन मैट्रिक्स के साथ SRWM ने अभिसरण गति और अंतिम प्रदर्शन के मामले में मानक गेटेड RNN (LSTM, GRU) को पछाड़ दिया, जिसका श्रेय रोटेशन तंत्र के माध्यम से स्टेट एलियासिंग को कम करने की इसकी क्षमता को दिया गया है।
मजबूती (Robustness): विधि ने जैविक अनुक्रम डिजाइन (DNA बाइंडिंग एफिनिटी), प्रेफरेंस लर्निंग और आइसिंग मॉडल सिमुलेशन सहित विविध कार्यों में बेहतर प्रदर्शन दिखाया।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि स्टेट स्पेस को एक लेटेंट डायनेमिकल सिस्टम के साथ लिफ्ट करना डिस्क्रीट परिशोधित सैंपलिंग के लिए एक आवश्यक रणनीति है, जो हैमिल्टोनियन मोंटे कार्लो (HMC) के निरंतर स्पेस को मोमेंटम वेरिएबल्स के साथ संवर्धित करने के समान है। लेखक तर्क देते हैं कि:

स्टेट एलियासिंग एक मौलिक बाधा है: ट्राजेक्टरी हिस्ट्री के आधार पर अवस्थाओं को अलग करने में मार्कोवियन सैंपलर की अक्षमता जटिल कंपोजिशनल स्पेस में खराब प्रदर्शन का प्राथमिक कारण है।
पथ-निर्भरता सिद्ध रूप से श्रेष्ठ है: सैद्धांतिक परिणाम पुष्टि करते हैं कि पथ-निर्भर पैरामीटराइजेशन सीखने योग्य डिस्ट्रीब्यूशन के हाइपोथीसिस क्लास (hypothesis class) का विस्तार करते हैं।
व्यावहारिक प्रयोज्यता: प्रस्तावित विधि एक 'ड्रॉप-इन रिप्लेसमेंट' है, जिसके लिए केवल स्टेट रिप्रेजेंटेशन में संशोधन और विशिष्ट लर्निंग ऑब्जेक्टिव्स के उपयोग की आवश्यकता होती है जो लिफ्टेड स्पेस में भी मान्य रहते हैं।

लेखक निष्कर्ष निकालते हैं कि आंशिक रूप से अवलोकन योग्य MDPs (POMDPs) के लिए डिज़ाइन किए गए एल्गोरिदम डिस्क्रीट परिशोधित सैंपलिंग के लिए उपयुक्त हैं। वे नोट करते हैं कि हालांकि उन्होंने नियत (deterministic) लेटेंट डायनेमिक्स पर ध्यान केंद्रित किया है, लेकिन स्टोकेस्टिक डायनेमिक्स की व्यवहार्यता भविष्य के अनुसंधान के लिए एक खुला प्रश्न है। यह कार्य सभी डिस्क्रीट सैंपलिंग समस्याओं को हल करने का दावा नहीं करता है, बल्कि वर्तमान मार्कोवियन दृष्टिकोणों की विशिष्ट सीमाओं को कम करने के लिए एक सामान्य-उद्देश्य वाला ढांचा प्रदान करता है।