🤖 machine learning

Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients

यह शोध पत्र GReinSS प्रस्तुत करता है, जो एक नीति शिक्षण (policy learning) ढांचा है जो अप्रत्यक्ष प्रेक्षणों से सटीक रूप से संयोजन संबंधी यांत्रिक गुप्त अवस्थाओं (combinatorial mechanistic latent states) का अनुमान लगाने के लिए गतिशील रूप से पुन: स्केल किए गए पुरस्कारों का उपयोग करता है, जो सिंथेटिक बेंचमार्क और वास्तविक दुनिया के RNA आइसोफॉर्म पुनर्निर्माण दोनों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: सुराग देखे बिना रहस्य सुलझाना

कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं। आप अपराधी (लैटेंट स्टेट/गुप्त अवस्था) या अपराध स्थल को सीधे नहीं देखते हैं। इसके बजाय, आपके पास केवल बिखरे हुए, अप्रत्यक्ष सुराग हैं, जैसे कि एक कीचड़ वाला पदचिह्न या कपड़े का एक फटा हुआ टुकड़ा (अप्रत्यक्ष अवलोकन)।

आपका लक्ष्य यह पता लगाना है कि इन सुरागों के आधार पर अपराधी वास्तव में कैसा दिखता था और उसने क्या किया।

वैज्ञानिक दुनिया में, यह हर समय होता है। वैज्ञानिकों के पास डेटा (जैसे कोशिका से प्राप्त RNA के टुकड़े) होता है, लेकिन उन्हें उन छिपे हुए जैविक संरचनाओं (जैसे प्रोटीन का पूरा आकार) को समझने की आवश्यकता होती है जिन्होंने वह डेटा बनाया है।

समस्या: "बहुत सारे विकल्पों" का जाल

यह पेपर तर्क देता है कि इन रहस्यों को सुलझाने के पुराने तरीकों में दो मुख्य कमियां हैं:

"अनुमान और जाँच" विधि (क्लासिकल स्टैटिस्टिक्स): कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन घास का ढेर एक शहर जितना बड़ा है। पारंपरिक गणितीय तरीके हर घास के तिनके की जाँच करने की कोशिश करते हैं। जब संभावनाओं की संख्या बहुत अधिक (combinatorially large) हो जाती है, तो इसमें बहुत समय लगता है और कंप्यूटर क्रैश हो जाता है।
"नकली सुराग" विधि (स्टैंडर्ड AI): आधुनिक AI (जैसे Variational Autoencoders) पैटर्न खोजने में बहुत अच्छा है, लेकिन यह अक्सर अपने स्वयं के "नकली" छिपे हुए स्टेट बना लेता है। यह उस जासूस की तरह है जो कीचड़ वाले पदचिह्नों को अनदेखा कर देता है और इसके बजाय एक संदिग्ध का निर्माण करता है जो कहानी में फिट बैठता हुआ दिखता है, भले ही वह वास्तविक अपराधी न हो। AI एक गणितीय फिट पा लेता है, लेकिन वह वास्तविक 'ग्राउंड ट्रुथ' (वास्तविक सच्चाई) का पुनर्निर्माण नहीं करता है।

समाधान: GReinSS (एक डायनेमिक स्कोरबोर्ड वाला स्मार्ट जासूस)

लेखक GReinSS (Generative Reinforcement Learning of Structured States) पेश करते हैं। GReinSS को एक ऐसे जासूस के रूप में समझें जो केस सुलझाने के लिए एक वीडियो गेम रणनीति का उपयोग करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. जासूस एक गेम खेलता है (पॉलिसी लर्निंग)

हर संभावना की जाँच करने के बजाय, जासूस (AI) संदिग्धों को उत्पन्न करने के खेल को "खेलना" सीखता है। यह संदिग्ध को एक-एक करके बनाता है (जैसे पहले टोपी जोड़ना, फिर कोट, फिर मास्क)। इसे पॉलिसी (Policy) कहा जाता है।

2. डायनेमिक स्कोरबोर्ड (असली जादू)

एक सामान्य वीडियो गेम में, आपको लक्ष्य को हिट करने पर अंक मिलते हैं। यदि आप लक्ष्य को हिट करते हैं, तो आपको इनाम मिलता है।

पुराना तरीका: यदि एक संदिग्ध सुरागों के साथ पूरी तरह से फिट बैठता है, तो AI बार-बार उसी एक संदिग्ध को उत्पन्न करता रहेगा। यह अन्य संभावनाओं को अनदेखा कर देता है जो आंशिक रूप से सच हो सकती हैं।
GReinSS का तरीका: लेखकों ने एक डायनेमिक रिवॉर्ड सिस्टम का आविष्कार किया है। कल्पना कीजिए कि एक स्कोरबोर्ड जो गेम खेले जाने के दौरान ही अपने नियम बदल देता है।
- यदि AI एक ऐसा संदिग्ध बनाता है जो सभी सुरागों की अच्छी तरह से व्याख्या करता है, तो उसे बहुत बड़ा इनाम मिलता है।
- लेकिन यहाँ एक ट्रिक है: इनाम को रीस्केल (Rescale) किया जाता है। यदि AI किसी एक विशिष्ट सुराग को समझाने में बहुत माहिर हो जाता है, तो उस सुराग के लिए इनाम कम हो जाता है, और अन्य सुरागों को समझाने के लिए इनाम बढ़ जाता है।

यह AI को एक ही सटीक अनुमान पर अटकने से रोकता है और इसके बजाय संदिग्धों के एक संतुलित वितरण (Balanced Distribution) को सीखने के लिए मजबूर करता है। यह यह कहने में सक्षम होता है कि, "ठीक है, 60% समय अपराधी ने टोपी पहनी थी, और 40% समय उसने नहीं पहनी थी," बजाय इसके कि वह केवल एक कठोर उत्तर चुने। यह इसे डेटा बनाने वाली वास्तविक विविधताओं (hidden states) का पुनर्निर्माण करने की अनुमति देता है।

परिणाम: क्या यह काम आया?

पेपर ने इस जासूस का तीन परिदृश्यों में परीक्षण किया:

मैप मिस्ट्री (ग्राफ इन्फरेंस):
- सेटअप: AI को अदृश्य कारों द्वारा किए गए रैंडम वॉक के "शुरुआत और अंत के बिंदुओं" की सूची के आधार पर एक छिपे हुए शहर के मानचित्र (एक ग्राफ) का अनुमान लगाना था।
- परिणाम: GReinSS ने पुराने तरीकों की तुलना में मानचित्रों का बहुत बेहतर पुनर्निर्माण किया। जब सुराग बहुत कम थे (केवल 10 रैंडम वॉक), तब भी GReinSS सटीक था, जबकि अन्य तरीके पूरी तरह विफल रहे।
बॉक्स मिस्ट्री (सेट इन्फरेंस):
- सेटअप: AI को यह अनुमान लगाना था कि एक छिपे हुए बॉक्स (एक सेट) के अंदर कौन सी वस्तुएं हैं, शोर वाले माप (जैसे एक तराजू जो थोड़ा गलत वजन देता है) के आधार पर।
- परिढ़: G केवल वही तरीका था जो क्रैश हुए या सटीकता खोए बिना हजारों वस्तुओं वाले बड़े बॉक्स को संभाल सका। अन्य तरीके बॉक्स बड़ा होने पर भ्रमित हो गए।
असली दुनिया का परीक्षण: RNA स्प्लिसिंग (जीवन का "कट और पेस्ट")
- सेटअप: यह सबसे व्यावहारिक परीक्षण है। कोशिकाएं RNA के टुकड़ों (एक्सोन) को काटकर और जोड़कर प्रोटीन बनाती हैं। अलग-अलग कट प्रोटीन के विभिन्न संस्करण (आइसोफॉर्म) बनाते हैं।
- समस्या: वैज्ञानिकों के पास सस्ते, छोटे RNA स्निपेट्स (short-reads) होते हैं, लेकिन उन्हें प्रोटीन के पूर्ण, लंबे संस्करणों को जानने की आवश्यकता होती है। इसके लिए मानक उपकरण RSEM कहलाता है।
- परिणाम: लेखकों ने वास्तविक मानव ऊतक डेटा का उपयोग करके RSEM के मुकाबले GReinSS की तुलना की। उन्होंने "लॉन्ग-रीड" सीक्वेंसिंग (जो पूरे प्रोटीन को सीधे देखती है और जिसे 'सच्चाई' माना जाता है) के विरुद्ध उत्तरों की जाँच की।
- GReinSS जीत गया। इसने RSEM की तुलना में सही प्रोटीन संस्करणों और उनके अनुपातों की बहुत अधिक सटीकता से भविष्यवाणी की। उदाहरण के लिए, एक परीक्षण में, RSEM 53% बार गलत प्रोटीन मिश्रण का अनुमान लगाता था, जबकि GReinSS 1% से भी कम की गलती करता था।

निष्कर्ष

पेपर का दावा है कि GReinSS उन वैज्ञानिक रहस्यों को सुलझाने का एक नया, शक्तिशाली तरीका है जहाँ उत्तर एक जटिल, छिपी हुई संरचना (जैसे एक नक्शा, वस्तुओं का सेट, या प्रोटीन का आकार) है और हमारे पास केवल अप्रत्यक्ष, शोर वाले सुराग हैं।

एक डायनेमिक रिवॉर्ड सिस्टम का उपयोग करके जो AI को सभी डेटा के बीच अपने अनुमानों को संतुलित करने के लिए मजबूर करता है, G-ReinSS पारंपरिक सांख्यिकी या मानक AI मॉडल की तुलना में वास्तविक छिपी हुई वास्तविकता का बेहतर पुनर्निर्माण कर सकता है। यह "छिपे हुए स्टेट का अनुमान लगाने" की समस्या को एक ऐसे खेल में बदल देता है जिसे AI जीतना सीख सकता है, भले ही संभावनाओं की संख्या खगोलीय रूपв बड़ी क्यों न हो।

तकनीकी सारांश: डायनेमिक पॉलिसी ग्रेडिएंट्स के माध्यम से डिस्क्रीट लेटेंट स्ट्रक्चर्स की जेनेरेटिव मॉडलिंग

समस्या की परिभाषा

यह शोध पत्र उन वैज्ञानिक डोमेन में अनऑब्जर्व्ड (unobserved), मैकेनिस्टिक लेटेंट स्टेट्स ( $S^*$ ) को इन्फर करने की चुनौती को संबोधित करता है जहाँ लेटेंट स्पेस कॉम्बिनेटोरियली बहुत बड़ा होता है। सामान्य अनसुपरवाइज्ड लर्निंग (जैसे क्लस्टरिंग या टॉपिक मॉडलिंग) के विपरीत, जो कृत्रिम लेटेंट रिप्रेजेंटेशन सीखती है, यह कार्य वास्तविक मैकेनिस्टिक स्टेट्स जैसे कि रासायनिक प्रतिक्रिया पथ (chemical reaction pathways), परिवहन नेटवर्क, या जीन आइसोफॉर्म के पुनर्निर्माण पर केंद्रित है।

मुख्य समस्या को एक लर्निंग टास्क (समस्या 2.1) के रूप में तैयार किया गया है, जिसका उद्देश्य एक जेनेरेटिव डिस्ट्रीब्यूशन $Pr(S|\theta)$ के लिए मॉडल पैरामीटर्स $\theta$ को खोजना है जो ऑब्जर्व्ड डेटा $X_{1:N}$ की लाइक्लीहुड (likelihood) को मैक्सिमाइज करे, जहाँ $Pr(X|\theta) = \sum_{S} Pr(X|S)Pr(S|\theta)$ है। एक माध्यमिक इन्फरेंस टास्क (समस्या 2.2) प्रत्येक ऑब्जर्वेशन $X_i$ के लिए विशिष्ट लेटेंट स्टेट $\hat{S}_i$ का अनुमान लगाने से संबंधित है।

क्लासिकल अप्रोच जैसे एक्सपेक्टेशन मैक्सिमाइजेशन (EM) यहाँ संघर्ष करते हैं क्योंकि E-स्टेप के लिए एक्सपोनेंशियल रूप से बड़े स्टेट स्पेस पर एक्सपेक्टेशन की गणना करना आवश्यक होता है, जो अक्सर इंट्रैक्टेबल (intractable) होता है। जबकि रीइन्फोर्समेंट लर्निंग (RL) स्ट्रक्चर्ड स्टेट्स के अनुक्रमिक जनरेशन (sequential generation) के लिए स्वाभाविक रूप से उपयुक्त है, स्टैंडर्ड पॉलिसी ग्रेडिएंट्स स्टेशनरी रिवॉर्ड फंक्शन्स के तहत अपेक्षित रिवॉर्ड को ऑप्टिमाइज़ करते हैं, न कि इनडायरेक्ट ऑब्जर्वेशन्स की मार्जिनल लाइक्लीहुड को।

कार्यप्रणाली: GReinSS

लेखक GReinSS (Generative Reinforcement Learning of Structured States) पेश करते हैं, जो इनडायरेक्ट ऑब्जर्वेशन्स की मार्जिनल लाइक्लीहुड को ऑप्टिमाइज़ करने के लिए पॉलिसी ग्रेडिएंट्स को अनुकूलित करने वाला एक फ्रेमवर्क है।

डायनेमिक रिवॉर्ड रीस्केलिंग (Dynamic Reward Rescaling)

केंद्रीय नवाचार एक डायनेमिकली रीस्केल किया गया रिवॉर्ड फंक्शन है। स्टैंडर्ड RL में, पॉलिसी ग्रेडिएंट $\mathbb{E}_{\tau}[r(\tau) \nabla_\theta \log Pr(\tau|\theta)]$ होता है। GReinSS एक ट्राजेक्टरी $\tau$ (जो एक लेटेंट स्टेट $S(\tau)$ प्रदान करती है) के लिए रिवॉर्ड $r(\tau)$ को इस प्रकार परिभाषित करता है:
$r(\tau) = \sum_{i=1}^{N} \frac{Pr(X_i | \tau)}{Pr(X_i | \theta)}$
जहाँ $Pr(X_i | \theta) = \mathbb{E}_{\tau}[Pr(X_i | \tau)]$ है।

थ्योरम 3.1 यह स्थापित करता है कि यह विशिष्ट रिवॉर्ड फंक्शन पॉलिसी ग्रेडिएंट को डेटा लॉग-लाइक्लीहुड $\nabla_\theta \log Pr(X_{1:N} | \theta)$ के अनबायस्ड एस्टिमेटर (unbiased estimator) बनाता है।

तंत्र (Mechanism): डिनोमिनेटर (denominator) $Pr(X_i | \theta)$ प्रत्येक ऑब्जर्वेशन के योगदान को रीस्केल करता है। यह पॉलिसी को एक एकल उच्च-रिवॉर्ड वाली ट्राजेक्टरी पर कोलैप्स होने से रोकता है (जो एक ऑब्जर्वेशन की लाइक्लीहुड को मैक्सिमाइज करेगा लेकिन अन्य को विफल कर देगा) और इसके बजाय पॉलिसी को एक ऐसा डिस्ट्रीब्यूशन $Pr(S|\theta)$ सीखने के लिए प्रोत्साहित करता है जो सभी ऑब्जर्वेशन्स के बीच लाइक्लीहुड को संतुलित करता है।
ट्रेनिंग लूप: एल्गोरिदम ट्राजेक्टरीज को सैंपल करने, वर्तमान $\theta$ के आधार पर डायनेमिक रिवॉर्ड्स की गणना करने और ग्रेडिएंट एसेंट के माध्यम से $\theta$ को अपडेट करने के बीच बारी-बारी से कार्य करता है।

ऑफ-पॉलिसी लर्निंग (Off-Policy Learning)

उन ट्राजेक्टरीज की कमी को दूर करने के लिए जो विशिष्ट ऑब्जर्वेशन्स के लिए नॉन-जीरो लाइक्लीहुड प्रदान करती हैं, यह पेपर ऑफ-पॉलिसी सैंपलिंग का उपयोग करता है। थ्योरम 3.3 एक इष्टतम वेरिएंस-मिनिमाइजिंग ऑफ-पॉलिसी प्रपोजल डिस्ट्रीब्यूशन की पहचान करता है जो $q(\tau | X_{1:N}, \theta) = \frac{1}{N} \sum_{i=1}^N Pr(\tau | X_i, \theta)$ है। हालांकि इस डिस्ट्रीब्यूशन से सटीक सैंपलिंग करना अक्सर इंट्रैक्टेबल होता है, लेखक अनबायस्ड ग्रेडिएंट एस्टिमेट्स बनाए रखने के लिए इम्पोर्टेंस सैंपलिंग करेक्शन के साथ ह्यूरिस्टिक्स (जैसे ऑब्जर्वेशन फीचर्स के आधार पर सैंपलिंग को बायस करना) का उपयोग करते हैं।

मिनी-बैचिंग (Mini-batching)

यह फ्रेमवर्क मिनी-बैचिंग (कोरोलरी 3.2) का समर्थन करता है, जहाँ रिवॉर्ड्स ऑब्जर्वेशन्स के एक सबसेट $B \subset [N]$ पर कैलकुलेट किए जाते हैं, जिससे यह बड़े डेटासेट्स तक स्केल करने में सक्षम होता है।

मुख्य योगदान

फॉर्मुलेशन: यह पेपर इनडायरेक्ट ऑब्जर्वेशन्स से डिस्क्रीट लेटेंट स्टेट्स के डिस्ट्रीब्यूशन को सीखने की समस्या को एक पॉलिसी ऑप्टिमाइजेशन समस्या के रूप में तैयार करता है, जो प्रोबेबिलिस्टिक मॉडलिंग और रीइन्फोर्समेंट लर्निंग के बीच के अंतर को पाटता है।
सैद्धांतिक संबंध: यह एक सैद्धांतिक प्रमाण (थ्योरम 3.1) प्रदान करता है कि डायनेमिकली स्केल्ड रिवॉर्ड्स के साथ पॉलिसी ग्रेडिएंट्स, इनडायरेक्ट ऑब्जर्वेशन्स की मार्जिनल लाइक्लीहुड को मैक्सिमाइज करने के समकक्ष हैं, जो एक ऐसा परिणाम है जो स्टैंडर्ड RL या VI फॉर्मुलेशन द्वारा प्राप्त नहीं किया गया है।
जनरलाइजेशन: समान तकनीकों (जैसे कैंसर फाइलोजेनी या कॉपी नंबर वेरिएशन में) के पिछले अनुप्रयोगों के विपरीत, यह कार्य इसे किसी भी डिस्क्रीट स्ट्रक्चर (ग्राफ, सेट्स, सीक्वेंस) के लिए सामान्य बनाता है और विशिष्ट स्थितियों के तहत GEM और GFlowNets जैसे मौजूदा तरीकों के साथ संबंध स्थापित करता है।

प्रयोगात्मक परिणाम

लेखक सिम्युलेटेड और वास्तविक दुनिया के डेटासेट्स पर GReinSS का मूल्यांकन करते हैं, और लोकल सर्च, स्टैंडर्ड पॉलिसी ग्रेडिएंट्स, GFlowNets और VAE, ऑटोरिग्रेसिव मॉडल्स और डिस्क्रीट डिफ्यूजन का उपयोग करने वाले GEM-आधारित कार्यान्वयन के विरुद्ध तुलना करते हैं।

1. सिम्युलेटेड प्रोसेस ग्राफ इन्फरेंस

कार्य: रैंडम वॉक एंडपॉइंट्स से डायरेक्टेड ग्राफ्स का पुनर्निर्माण करना।
परिणाम: GReinSS ने लगातार उच्चतम मीडियन F1 स्कोर प्राप्त किया। विशेष रूप से, कम सूचना प्रति ऑब्जर्वेशन ( $k=10$ रैंडम वॉक) के साथ, G числен GReinSS ने 0.891 का F1 प्राप्त किया, जबकि सभी बेसलाइन्स (नेइव पॉलिसी ग्रेडिएंट्स और GFlowNets सहित) 0.55 से नीचे रहे। नेइव पॉलिसी ग्रेडिएंट बेसलाइन अक्सर खाली ग्राफ प्रेडिक्ट करने की ओर कोलैप्स हो गई, जो डायनेमिक रिवॉर्ड रीस्केलिंग की आवश्यकता को उजागर करती है।

2. सिम्युलेटेड सबसेट इन्फरेंस

कार्य: नॉइजी एलिमेंट मेजरमेंट्स से सबसेट्स का पुनर्निर्माण करना।
परिणाम: GReinSS ने विभिन्न नॉइज़ लेवल्स ( $\sigma$ $σ$ ) और यूनिवर्स साइज़ ( $|U|$ $∣ U ∣$ ) के तहत सभी बेसलाइन्स को पछाड़ दिया।
- छोटे यूनिवर्स ( $|U|=10$ ) के लिए, अधिकांश मेथड्स अच्छा प्रदर्शन करते हैं।
- बड़े यूनिवर्स ( $|U|=1000$ ) के लिए, बेसलाइन्स (VAE, डिफ्यूजन, ऑटोरिग्रेसिव) कोलैप्स हो गए (मीडियन F1 < 0.4), जबकि GReinSS ने 0.938 का मीडियन F1 बनाए रखा।
- परिणाम दर्शाते हैं कि GReinSS उन बड़े कॉम्बिनेटोरियल स्पेस में प्रभावी ढंग से स्केल करता है जहाँ अन्य जेनेरेटिव मॉडल्स विफल हो जाते हैं।

3. वास्तविक दुनिया का अनुप्रयोग: RNA आइसोफॉर्म पुनर्निर्माण

कार्य: शॉर्ट-रीड सीक्वेंसिंग डेटा (GTEx डेटासेट) से RNA आइसोफॉर्म स्ट्रक्चर और प्रोपोरशन को इन्फर करना, जिसे लॉन्ग-रीड सीक्वेंसिंग ग्राउंड ट्रुथ के विरुद्ध वैलिडेट किया गया है।
तुलना: RSEM के विरुद्ध तुलना की गई, जो GTEx प्रोजेक्ट में उपयोग किया जाने वाला मानक एक्सपेक्टेशन मैक्सिमाइजेशन-आधारित एल्गोरिदम है।
परिणाम: GReinSS ने RSEM की तुलना में काफी बेहतर प्रदर्शन किया।
- जीन MBD2 के लिए, RSEM ने 18% प्रोपोरशन वाला एक प्रमुख आइसोफॉर्म प्रेडिक्ट किया (96% ग्राउंड ट्रुथ के मुकाबले) और गलत माइनर आइसोफॉर्म्स प्रेडिक्ट किए, जिसके परिणामस्वरूप 0.5374 की प्रेडिक्शन एरर हुई। GReinSS ने प्रमुख आइसोफॉर्म के लिए 92% प्रेडिक्ट किया, जिसमें एरर केवल 0.0067 थी।
- 14,390 जीन्स में, GReinSS ने 46.6% मामलों में $\ge 0.05$ के मार्जिन से RSEM को पछाड़ा, जबकि RSEM ने केवल 9.4% मामलों में GReinSS को पीछे छोड़ा। एरर का मीडियन डिफरेंस GReinSS के पक्ष में $-0.0405$ था।

महत्व और दावे

यह पेपर दावा करता है कि GReinSS कॉम्बिनेटोरियल स्पेस में जेनेरेटिव मॉडलिंग के लिए एक "सिद्धांतिक और व्यावहारिक रूप से प्रभावी दृष्टिकोण" है। इसका प्राथमिक महत्व निम्नलिखित है:

इंट्रैक्टेबिलिटी पर विजय: यह उन स्पेस में लेटेंट स्टेट इन्फरेंस के लिए समाधान प्रदान करता है जहाँ एक्सपोनेंशियल कॉम्प्लेक्सिटी के कारण सटीक EM असंभव है।
स्टैंडर्ड RL से श्रेष्ठता: यह प्रदर्शित करता है कि बिना डायनेमिक रिवॉर्ड रीस्केलिंग के स्टैंडर्ड पॉलिसी ग्रेडिएंट्स इस संदर्भ में विफल हो जाते हैं, और GFlowNets (जो ट्राजेक्टरी प्रोबेबिलिटी को बैलेंस करते हैं) भी अपर्याप्त हैं जब रिवॉर्ड स्ट्रक्चर ऑब्जर्वेशन लाइक्लीहुड के साथ पूरी तरह से संरेखित नहीं होता है।
वास्तविक दुनिया का प्रभाव: RNA स्प्लिसिंग पर सफल अनुप्रयोग, जो वास्तविक जैविक डेटा पर व्यापक रूप से उपयोग किए जाने वाले मानक (RSEM) को पछाड़ता है, सिंथेटिक बेंचमार्क्स से परे इस पद्धति की उपयोगिता को प्रमाणित करता है।

लेखक नोट करते हैं कि हालांकि वर्तमान में यह विधि ऑफ-पॉलिसी सैंपलिंग के लिए ह्यूरिस्टिक्स पर निर्भर करती है और $Pr(X|S)$ को मानती है, फिर भी यह फ्रेमवर्क Q-लर्निंग, एक्टर-क्रिटिक फ्रेमवर्क्स और स्वयं ऑब्जर्वेशन मॉडल को सीखने सहित भविष्य के विस्तार के लिए एक आधार प्रदान करता है।