Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

तकनीकी सारांश: निष्पादन अर्थ विज्ञान (Execution Semantics) के माध्यम से औद्योगिक प्रेषण (Industrial Dispatching) में सिम-टू-रियल गैप को पाटना

समस्या विवरण

यह शोध पत्र औद्योगिक प्रेषण (Industrial Dispatching), विशेष रूप से जॉब-शॉप शेड्यूलिंग समस्याओं (JSSP) के भीतर, सुदृढीकरण शिक्षण (Reinforcement Learning - RL) आधारित प्रेषण में निरंतर बने रहने वाले "सिम-टू-रियल" (sim-to-real) अंतराल को संबोधित करता है। जबकि RL ने सिम्युलेटेड वातावरण में आशाजनक परिणाम दिखाए हैं, इसकी औद्योगिक स्वीकार्यता नीतिगत धारणाओं (policy assumptions) और निष्पादन वास्तविकता के बीच संरचनात्मक बेमेल के कारण बाधित है।

वर्तमान साहित्य मुख्य रूप से नीति की मजबूती (जैसे, विक्षोभों के तहत प्रशिक्षण, इमिटेशन लर्निंग, मेटा-लर्निंग) बढ़ाकर इस अंतर को पाटने का प्रयास करता है। हालाँकि, ये दृष्टिकोण एक महत्वपूर्ण धारणा बनाए रखते हैं: कि अनुमान (inference) के समय एक वैध, सिंक्रनाइज़ निर्णय अवस्था और एक सुसंगत क्रिया इंटरफ़ेस उपलब्ध है। औद्योगिक सेटिंग्स में, यह शायद ही कभी सच होता है क्योंकि:

1. अतुल्यकालिक अवलोकन (Asynchronous Observations): निर्णय विषम, विलंबित इवेंट स्ट्रीम्स (MES, ERP, भौतिक सेंसर) से प्राप्त पुनर्निर्मित अवस्थाओं पर लिए जाते हैं, जिससे आंशिक रूप से दृश्यमान वातावरण (partially observable environments) उत्पन्न होते हैं जहाँ अवलोकन में वैध निर्णय वास्तविकता में अव्यवहार्य हो सकते हैं।
2. अपरिभाषित निष्पादन अर्थ विज्ञान (Undefined Execution Semantics): क्रिया की स्वीकार्यता (action admissibility) या विभिन्न प्रणालियों में निर्णयों का सिस्टम क्रियाओं में कैसे रूपांतरण होता है, इसकी कोई स्पष्ट परिभाषा नहीं है।
3. अस्पष्ट परिणाम एट्रिब्यूशन (Ambiguous Outcome Attribution): निष्पादन विफलताओं को जेनेरिक विक्षोभों के रूप में दर्ज किया जाता है, जो नीति त्रुटियों को भौतिक बाधाओं, लेनदेन संबंधी विसंगतियों या मानवीय हस्तक्षेपों के साथ मिला देते हैं। विभेदीकरण की यह कमी संरचित मूल्यांकन और नीति परिशोधन को रोकती है।

लेखकों का तर्क है कि मुख्य सीमा केवल नीति की गुणवत्ता नहीं है, बल्कि एक मध्यस्थ परत (mediating layer) का अभाव है जो स्पष्ट रूप से निष्पादन अर्थ विज्ञान का प्रबंधन करती है।

कार्यप्रणाली (Methodology)

शोध पत्र एक नीति-तटस्थ निष्पादन और मापन परत (policy-neutral execution and measurement layer) प्रस्तावित करता है जो प्रेषण नीतियों और औद्योगिक निष्पादन वातावरण के बीच एक मिडलवेयर के रूप में कार्य करती है। यह परत शेड्यूलिंग नीति को डिजाइन नहीं करती है, बल्कि यह नियंत्रित करती है कि निर्णयों का निर्माण, सत्यापन और रिकॉर्डिंग कैसे की जाती है। इस आर्किटेक्चर में तीन मुख्य तंत्र शामिल हैं:

1. स्टेट स्नैपशॉट आइसोलेशन (State Snapshot Isolation):

   • अतुल्यकालिक डेटा को संभालने के लिए, यह परत एक निष्पादन कैश (execution cache) में भौतिक और लेनदेन संबंधी घटनाओं को संचित करती है।
   • एक प्रेषण ट्रिगर पर, यह सिस्टम की स्थिति का एक 'पॉइंट-इन-टाइम' स्नैपशॉट ($s_k$) अलग करती है। निर्णय प्रक्रिया के दौरान यह स्नैपशॉट अपरिवर्तनीय रहता है ताकि सामयिक विसंगतियों (temporal inconsistencies) को रोका जा सके।
   • प्री-कमिट इनवैलिडेशन (Pre-commit Invalidation): यदि किसी क्रिया को कमिट करने से पहले महत्वपूर्ण अपडेट आते हैं, तो निर्णय को रद्द कर दिया जाता है, स्नैपशॉट को हटा दिया जाता है, और एक नया आइसोलेशन चरण शुरू किया जाता है। यह पुराने (stale) सूचना के आधार पर निर्णयों के निष्पादन को रोकता है।

2. नीति-तटस्थ निष्पादन अनुबंध (Policy-Neutral Execution Contract):

   • यह परत एक मानकीकृत निर्णय अनुरोध $R_k = \langle s_k, m_k, J^{cand}_k \rangle$ को परिभाषित करती है, जहाँ $J^{cand}_k$ उम्मीदवार सेट (candidate set) है।
   • उम्मीदवार सेट भौतिक रूप से व्यवहार्य क्रियाओं (शॉप फ्लोर की वास्तविकता) और लेनदेन संबंधी रूप से स्वीकार्य क्रियाओं (MES/ERP बाधाओं) का प्रतिच्छेदन (intersection) है।
   • यह सुनिश्चित करता है कि नीति को केवल वे क्रियाएं प्राप्त हों जो दोनों भौतिक और लेनदेन संबंधी बाधाओं के तहत वैध हैं, जिससे क्रिया की स्वीकार्यता को स्पष्ट रूप से परिभाषित किया जाता है।

3. विचलन प्रतिनिधित्व और परिणाम एट्रिब्यूशन (Divergence Representation and Outcome Attribution):

   • एकल परिणाम सिग्नल के बजाय, यह परत एक विचलन टुपल (divergence tuple) $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$ को रिकॉर्ड करती है।
   • यह टुपल निम्नलिखित को अलग करता है:
     • $a^{intent}_k$: नीति की इच्छित क्रिया।
     • $x^{sys}_k$: लेनदेन संबंधी सिस्टम प्रतिक्रिया (जैसे, MES अस्वीकृति)।
     • $x^{phys}_k$: वास्तविक भौतिक निष्पादन परिणाम।
     • $u_k$: मानवीय हस्तक्षेप/ओवरराइड।
   • यह संरचना दृश्य विचलन (ज्ञात संघर्षों के बावजूद की गई नीति त्रुटि) और अदृश्य विचलन (अदृश्य सिस्टम अवस्थाओं के कारण होने वाली त्रुटियां) के बीच अंतर करती है, जिससे निष्पादन विफलताओं का संरचित एट्रिब्यूशन संभव होता है।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

इस ढांचे का मूल्यांकन एक सिंगल नॉन-प्रीएम्प्टिव मशीन के साथ एक डिस्क्रीट-इवेंट सिमुलेशन (SimPy) का उपयोग करके किया गया था। अध्ययन ने तीन अवलोकन अंतराल शासन (लो, मीडियम, हाई लैग) के तहत मानक ह्यूरिस्टिक्स (अर्लिएस्ट ड्यू डेट और शॉर्टेस्ट प्रोसेसिंग टाइम) का परीक्षण करके निष्पादन परत के प्रभावों को प्रेषण तर्क से अलग किया।

मुख्य परिणाम:

• निर्णय वैधता: मध्यम अवलोकन अंतराल के तहत, निष्पादन परत ने अमान्य प्रेषणों को 61.81% (डायरेक्ट निष्पादन) से घटाकर 48.68% कर दिया।
• परिचालन प्रदर्शन: इस परत ने लो (1.08 बनाम बेसलाइन) और मीडियम (6.43 बनाम 11.21) लैग शासन में मीन वेटेड टार्डनेस (mean weighted tardiness) को काफी कम कर दिया। हाई लैग में, जहाँ अपडेट निर्णय विंडो के बाद आते हैं, परिचालन लाभ कम हो गया और डायरेक्ट निष्पादन प्रदर्शन के करीब पहुँच गया।
• क्रिया स्वीकार्यता: निष्पादन अनुबंध ने "दृश्य विचलन" (ज्ञात संघर्षों के बावजूद कमिट की गई क्रियाएं) को 0.00 तक कम कर दिया, जबकि डायरेक्ट निष्पादन में 15.90% दृश्य विचलन देखा गया।
• थ्रूपुट: थ्रूपुट में कोई मापने योग्य दंड (penalty) नहीं देखा गया, जो यह दर्शाता है कि यह परत सिस्टम क्षमता को बदले बिना क्रियाओं के 'कब' कमिट किए जाते हैं, इसे नियंत्रित करती है।
• एट्रिब्यूशन कवरेज: डायरेक्ट निष्पादन के विपरीत, जो विफलताओं को जेनेरिक सिग्नल्स में समाहित कर देता है, प्रस्तावित परत ने 100% एट्रिब्यूशन कवरेज प्राप्त किया, जिसमें विक्षोभों को लेनदेन संबंधी, भौतिक, संयुक्त और मानवीय ओवरराइड प्रकारों में वर्गीकृत किया गया।

मुख्य योगदान और महत्व

शोध पत्र का दावा है कि इसका प्राथमिक योगदान मेथोडोलॉजिकल और आर्किटेक्चरल है, जो ध्यान को नीति-स्तर की मजबूती से हटाकर तैनाती के समय स्पष्ट निष्पादन अर्थ विज्ञान (execution semantics) पर केंद्रित करता है।

1. संरचनात्मक निदान: यह पहचानता है कि सिम-टू-रियल गैप केवल नीति उप-इष्टतमता (suboptimality) के कारण नहीं, बल्कि निर्णय-वैध स्थिति प्रतिनिधित्व और स्पष्ट क्रिया स्वीकार्यता परिभाषाओं के अभाव के कारण बढ़ जाता है।
2. निष्पादन अर्थ विज्ञान: प्रस्तावित परत एक मानकीकृत इंटरफ़ेस प्रदान करती है जो तैनाती के बेमेल (mismatches) को अवलोकन योग्य, पुन: प्रयोज्य और तुलनीय बनाती है। यह निष्पादन अनिश्चितता को पर्यवेक्षी डेटा (supervisory data) में बदल देती है।
3. एट्रिब्यूशन और लर्निंग: नीति के इरादे को निष्पादन परिणामों से अलग करके, यह परत नीति त्रुटियों और पर्यावरणीय सीमाओं के बीच अंतर करने में सक्षम बनाती है। यह संरचित डेटा ऑफलाइन सुदृढीकरण शिक्षण, विक्षोभ-जागरूक वैल्यू एस्टीमेशन और मानवीय हस्तक्षेप के व्यवस्थित पुन: उपयोग जैसे डाउनस्ट्रीम कार्यों के लिए आवश्यक है।

लेखक निष्कर्ष निकालते हैं कि हालांकि परिचालन लाभ (कम टार्डनेस) तब सबसे अधिक स्पष्ट होते हैं जब अपडेट निर्णय विंडो के भीतर आते हैं, लेकिन इसके विश्लेषणात्मक लाभ (संरचित एट्रिब्यूशन और व्याख्यात्मकता) सभी लैग शासनों में बने रहते हैं। यह इस परत को तैनात, इवेंट-ड्रिवन औद्योगिक प्रेषण प्रणालियों के लिए एक पूर्व शर्त बनाता है, जो "ब्लैक बॉक्स" निष्पादन से व्याख्या योग्य, डेटा-संचालित नीति परिशोधन की ओर संक्रमण की सुविधा प्रदान करता है।