Trajectory Design and Budgeted Querying for Digital Twin Calibration

तकनीकी सारांश: डिजिटल ट्विन अंशांकन (Calibration) के लिए प्रक्षेपवक्र डिजाइन और बजटित क्वेरीइंग

समस्या का निरूपण
डिजिटल ट्विन (DT) अंशांकन के लिए सिमुलेटर मापदंडों को वास्तविक प्रणाली के साथ संरेखित करने हेतु इंटरेक्शन डेटा की आवश्यकता होती है, फिर भी विशेषाधिकार प्राप्त मापदंड मापन (ग्राउंड ट्रुथ) प्राप्त करना अक्सर महंगा या सुरक्षा-संवेदनशील होता है। लेखक अंशांकन को एक आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रिया (POMDP) के रूप में देखते हैं, जहाँ सिस्टम में छिपे हुए पैरामीटर $\vartheta$ एक एपिसोड के भीतर स्थिर रहते हैं। मुख्य चुनौती दो युग्मित अधिग्रहण निर्णयों में निहित है:

1. प्रक्षेपवक्र डिजाइन (Trajectory Design): पैरामीटर अवलोकन क्षमता (observability) को अधिकतम करने के लिए कौन सी नियंत्रण नीतियां इंटरेक्शन डेटा उत्पन्न करनी चाहिए?
2. बजटित क्वेरीइंग (Budgeted Querying): महंगे "ओरेकल" मापन (सत्य मापदंडों तक विशेषाधिकार प्राप्त पहुंच) के सीमित बजट को ट्विन के स्टेट को सुधारने के लिए कब खर्च किया जाना चाहिए?

लक्ष्य एक हार्ड बजट $B$ (क्वेरी $Q$ की संख्या) के अधीन तैनात पैरामीटर अनुमान $\tilde{\vartheta}(T)$ की टर्मिनल त्रुटि को कम करना है।

कार्यप्रणाली
प्रस्तावित ढांचा अंशांकन पाइपलाइन को तीन क्रमिक घटकों में विभाजित करता है, जिन्हें संयुक्त रूप से प्रशिक्षित करने के बजाय चरणों में प्रशिक्षित किया जाता है:

1. उत्तेजना-उन्मुख नियंत्रक (Excitation-Oriented Controller): मानक नियंत्रकों के विपरीत जो कार्य पुरस्कार (task reward) के लिए अनुकूलित होते हैं (जो सूचनात्मक गति को दबा सकते हैं), यह नियंत्रक छिपे हुए मापदंडों के सापेक्ष सिस्टम डायनेमिक्स को उत्तेजित करने के लिए आकार दिया गया है।

   • Pendulum वातावरण में, रिवॉर्ड फंक्शन में एक स्क्वेर्ड सेंसिटिविटी प्रॉक्सी ($\sin^2(\phi_t)$) शामिल है ताकि उस गति को प्रोत्साहित किया जा सके जहाँ गुरुत्वाकर्षण $g$ का सबसे मजबूत डायनेमिक प्रभाव हो, जो मानक नियंत्रकों की स्थिरीकरण प्रवृत्ति का मुकाबला करता है।
   • Waterworld में, एक एकल रिवॉर्ड अपर्याप्त था। इसके बजाय, विविध प्रक्षेपवक्रों का एक सेट उत्पन्न करने के लिए पांच अलग-अलग नियंत्रकों (व्यापक अन्वेषण, वेग संरक्षण और विविधता-केंद्रित नीतियों सहित) का एक मिश्रण तैयार किया गया।

2. पुनरावर्ती पैरामीटर अनुमानक (Recurrent Parameter Estimator): एक गेटेड रिकरेंट यूनिट (GRU) प्रक्षेपवक्र इतिहास (अवलोकन, क्रियाएं, पुरस्कार) को प्रोसेस करती है ताकि एक प्रेडिक्टिव मीन $\hat{\vartheta}(t)$ और स्टैंडर्ड डेविएशन $\sigma(t)$ आउटपुट किया जा सके।

   • अनुमानक को पहले मीन स्क्वेयर्ड एरर (MSE) के साथ और फिर गॉसियन नेगेटिव लॉग-लाइक्लीहुड (NLL) के साथ प्रशिक्षित किया गया है ताकि अनिश्चितता वितरण को सीखा जा सके।
   • रिकरेंट स्टेट एक नियत (deterministic) हिस्ट्री एम्बेडिंग के रूप में कार्य करती है, न कि बेयसियन पोस्टीरियर के रूप में।

3. बजटित क्वेरी नीति (Budgeted Query Policy): एक अलग नीति ($\pi_q$) यह तय करती है कि क्या स्टेप $t$ पर ओरेकल को क्वेरी किया जाए।

   • स्टेट (State): नीति एपिसोड की प्रगति, अनुमानक की प्रेडिक्टिव अनिश्चितता, मानकीकृत आउटपुट और शेष बजट को देखती है।
   • एक्शन (Action): एक बाइनरी निर्णय ($q_t \in \{0, 1\}$)।
   • तंत्र (Mechanism): एक क्वेरी एक सिंगल स्टेप के लिए वास्तविक पैरामीटर $\vartheta_{true}$ प्रदान करती है, जो ट्विन द्वारा उपयोग किए जाने वाले तैनात पैरामीटर $\tilde{\vartheta}(t)$ को ठीक करती है। महत्वपूर्ण रूप से, क्वेरी अनुमानक की आंतरिक स्थिति या नियंत्रक के प्रक्षेपवक्र निर्माण को अपडेट नहीं करती है; यह एक वन-स्टेप करेक्शन के रूप में कार्य करती है।
   • प्रशिक्षण: नीति को एक फ्रोजन (frozen) अनुमानक के विरुद्ध प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) के माध्यम से प्रशिक्षित किया जाता है, जो क्वेरी लागत बनाम टर्मिनल सटीकता को संतुलित करने वाले रिवॉर्ड को ऑप्टिमाइज़ करती है।

मुख्य परिणाम
शोध पत्र दो वातावरणों में खोजपूर्ण केस स्टडी प्रस्तुत करता है:

• Pendulum (पूर्णतः अवलोकन योग्य, 1 छिपा हुआ पैरामीटर):

  • रिकवरेबिलिटी (Recoverability): कार्य-उन्मुख (स्थिरीकरण) प्रक्षेपवक्रों पर प्रशिक्षित रैंडम फॉरेस्ट मास या लेंथ को रिकवर करने में विफल रहा और केवल गुरुत्वाकर्षण को कमजोर रूप से रिकवर कर पाया ($R^2 \approx 0.02$)।
  • उत्तेजना का प्रभाव (Excitation Impact): उत्तेजना-उन्मुख प्रक्षेपवक्रों पर प्रशिक्षित GRU ने शून्य क्वेरी के साथ 0.0066 का मीन एब्सोल्यूट एरर (MAE) प्राप्त किया।
  • बजटित क्वेरीइंग: जब निरंतर ओरेकल एक्सेस को एपिसोड के बीच में (50 स्टेप्स के बाद) वापस ले लिया गया, तो संयुक्त पाइपलाइन (अनुमानक + क्वेरी नीति) ने 3 क्वेरी के बजट के साथ 0.0092 की टर्मिनल एरर प्राप्त की। यह अनकैलिब्रेटेड ट्विन (त्रुटि 0.2031) और रैंडमली ड्रा पैरामीटर (त्रुटि 0.3047) की तुलना में काफी बेहतर प्रदर्शन करता है।

• Waterworld (आंशिक रूप से अवलोकन योग्य, 3 छिपे हुए पैरामीटर):

  • कंट्रोलर मिश्रण: पांच अलग-अलग नियंत्रकों ने तीनों छिपे हुए मापदंडों (सेंसर रेंज, मैक्स एक्सेलरेशन, पर्स्यूअर स्पीड) के लिए विशिष्ट एरर प्रोफाइल उत्पन्न किए।
  • प्रदर्शन: इन पांचों नियंत्रकों के मिश्रण पर प्रशिक्षित अनुमानक ने लगभग 4–5% की ऑनलाइन नॉर्मलाइज्ड एरर प्राप्त की।
  • ऑफलाइन बनाम ऑनलाइन अंतर: शोध पत्र नोट करता है कि एक महत्वपूर्ण विसंगति है जहाँ सर्वश्रेष्ठ ऑफलाइन वैलिडेशन प्रदर्शन वाला चेकपॉइंट ऑनलाइन मूल्यांकन में काफी खराब हो गया, जो बताता है कि इस सेटिंग में ऑफलाइन चयन विश्वसनीय रूप से ऑनलाइन एरर की भविष्यवाणी नहीं करता है।

महत्व और दावे
लेखक इस कार्य को एक नियंत्रित एब्लेशन अध्ययन के बजाय एक खोजपूर्ण जांच के रूप में प्रस्तुत करते हैं। उनके प्राथमिक दावे हैं:

1. व्यवहार्यता (Feasibility): यह संभव है कि डेटा-दुर्लभ अंशांकन के लिए प्रक्षेपवक्र डिजाइन और क्वेरी आवंटन को स्पष्ट डिजाइन वेरिएबल्स के रूप में माना जाए।
2. संवेदनशीलता (Sensitivity): अंशांकन के परिणाम डेटा अधिग्रहण प्रक्रिया (प्रक्षेपवक्र वितरण) और अनुमानक आर्किटेक्चर के प्रति अत्यधिक संवेदनशील होते हैं।
3. सीमाएँ (Limitations): यह अध्ययन समान प्रोटोकॉल के तहत मैच किए गए तुलनात्मक अध्ययनों (जैसे अलग प्रक्षेपवक्र वितरणों पर प्रशिक्षित समान अनुमानक) की कमी के कारण मानक पहचान विधियों पर कारण सुधार (causal improvements) का दावा नहीं करता है। घटकों को क्रमिक रूप से प्रशिक्षित किया गया था, और प्रयोग प्रत्येक कॉन्फ़िगरेशन के लिए केवल एक बार चलाए गए थे।
4. भविष्य की दिशाएँ: लेखक सुझाव देते हैं कि भविष्य के कार्यों को सूचना-सैद्धांतिक उद्देश्यों (information-theoretic objectives) का उपयोग करके उत्तेजना को आइसोलेट करना चाहिए, और उच्च-आयामी भौतिक प्रणालियों पर परीक्षण करना चाहिए।

शोध पत्र निष्कर्ष निकालता है कि हालांकि यह ढांचा सिमुलेशन में निम्न टर्मिनल एरर प्रदर्शित करता है, लेकिन वर्तमान प्रयोगात्मक सेटअप में प्रक्षेपवत्व डिजाइन बनाम क्वेरीइंग के विशिष्ट योगदान आपस में उलझे हुए हैं।