3DIOC: Direct Data-Driven Inverse Optimal Control for LTI Systems

कल्पना कीजिए कि आप एक मास्टर शेफ को एक बेहतरीन व्यंजन बनाते हुए देख रहे हैं। आप देख सकते हैं कि वे कौन सी सामग्री चुनते हैं, उनके काटने का तरीका कैसा है, और अंत में वे जो प्लेट परोसते हैं वह कैसी दिखती है। लेकिन आप उनकी गुप्त रेसिपी नहीं जानते: कितना नमक, कितनी गर्मी, या उन्होंने मसालों को मिलाने का निर्णय ठीक कैसे लिया। इन्वर्स ऑप्टिमल कंट्रोल (Inverse Optimal Control) उस गुप्त रेसिपी को खोजने की कला है, बस शेफ को खाना बनाते हुए देखकर।

लंबे समय तक, वैज्ञानिकों द्वारा इन मशीनों (विशेष रूप से, लीनियर टाइम-इनवेरिएंट या LTI सिस्टम) के लिए इन "रेसिपी" को रिवर्स-इंजीनियर करने की कोशिश करने वालों के सामने एक बड़ी बाधा थी: उन्हें पहले मशीन का आंतरिक ब्लूप्रिंट (खाका) जानना पड़ता था। उन्हें पहले मशीन के काम करने का एक मॉडल बनाना पड़ता था, इससे पहले कि वे यह अनुमान लगा सकें कि मशीन क्या हासिल करने की कोशिश कर रही है। यह एक शेफ की रेसिपी का अनुमान लगाने के लिए पहले रसोई के हर बर्तन और कड़ाही की सटीक रासायनिक संरचना को मापनेने जैसा था।

यह शोध पत्र, जिसका शीर्षक 3DIOC है, इस पहेली को हल करने का एक नया, "डायरेक्ट" (प्रत्यक्ष) तरीका पेश करता है। लेखक, चेंडी क्वू, जियानपिंग हे और श्याओमिंग डुआन, एक ऐसा तरीका प्रस्तावित करते हैं जो ब्लूप्रिंट को पूरी तरह से छोड़ देता है। उन्हें मशीन के आंतरिक गियर या समीकरणों को जानने की आवश्यकता नहीं है। इसके बजाय, वे सीधे "इनपुट-आउटपुट" के निशानों को देखते हैं—यानी, जो डेटा अंदर गया और जो बाहर आया—ताकि छिपे हुए लक्ष्य को समझा जा सके।

जादू का खेल: द फंडामेंटल लेम्मा (The Fundamental Lemma)

यहाँ का असली 'सीक्रेट सॉस' फंडामेंटल लेम्मा है, जो बिहेवियरल सिस्टम थ्योरी से लिया गया है। इसे ऐसे समझें: यदि आपके पास किसी मशीन के इधर-उधर घूमने का एक पर्याप्त लंबा वीडियो है, तो उस वीडियो में मशीन के हिलने के सभी संभावित तरीके मौजूद हैं। आपको मशीन के भौतिक विज्ञान (फिजिक्स) को जानने की आवश्यकता नहीं है; वह वीडियो ही एक मानचित्र है।

लेखक इस विचार का उपयोग एक "मॉडल-फ्री" नियम बनाने के लिए करते हैं। उन्होंने एक गणितीय शर्त (जिसे KKT कंडीशन कहा जाता है) निकाली है जो कहती है: "यदि मशीन इष्टतम (ऑप्टिमल) रूप से कार्य कर रही है, तो उसके द्वारा छोड़े गए डेटा को एक विशिष्ट पैटर्न में फिट होना चाहिए।" इस पैटर्न की जाँच करके, वे पीछे की ओर जाकर उन छिपे हुए भार (मशीन के ऑब्जेक्टिव फंक्शन के "नमक और काली मिर्च") को खोज सकते हैं जिन्होंने उसे इस तरह कार्य करने के लिए प्रेरित किया।

पहेली सुलझाने के दो तरीके

यह शोध पत्र केवल एक उपकरण नहीं देता; यह दो विकल्प देता है, जो इस बात पर निर्भर करते हैं कि डेटा कितना अस्त-व्यस्त (मेसी) है।

1. "परफेक्ट वर्ल्ड" सॉल्वर (KKT-आधारित 3DIOC)
यदि डेटा साफ है—जैसे कि स्टूडियो में रिकॉर्ड किया गया वीडियो जिसमें कोई स्टेटिक या ग्लिच नहीं है—तो लेखक KKT कंडीशन पर आधारित एक विधि का उपयोग करते हैं। यह एक जिग्सॉ पहेली को हल करने जैसा है जहाँ हर टुकड़ा बिल्कुल सही बैठता है।

• यह कैसे काम करता है: वे एक गणितीय समस्या सेट करते हैं जो पूछती है, "कौन से वेट्स (weights) डेटा को इस परफेक्ट पैटर्न में फिट करेंगे?"
• चुनौती: इसमें एक छोटी सी ट्रिक है। गणित यह अंतर नहीं बता सकता कि एक रेसिपी में "1 कप चीनी" है या "2 कप चीनी" यदि मशीन सब कुछ दोगुना कर देती है। इसलिए, समाधान एक अकेला नंबर नहीं है, बल्कि समाधानों का एक पूरा परिवार है जो एक-दूसरे के स्केल किए हुए संस्करण हैं। शोध पत्र यह सिद्ध करता है कि यदि आपके पास पर्याप्त डेटा (विशेष रूप से, अवलोकन की लंबाई या "होराइजन" पर्याप्त लंबा है) है, तो यह समाधानों का परिवार अद्वितीय होता है।
• परिणाम: सिमुलेशन में, यह विधि अविश्वसनीय रूप से तेज़ और सटीक थी, जिसे उत्तर खोजने के लिए केवल बहुत कम डेटा (एक ऑफलाइन ट्रेजेक्टरी जिसकी लंबाई 50 है और एक ऑप्टिमल ट्रेजेक्टरी) की आवश्यकता थी। इसने उन अन्य तरीकों को मात दी जो पहले एक मॉडल बनाने की कोशिश करते थे, जो धीमे और कम सटीक थे।

2. "मेसी वर्ल्ड" सॉल्वर (Bi-level Optimization)
वास्तविक जीवन शायद ही कभी स्टूडियो जैसा होता है। डेटा में शोर (नॉइज़) हो सकता है—ग्लिच, स्टेटिक, या रैंडम एरर। जब डेटा शोर वाला होता है, तो "परफेक्ट वर्ल्ड" सॉल्वर भ्रमित हो जाता है और विफल हो सकता है।

• नया दृष्टिकोण: लेखक एक बाय-लेवल ऑप्टिमाइज़ेशन (Bi-level Optimization) रणनीति की ओर बढ़ते हैं। यह "हॉट एंड कोल्ड" (पास या दूर) के खेल की तरह है।
  • इनर लूप (Inner Loop): आप एक रेसिपी का अनुमान लगाते हैं (वेट्स)।
  • आउटर लूप (Outer Loop): आप देखते हैं कि मशीन का वास्तविक व्यवहार, उस विशेषज्ञ के व्यवहार से कितना अलग है जिसकी आप नकल करने की कोशिश कर रहे हैं।
  • लक्ष्य: आप अपने अनुमान को तब तक बदलते रहते हैं जब तक कि आप "हॉटर" (विशेषज्ञ के करीब) न हो जाएं।
• यह बेहतर क्यों है: यह विधि शोर को संभालने के लिए डिज़ाइन की गई है। शोध पत्र गणितीय रूप से सिद्ध करता है कि जैसे-जैसे आपके पास अधिक डेटा आता है, यह विधि अंततः सबसे अच्छा अनुमान ढूंढ लेगी, भले ही डेटा शोर वाला हो। यह एक जासूस की तरह है जो अपने सिद्धांतों को तब तक परिष्कृत करता रहता है जबв तक कि वह सही उत्तर तक न पहुँच जाए, भले ही कुछ सुराग भ्रामक हों।

यह पेपर किन बातों को "ना" कहता है

लेखक बहुत स्पष्ट हैं कि उनका तरीका क्या नहीं है।

• सिस्टम आइडेंटिफिकेशन नहीं: वे पुराने तरीके "पहले सिस्टम की पहचान करना" के खिलाफ स्पष्ट रूप से तर्क देते हैं। वे दिखाते हैं कि लक्ष्य का अनुमान लगाने से पहले मशीन का मॉडल बनाने की कोशिश करने से त्रुटियां आती हैं और डेटा बर्बाद होता है। उनका तरीका "डायरेक्ट" है, जिसका अर्थ है कि यह सीधे डेटा से लक्ष्य तक जाता है।
• बहुत कम डेटा के साथ कोई जादू नहीं: वे चेतावनी देते हैं कि यदि आप मशीन को पर्याप्त समय तक नहीं देखते हैं (यदि "होराइजन" $N$ बहुत छोटा है), तो यह समस्या हल करना असंभव है। एक विशिष्ट गणितीय सीमा (जो मशीन के इनपुट और आउटपुट के आकार से संबंधित है) है जिसे डेटा को पार करना चाहिए, अन्यथा गुप्त रेसिपी छिपी ही रहेगी।
• स्टेट ऑब्जर्वेशन की आवश्यकता नहीं: कई अन्य तरीकों के विपरीत जिन्हें मशीन की आंतरिक स्थिति (जैसे कि हर गियर की सटीक स्थिति) देखने की आवश्यकता होती है, इस पद्धति को केवल इनपुट और आउटपुट देखने की आवश्यकता होती है। यह तब भी काम करता है जब आप मशीन के अंदर नहीं देख सकते।

हम कितने आश्वस्त हैं?

लेखक आत्मविश्वासी हैं, लेकिन वे सावधान भी हैं।

• सिद्ध (Proven): उन्होंने गणितीय रूप से सिद्ध किया है कि उनकी विधि शोर-रहित दुनिया में काम करती है और यदि पर्याप्त डेटा एकत्र किया जाता है तो इसका एक अद्वितीय समाधान होता है। उन्होंने यह भी सिद्ध किया है कि उनका "मेसी वर्ल्ड" वाला तरीका डेटा बढ़ने के साथ सही उत्तर की ओर बढ़ेगा।
• सिमुलेटेड (Simulated): प्रदर्शन के आंकड़े कंप्यूटर सिमुलेशन से आते हैं। उन्होंने अपने तरीके का परीक्षण 3 स्टेट्स और 2 इनपुट्स वाली रैंडमली जनरेटेड मशीनों पर किया। इन परीक्षणों में, उनका तरीका "सिस्टम आइडेंटिफिकेशन" और "मैक्सिमम एंट्रॉपी" बेसलाइन्स की तुलना में तेज़ और अधिक सटीक था।
• मजबूती (Robustness): उन्होंने सिमुलेशन के माध्यम से दिखाया कि उनका तरीका विभिन्न प्रकार के शोर (जैसे रैंडम स्पाइक्स या यूनिफॉर्म एरर) को अच्छी तरह से संभालता है, हालांकि यदि शोर बहुत अधिक है तो त्रुटि बढ़ जाती है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक मशीन के चलने के तरीके को देखकर उसके लक्ष्यों को रिवर्स-इंजीनियर करने का एक चतुर और सीधा तरीका प्रस्तुत करता है। यह मॉडल बनाने के उबाऊ चरण को छोड़ देता है और सीधे मुद्दे पर आता है। यदि डेटा साफ है, तो यह पहेली को तुरंत हल करता है। यदि डेटा शोर वाला है, तो यह सबसे अच्छा उत्तर खोजने के लिए एक स्मार्ट, इटरेटिव गेसिंग गेम का उपयोग करता है। हालांकि ये परिणाम वर्तमान में सिमुलेशन पर आधारित हैं, लेकिन इसके पीछे का गणित ठोस है, जो रोबोट और स्वायत्त प्रणालियों (autonomous systems) के लिए बिना किसी मैनुअल के प्रदर्शन से सीखने का एक आशाजनक नया मार्ग प्रदान करता है।