Simulation-based parameter estimation via a combination of embedded normalizing flows and implied empirical probabilities under moment restrictions

द ग्रेट डिटेक्टिव गेम: जब कंप्यूटर झूठ बोलते हैं और गणित सच बताता है

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन एकमात्र गवाह एक बहुत ही जटिल, थोड़ा भ्रमित रोबोट है। इस रोबोट को, आइए हम इसे "सिम" (Sim) कहें, नाम देते हैं, यह सिम कर सकता है कि एक भौतिक प्रणाली कैसे काम करती है—जैसे कि हवा में एक पुल कैसे डोलता है या एक वायरस कैसे फैलता है। आप सिम को शुरुआती स्थितियाँ (हवा की गति, वायरस का प्रकार) देते हैं, और यह एक भविष्यवाणी देता है। लेकिन यहाँ एक पेंच है: सिम परफेक्ट नहीं है। इसमें कुछ छिपी हुई सेटिंग्स (पैरामीटर्स) हैं जिन्हें आप नहीं जानते, और कभी-कभी यह गलतियाँ करता है क्योंकि यह वास्तविकता का एक सरलीकृत संस्करण है।

सच का पता लगाने के लिए, आपके पास वास्तविक प्रयोगों से वास्तविक डेटा होता है। आप सिम द्वारा कही गई बात की तुलना वास्तविक घटना से करते हैं। इन दोनों के बीच के अंतर को "रेसिड्यूअल" (residual) कहा जाता है। पुराने दिनों में, वैज्ञानिक मान लेते थे कि ये अंतर केवल रैंडम शोर (noise) हैं, जैसे रेडियो पर आने वाली खरखराहट। लेकिन क्या होगा अगर शोर रैंडम नहीं है? क्या होगा अगर इसमें कोई गुप्त पैटर्न है? यह पहेली इसी पर काम करती है। यह दो गणितीय उपकरणों के चतुर मिश्रण का उपयोग करती है: नॉर्मलाइजिंग फ्लोज़ (Normalizing Flows - सोचिए इन्हें एक जादुई आकार बदलने वाले के रूप में जो जटिल, बिखरे हुए पैटर्न को एक सरल, साफ घेरे में सिकोड़ और खींच सकता है) और एम्पेरिकल लाइकलीहुड (Empirical Likelihood - एक ऐसी विधि जो एक सख्त न्यायाधीश की तरह कार्य करती है, यह जाँचती है कि क्या डेटा विशिष्ट नियमों का पालन करता है)। लक्ष्य रोबोट की उन छिपी हुई सेटिंग्स को खोजना है ताकि इसकी भविष्यवाणियाँ वास्तविकता के साथ यथासंभव मेल खा सकें, भले ही रोबोट की गलतियाँ अजीब और अप्रत्याशित हों।

पेपर का बड़ा विचार: एक दो-चरणीय नृत्य

लेखक, गेटाचेव के. बेफेकाडू (Getachew K. Befekadu), इन कंप्यूटर सिमुलेशन को ट्यून करने का एक नया तरीका प्रस्तावित करते हैं। अनुमान लगाने और जाँचने के बजाय, वे एक दो-चरणीय "नृत्य" स्थापित करते हैं जो एक साथ होता है, जो रोबोट की सेटिंग्स और आकार बदलने वाले के नियमों को एक साथ अपडेट करता है।

चरण 1: आकार बदलने वाला (नॉर्मलाइजिंग फ्लो)
सबसे पहले, पेपर एक "नॉर्मलाइजिंग फ्लो" पेश करता है। कल्पना कीजिए कि आपके पास स्पैगेटी का एक कटोरा है जो एक उलझे हुए, असंभव और समझ से बाहर के गाँठ में फँसा हुआ है। यह आपके वास्तविक डेटा और कंप्यूटर के सिमुलेशन के बीच के बिखरे हुए अंतरों का प्रतिनिधित्व करता है। नॉर्मलाइजिंग फ्लो एक जादुई हाथों की तरह है जो उस स्पैगेटी को पकड़ता है और उसे सुलझाता है, उसे तब तक खींचता और मोड़ता है जब तक कि वह ऊन की एक एकदम साफ और सुंदर गेंद न बन जाए। गणितीय शब्दों में, यह त्रुटियों के जटिल, अज्ञात संभाव्यता वितरण (probability distribution) को एक सरल, ज्ञात वितरण में बदल देता है। यह बिखरे हुए डेटा को संभालना बहुत आसान बना देता है।

चरण 2: सख्त न्यायाधीश (एम्पेरिकल लाइकलीहुड)
एक बार जब डेटा उस साफ ऊन की गेंद में सुलझ जाता है, तो दूसरा चरण शुरू होता है। यहीं पर "मोमेंट रिस्ट्रिक्शंस (moment restrictions) के तहत एम्पेरिकल लाइकलीहुड एस्टिमेटर" आता है। इसे एक सख्त न्यायाधीश के रूप में सोचें जो केवल डेटा को देखता ही नहीं; बल्कि वे डेटा से विशिष्ट नियमों (जिन्हें "मोमेंट रिस्ट्रिक्शंस" कहा जाता है) का पालन करने की मांग करते हैं। न्यायाधीश कहते हैं, "मुझे परवाह नहीं कि डेटा कैसा दिखता है, लेकिन इसे इन समीकरणों को संतुष्ट करना ही होगा।" बिखरे हुए डेटा को इन नियमों का पालन करने के लिए मजबूर करके, यह विधि परोक्ष रूप से चरण 1 के आकार बदलने वाले पर लगाम लगाती है। यह सुनिश्चित करती है कि परिवर्तन ने केवल डेटा को सुंदर नहीं बनाया, बल्कि वह वास्तव में सत्य का प्रतिनिधित्व करता है।

वे इस पहेली को कैसे सुलझाते हैं

पेपर केवल इस विचार का वर्णन नहीं करता है; यह इसे काम करने के लिए एक पूर्ण ढांचा तैयार करता है। लेखक फर्स्ट-ऑर्डर ग्रेडिएंट मेथड्स (first-order gradient methods) का उपयोग करते हैं, जो एक हाइकर (पगडंडी पर चलने वाले) की तरह हैं जो घाटी के निचले हिस्से को खोजने की कोशिश कर रहा है। हाइकर अपने पैरों के नीचे ढलान को महसूस करता है और उस दिशा में कदम बढ़ाता है जहाँ ढलान नीचे की ओर जाती है। यहाँ, "हाइकर" एक एल्गोरिदम है जो रोबलेट की सेटिंग्स (पैरामीटर्स) और आकार बदलने वाले के नियमों (फ्लो पैरामीटर्स) को समायोजित करता है ताकि त्रुटि को कम किया जा सके।

इसे करने के लिए, पेपर इम्प्लिसिट डिफरेंशिएशन (implicit differentiation) नामक एक चतुर ट्रिक पर निर्भर करता है। आमतौर पर, यदि आप एक सेटिंग बदलते हैं, तो आपको सब कुछ फिर से शुरू से कैलकुलेट करना पड़ता है। लेकिन यह विधि कंप्यूटर को यह समझने की अनुमति देती है कि सेटिंग्स में एक सूक्ष्म बदलाव अंतिम उत्तर को कैसे प्रभावित करता है, बिना पूरी प्रक्रिया को दोबारा शुरू किए। यह बिल्कुल वैसा ही है जैसे यह जानना कि यदि आप जमीन को एक मिलीमीटर खिसका दें, तो घाटी का निचला हिस्सा कितना हिलेगा, बिना वहां तक दोबारा पैदल चले।

लेखक इस प्रक्रिया को एक मिनिमैक्स ऑप्टिमाइज़ेशन प्रॉब्लम (minimax optimization problem) के रूप में देख सकते हैं। एक रस्साकशी (tug-of-war) के खेल की कल्पना करें। एक पक्ष (मिनिमाइज़र) त्रुटि को यथासंभव छोटा करना चाहता है, जबकि दूसरा पक्ष (मैक्सिमाइज़र) नियमों के लिए सबसे खराब स्थिति खोजने की कोशिश करता है। समाधान "सैडल पॉइंट" (saddle point) है, वह मधुर बिंदु जहाँ न तो कोई पक्ष बढ़त बना सकता है। पेपर साबित करता है कि इस बिंदु को खोजना गणितीय रूप से सिमुलेशन के लिए सर्वोत्तम पैरामीटर्स खोजने के समान है।

यह वास्तव में हमें क्या देता है

पेपर सुझाव देता है कि यह ढांचा पैरामीटर एस्टिमेशन के लिए एक शक्तिशाली, एंड-टू-एंड सिस्टम है। यह आपको केवल एक संख्या नहीं देता; यह आपको एक पूरा नक्शा देता है कि डेटा कैसे व्यवहार करता है।

सबसे शानदार साइड-इफेक्ट्स (या "बाय-प्रोडक्ट्स", जैसा कि लेखक कहते हैं) में से एक यह है कि आकार बदलने वाले का इन्वर्स (inverse) एक सरोगेट मॉडल (surrogate model) बन जाता है। एक बार जब सिस्टम प्रशिक्षित हो जाता है, तो आप धीमे और भारी कंप्यूटर सिमुलेशन को दोबारा चलाए बिना, यह अनुमान लगाने के लिए इसके इन्वर्स का उपयोग तेजी से कर सकते हैं कि सिमुलेशन ने क्या उत्पादन किया होगा। यह जटिल भौतिकी के लिए एक 'फास्ट-फॉरवर्ड' बटन होने जैसा है।

इसके अलावा, यह विधि सेंसिटिविटी एनालिसिस (sensitivity analysis) की अनुमति देती है। क्योंकि सिस्टम जानता है कि डेटा को ठीक कैसे बदला गया था और इसने किन नियमों का पालन किया, आप पूछ सकते हैं, "यदि मैं इस एक सेटिंग को बदल दूँ, तो परिणाम कितना बदलेगा?" यह वैज्ञानिकों को यह समझने में मदद करता है कि उनके मॉडल के कौन से हिस्से नाजुक हैं और कौन से ठोस हैं।

निष्कर्ष

यह पेपर दावा नहीं करता है कि इसने भौतिकी या इंजीनियरिंग की हर पहेली को सुलझा लिया है। इसके बजाय, यह एक बहुत ही विशिष्ट समस्या के लिए एक मजबूत, गणितीय रूप से सुदृढ़ ढांचा प्रदान करता है: जब त्रुटियां जटिल हों और नियम सख्त हों, तो कंप्यूटर सिमुलेशन को कैसे ट्यून किया जाए। एक आकार बदलने वाले उपकरण (नॉर्मलाइजिंग फ्लो) को एक नियम लागू करने वाले न्यायाधीश (एम्पेरिकल लाइकलीहुड) के साथ जोड़कर, लेखक एक ऐसा तरीका प्रदान करते हैं जिससे मॉडल के लिए सर्वोत्तम सेटिंग्स खोजी जा सकें और यह भी मापा जा सके कि मॉडल वास्तविकता से कितना असहमत है।

लेखक इस बात पर जोर देते हैं कि इस दृष्टिकोण का एक इंफॉर्मेशन-थ्योरेटिक इंटरप्रिटेशन (information-theoretic interpretation) है, जिसका अर्थ है कि इसे इस रूप में समझा जा सकता है कि हम जो उम्मीद करते हैं और जो डेटा वास्तव में है, उनके बीच की "दूरी" को कम करना। वे दिखाते हैं कि नेगेटिव लॉग-लाइक्लीहुड (गणितीय शब्द जिसका अर्थ है "फिट कितना बुरा है") को कम करना, डेटा और नियमों के बीच के कुल अंतर को कम करने के समान है।

संक्षेप में, यह कार्य सुझाव देता है कि कंप्यूटर को बेहतर जासूस बनाने के लिए एक नया, कुशल तरीका है, जिसमें जादुई आकार बदलने और सख्त नियम पालन के संयोजन का उपयोग करके सच्चाई के करीब पहुँचा जा सकता है। यह एक कम्प्यूटेशनल फ्रेमवर्क है जिसे एल्गोरिदम में लागू करने के लिए डिज़ाइन किया गया है, जो मॉडल विसंगतियों (discrepancies) को मापने और जटिल प्रणालियों की संवेदनशीलता को समझने का एक मार्ग प्रदान करता है।