Prediction Uncertainty Controlled Computer Model Calibration

वैज्ञानिक अक्सर जटिल प्रणालियों को समझने के लिए कंप्यूटर मॉडल पर निर्भर करते हैं, जैसे कि बीमारियों का प्रसार या जलवायु पैटर्न का व्यवहार। ये मॉडल अनिवार्य रूप से विस्तृत सिमुलेशन हैं जो इनपुट का एक सेट लेते हैं और क्या होने वाला है, इसका पूर्वानुमान लगाते हैं। हालाँकि, एक मॉडल केवल तभी उपयोगी होता है जब उसमें वास्तविकता से मेल खाने की क्षमता हो। एक मॉडल को काम करने योग्य बनाने के लिए, शोधकर्ताओं को इसे "कैलिब्रेट" (अंशांकन) करना होता है, जिसका अर्थ है कि वे इसके छिपे हुए सेटिंग्स को तब तक समायोजित करते हैं जब तक कि इसका आउटपुट वास्तविक दुनिया के अवलोकनों के साथ संरेखित न हो जाए। चुनौती यह है कि ये सेटिंग्स शायद ही कभी पूर्ण सटीकता के साथ ज्ञात होती हैं। जब शोधकर्ता इनका अनुमान लगाने की कोशिश करते हैं, तो उन्हें इस तथ्य को भी ध्यान में रखना पड़ता है कि कोई भी मॉडल पूर्ण नहीं है; सिमुलेशन और वास्तविक दुनिया की जटिल सच्चाई के बीच हमेशा एक अंतर होता है। यदि इस अंतर को अनदेखा किया जाता है या ठीक से नहीं संभाला जाता है, तो मॉडल ऐसे पूर्वानुमान दे सकता है जो आत्मविश्वास से भरे दिखते हैं लेकिन वास्तव में भ्रामक होते हैं, जो संभावनाओं की एक ऐसी सीमा प्रदान करते हैं जो या तो सुरक्षित होने के लिए बहुत संकीर्ण है या इतनी विस्तृत कि वह बेकार है।

सियोल नेशनल यूनिवर्सिटी के सांख्यिकीविदों की एक टीम ने इस समस्या को हल करने के लिए एक नई विधि विकसित की है। उनका दृष्टिकोण यह सुनिश्चित करने पर केंद्रित है कि मॉडल द्वारा किए गए भविष्यवाणियों की सीमा न तो बहुत तंग हो और न ही बहुत ढीली, बल्कि जो वास्तव में होता है उसे पकड़ने के लिए बिल्कुल सही हो। उन्होंने पहले अपने तरीके का परीक्षण एक सिंथेटिक कंप्यूटर मॉडल पर किया और फिर एक वास्तविक दुनिया के परिदृश्य पर: 2010 में मलावी में खसरे (measles) के प्रकोप को ट्रैक करना। डेटा से सीखने के एक तेज़, आधुनिक तरीके को एक कठोर सांख्यिकीय जांच के साथ जोड़कर, उन्होंने एक ऐसी प्रणाली बनाई है जो पारंपरिक तरीकों की तुलना में अधिक स्पष्ट और सटीक भविष्यवाणियां करती है, और साथ ही यह भी बताती है कि मूल मॉडल कहाँ वास्तविकता को समझाने में विफल रहता है।

समस्या का मुख्य केंद्र यह है कि वैज्ञानिक वर्तमान में अनिश्चितता को कैसे संभालते हैं। पारंपरिक तरीके अक्सर 'बेयसियन कैलिब्रेशन' नामक प्रक्रिया पर भरोसा करते हैं, जो मॉडल के संभावित सेटिंग्स को खोजने के लिए 'मार्कोव चेन मोंटे कार्लो' नामक तकनीक का उपयोग करता है। हालांकि यह एक शक्तिशाली उपकरण है, लेकिन यह गणनात्मक रूप से महंगा और धीमा है। अधिक महत्वपूर्ण बात यह है कि यह अक्सर अत्यधिक सतर्क भविष्यवाणियां (prediction bands) उत्पन्न करता है। ये बैंड, जो संभावित परिणामों की सीमा का प्रतिनिधित्व करते हैं, इतने चौड़े हो सकते हैं कि वे अपना व्यावहारिक मूल्य खो देते हैं, विशेष रूप से तब जब मॉडल की सेटिंग्स को निर्धारित करना कठिन हो या जब मॉडल में स्वयं संरचनात्मक खामियां हों। शोधकर्ताओं ने पाया कि इन पारंपरिक तरीकों के गणितीय आउटपुट पर भरोसा करना अक्सर ऐसी भविष्यवाणियों की ओर ले जाता है जो निर्णय लेने के लिए बहुत अधिक विस्तृत होती हैं।

इसे संबोधित करने के लिए, शोधकर्ताओं ने एक दो-स्तरीय ढांचा बनाया। पहला स्तर 'फ्लो मैचिंग' नामक एक तकनीक का उपयोग करता है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे मॉडल के आउटपुट और इसकी छिपी हुई सेटिंग्स के बीच संबंध को सीखने के लिए डिज़ाइन किया गया है। प्रत्येक नए डेटा के लिए धीमी, दोहराव वाली गणना चलाने के बजाय, यह विधि एक बार पैटर्न सीख लेती है और फिर किसी भी नए अवलोकन के लिए संभावित सेटिंग्स तुरंत उत्पन्न कर सकती है। यह गति महत्वपूर्ण है क्योंकि यह शोधकर्ताओं को एक पारंपरिक विधि द्वारा केवल एक बार चलने वाले समय में हजारों सिमुलेशन चलाने की अनुमति देती है। हालाँकि, केवल गति सटीकता की गारंटी नहीं देती है। शोधकर्ता जानते थे कि भले ही एक तेज़ विधि एक सेटिंग्स उत्पन्न करे, लेकिन जब उन सेटिंग्स को सिम्युलेटर के माध्यम से चलाया जाता है, तो परिणामी भविष्यवाणी सीमा अभी भी बहुत चौड़ी या बहुत संकीर्ण हो सकती है।

यहीं दूसरा स्तर आता है: 'कॉन्फ़ॉर्मल रिस्क कंट्रोल' नामक एक सांख्यिकीय सुरक्षा जाल। इसे एक गुणवत्ता जांच के रूप में सोचें जो एआई (AI) के काम करने के बाद होती है। शोधकर्ता इन तेज़, एआई-जनित सेटिंग्स को लेते हैं और उन्हें सिम्युलेटर के माध्यम से चलाते हैं ताकि वे देख सकें कि वे किस तरह की भविष्यवाणियां करते हैं। फिर वे इन भविष्यवाणियों की तुलना सिंथेटिक डेटा के एक अलग सेट से करते है जो वास्तविक दुनिया की नकल करता है। प्रणाली स्वचालित रूप से भविष्यवाणी की सीमा के आकार को तब तक समायोजित करती है जब तक कि वह एक विशिष्ट लक्ष्य तक नहीं पहुँच जाती: त्रुटि की एक ऐसी दर जो न तो बहुत अधिक हो और न ही बहुत कम। यदि सीमा बहुत चौड़ी है, तो सिस्टम इसे सिकोड़ देता है; यदि यह बहुत संकीर्ण है, तो यह इसे विस्तारित करता है। यह प्रक्रिया सुनिश्चित करती है कि अंतिम भविष्यवाणी बैंड गणित की सैद्धांतिक धारणाओं के बजाय मॉडल के वास्तविक प्रदर्शन के अनुसार कैलिब्रेटेड हों।

शोधकर्ताओं ने इस प्रणाली का परीक्षण एक सिंथेटिक मॉडल पर किया जहाँ सही उत्तर ज्ञात था। इन सिमुलेशन में, नए तरीके ने पारंपरिक, धीमी विधि की तुलना में लगभग 20 प्रतिशत चौड़े भविष्यवाणी बैंड बनाए, जबकि यह लगभग 90 प्रतिशत बार सही परिणाम को पकड़ने में सफल रहा। इसके विपरीत, पारंपरिक विधि ने ऐसे बैंड बनाए जो इतने चौड़े थे कि वे हर बार परिणाम को कवर कर लेते थे, जिससे अत्यधिक सावधानी के पीछे अनिश्चितता छिप गई। नया तरीका बहुत अधिक स्पष्ट (sharper) रहा, जो विश्वसनीयता से समझौता किए बिना संभावित परिणामों की एक तंग सीमा प्रदान करता है।

टीम ने इस पद्धति को एक वास्तविक दुनिया की चुनौती पर लागू किया: 2010 में मलावी में खसरे के प्रकोप का मॉडलिंग करना। उन्होंने एक आयु-संरचित मॉडल का उपयोग किया जो ट्रैक करता है कि बीमारी विभिन्न आयु समूहों के माध्यम से कैसे चलती है। जब उन्होंने अपने नए तरीके की पारंपरिक दृष्टिकोण के साथ तुलना की, तो परिणाम चौंकाने वाले थे। पारंपरिक तरीके ने एक बहुत ही विस्तृत भविष्यवाणी बैंड बनाया जिसने वास्तविक डेटा को बहुत कम बार मिस किया, और लगभग 96 प्रतिशत समय देखे गए मामलों को कवर किया। यह अति-कवरेज (over-coverage) दर्शाता था कि मॉडल अत्यधिक रूढ़िवादी था। हालाँकि, नए तरीके ने बहुत अधिक सटीक बैंड बनाया जो डेटा को 10 प्रतिशत के लक्ष्य के बहुत करीब की दर से मिस करता था। इसका अर्थ था कि भविष्यवाणियां प्रकोप के विशिष्ट प्रक्षेपवध (trajectory) को समझने के लिए कहीं अधिक सटीक और उपयोगी थीं।

शायद नए तरीके का सबसे प्रकट पहलू केवल इसकी सटीकता नहीं थी, बल्कि वह था जो इसने मॉडल की सीमाओं के बारे में दिखाया। मलावी के डेटा में, नए तरीके के भविष्यवाणी बैंड विशिष्ट हफ्तों के दौरान वास्तविक मामलों को कवर करने में विफल रहे: प्रकोप का शिखर और बाद की गिरावट। ये वे सटीक क्षण थे जब वास्तविक दुनिया का डेटा एक असममित (asymmetric) तरीके से व्यवहार कर रहा था जिसे गणितीय मॉडल, जो एक अधिक सममित आकार मानता था, पुनरुत्पादित नहीं कर सका। क्योंकि नया तरीका अपनी अनिश्चितता के बारे में ईमानदार रहने के लिए कैलिब्रेटेड था, इसने भविष्यवाणी बैंड को उसके सबसे कुशल आकार तक सिकोड़ दिया, और ऐसा करके, इसने ठीक वही उजागर किया जहाँ मॉडल विफल हुआ। पारंपरिक तरीका, अपने अत्यधिक चौड़े बैंड के साथ, सब कुछ कवर करके इन विफलताओं को छिपा देता था, जिससे यह देखना असंभव हो जाता था कि मॉडल महामारी की गिरावट के विशिष्ट आकार के साथ संघर्ष कर रहा है।

यह अध्ययन प्रदर्शित करता है कि कंप्यूटर मॉडलिंग में गति और सांख्यिकीय कठोरता दोनों होना संभव है। एक तेज़ लर्निंग एल्गोरिदम का उपयोग संभावनाओं को उत्पन्न करने के लिए और अंतिम परिणाम को ट्यून करने के लिए एक सख्त सांख्यिकीय जांच का उपयोग करके, शोधकर्ता ऐसी भविष्यवाणियां कर सकते हैं जो स्पष्ट और विश्वसनीय दोनों हैं। यह दृष्टिकोण केवल एक बेहतर संख्या नहीं देता है; यह एक नैदानिक उपकरण (diagnostic tool) प्रदान करता है जो वैज्ञानिकों को बताता है कि उनके मॉडल कहाँ काम कर रहे हैं और कहाँ विफल हो रहे हैं। एक ऐसी दुनिया में जहाँ कंप्यूटर मॉडल का उपयोग सार्वजनिक स्वास्थ्य और पर्यावरणीय नीति को निर्देशित करने के लिए तेजी से किया जा रहा है, एक ऐसा तरीका होना जो मॉडल के ज्ञान की सीमाओं को स्पष्ट रूप से पहचान सके, उतना ही महत्वपूर्ण है जितना कि स्वयं भविष्यवाणी। शोधकर्ताओं ने दिखाया कि केवल इनपुट की अनिश्चितता पर ध्यान केंद्रित करने के बजाय, अंतिम भविष्यवाणी की त्रुटि दर पर सीधे ध्यान केंद्रित करके, वे एक ऐसी प्रणाली बना सकते हैं जो कुशल भी है और सिमुलेशन तथा वास्तविकता के बीच के अंतराल के बारे में ईमानदार भी है।