कल्पना कीजिए कि आप किसी जटिल मशीन, जैसे कि एक सेल्फ-ड्राइविंग कार या फल चुनने वाले रोबोट के भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। इसे करने के लिए, इंजीनियर एक "संभाव्यता का मानचित्र" (map of probabilities) उपयोग करते हैं जिसे मार्कोव मॉडल (Markov model) कहा जाता है। इस मानचित्र को एक विशाल बोर्ड गेम की तरह समझें जहाँ हर वर्ग (square) वह अवस्था (state) है जिसमें मशीन हो सकती है, और पासे (dice) के रोल यह निर्धारित करते हैं कि वह एक वर्ग से दूसरे वर्ग पर कैसे आगे बढ़ेगी। समस्या यह है कि खेल को सही ढंग से खेलने के लिए, आपको यह जानना होगा कि पासे के प्रत्येक नंबर पर आने की संभावना कितनी है। वास्तविक दुनिया में, ये "पासे" ट्रांजिशन प्रोबेबिलिटी (transition probabilities) हैं—जैसे कि किसी रोबमा के हाथ के फिसलने या सर्वर के क्रैश होने की संभावना।

पारंपरिक रूप से, इन नंबरों को भरने के लिए, विशेषज्ञों को मशीन के हर एक सूक्ष्म कदम की सटीक संभावना का अनुमान लगाना पड़ता है। यह एक शेफ से यह पूछने जैसा है कि रात का खाना तैयार होने का पता लगाने के लिए चावल के हर एक दाने के तापमान का सटीक अनुमान लगाएं। यह अविश्वसनीय रूप से कठिन है, और यदि अनुमान थोड़ा भी गलत हुआ, तो मशीन की विश्वसनीयता या गति के बारे में आपकी पूरी भविष्यवाणी गलत हो सकती है। यहीं पर बायेसियन लर्निंग (Bayesian learning) काम आता है। यह नई जानकारी मिलने पर अपने अनुमानों को अपडेट करने का एक गणितीय तरीका है, लेकिन इसे काम करने के लिए एक शुरुआती बिंदु, या एक "प्रायर" (prior) की आवश्यकता होती है। यदि वह शुरुआती अनुमान खराब है, तो अंतिम उत्तर भी खराब होगा।

यहाँ EPIK आता है, जो सिमोस गेरासिमो (Simos Gerasimou) और ज़िंगयू झाओ (Xingyu Zhao) द्वारा पेश किया गया एक नया दृष्टिकोण है। विशेषज्ञों को मशीन के भीतर के सूक्ष्म, अदृश्य पासे के रोल का अनुमान लगाने के लिए मजबूर करने के बजाय, EPIK उन्हें उन बड़े, अवलोकन योग्य परिणामों (observable results) का वर्णन करने के लिए कहता है जिन्हें वे वास्तव में देख सकते हैं। यह शेफ से यह पूछने जैसा है, "चावल पकने में आमतौर पर कितना समय लगता है?" या "बर्तन से उबलकर बाहर निकलने की आवृत्ति क्या है?" बजाय इसके कि उनसे चावल के हर दाने का तापमान पूछा जाए। शोधकर्ताओं ने पाया कि इन उच्च-स्तरीय, वास्तविक दुनिया के अवलोकनों का उपयोग करके, वे छिपे हुए पासे के रोल को बहुत अधिक सटीकता के साथ पीछे की ओर (backward) काम करके पता लगा सकते हैं। उन्होंने इसका परीक्षण एक फल तोड़ने वाले रोबोट और एक विदेशी मुद्रा व्यापार प्रणाली (foreign exchange trading system) पर किया, जिससे यह सिद्ध हुआ कि यह विधि न केवल काम करती है, बल्कि ऊर्जा खपत या दुर्लभ विफलताओं जैसी कठिन, मापने में मुश्किल चीजों की भविष्यवाणी करने में भी मदद करती है जिनके बारे में अभी तक कोई डेटा उपलब्ध नहीं है।

मुख्य विचार: खेल को देखकर पासे का अनुमान लगाना

यह शोध पत्र सॉफ्टवेयर इंजीनियरिंग की एक पेचीदा समस्या को संबोधित करता है: हम यह कैसे सुनिश्चित करें कि हमारे जटिल सिस्टम के कंप्यूटर मॉडल सटीक हैं? जब हम किसी रोबोट या क्लाउड सेवा का मॉडल बनाते हैं, तो हम "क्या यह क्रैश हो जाएगा?" या "यह कितनी जल्दी समाप्त होगा?" जैसी चीजों की भविष्यवाणी करने के लिए गणित का उपयोग करते हैं। लेकिन ये भविष्यवाणियां केवल उतनी ही अच्छी होती हैं जितनी कि वे संख्याएं जो हम उनमें डालते हैं। आमतौर पर, वे संख्याएं एक सिस्टम के एक अवस्था से दूसरी अवस्था में जाने की संभावनाओं को दर्शाती हैं।

लेखकों का तर्क है कि विशेषज्ञों से इन विशिष्ट, निम्न-स्तरीय संभावनाओं का अनुमान लगाने के लिए कहना ऐसा ही है जैसे किसी व्यक्ति से यह अनुमान लगाने के लिए कहना कि पतंग उड़ाने के लिए पेड़ के हर पत्ते पर हवा की गति क्या होगी। यह बहुत अधिक विवरण है, और विशेषज्ञ अक्सर इसमें गलत होते हैं या उनके पास डेटा नहीं होता। यदि शुरुआती संख्याएं गलत हैं, तो पूरी सत्यापन प्रक्रिया विफल हो जाती है, जिससे गलत इंजीनियरिंग निर्णय लिए जाते हैं।

EPIK: "पीछे की ओर काम करने वाला जासूस" (The "Backwards Detective")

यह शोध पत्र EPIK (Eliciting Prior Knowledge) को पेश करता है, जो एक चतुर उपकरण है जो खेल को उलट देता है। विशेषज्ञों से यह पूछने के बजाय कि "रोबोट के फल तोड़ने में विफल होने की संभावना क्या है?", EPIK पूछता है, "आपके अनुभव के आधार पर, रोबोट कितनी बार मिशन सफलतापूर्वक पूरा करता है, और इसमें आमतौर पर कितना समय लगता है?"

ये सिस्टम-लेवल प्रॉपर्टीज (system-level properties) हैं। ये वे बड़े-स्तर के परिणाम हैं जिन्हें विशेषज्ञ वास्तव में समझते हैं और जिनके पास डेटा होता है। EPIK इन ज्ञात परिणामों को सुराग (clues) के रूप में मानता है। यह इन बड़े सुरागों से पीछे की ओर काम करके उन छिपे हुए, सूक्ष्म संभावनाओं का पता लगाने के लिए बायेसियन लर्निंग नामक एक गणितीय प्रक्रिया का उपयोग करता है जो उन्हें उत्पन्न करती हैं।

यह प्रक्रिया चरण-दर-चरण इस प्रकार काम करती है:

1. सेटअप: कल्पना कीजिए कि एक रोबोट फल तोड़ रहा है। उसके पास एक "अवस्था" (state) है जहाँ वह खुद को व्यवस्थित करता है, एक अवस्था जहाँ वह चुनता है, और एक अवस्था जहाँ वह फिर से प्रयास करने या हार मानने का निर्णय लेता है। फल तोड़ने में विफल होने की सटीक संभावना अज्ञात है (इसे "छिपे हुए पासे" मान लें)।
2. सुराग: विशेषज्ञ EPIK को बताते हैं: "हमें पिछले 200 मिशनों से पता है कि रोबोट 80% समय सफल होता है और औसतन लगभग 4.75 सेकंड लेता है।" ये PK-informed properties (पूर्व ज्ञान-सूचित गुण) हैं।
3. रिवर्स इंजीनियरिंग: EPIK एक जटिल खोज (इवोल्यूशनरी एल्गोरिदम का उपयोग करके, जो प्राकृतिक चयन के डिजिटल संस्करण की तरह हैं) चलाता है ताकि उन छिपे हुए पासे के रोलों का सेट खोजा जा सके जो उन 80% सफलता और 4.75 सेकंड के परिणामों को सर्वश्रेष्ठ तरीके से उत्पन्न करेंगे। यह केवल एक उत्तर नहीं ढूंढता; यह संभावित उत्तरों का एक पूरा परिवार ढूंढता जो इन सुरागों के अनुकूल हो।
4. लाभ: एक बार जब EPIK ज्ञात सुरागों के आधार पर छिपे हुए पासे के रोल का पता लगा लेता है, तो वह उन चीजों की भविष्यवाणी करने के लिए उनका उपयोग कर सकता है जिन्हें हम अभी तक नहीं जानते हैं। इन्हें एल्यूसिव प्रॉपर्टीज (elusive properties) कहा जाता है। उदाहरण के लिए, किसी ने भी इस विशिष्ट कार्य के लिए रोबोट के बैटरी उपयोग को कभी नहीं मापा है। लेकिन अब जब EPIK जानता है कि रोबोट कैसे चलता है, तो वह उन चीजों की गणना कर सकता है जो हमें अभी तक नहीं पता हैं। उदाहरण के लिए, बैटरी का संभावित उपयोग। भले ही किसी ने पहले कभी इसका रिकॉर्ड न रखा हो।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने दो वास्तविक परिदृश्यों पर EPIK का परीक्षण किया: फल तोड़ने वाला रोबोट और एक विदेशी मुद्रा व्यापार प्रणाली। उन्होंने इन प्रणालियों के विभिन्न संस्करण बनाए जिनमें अज्ञात चर (variables) और जटिलता के विभिन्न स्तर थे।

• सटीकता: जब उन्होंने EPIK की भविष्यवाणियों की तुलना "ग्राउंड ट्रुथ" (वास्तविक गणितीय रूप से सही मानों) से की, तो परिणाम अविश्वसनीय रूप से करीब थे। EPIK के अनुमान और वास्तविक उत्तर के बीच का अंतर बहुत कम था (परीक्षण मामलों में 0.00389 से कम)। यह सुझाव देता है कि EPIK केवल बड़े चित्र को देखकर सिस्टम के छिपे हुए तंत्र को विश्वसनीय रूप से रिवर्स-इंजीनियर कर सकता है।
• "संघर्ष" परीक्षण (The "Conflict" Test): टीम ने यह भी परीक्षण किया कि क्या होता है यदि विशेषज्ञ विरोधाभासी सलाह देते हैं (उदाहरण के लिए, एक विशेषज्ञ कहता है कि रोबोट बहुत विश्वसनीय है, दूसरा कहता है कि यह धीमा है)। उन्होंने पाया कि जब सुराग विरोधाभासी थे, तो EPIK को एक सटीक फिट खोजने में कठिनाई हुई, और उसके अनुमानों में "त्रुटि" बढ़ गई। यह एक अच्छी बात है, क्योंकि यह एक चेतावनी लाइट के रूप में कार्य करता है: यदि सुराग मेल नहीं खाते हैं, तो मॉडल जानता है कि इनपुट डेटा में कुछ गलत है।
• "एल्यूसिव" विजय: सबसे रोमांचक हिस्सा "एल्यूसिव" गुणों का सत्यापन करना था। फल तोड़ने वाले रोबोट के परीक्षण में, उनके पास सफलता दर और समय का डेटा था, लेकिन ऊर्जा खपत का कोई डेटा नहीं था। EPIK ने ऊर्जा उपयोग का अनुमान लगाने के लिए ज्ञात डेटा का उपयोग किया। ऊर्जा उपयोग का परिणामी वितरण एक तर्कसंगत, सुविचारित अनुमान था जिसका निर्णय लेने वाले वास्तव में उपयोग कर सकते थे, जबकि EPIK के बिना, उन्हें एक अंधा अनुमान लगाना पड़ता या समस्या को पूरी तरह से अनदेखा करना पड़ता।

यह क्यों महत्वपूर्ण है

यह शोध पत्र यह दावा नहीं करता है कि इसने सॉफ्टवेयर सत्यापन की हर समस्या को हल कर दिया है, लेकिन यह एक नई शुरुआत करने का एक शक्तिशाली तरीका प्रदान करता है। यह सुझाव देता है कि हमें एक अच्छा मॉडल बनाने के लिए सिस्टम के सूक्ष्म विवरणों का विशेषज्ञ होने की आवश्यकता नहीं है; हमें बस सिस्टम के परिणामों का विशेषज्ञ होने की आवश्यकता है।

ध्यान को "पासे का अनुमान लगाने" से हटाकर "खेल को देखने" पर केंद्रित करके, EPIK स्व-चालित कारों, चिकित्सा उपकरणों और क्लाउड सेवाओं जैसे जटिल सिस्टम के लिए भरोसेमंद मॉडल बनाना आसान बनाता है। यह हर एक संभावना को परिभाषित करने के कठिन कार्य को उस कार्य में बदल देता है जो हम पहले से जानते हैं कि सिस्टम वास्तव में कैसे व्यवहार करता है, उसे वर्णित करना अधिक प्रबंधनीय है। और उन चीजों के लिए जिन्हें हम अभी तक नहीं जानते हैं, यह हमें एक अंधे अनुमान के बजाय एक शिक्षित अनुमान लगाने का एक गणितीय रूप से ठोस तरीका देता है।