When a Winning Forecast Does Not Identify an Action: An Evidence-Budget Algorithm for Distributional Decisions

जासूसी की दुविधा: जब "सर्वश्रेष्ठ" पर्याप्त नहीं होता

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आपके पास केवल एक संदिग्ध नहीं, बल्कि संदिग्धों की एक पूरी लाइनअप है। कंप्यूटर विज्ञान और अर्थशास्त्र की दुनिया में, ठीक ऐसा ही होता है जब हम भविष्य की भविष्यवाणी करने की कोशिश करते हैं, जैसे कि शेयर बाजार की गिरावट या मौसम के पैटर्न। हम कई अलग-अलग कंप्यूटर मॉडल बनाते हैं, जिनमें से प्रत्येक का अपना सिद्धांत होता है कि दुनिया कैसे काम करती है। विजेता चुनने के लिए, हम आमतौर पर उन्हें एक परीक्षण देते हैं: हम उन्हें कुछ पुराना डेटा दिखाते हैं जो उन्होंने पहले नहीं देखा है और पूछते हैं, "किसने सबसे अच्छा अनुमान लगाया?" जिस मॉडल का स्कोर सबसे अधिक होता है उसे काम मिल जाता है, और हम मान लेते हैं कि उसकी भविष्यवाणी ही सत्य है।

लेकिन यहाँ एक पेंच है: क्या होगा अगर टेस्ट डेटा बहुत छोटा हो? यदि आप संदिग्धों से केवल कुछ ही सवाल पूछते हैं, तो दो बहुत अलग संदिग्ध एक ही स्कोर प्राप्त कर सकते हैं। एक सोच सकता है कि तूफान आ रहा है, जबकि दूसरा सोच सकता है कि मौसम सुहावना रहेगा, फिर भी दोनों आपके छोटे से क्विज़ में परफेक्ट स्कोर प्राप्त कर लेते हैं। यह "मॉडल अनिश्चितता" (model uncertainty) की समस्या है। हम विजेता को तो जानते हैं, लेकिन हम यह नहीं जानते कि क्या वह विजेता एकमात्र संभावित उत्तर है, या वह केवल एक छोटा सा नमूना होने के कारण भाग्यशाली रहा। यदि हम एक एकल विजेता पर बिना यह जाने कि अन्य कौन थे, निर्णय लेते हैं, तो हम अधूरी जानकारी के आधार पर एक जोखिम भरा निर्णय ले सकते हैं। यह शोध पत्र ठीक उसी अंतर की गहराई में जाता है जो "टेस्ट में किसने जीता" और "हमें वास्तव में क्या करना चाहिए" के बीच है।

---

"FEDIP" ऑडिट: पूरी लाइनअप की जाँच करना

इस शोध पत्र के लेखक, मिन हुआंग, मिंगयान लियू और जिओर ली, एक नया टूल पेश करते हैं जिसे FEDIP (फाइनाइट-एविडेंस डिसीजन आइडेंटिफिकेशन प्रोसीजर) कहा जाता है। FEDIP को एक नए जासूस के रूप में नहीं, बल्कि एक सख्त ऑडिटर के रूप में समझें जो विजेता चुने जाने के बाद पुलिस लाइनअप की जाँच करता है।

आमतौर पर, एक सिस्टम सबसे अच्छे स्कोर वाले मॉडल को चुनता है और आगे बढ़ जाता है। FEDIP कहता है, "ठहरिए! निर्णय लेने से पहले, आइए देखते हैं कि और कौन जीत सकता था।" यह एक विशिष्ट नियम (एक "स्क्रीन") का उपयोग करता है ताकि न केवल विजेता को, बल्कि किसी भी अन्य मॉडल को भी रखा जा सके जिसने लगभग उतना ही अच्छा प्रदर्शन किया हो। यदि टेस्ट डेटा छोटा है, तो यह "लगभग उतना ही अच्छा" वाला समूह बहुत बड़ा हो सकता है। यदि टेस्ट डेटा लंबा है, तो यह समूह छोटा हो जाता है।

एक बार जब FEDIP के पास इन "जीवित बचे" (survivors) मॉडलों की सूची आ जाती है, तो यह केवल उनके स्कोर को नहीं देखता है। यह एक अधिक महत्वपूर्ण प्रश्न पूछता है: "क्या ये जीवित बचे मॉडल क्या करने पर सहमत हैं?"

इसे समझाने के लिए, कल्पना कीजिए कि मॉडल वे आर्किटेक्ट हैं जो एक पुल का डिज़ाइन बना रहे हैं।

• स्कोर: आर्किटेक्ट A और आर्किटेक्ट B दोनों अपनी डिज़ाइन योजना पर 95/100 प्राप्त करते हैं।
• कार्रवाई (Action): आर्किटेक्ट A कहता है, "हमें 100 टन स्टील की आवश्यकता है।" आर्किटेक्ट B कहता है, "हमें 200 टन स्टील की आवश्यकता है।"
• समस्या: भले ही दोनों ने समान स्कोर प्राप्त किया हो, उनकी सलाह बिल्कुल अलग है। यदि आप केवल आर्किटेक्ट A की बात सुनते हैं, तो आप ऐसा पुल बना सकते हैं जो ढह जाए।

FEDIP इस असहमति को मापता है। यह एक्शन रेंज के "व्यास" (diameter) की गणना करता है—जीवित बचे मॉडलों की सिफारिशों के बीच का अंतर (सबसे छोटी और सबसे बड़ी सिफारिश के बीच का अंतर)। यदि अंतर बड़ा है, तो सिस्टम जानता है कि सबूत अभी सुरक्षित निर्णय लेने के लिए पर्याप्त मजबूत नहीं हैं।

बड़ी खोज: अधिक डेटा भ्रम को कम करता है

लेखकों ने एक विशाल सिमुलेशन चलाया, जैसे कि एक वीडियो गेम जहाँ उन्होंने अपने सिद्धांत का परीक्षण करने के लिए 48,000 अलग-अलग दुनिया बनाईं। उन्होंने दो परिदृश्यों की तुलना की:

1. छोटा मॉडल लाइब्रेरी: 5 अलग-अलग प्रकार के मॉडल।
2. बड़ी मॉडल लाइब्रेरी: 9 अलग-अलग प्रकार के मॉडल (कुछ फैंसी और लचीले मॉडलों सहित)।

उन्होंने इन लाइब्रेरीज़ का दो मात्राओं के डेटा के साथ परीक्षण किया: एक बहुत कम मात्रा (20 अवलोकन) और एक बड़ी मात्रा (500 अवलोकन)।

यहाँ उन्हें क्या मिला:
जब उनके पास बहुत कम डेटा (20 अवलोकन) था, तो अधिक मॉडल जोड़ने (5 से 9 तक जाने) से "एक्शन गैप" विस्फोट की तरह बढ़ गया। जीवित बचे लोग बुरी तरह असहमत थे। यह वैसा ही था जैसे 20 मिनट में पुल डिजाइन करने के लिए 9 आर्किटेक्ट्स होना; उन सभी को समान स्कोर मिले, लेकिन उनके स्टील के सुझाव 100 से 500 टन के बीच थे।

• सांख्यिकी: जब उनके पास केवल 20 डेटा पॉइंट्स थे, तो अधिक मॉडल जोड़ने पर सिफारिशों का अंतर (मानकीकृत शब्दों में) 0.0526 यूनिट बढ़ गया।

हालाँकि, जब उनके पास बहुत अधिक डेटा (500 अवलोकन) था, तो उन अतिरिक्त मॉडलों को जोड़ने से लगभग उतनी अराजकता नहीं हुई। अतिरिक्त डेटा ने सिस्टम को अच्छे मॉडलों और "लगभग अच्छे" मॉडलों के बीच अंतर करने में मदद की।

• अंतर्दृष्टि: अधिक मॉडल जोड़ने से होने वाला भ्रम तब सबसे अधिक होता है जब आपके पास साक्ष्य की मात्रा बहुत कम होती है। जैसे-जैसे आप अधिक साक्ष्य एकत्र करते हैं, सिस्टम उन मॉडलों को फ़िल्टर करने में बेहतर हो जाता है जो अच्छे दिखते हैं लेकिन वास्तव में खतरनाक कार्रवाई का सुझाव देते हैं।

यह प्रभाव अव्यवस्थित, अप्रत्याशित स्थितियों (जैसे "मिश्रण" या "तिरछा/skewed" डेटा, जो अचानक आने वाले तूफानों वाले मौसम के पैटर्न की तरह हैं) में सबसे मजबूत था। सरल, अनुमानित स्थितियों (जैसे एक शांत गॉसियन कर्व) में, अधिक मॉडल जोड़ने से ज्यादा फर्क नहीं पड़ा क्योंकि सभी मॉडल मूल रूप से एक ही बात कह रहे थे।

वास्तविक दुनिया का परीक्षण: क्यों "सुरक्षित खेलना" खतरनाक हो सकता है

लेखकों ने वास्तविक वित्तीय डेटा पर भी इसका परीक्षण किया, जिसमें हजारों दिनों में 11 अलग-अलग संपत्तियों (जैसे स्टॉक और बॉन्ड) को देखा गया। उन्होंने एक व्यावहारिक प्रश्न पूछा: "यदि हम सिफारिशों में एक बड़ा अंतर देखते हैं, तो क्या हमें सुनिश्चित होने के लिए केवल सबसे रूढ़िवादी (सुरक्षित) उत्तर चुन लेना चाहिए?"

उन्होंने पाया कि सिस्टम शायद ही कभी किसी मॉडल को हटाता था। औसतन, 9 मॉडलों में से 8.0 से 9.0 मॉडल स्क्रीन से जीवित बच गए। सिस्टम उनके बीच अंतर नहीं कर सका।

इसलिए, उन्होंने एक "अधिकतम थ्रेशोल्ड" नीति आजमाई: "यदि मॉडल असहमत हैं, तो चलिए सुपर सेफ होने के लिए उच्चतम जोखिम वाली संख्या चुन लेते हैं।"

• परिणाम: इससे उनकी "गलत" होने की संख्या कम हो गई (उल्लंघन 5.06% से घटकर 3.99% हो गया)।
• पेंच: लेकिन इसने सिस्टम को बहुत अधिक रूढ़िवादी बना दिया। "सुरक्षित होने की लागत" 9.47% बढ़ गई, और समग्र सटीकता (कैलिब्रेशन) खराब हो गई।

सबक: सिर्फ इसलिए कि आप संभावित उत्तरों की एक विस्तृत श्रृंखला देखते हैं, इसका मतलब यह नहीं है कि "सबसे सुरक्षित" उत्तर ही सही है। पेपर का तर्क है कि आप केवल आपदा से बचने के लिए स्वचालित रूप से "सबसे खराब स्थिति" (worst-case scenario) नहीं चुन सकते। एक वास्तविक निर्णय लेने के लिए, आपको एक विशिष्ट "लॉस फंक्शन" की आवश्यकता होती है—एक स्पष्ट नियम कि आप आपदा से बचने के लिए क्या खोने को तैयार हैं। उस नियम के बिना, FEDIP आपको यह तो बता सकता है कि आप भ्रमित हैं, लेकिन यह नहीं बता सकता कि आपको क्या करना चाहिए।

निष्कर्ष

यह शोध पत्र हमें भविष्य की भविष्यवाणी करने का कोई जादुई सूत्र नहीं देता है। इसके बजाय, यह हमें एक दर्पण देता है। यह हमें दिखाता है कि जब हम अपने टूलबॉक्स में अधिक जटिल मॉडल जोड़ते हैं, तो अक्सर हम अधिक भ्रम पैदा करते हैं यदि हमारे पास उन्हें छाँटने के लिए पर्याप्त डेटा नहीं है।

• यह क्या सिद्ध करता है: सिमुलेशन में, अधिक मॉडल जोड़ने से संभावित निर्णयों की सीमा बढ़ जाती है, लेकिन यह प्रभाव डेटा एकत्र करने के साथ कम हो जाता है।
• यह क्या खारिज करता है: यह सिद्ध करता है कि भ्रमित मॉडलों के समूह में से केवल "सबसे सुरक्षित" विकल्प चुनना एक खराब रणनीति है; यह त्रुटियों को कम करता है लेकिन सिस्टम को अक्षम और खराब कैलिब्रेटेड बनाता है।
• मुख्य बात: किसी कंप्यूटर की भविष्यवाणी पर भरोसा करने से पहले पूछें: "इस टेस्ट में और कितने मॉडल जीत सकते थे, और क्या वे सभी कार्रवाई पर सहमत हैं?" यदि उत्तर "कई" और "नहीं" है, तो आपको अधिक डेटा की आवश्यकता है, न कि केवल एक सुरक्षित अनुमान की।