Testing Decision Makers without Counterfactuals
यह शोध पत्र इस बात की जांच करता है कि क्या एक बाहरी पर्यवेक्षक केवल देखे गए विकल्पों और सिफारिशों के आधार पर एक निर्णय लेने वाले और एक सलाहकार के बीच अधिक जानकार एजेंट की पहचान कर सकता है, यह प्रदर्शित करते हुए कि जबकि एक स्कोरिंग परीक्षण समवर्ती निर्णय सेटिंग्स में बेहतर-जानकार एजेंट को सफलतापूर्वक अलग कर सकता है, क्रमिक विकल्पों के लिए ऐसा कोई परीक्षण मौजूद नहीं है, और अधिक-जानकार एजेंट की पहचान करने के लिए डिज़ाइन किया गया कोई भी परीक्षण अनिवार्य रूप से संभावित कल्याण के एक महत्वपूर्ण हिस्से का त्याग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक हाई-स्टेक्स गेम शो चल रहा है जहाँ दो प्रतियोगी, द कैप्टन (निर्णय लेने वाला) और द एडवाइजर (सलाहकार), यह साबित करने की कोशिश कर रहे हैं कि एक रहस्यमय, धुंधले द्वीप के बारे में सबसे अधिक जानकारी किसके पास है।
हर दिन, उन्हें द्वीप पर कौन सा रास्ता चुनना है, इसका निर्णय लेना होता है।
- द कैप्टन एक रास्ता चुनता है और उस पर चलता है। दर्शक देखते हैं कि वास्तव में क्या हुआ (क्या उन्हें सोना मिला, या वे गड्ढे में गिर गए?)।
- द एडवाइजर कैप्टन को एक अलग रास्ता बताता है। यदि कैप्टन उसकी सलाह को अनदेखा करता है और दूसरा रास्ता चुनता है, तो दर्शक कभी नहीं देख पाते कि सलाहकार के बताए रास्ते पर क्या होता। वह एक "क्या होता अगर" (what-if) वाली स्थिति बनकर रह जाता है, एक अनछुए रास्ते की छाया।
दर्शक जानना चाहते हैं: वास्तव में स्मार्ट कौन है? किसके पास बेहतर नक्शा है?
यह शोध पत्र बताता है: क्या हम एक स्कोरबोर्ड (एक "टेस्ट") डिजाइन कर सकते हैं जो केवल कैप्टन के वास्तविक विकल्पों और सलाहकार के सुझावों को देखता है, और सही ढंग से विजेता का चयन करता है, भले ही हम सलाहकार के "भूतिया रास्तों" (ghost paths) को नहीं देख सकते?
यहाँ शोध पत्र के निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. "सिमल्टेनियस" (एक साथ होने वाला) गेम: जब दोनों एक साथ बोलते हैं
कल्पना कीजिए कि एक ऐसा खेल है जहाँ कैप्टन और सलाहकार, किसी भी हरकत से पहले, एक ही समय में अपने चुनाव चिल्लाकर बताते हैं।
- परिणाम: हाँ, हम समझदार व्यक्ति को ढूँढ सकते हैं।
- ट्रिक: शोध पत्र एक विशिष्ट स्कोरबोर्ड का प्रस्ताव देता है। यदि वे एक ही रास्ता चुनते हैं, तो कैप्टन को इस आधार पर अंक मिलते हैं कि परिणाम कितना अच्छा था। यदि वे अलग-अलग रास्ते चुनते हैं, तो कैप्टन को परिणाम के आधार पर नकारात्मक अंक (एक पेनल्टी) मिलते हैं।
- यह क्यों काम करता है: समझदार व्यक्ति (जो द्वीप को बेहतर जानता है) दूसरे व्यक्ति की चाल का अनुमान लगा सकता है और अंक जीतने के लिए खेल में हेरफेर कर सकता है। कम समझदार व्यक्ति भ्रमित हो जाता है और हार जाता है।
- सावधानी: इस स्कोरबोर्ड गेम को जीतने के लिए, कैप्टन द्वीप के कल्याण के लिए सबसे अच्छे निर्णय लेना बंद कर सकता है। वे केवल टेस्ट जीतने के लिए "खेल" खेलना शुरू कर सकते हैं, भले ही इसका मतलब कभी-कभी गड्ढे में गिरना हो।
2. "सीक्वेंशियल" (क्रमवार) गेम: जब एक दूसरे की प्रतिक्रिया देता है
अब, एक अलग नियम की कल्पना करें: कैप्टन पहले एक रास्ता चुनता है, फिर सलाहकार एक वैकल्पिक रास्ता देखता है और सुझाव देता है।
- परिणाम: नहीं, हम समझदार व्यक्ति को नहीं ढूँढ सकते।
- कारण: सलाहकार हमेशा "दिखावा" कर सकता है। चूंकि सलाहकार पहले कैप्टन के कार्य को देख लेता है, इसलिए वह हमेशा एक ऐसा रास्ता सुझा सकता है जो बेहतर दिखता हो, भले ही वह वास्तव में अनभिज्ञ हो। क्योंकि दर्शक सलाहकार के रास्ते को कभी नहीं देख पाते (क्योंकि कैप्टन ने उसे नहीं चुना), सलाहकार को कभी गलत साबित नहीं किया जा सकता। "भूतिया रास्ता" बहुत शक्तिशाली है; यह कम जानकार व्यक्ति को कैप्टन के निर्णयों के पीछे छिपने की अनुमति देता है।
- अपवाद: एक बहुत ही छोटा, विशिष्ट परिदृश्य (एक "सुरक्षित रास्ता" बनाम एक "जोखिम भरा रास्ता") है जहाँ, यह पहचानना संभव है, लेकिन केवल तभी जब सलाहकार पहले बोलता है। यदि कैप्टन इस विशिष्ट परिदृश्य में पहले बोलता है, तो सलाहकार अभी भी छिप सकता है।
3. बड़ा ट्रेड-ऑफ: सही होना बनाम अच्छा होना
यह शोध पत्र की सबसे महत्वपूर्ण चेतावनी है।
- दुविधा: जनता के दो लक्ष्य हैं:
- सबसे स्मार्ट नेता की पहचान करना (ताकि हम बाद में उन्हें काम पर रख सकें)।
- आज सबसे अच्छे परिणाम प्राप्त करना (ताकि द्वीप सुरक्षित और समृद्ध रहे)।
- बुरी खबर: आप दोनों को एक साथ नहीं पा सकते।
- उपमा: कल्पना कीजिए कि आप एक शेफ (रसोइए) का परीक्षण कर रहे हैं। आप जानना चाहते हैं कि कौन सा सर्वश्रेष्ठ कुक है (जो "अधिक जानकार" है)। लेकिन यदि आप ऐसे टेस्ट सेट करते हैं जहाँ शेफ को यह साबित करने के लिए मजबूर किया जाता है कि वे सर्वश्रेष्ठ हैं, तो वे स्वादिष्ट भोजन बनाना बंद कर सकते हैं और टेस्ट जीतने के लिए "अजीब" भोजन बनाना शुरू कर सकते हैं।
- गणित: शोध पत्र सिद्ध करता है कि एक साधारण दो-विकल्पों वाली दुनिया में, यदि आप एक ऐसा टेस्ट डिजाइन करते है जो सफलतापूर्वक सबसे स्मार्ट व्यक्ति की पहचान करता है, तो आप अधिकतम यह उम्मीद कर सकते हैं कि कैप्टन के निर्णय सिक्का उछालने (coin flip) से बेहतर नहीं होंगे।
- यदि आप कैप्टन को अच्छे निर्णय लेने के लिए मजबूर करते हैं, तो टेस्ट विफल हो जाता है।
- यदि आप टेस्ट को स्मार्ट व्यक्ति की पहचान करने के लिए मजबूर करते हैं, तो कैप्टन टेस्ट जीतने के लिए बुरे निर्णय लेंगे।
"क्या होता अगर" (What-if) समस्या का सारांश
यह शोध पत्र उन निर्णयों को आंकने में एक मौलिक दोष को उजागर करता है जब आप विकल्पों को नहीं देख सकते।
- जूडिया पर्ल का उद्धरण: शोध पत्र पर्ल को उद्धृत करते हुए शुरू होता है, जो कहते हैं कि "क्या होता अगर" वाला तर्क अवैज्ञानिक है क्योंकि आप विकल्प को देख नहीं सकते।
- शोध पत्र का निष्कर्ष: क्योंकि हम "क्या होता अगर" (सलाहकार के अनचुने रास्तों) को नहीं देख सकते, इसलिए रणनीतिक खिलाड़ी (कैप्टन और सलाहकार) स्कोरबोर्ड में हेरफेर कर सकते हैं।
- यदि वे एक ही समय में चलते हैं, तो हम धोखेबाज को पकड़ सकते हैं, लेकिन कैप्टन जीतने के लिए खराब प्रदर्शन करेगा।
- यदि वे एक के बाद एक चलते हैं, तो धोखेबाज इतनी अच्छी तरह छिप सकता है कि हम उसे पकड़ ही नहीं पाएंगे।
संक्षेप में: आप सबसे स्मार्ट व्यक्ति को खोजने के लिए एक टेस्ट बना सकते हैं, लेकिन ऐसा करने से संभावना है कि वह व्यक्ति वास्तविक दुनिया में मूर्खतापूर्ण व्यवहार करेगा। या, यदि वे एक विशिष्ट क्रम में चलते हैं, तो शायद आप स्मार्ट व्यक्ति को खोज ही नहीं पाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।