The Galileo problem in expert panels: screening calibration under decision loss and blame avoidance
यह शोध पत्र विशेषज्ञ पैनलों में मूल्यांकनकर्ता-स्तर की स्क्रीनिंग की इष्टतम गंभीरता निर्धारित करने के लिए एक अपेक्षित-हानि (expected-loss) ढांचे का प्रस्ताव करता है, जिसमें यह तर्क दिया गया है कि आयोजक दोष और विवाद से संस्थागत जोखिम को कम करने के लिए निर्णय-गुणवत्ता की कुछ हानि को तर्कसंगत रूप से स्वीकार कर सकते हैं, जबकि इन समझौतों को संचालित करने के लिए एक बहिष्करण-की-प्रायिकता (probability-of-exclusion) ह्यूरिस्टिक प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब विशेषज्ञों के एक समूह को किसी विजेता का चयन करना होता है, किसी अनुदान प्राप्तकर्ता को चुनना होता है, या किसी नए नेता को नियुक्त करना होता है, तो वे शायद ही कभी किसी एक आवाज पर भरोसा करते हैं। इसके बजाय, वे एक पैनल (समिति) बनाते हैं, प्रत्येक सदस्य से विकल्पों को स्कोर करने के लिए कहते हैं, और उन नंबरों को एक अंतिम निर्णय में संयोजित करते हैं। यह प्रणाली निष्पक्ष होने के लिए डिज़ाइन की गई है, जो विविध ज्ञान को एक साथ लाती है ताकि यह संभावना कम हो सके कि किसी एक व्यक्ति की गलती या पूर्वाग्रह परिणाम को खराब कर दे। हालाँकि, यही ताकत एक कमजोरी भी पैदा करती है: क्या होता है जब पैनल का एक सदस्य बाकी लोगों से बिल्कुल अलग होता है? वह व्यक्ति एक तोड़फोड़ करने वाला (saboteur) हो सकता है जो परिणाम को प्रभावित करने की कोशिश कर रहा है, एक भ्रमित प्रतिभागी हो सकता है जिसने नियमों को गलत समझा हो, या एक प्रतिभाशाली विद्रोही (maverick) हो सकता है जिसने वह सत्य देख लिया हो जिसे अन्य लोग भूल गए हैं। इस दुविधा को "गैलीलियो समस्या" के रूप में जाना जाता है, जिसका नाम उस खगोलशास्त्री के नाम पर रखा गया है जो सही थे जबकि उनके अधिकांश साथी गलत थे। यदि समूह उस बाहरी व्यक्ति (outlier) को अनदेखा करता है, तो वे एक प्रतिभाशाली व्यक्ति को चुप करा सकते हैं; यदि वे उस बाहरी व्यक्ति की बात सुनते हैं, तो वे एक धोखेबाज या एक गलती को परिणाम तय करने दे सकते हैं।
द दशकों से, संस्थानों ने व्यक्तिगत स्कोर में बदलाव करके इसे हल करने की कोशिश की है। यदि कोई जज किसी विशिष्ट उम्मीदवार के लिए बहुत अधिक या बहुत कम नंबर देता है, तो प्रणाली बस उस नंबर को काट देती है या उसे औसत के करीब ले आती है। यह दृष्टिकोण प्रत्येक उम्मीदवार को अलग से देखता है, इस तथ्य को नजरअंदाज करते हुए कि एक जज सभी मूल्यांकनों में लगातार अजीब हो सकता है। एक नया विचार, जिसे हालिया शोध में खोजा गया है, यह सुझाव देता है कि जज के पूरे रिकॉर्ड को एक साथ देखा जाए। व्यक्तिगत नंबरों को ठीक करने के बजाय, प्रणाली जज की पूरी प्रोफाइल की जांच करती है। यदि किसी जज के स्कोर करने का पैटर्न समूह के सामान्य मानक से बहुत दूर है, तो उस जज को पूरी प्रक्रिया से हटा दिया जाता है, और उनका प्रभाव हर उम्मीदवार के लिए समाप्त कर दिया जाता है। यह तरीका अधिक स्पष्ट और पारदर्शी है, लेकिन यह उसी पुरानी दुविधा को और भी तीव्रता के साथ वापस लाता है: नियम कितना सख्त होना चाहिए?
क्रिस्टोफ़ कोंटेक (Krzysztof Kontek) का एक नया अध्ययन ठीक इसी बात की जांच करता है कि उस रेखा को कहाँ खींचा जाए। यह शोध यह दावा नहीं करता है कि उसने हर स्थिति में काम करने वाला कोई आदर्श, सार्वभौमिक सूत्र खोज लिया है। इसके बजाय, यह व्यापार-बंद (trade-offs) को समझने के लिए एक विस्तृत सिमुलेशन बनाता है। लेखक एक विशिष्ट विशेषज्ञ पैनल का मॉडल तैयार करता है और पूछता है कि क्या होता है जब हटाने के लिए जज की सीमा को सख्ती के विभिन्न स्तरों पर सेट किया जाता है। अध्ययन से पता चलता है कि कोई एक "जादुई नंबर" नहीं है जो हमेशा सबसे अच्छा परिणाम सुनिश्चित करे। बल्कि, एक विस्तृत, सुरक्षित क्षेत्र है जहाँ नियम अच्छी तरह से काम करते हैं। यदि नियम बहुत ढीला है, तो पैनल उन जजों को रखता है जो भ्रमित हैं या परिणाम में हेरफेर करने की कोशिश कर रहे हैं, जो अंतिम निर्णय की गुणवत्ता को नुकसान पहुँचाता है। यदि नियम बहुत सख्त है, तो पैनल उन जजों को बाहर करने लगता है जो वास्तव में सही हैं लेकिन बस अलग सोचते हैं, जो निर्णय को भी नुकसान पहुँचाता है। इसका 'स्वीट स्पॉट' (सही संतुलन) बीच में है, जहाँ प्रणाली इतनी सख्त है कि स्पष्ट रूप से गड़बड़ी करने वालों को पकड़ सके और इतनी उदार भी है कि विचारशील असहमति रखने वालों को बनाए रख सके।
यह शोध एक आश्चर्यजनक मोड़ भी प्रकट करता जिसका गणित से कोई लेना-देना नहीं है और मानवीय स्वभाव से सब कुछ है। पैनल के लिए नियम निर्धारित करने वाला व्यक्ति—आयोजक (organizer)—हमेशा वही नहीं चाहता जो पैनल स्वयं चाहता है। पैनल का लक्ष्य केवल सर्वोत्तम संभव निर्णय लेना है। हालाँकि, आयोजक को उस परिणाम के साथ जीना पड़ता है यदि चीजें गलत हो जाती हैं। यदि पैनल एक ऐसे जज को रखता है जो परिणाम को नियंत्रित करने का प्रयास कर रहा है और परिणाम पक्षपाती दिखता है, तो आयोजक को दोषी ठहराया जाता है। यदि पैनल एक प्रतिभाशाली जज को बाहर कर देता है जो सही था, और जनता को बाद में पता चलता है, तो आयोजक को उसके लिए भी दोषी ठहराया जाता है। अध्ययन दिखाता है कि इन विभिन्न प्रकार के दोषारोपणों से डरने के कारण, आयोजक एक ऐसा नियम चुन सकते हैं जो गणितीय रूप से पूर्ण निर्णय देने वाले नियम से थोड़ा अलग हो। वे एक स्कैंडल से बचने के लिए नियमों को थोड़ा सख्त बना सकते हैं यदि परिणाम पक्षपाती दिखता है, भले ही इसका मतलब कभी-कभी एक मूल्यवान आवाज को चुप कराना हो। या वे एक प्रसिद्ध विशेषज्ञ को निकालने के स्कैंडल से बचने के लिए नियमों को थोड़ा ढीला बना सकते हैं, भले ही इसका मतलब एक खराब निर्णय के थोड़े उच्च जोखिम को स्वीकार करना हो।
इन जटिल विकल्पों को व्यावहारिक बनाने के लिए, अध्ययन नियमों के बारे में बात करने का एक सरल तरीका पेश करता है। भ्रमित करने वाले तकनीकी कटऑफ के बजाय, जो इस बात पर निर्भर करते हैं कि कमरे में कितने जज मौजूद हैं, लेखक एक "बहिष्करण की संभावना" (probability of exclusion) का सुझाव देता है। यह एक सीधा प्रतिशत है जो आयोजकों को बताता है: "सामान्य परिस्थितियों में, एक साधारण, ईमानदार जज के इस नियम द्वारा हटाए जाने की संभावना बीस में से एक है।" यह संख्या वही रहती है चाहे पैनल में दस जज हों या बीस, जिससे विभिन्न प्रणालियों की तुलना करना और निर्णय शुरू होने से पहले स्पष्ट अपेक्षाएं निर्धारित करना आसान हो जाता है। शोध पुष्टि करता है कि हालांकि आप केवल उनके स्कोर को देखकर एक धोखेबाज और एक जीनियस के बीच अंतर नहीं कर सकते, फिर भी आप एक ऐसी प्रणाली बना सकते है जो उनमें से किसी भी एक द्वारा किए जाने वाले नुकसान को कम कर सके। यह स्वीकार करते हुए कि कुछ गलतियाँ अपरिहार्य हैं, संस्थान एक ऐसी प्रक्रिया का निर्माण कर सकते हैं जो भीड़ के विवेक को बलिदान किए बिना प्रक्रिया की अखंडता की रक्षा करती है।
अध्ययन इन विचारों का परीक्षण करने के लिए कंप्यूटर सिमुलेशन पर निर्भर करता है, जिसमें अलग-अलग प्रकार के जजों और असहमति के विभिन्न स्तरों के साथ हजारों परिदृश्य चलाए जाते हैं। यह दावा नहीं करता कि उसने मानवीय निर्णय की समस्या को हमेशा के लिए हल कर दिया है, बल्कि यह परिदृश्य का एक स्पष्ट मानचित्र प्रदान करता है। यह दिखाता है कि सबसे अच्छा दृष्टिकोण एक ऐसा आदर्श फ़िल्टर खोजने के पीछे भागना नहीं है जो हर बुरे व्यक्ति को पकड़ ले और हर अच्छे व्यक्ति को जाने दे, क्योंकि ऐसा फ़िल्टर मौजूद नहीं है। इसके बजाय, सबसे अच्छा दृष्टिकोण यह स्वीकार करना है कि क्या ज्ञात किया जा सकता है इसकी सीमाओं को समझना है और एक ऐसा नियम बनाना है जो एक धोखेबाज को अंदर आने देने के जोखिम और एक जीनियस को बाहर निकालने के जोखिम के बीच संतुलन बनाए। शोध बताता है कि अधिकांश विशेषज्ञ पैनलों के लिए, मध्यम स्तर की सख्ती सबसे अच्छा काम करती है, जिससे एक बफर ज़ोन बनता है जहाँ प्रणाली त्रुटियों को संभालने के लिए पर्याप्त मजबूत होती है, लेकिन इतनी कठोर नहीं होती कि नवाचार को कुचल दे। अंततः, शोध का तर्क है कि एक पैनल का लक्ष्य केवल सही उत्तर प्राप्त करना नहीं है, बल्कि एक ऐसी प्रक्रिया का निर्माण करना है जिस पर जनता भरोसा कर सके, भले ही उत्तर ढूंढना कठिन हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।