Closing a 17-Year Gap: Algorithmic Detection and Empirical Prevalence of Rank Reversal in Multi-Criteria Decision Analysis
यह शोध पत्र Scikit-Criteria के भीतर एक ओपन-सोर्स एल्गोरिद्मिक फ्रेमवर्क प्रस्तुत करता है जो रैंक रिवर्सल का पता लगाने के लिए वांग और ट्रियेंटाफिलो के 17 साल पुराने सैद्धांतिक मानदंडों को क्रियान्वित करता है, जो एक बड़े पैमाने के ऑडिट के माध्यम से यह प्रकट करता है कि जबकि शीर्ष-विकल्प स्थिरता लगभग सार्वभौमिक है, वर्तमान मल्टी-क्राइटेरिया डिसीजन एनालिसिस साहित्य में ट्रांसिटिविटी और रीकंपोजिशन कंसिस्टेंसी के उल्लंघन व्यापक हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टैलेंट शो में जज हैं, जो गायकों, नर्तकों और जादूगरों की एक कतार में से सर्वश्रेष्ठ कलाकार को चुनने की कोशिश कर रहे हैं। आपके पास एक स्कोरकार्ड है जिसमें कई श्रेणियाँ हैं: आवाज़, स्टेज प्रेजेंस (मंच पर उपस्थिति), और मौलिकता। आप अंकों को जोड़ते हैं, और जादूगर जीत जाता है। लेकिन फिर, एक नया कलाकार आता है—एक भयानक जगलर (बैलेंसी करने वाला) जिसकी किसी को परवाह नहीं है। अचानक, जादूगर दूसरे स्थान पर आ जाता है, और गायक शीर्ष स्थान ले लेता है। या शायद, आप गायकों और नर्तकों का पहले अलग-अलग निर्णय लेने का फैसला करते हैं, फिर परिणामों को मिलाते हैं, केवल यह देखने के लिए कि संयुक्त विजेता वह नहीं है जिसे आपने सभी को एक साथ देखते समय चुना था। यह भ्रमित करने वाला उतार-चढ़ाव "रैंक रिवर्सल" (Rank Reversal) कहलाता है। यह मल्टी-क्राइटेरिया डिसीजन एनालिसिस (MCDA) नामक विज्ञान के एक क्षेत्र में होता है, जो मूल रूप से यह कहने का एक शानदार तरीका है कि "जब आपके पास विचार करने के लिए कई अलग-अलग चीजें हों, तो कठिन निर्णय लेने के लिए गणित का उपयोग करना।" चाहे आप एक नया स्मार्टफोन, एक चिकित्सा उपचार, या एक अंतरिक्ष मिशन चुन रहे हों, आप चाहते हैं कि आपका गणित निष्पक्ष और सुसंगत हो। यदि विजेता केवल इसलिए बदल जाता है क्योंकि आपने एक बेकार विकल्प जोड़ दिया या समस्या को छोटे टुकड़ों में तोड़ दिया, तो पूरा सिस्टम टूटा हुआ महसूस होता है, और लोग परिणामों पर भरोसा नहीं कर पाते।
17 वर्षों से अधिक समय तक, वैज्ञानिक जानते थे कि यह समस्या मौजूद है और उन्होंने यह परीक्षण करने के लिए तीन विशिष्ट नियम लिखे थे कि क्या कोई निर्णय लेने की पद्धति भरोसेमंद है। लेकिन पेच यह है कि उन्होंने केवल नियम लिखे थे; उन्होंने वास्तव में उन परीक्षणों को चलाने वाली मशीन कभी नहीं बनाई। यह एक केक बनाने की रेसिपी होने जैसा था लेकिन बिना ओवन के। क्योंकि इन परीक्षणों को कंप्यूटर कोड में बदलना बहुत कठिन था, इसलिए किसी ने भी वास्तव में यह जाँच नहीं की थी कि दुनिया में उपयोग की जाने वाली लोकप्रिय पद्धतियाँ इन नियमों को पास कर रही हैं या नहीं। इसने सिद्धांत (कि हमें क्या लगता है कि होना चाहिए) और अभ्यास (कि वास्तव में सॉफ्टवेयर में क्या होता है) के बीच एक बड़ा अंतर छोड़ दिया।
यह शोध पत्र उस व्यक्ति की कहानी है जिसने अंततः वह ओवन बनाया है। लेखकों ने, जो अर्जेंटीना के शोधकर्ताओं की एक टीम है, एक नया, ओपन-सोर्स कंप्यूटर टूलकिट बनाया (जो स्किकिट-क्राइटेरिया (Scikit-Criteria) नामक लाइब्रेरी का हिस्सा है), जो उन 17 साल पुराने नियमों को वर्किंग कोड में बदल देता है। उन्होंने केवल कोड नहीं लिखा; उन्होंने इसका उपयोग 27 अलग-अलग निर्णय लेने वाली पद्धतियों को कठोर स्ट्रेस टेस्ट से गुजारने के लिए किया।
यहाँ उन्हें क्या मिला, और यह एक प्लॉट ट्विस्ट की तरह है। सबसे पहले, उन्होंने परीक्षण किया कि क्या "सर्वश्रेष्ठ" विकल्प तब भी सर्वश्रेष्ठ रहता है जब वे अन्य विकल्पों को थोड़ा बदतर बना देते हैं (जैसे अन्य कलाकारों का एक बुरा हेयर डे दिखाना)। उन्होंने पाया कि लगभग सभी ने इस परीक्षण को पास कर लिया—96.3% बार, शीर्ष विकल्प शीर्ष पर ही रहा। ऐसा लगा कि पद्धतियाँ काफी ठोस थीं।
लेकिन फिर, उन्होंने कठिन परीक्षण किए। उन्होंने समस्याओं को छोटे जोड़ों में तोड़ दिया (केवल दो कलाकारों की तुलना करना) यह देखने के लिए कि क्या उनका तर्क कायम रहता है। यहीं पर चीजें उलझ गईं। लगभग 15% पद्धतियाँ "ट्रांजिटिविटी" (transitivity) परीक्षण में विफल रहीं, जिसका अर्थ है कि उनका तर्क गोलाकार हो गया (जैसे यह कहना कि A, B से बेहतर है, B, C से बेहतर है, लेकिन C, A से बेहतर है)। इससे भी अधिक आश्चर्यजनक रूप से, जब उन्होंने उन छोटे जोड़ों से पूर्ण रैंकिंग को फिर से बनाने की कोशिश की, तो लगभग आधे (48.1%) पद्धतियाँ सबसे सख्त परीक्षण में विफल रहीं। उन "छोटे टुकड़ों" से प्राप्त अंतिम रैंकिंग उस रैंकिंग से मेल नहीं खाती जो उन्हें "पूरी तस्वीर" से मिली थी।
यह शोध पत्र यह नहीं कहता कि ये पद्धतियाँ बेकार हैं, लेकिन यह साबित करता है कि रैंक रिवर्सल केवल काल्पनिक उदाहरणों में होने वाली एक दुर्लभ, अजीब सी गड़बड़ी नहीं है। यह उन उपकरणों की एक सामान्य, मापने योग्य विशेषता है जिनका उपयोग वैज्ञानिक और इंजीनियर वर्तमान में कर रहे हैं। लेखक सुझाव देते हैं कि हम केवल यह मानकर नहीं बैठ सकते कि ये पद्धतियाँ सुसंगत हैं; हमें इनका परीक्षण करना होगा। अपने परीक्षण उपकरणों को सभी के लिए मुफ्त और ओपन बनाकर, उन्होंने दुनिया को यह जांचने का एक नया तरीका दिया है कि क्या हमारा निर्णय लेने वाला गणित वास्तव में वही कर रहा है जो उसे करना चाहिए, यह सुनिश्चित करते हुए कि जब हम एक विजेता चुनते हैं, तो वह इसलिए होता है क्योंकि वह वास्तवक में इसके योग्य है, न कि इसलिए कि गणित एक बुरे जगलर से भ्रमित हो गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।