Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

उन खेलों में जहाँ मनुष्य विजेता का निर्णय करते हैं, एक जज की व्यक्तिगत शैली और वास्तविक अन्याय के बीच की रेखा अक्सर अदृश्य होती है। कुछ जज स्वाभाविक रूप से उदार होते हैं, सभी को उच्च अंक देते हैं, जबकि अन्य सख्त होते हैं, केवल सबसे पूर्ण प्रदर्शनों के लिए ही शीर्ष अंक सुरक्षित रखते हैं। कुछ जज चरम स्कोर देने से बचते हैं, सुरक्षित रूप से मध्य श्रेणी में टिके रहते हैं, जबकि अन्य पूरी स्केल का उपयोग करते हैं। ये अंतर शैली के मामले में नहीं हैं; वे केवल अलग-अलग लोगों के दुनिया को देखने के तरीके हैं। खेल अधिकारियों के लिए असली चुनौती यह पता लगाना है कि कब एक जज केवल सख्त या उदार नहीं हो रहा है, बल्कि विशेष रूप से एक प्रतियोगी का दूसरे के ऊपर पक्षपात कर रहा है, जिससे परिणाम बदल जाता है। जजिंग अखंडता (judging integrity) के अध्ययन के पीछे यही केंद्रीय प्रश्न है: आप एक जज की सामान्य व्यक्तित्व शैली और किसी विशेष एथलीट के प्रति विशिष्ट, अनुचित पसंद के बीच अंतर कैसे करेंगे?

स्वतंत्र शोधकर्ता माइकल अल्लमैन द्वारा किया गया एक नया अध्ययन इस समस्या से निपटने के लिए एक नए सांख्यिकीय दृष्टिकोण का उपयोग करता है, जिसे विशेष रूप से इंटरनेशनल स्केटिंग यूनियन की जजिंग प्रणाली के लिए डिज़ाइन किया गया है। आइस डांसिंग और फिगर स्केटिंग में उपयोग की जाने वाली प्रणाली एक पैनल पर निर्भर करती है जो प्रदर्शन के हर एक मूव और घटक को स्कोर करती है। एक आउटलायर (असाधारण मान) को परिणामों को बिगाड़ने से रोकने के लिए, प्रत्येक तत्व के उच्चतम और निम्नतम स्कोर को हटा दिया जाता है, और शेष अंकों का औसत उपयोग किया जाता है। अल्लमैन का कार्य 2026 ओलंपिक विंटर गेम्स मिलानो-कोर्टिना, विशेष रूप से आइस डांस फ्री डांस सेगमेंट पर केंद्रित है, लेकिन इस पद्धति का परीक्षण 2022 और 2026 के बीच 17 विभिन्न प्रतियोगिताओं से 142 कार्यक्रमों में किया गया था। लक्ष्य एक ऐसा उपकरण बनाना था जो एक अकेले जज के दो विशिष्ट स्केटर्स के लिए अंकों को देख सके और यह निर्धारित कर सके कि क्या उस जज ने उनके बीच के अंतर को उस तरह से बदला है जैसे कि पैनल के बाकी सदस्यों ने नहीं बदला।

इस शोध पत्र में विकसित विधि यह तुलना करके काम करती है कि एक जज ने वास्तव में क्या किया बनाम उन्होंने क्या किया होता यदि उन्होंने अन्य जजों के मध्य स्तर (middle ground) के साथ तालमेल बिठाया होता। कल्पना कीजिए कि एक जज स्वर्ण पदक के दावेदार और रजत पदक के दावेदार को स्कोर दे रहा है। शोधकर्ता पहले यह गणना करते हैं कि उस जज के विशिष्ट अंकों ने उन दोनों स्केटर्स के बीच अंतिम अंक अंतर को कितना बदला। फिर, वे एक "तटस्थ" (neutral) संस्करण बनाते हैं जहाँ उस जज के अंकों को अन्य जजों के मेडियन (मध्यमान) स्कोर से बदल दिया जाता है। इस तटस्थ संस्करण की वास्तविक परिणाम से तुलना करके, शोधकर्ता यह माप सकते हैं कि एक विशिष्ट जज ने दो स्केटर्स के बीच के अंतर में कितने अंक जोड़े या घटाए। यह इस बारे में नहीं है कि जज सामान्य रूप से उच्च या निम्न था; यह इस बारे में है कि क्या वह समूह के सापेक्ष एक स्कर के लिए असामान्य रूप से उच्च और दूसरे के लिए असामान्य रूप से निम्न था।

यह सुनिश्चित करने के लिए कि यह माप केवल रैंडम शोर या स्केटर्स के प्रोग्राम की प्राकृतिक कठिनाई को नहीं पकड़ रहा है, शोधकर्ताओं ने 'परम्यूटेशन टेस्ट' नामक तकनीक का उपयोग किया। इसमें डेटा को हजारों बार शफल (क्रम बदलकर देखना) किया जाता है ताकि यह देखा जा सके कि शुद्ध संयोग से इतना चरम परिणाम कितनी बार हो सकता है। महत्वपूर्ण रूप से, इस शफलिंग प्रक्रिया को जज की व्यक्तिगत शैली को बरकरार रखने के लिए डिज़ाइन किया गया था। परीक्षण ने पूछा: यदि इस जज में सख्त या उदार होने की समान सामान्य प्रवृत्ति होती, लेकिन उन्होंने इसे विभिन्न स्केटर्स पर यादृच्छिक रूप से लागू किया होता, तो क्या हमें अभी भी स्वर्ण और रजत पदक विजेताओं के बीच यह विशिष्ट अंतर दिखाई देता? यदि उत्तर 'नहीं' है, तो विशिष्ट पक्षपात वास्तविक होने की संभावना है। इस दृष्टिकोण ने शोधकर्ताओं को प्रत्येक जज और प्रतियोगियों के प्रत्येक जोड़े के लिए अंकों का एक सटीक "मार्जिन शिफ्ट" और एक सांख्यिकीय संभाव्यता की गणना करने की अनुमति दी कि परिणाम कोई इत्तेफाक नहीं था।

2026 ओलंपिक आइस डांस फ्री डांस पर लागू होने पर, इस पद्धति ने एक विशिष्ट जज से जुड़े एक चौंकाने वाले पैटर्न का खुलासा किया। स्वर्ण पदक विजेता और दूसरे स्थान पर रहने वाले स्केटर्स के जोड़े के लिए, इस जज के अंकों ने स्वर्ण पदक विजेता के पक्ष में अंक अंतर को 1.19 अंक से बदल दिया। सांख्यिकीय विश्लेषण से पता चला कि इसके यादृच्छिक रूप से होने की संभावना अत्यंत कम थी, जिसकी प्रायिकता 0.0003 थी। जब शोधकर्ताओं ने इस तथ्य के लिए समायोजन किया कि वे कई अलग-अलग जोड़ियों का परीक्षण कर रहे थे, तो परिणाम सांख्यिकीय रूप से महत्वपूर्ण बना रहा। यह 1.19-अंक का बदलाव वास्तविक आधिकारिक अंतर से अधिक था, जो प्रथम और द्वितीय स्थान की टीमों के बीच 0.97 अंक था। एक काउंटरफैक्चुअल परिदृश्य में जहाँ इस जज के अंकों को अन्य जजों के मेडियन से बदल दिया जाता, रजत पदक विजेता जीत जाता। यह निष्कर्ष अकेला नहीं था; शोधकर्ताओं ने डेटाबेस में नौ ऐसे कार्यक्रम पहचाने जहाँ एक अकेले जज का विशिष्ट पूर्वाग्रह इतना मजबूत था कि सैद्धांतिक रूप से विजेता को बदला जा सके।

अध्ययन ने 142 कार्यक्रमों के विश्लेषण किए गए व्यापक परिदृश्य पर भी नज़र डाली। जजों और स्केटर्स की जोड़ियों के 2,70,000 से अधिक व्यक्तिगत तुलनाओं में से, शोधकर्ताओं ने 20,000 से अधिक ऐसे मामले पाए जहाँ एक जज ने सांख्यिकीय रूप से महत्वपूर्ण प्रतियोगी-विशिष्ट अंतर दिखाया। ये समान रूप से वितरित नहीं थे; ये कुछ निश्चित प्रतियोगिताओं और विधाओं में भारी मात्रा में केंद्रित थे। उदाहरण के लिए, 2022 यूरोपीय चैंपियनशिप ने इन महत्वपूर्ण निष्कर्षों का एक बड़ा हिस्सा प्रस्तुत किया, जो यह सुझाव देता है कि एक विशिष्ट कार्यक्रम में जजिंग पैनल की संरचना स्वयं विधा (discipline) से अधिक मायने रखती है। शोधकर्ताओं ने नोट किया कि हालांकि कई जजों ने ये अंतर दिखाए, लेकिन उन्हें एक एकल, सार्वभौमिक पूर्वाग्रह का प्रमाण नहीं मिला जो सभी जजों द्वारा साझा किया जाता हो, जिसे इस सापेक्ष पद्धति के साथ पकड़ना कठिन होता।

इस कार्य का सबसे महत्वपूर्ण पहलू यह है कि यह "शैली" की अवधारणा को कैसे संभालता है। शोधकर्ताओं ने स्पष्ट रूप से इस विचार को खारिज कर दिया कि एक जज जो सामान्य रूप से कठोर या सामान्य रूप से उदार है, वह आवश्यक रूप से पक्षपाती है। उनकी विधि उन वैश्विक प्रवृत्तियों को अनदेखा करने के लिए डिज़ाइन की गई है। यदि कोई जज सभी को कम स्कोर देता है, तो वह एक शैली का अंतर है, पक्षपात नहीं। इस अध्ययन में, पक्षपात को सख्ती से इस रूप में परिभाषित किया गया है कि एक जज एक प्रतियोगी के साथ दूसरे की तुलना में अलग व्यवहार करता है, जिस तरह से पैनल के बाकी सदस्य नहीं करते हैं। विश्लेषण ने पुष्टि की कि विधि सुदृढ़ है: जब शोधकर्ताओं ने बहुत अलग कौशल स्तर वाले स्केटर्स के लिए परिणामों की जांच की, तो सांख्यिकीय विश्वसनीयता बनी रही, जिसका अर्थ है कि उपकरण केवल एक कठिन प्रदर्शन को पक्षपात समझने की गलती नहीं कर रहा है।

2026 ओलंपिक के निष्कर्षों की पुष्टि एक अलग जांच द्वारा की गई जिसे "लीव-वन-जज-आउट" (एक जज को छोड़कर) विश्लेषण कहा जाता है। इस परीक्षण में, शोधकर्ताओं ने उस विशिष्ट जज के अंकों को पूरी तरह से हटा दिया और उन्हें शेष जजों के औसत से बदल दिया यह देखने के लिए कि क्या विजेता बदल जाता है। इस स्वतंत्र पद्धति ने पुष्टि की कि मुख्य परीक्षण द्वारा पहचाने गए उसी जज को हटाने से वास्तव में स्वर्ण पदक रजत पदक में बदल जाता। दो अलग-अलग सांख्यिकीय दृष्टिकोणों के बीच यह अभिसरण (convergence) इस निष्कर्ष को मजबूत करता है कि देखा गया बदलाव गणित का कोई दोष नहीं था, बल्कि उस विशिष्ट जज द्वारा उस विशिष्ट कार्यक्रम के लिए किए गए स्कोरिंग का एक वास्तविक लक्षण था।

अंततः, यह शोध पत्र एक भीड़ भरे क्षेत्र में एक अकेले जज की राय के अदृश्य वजन को मापने का एक तरीका प्रदान करता है। यह दिखाता है कि हालांकि उच्च और निम्न स्कोर को हटाने की प्रणाली आउटलायर्स से बचाने के लिए डिज़ाइन की गई है, फिर भी यह हमेशा एक अकेले जज को दो विशिष्ट प्रतियोगियों के बीच तराजू को झुकाने से नहीं रोक पाती है। अध्ययन यह दावा नहीं करता कि दुर्भावनापूर्ण इरादे या मिलीभगत सिद्ध हुई है, न ही यह सुझाव देता है कि पूरी जजिंग प्रणाली खराब है। इसके बजाय, यह एक सटीक, नॉन-पैरामीट्रिक उपकरण प्रदान करता है जो पहचान सकता है कि कब एक जज के विशिष्ट अंक पैनल की सहमति से इस तरह विचलित होते हैं कि वे अंतिम स्थिति को बदल देते हैं। प्रतियोगियों के बीच के विशिष्ट मार्जिन पर ध्यान केंद्रित करके, शोध यह उजागर करता है कि नौ जजों और सख्त नियमों वाली प्रणाली में भी, प्रतियोगिता का परिणाम एक व्यक्ति के विशिष्ट, विभेदक निर्णयों पर निर्भर हो सकता है।