📊 statistics

Data Reliability Scoring

यह शोध पत्र ग्राम डिटरमिनेंट स्कोर (Gram determinant score) प्रस्तुत करता है, जो एक प्रयोग-अज्ञेय (experiment-agnostic) मीट्रिक है जो ग्राउंड ट्रुथ के बिना अनुभवजन्य वितरणों (empirical distributions) के वैक्टर द्वारा घेरे गए आयतन को मापकर डेटासेट की विश्वसनीयता का आकलन करता है, जिससे विविध अवलोकन प्रक्रियाओं में डेटा गुणवत्ता को प्रभावी ढंग से कैप्चर किया जा सकता है।

मूल लेखक: Yiling Chen, Shi Feng, Paul Kattuman, Fang-Yi Yu

प्रकाशित 2026-07-22

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiling Chen, Shi Feng, Paul Kattuman, Fang-Yi Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दोस्तों के एक समूह द्वारा सुनाई गई कहानी की गुणवत्ता का आकलन करने की कोशिश कर रहे हैं, लेकिन आप वास्तव में हुई घटनाओं को देख नहीं सकते। शायद वे किसी कार दुर्घटना, किसी खेल के खेल, या किसी पार्टी का वर्णन कर रहे हैं, लेकिन आप वहां मौजूद नहीं थे। आपके पास केवल उनकी कहानियाँ हैं और, शायद, सुरक्षा कैमरे से ली गई कुछ धुंधली तस्वीरें हैं जो सही चीजों पर केंद्रित नहीं थीं। डेटा विज्ञान की दुनिया में, यह एक बहुत बड़ी समस्या है। हम बड़े निर्णय लेने के लिए डेटा पर भरोसा करते हैं, जैसे बीमा दरें तय करना या मौसम की भविष्यवाणी करना, लेकिन यह डेटा अक्सर उन लोगों से आता है जो झूठ बोल रहे होते हैं, भ्रमित होते हैं, या बस गलतियाँ कर रहे होते हैं। बड़ा सवाल यह है: यदि हमारे पास जांचने के लिए कोई "उत्तर कुंजी" (answer key) नहीं है, तो हमें कैसे पता चलेगा कि एक डेटासेट भरोसेमंद है या नहीं?

यह शोध पत्र ठीक इसी पहेली को सुलझाता है। यह एक डेटासेट की विश्वसनीयता को स्कोर करने का एक चतुर नया तरीका पेश करता है, भले ही वास्तविक तथ्य छिपे हुए हों। लेखक डेटा को एक ज्यामितीय आकार (geometric shape) की तरह मानते हैं। वे कल्पना करते हैं कि प्रत्येक रिपोर्ट किया गया डेटा और प्रत्येक अवलोकन (जैसे एक धुंधली फोटो) एक बहु-आयामी स्थान (multi-dimensional space) में एक वेक्टर, या एक तीर, बनाता है। यदि डेटा ईमानदार और सटीक है, तो ये तीर फैलकर एक बड़ा, स्वस्थ, 3D आकार बनाएंगे जिसमें बहुत अधिक आयतन (volume) होगा। यदि डेटा फर्जी या शोर (noisy) से भरा है, तो तीर सिमट जाएंगे, जिससे वह आकार दब जाएगा और उसका आयतन लगभग शून्य हो जाएगा। इस "आयतन" को मापकर, वे बिना सच्चाई देखे यह बता सकते हैं कि कौन सा डेटासेट सबसे ईमानदार है।

समस्या: डेटा का रहस्यमयी बॉक्स

मान लीजिए कि आप एक बीमा कंपनी हैं। आपको यह जानने की आवश्यकता है कि क्या एक कार अच्छी स्थिति में है ताकि उचित कीमत तय की जा सके। कार का मालिक आपसे कहता है, "मेरी कार एकदम सही है!" लेकिन आप जानते हैं कि लोग पैसे बचाने के लिए कभी-कभी झूठ बोलते हैं। आपके पास एक उपकरण भी है जो कार के इंजन के कंपन को मापता है, लेकिन वह उपकरण पूर्ण नहीं है; वह थोड़ा धुंधला है और एक अच्छी कार पर भी अजीब रीडिंग दे सकता है। आपके पास मालिक की रिपोर्ट और उपकरण की रीडिंग है, लेकिन आपके पास कार के नीचे देखने के लिए कोई मैकेनिक नहीं है। आप कैसे तय करेंगे कि मालिक ईमानदार है या नहीं?

यह "डेटा विश्वसनीयता स्कोरिंग" (Data Reliability Scoring) की समस्या है। शोध पत्र कुछ प्रमुख विचारों को परिभाषित करके शुरुआत करता है। पहला, ग्राउंड ट्रुथ (Ground Truth) है, जो वास्तविक, वास्तविक दुनिया का तथ्य है (कार की वास्तविक स्थिति)। दूसरा, रिपोर्टेड डेटा (Reported Data) है, जो वह है जो व्यक्ति आपको बताता है (मालिक का दावा)। तीसरा, अवलोकन (Observations) हैं, जो अतिरिक्त सुराग हैं, जैसे आपके उपकरण की रीडिंग। पेचीदा बात यह है कि सत्य और अवलोकनों के बीच का संबंध एक रहस्य है। हम ठीक से नहीं जानते कि उपकरण कैसे काम करता है या मालिक कैसे झूठ बोलता है। हम बस इतना जानते हैं कि वे आपस में जुड़े हुए हैं।

लेखक एक ऐसा स्कोर बनाना चाहते थे जो यह कह सके कि, "यह डेटासेट उस दूसरे डेटासेट से अधिक विश्वसनीय है," बिना कभी वास्तविक ग्राउंड ट्रुथ को जाने। उन्होंने महसूस किया कि यदि आपके पास एक ऐसा डेटासेट है जो सत्य के बहुत करीब है, तो वह आपके अवलोकनों के साथ मिलकर एक विशिष्ट तरीके से व्यवहार करेगा।

समाधान: ग्राम डिटर्मिनेंट स्कोर (The Gram Determinant Score)

लेखक एक नया उपकरण प्रस्तावित करते हैं जिसे ग्राम डिटर्मिनेंट स्कोर कहा जाता है। इसे समझने के लिए, कल्पना कीजिए कि आप लकड़ियों के एक सेट के साथ एक मूर्तिकार के रूप में काम कर रहे हैं। प्रत्येक लकड़ी डेटा बिंदु के एक अलग प्रकार (जैसे "लाल कार", "नीली कार", या "टूटा हुआ इंजन") का प्रतिनिधित्व करती है।

यदि डेटा एकदम सही है, तो आपके पास जो लकड़ियाँ हैं वे सभी अलग-अलग, अद्वितीय दिशाओं में इशारा कर रही हैं। वे एक विस्तृत, खुला तंबू या एक बड़ा, मजबूत बॉक्स बनाती हैं। इस आकार में बहुत अधिक आयतन (volume) होता है। गणितीय शब्दों में, इस आयतन की गणना "डिटर्मिनेंट" (determinant) नामक चीज़ का उपयोग करके की जाती है।

हालाँकि, यदि डेटा झूठ बोल रहा है या शोर से भरा है, तो लकड़ियाँ एक-दूसरे पर झुकने लगती हैं। वे अद्वितीय दिशाओं में इशारा करना बंद कर देती हैं और एक साथ गुच्छे बनाने लगती हैं। यदि कोई झूठ बोलता है और कहता है "लाल कार" जबकि वास्तव में वह "नीली कार" है, या यदि उपकरण खराब है और हर चीज़ के लिए एक जैसी रीडिंग देता है, तो आपकी लकड़ियाँ ढह जाती हैं। तंबू सपाट हो जाता है। बॉक्स एक पैनकेक की तरह पिचक जाता है। आयतन सिकुड़कर लगभग शून्य हो जाता है।

ग्राम डिटर्मिनेंट स्कोर बस इस आयतन का एक माप है।

उच्च स्कोर (बड़ा आयतन): डेटा विविध है और अवलोकनों के अनुरूप है। यह सुझाव देता है कि रिपोर्ट किया गया डेटा संभवतः सत्य के करीब है।
कम स्कोर (छोटा आयतन): डेटा दबा हुआ और दोहराव वाला है। यह सुझाव देता है कि रिपोर्ट किया गया डेटा शोर युक्त, रणनीतिक, या सत्य से दूर है।

इस पद्धति की सुंदरता यह है कि यह परवाह नहीं करती कि प्रयोग क्या है। चाहे आपका "उपकरण" एक कैमरा हो, ध्वनि सेंसर हो, या कोई सर्वेक्षण, गणित एक ही तरह से काम करता है। लेखक इस गुण को "प्रयोग तटस्थता" (experiment agnosticism) कहते हैं। यह एक सार्वभौमिक पैमाने की तरह है जो काम करता है, चाहे आप किसी भी आकार को माप रहे हों, जब तक कि वह पैमाना स्वयं मजबूत है।

उन्होंने क्या पाया (और क्या नहीं पाया)

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया और कंप्यूटर के साथ परीक्षण किया।

प्रमाण (The Proofs):
उन्होंने दिखाया कि यदि अवलोकन "रैखिक रूप से स्वतंत्र" (linearly independent - जिसका अर्थ है कि सुराग एक-दूसरे की नकल नहीं हैं) हैं, तो यह स्कोर एकमात्र ऐसा तरीका है जो हर संभावित प्रकार के प्रयोग के लिए काम करता है। उन्होंने सिद्ध किया कि यदि कोई डेटासेट सख्त परिभाषाओं के अनुसार दूसरे से वास्तव में बेहतर है, तो यह स्कोर हमेशा उसे उच्च संख्या देगा। उन्होंने यह भी दिखाया कि आप केवल किसी भी पुराने गणितीय तरीके का उपयोग नहीं कर सकते; कई अन्य सामान्य तरीके तब विफल हो जाते हैं जब डेटा जटिल हो जाता है।

सिमुलेशन (The Simulations):
यह देखने के लिए कि क्या यह वास्तविक दुनिया में काम करता है, उन्होंने हजारों कंप्यूटर सिमुलेशन चलाए।

सिंथेटिक डेटा: उन्होंने नकली डेटासेट बनाए जहाँ उन्हें पता था कि "झूठ बोलने वाले" कितनी मात्रा में झूठ बोल रहे थे। उन्होंने झूठ बोलने के छह अलग-अलग तरीकों का परीक्षण किया (जैसे रैंडम अनुमान लगाना, पड़ोसियों की नकल करना, या श्रेणियों को मिलाना)। हर मामले में, जैसे-जैसे झूठ बढ़ता गया, ग्राम डिटर्मिनेंट स्कोर कम होता गया। यह "हैमिंग डिस्टेंस" (Hamming distance) के साथ पूरी तरह मेल खाता है, जो डेटासेट में त्रुटियों को गिनने का एक मानक तरीका है।
इमेज डेटा: उन्होंने CIFAR-10 डेटासेट (बिल्लियों, कुत्तों, ट्रकों आदि की 10,000 छवियों का एक प्रसिद्ध संग्रह) से चित्र लिए और एक कंप्यूटर विज़न मॉडल का उपयोग करके "एम्बेडिंग्स" (छवियों के गणितीय विवरण) उत्पन्न किए। फिर उन्होंने लेबल्स के साथ छेड़छाड़ की। भले ही अवलोकन निरंतर संख्याएँ (केवल श्रेणियाँ नहीं) थीं, फिर भी लेबल खराब होने पर स्कोर गिर गया।
वास्तविक दुनिया का डेटा: उन्होंने अमेरिकी सरकार के वास्तविक रोजगार डेटा को देखा। उन्होंने डेटा के "प्रथम प्रकाशन" (जो अक्सर कच्चा होता है) की तुलना "अंतिम मूल्यों" (जो संशोधित और अधिक सटीक होते हैं) से की। इसने सही ढंग से पहचाना कि अंतिम, संशोधित डेटा प्रारंभिक अनुमान की तुलना में बहुत अधिक विश्वसनीय था।

उन्होंने क्या खारिज किया:
यह शोध पत्र बहुत सावधानी से बताता है कि यह स्कोर क्या नहीं कर सकता है।

यह तब काम नहीं कर सकता जब अवलोकन बेकार हों। यदि आपका "उपकरण" हर प्रकार की कार के लिए बिल्कुल एक ही रीडिंग देता है, तो स्कोर यह अंतर नहीं कर पाएगा कि कौन झूठ बोल रहा है और कौन सच। यदि सुराग स्वतंत्र नहीं हैं, तो गणित विफल हो जाता है।
यह आपको यह सटीक रूप से नहीं बता सकता कि डेटा में त्रुटियों की संख्या कितनी है, जब तक कि आपके पास बहुत अधिक डेटा न हो। यह एक रैंकिंग देता है (डेटासेट A, डेटासेट B से बेहतर है), लेकिन छोटे डेटासेट के लिए यह हमेशा सटीक "त्रुटि गणना" नहीं देता है।
उन्होंने यह भी दिखाया कि अन्य लोकप्रिय तरीके, जैसे "मैक्सिमल कोरिलेशन" (Maximal Correlation) या "KL-डाइवर्जेंस" (KL-divergence), कभी-कभी विफल हो जाते हैं। उदाहरण के लिए, यदि डेटा को एक विशिष्ट तरीके से हेरफेर किया जाता है (जैसे दो श्रेणियों को मिलाना), तो वे तरीके एक बहुत खराब डेटासेट और एक थोड़े बेहतर डेटासेट को समान स्कोर दे सकते हैं, जिससे वे अंतर करने में विफल रहते हैं। हालाँकि, ग्राम डिटोरेंट स्कोर ने अपनी रैंकिंग सही रखी।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि ग्राम डिटर्मिनेंट स्कोर डेटा गुणवत्ता की जाँच करने के लिए एक शक्तिशाली, सार्वभौमिक उपकरण है। यह एक "झूठ पकड़ने वाले यंत्र" (lie detector) की तरह है जिसे झूठ बोलने वाले को पहचानने के लिए सत्य जानने की आवश्यकता नहीं है। यह इस बात को मापकर काम करता है कि डेटा संभावनाओं की दुनिया में कितना "स्थान" घेरता है। यदि डेटा ईमानदार है, तो वह स्थान भर देता है। यदि वह फर्जी है, तो वह सिमट जाता है।

लेखक सुझाव देते हैं कि इसका उपयोग अमेज़न या येलप जैसे प्लेटफॉर्म द्वारा फर्जी समीक्षाओं का पता लगाने के लिए, या सरकारों द्वारा आर्थिक रिपोर्टों की गुणवत्ता की जांच करने के लिए किया जा सकता है। हालांकि वे स्वीकार करते हैं कि वास्तविक दुनिया में चीजें जटिल हो सकती हैं (जैसे यदि डेटा पूरी तरह से स्वतंत्र नहीं है), उनके सिमुलेशन और वास्तविक दुनिया के परीक्षण दिखाते हैं कि यह ज्यामितीय दृष्टिकोण डेटा को स्कोर करने का एक मजबूत और विश्वसनीय तरीका है, भले ही ग्राउंड ट्रुथ एक रहस्य हो।

तकनीकी सारांश: डेटा विश्वसनीयता स्कोरिंग (Data Reliability Scoring)

समस्या विवरण (Problem Statement)

यह शोध पत्र उन डेटासेट की विश्वसनीयता का आकलन करने की चुनौती को संबोधित करता है जो संभावित रूप से रणनीतिक या शोर वाले (noisy) स्रोतों से एकत्र किए गए हैं, जहाँ 'ग्राउंड ट्रुथ' (ground truth) अज्ञात होता है। कई वास्तविक दुनिया के परिदृश्यों में (जैसे, बीमा दावे, वित्तीय रिपोर्टिंग, चिकित्सा निदान), डेटा उन एजेंटों द्वारा रिपोर्ट किया जाता है जो रणनीतिक लाभ के लिए सूचना को विकृत कर सकते हैं। जबकि ग्राउंड ट्रुथ के विरुद्ध प्रत्यक्ष सत्यापन अक्सर असंभव होता है, सहायक अवलोकन ( $\mathbf{y}$ ) अक्सर उपलब्ध होते हैं। ये अवलोकन एक अज्ञात सांख्यिकीय प्रयोग ( $\mathbf{P}$ ) द्वारा उत्पन्न होते हैं जो वास्तविक डेटा ( $\mathbf{x}$ ) पर निर्भर करता है। मुख्य समस्या एक विश्वसनीयता स्कोर $S(\hat{\mathbf{x}}, \mathbf{y})$ को डिजाइन करने की है जो अनकहे सत्य ( $\mathbf{x}$ ) से विचलन के आधार पर रिपोर्ट किए गए डेटासेट ( $\hat{\mathbf{x}}$ ) को रैंक करता है, बिना $\mathbf{x}$ या विशिष्ट ट्रांजिशन मैट्रिक्स $\mathbf{P}$ की पहुँच के।

कार्यप्रणाली (Methodology)

1. औपचारिक ढांचा और क्रमबद्धता (Formal Framework and Orderings)

लेखक वास्तविक डेटा $\mathbf{x}$ और रिपोर्ट किए गए डेटा $\hat{\mathbf{x}}$ के बीच के संबंध को एक मिसरिपोर्ट मैट्रिक्स $\mathbf{Q}$ का उपयोग करके औपचारिक रूप देते हैं, जो वास्तविक और रिपोर्ट किए गए मूल्यों की संयुक्त आवृत्ति (joint frequency) को दर्शाता है। विश्वसनीयता का मूल्यांकन करने के लिए, वे तीन ग्राउंड-ट्रुथ-आधारित आंशिक क्रम (partial orderings) परिभाषित करते हैं:

सटीक मिलान क्रम (Exact Match Ordering): $\hat{\mathbf{x}}$ अधिक विश्वसनीय है यदि $\hat{\mathbf{x}} = \mathbf{x}$ है और $\hat{\mathbf{x}}' \neq \mathbf{x}$ है।
ब्लैकवेल डोमिनेंट क्रम (Blackwell Dominant Ordering): $\hat{\mathbf{x}}$ अधिक विश्वसनीय है यदि इसे एक स्टोकेस्टिक मैट्रिक्स (पोस्ट-प्रोसेसिंग) के माध्यम से $\hat{\mathbf{x}}'$ में परिवर्तित किया जा सकता है, जिसका अर्थ है कि $\hat{\mathbf{x}}$ अधिक सूचनात्मक है। यह इन्वर्टिबल, विकर्ण रूप से अधिकतम (diagonally maximal) मिसरिपोर्ट मैट्रिसेस पर लागू होता है।
दूरी (dist) क्रम (Distance Ordering): $\hat{\mathbf{x}}$ अधिक विश्वसनीय है यदि $\mathbf{x}$ तक कुल दूरी (जैसे, हैमिंग दूरी) $\hat{\mathbf{x}}'$ की तुलना में कम है।

2. असंभवता के परिणाम (Impossibility Results)

शोध पत्र पहले मौलिक सीमाओं को स्थापित करता है। यह सिद्ध करता है कि कोई भी विश्वसनीयता स्कोर सभी संभावित प्रयोगों में 'सटीक-मिलान' या 'ब्लैकवेल' क्रमों को सुरक्षित नहीं रख सकता यदि प्रयोग मैट्रिक्स $\mathbf{P}$ में रैखिक रूप से निर्भर (linearly dependent) कॉलम हैं। इसके अलावा, यदि प्रयोगों के वर्ग को प्रतिबंधित नहीं किया जाता है, तो हैमिंग या सामान्य दूरी क्रमों को बनाए रखना कुछ श्रेणियों के मिसरिपोर्ट मैट्रिसेस (जैसे, विकर्ण प्रधान मैट्रिसेस) के लिए असंभव है। ये परिणाम रैखिक रूप से स्वतंत्र प्रयोगों ( $\mathbf{P}_{\text{indep}}$ ) और मिसरिपोर्ट मैट्रिसेस के विशिष्ट उपसमुच्चयों पर ध्यान केंद्रित करने के लिए प्रेरित करते हैं।

3. ग्राम डिटरमिनेंट स्कोर (The Gram Determinant Score)

मुख्य योगदान ग्राम डिटरमिनेंट स्कोर है, जो रिपोर्ट किए गए डेटा के अवलोकन वितरण के ग्राम मैट्रिक्स के डिटरमिनेंट (determinant) के रूप में परिभाषित है।

ज्यामितीय व्याख्या (Geometric Interpretation): स्कोर संयुक्त वितरण मैट्रिक्स $\mathbf{P}\mathbf{Q}$ के कॉलम वेक्टर्स द्वारा स्पैन किए गए पैरेललपिपेड (parallelepiped) के वर्ग आयतन (squared volume) को मापता है।
गणितीय सूत्र (Mathematical Formulation): दिए गए प्रयोग $\mathbf{P}$ और मिसरिपोर्ट मैट्रिक्स $\mathbf{Q}$ के लिए, स्कोर $\Gamma(\mathbf{P}\mathbf{Q}) = \det((\mathbf{P}\mathbf{Q})^\top (\mathbf{P}\mathbf{Q}))$ है।
मुख्य गुण (प्रयोग अज्ञातता - Experiment Agnosticism): डिटरमिनेंट्स के गुणात्मक गुण के कारण, $\Gamma(\mathbf{P}\mathbf{Q}) = \det(\mathbf{P}^\top \mathbf{P}) \det(\mathbf{Q})^2$ है। चूंकि किसी भी निश्चित रैखिक रूप से स्वतंत्र प्रयोग के लिए $\det(\mathbf{P}^\top \mathbf{P})$ एक धनात्मक स्थिरांक है, इसलिए डेटासेट की रैंकिंग पूरी तरह से $\det(\mathbf{Q})$ पर निर्भर करती है। शोध पत्र यह सिद्ध करता है कि स्केलिंग के अधीन, ग्राम डिटरमिनेंट ही एकमात्र ऐसा विश्वसनीयता स्कोर है जो "प्रयोग-अज्ञेयवादी" (experiment agnostic) है—अर्थात, यह अज्ञात प्रयोग $\mathbf{P}$ के बावजूद समान डेटासेट रैंकिंग प्रदान करता है।

4. अनुमानक और विस्तार (Estimators and Extensions)

चूंकि व्यवहार में $\mathbf{P}$ और $\mathbf{Q}$ अज्ञात होते हैं, लेखक दो अनुमानक प्रस्तावित करते हैं:

प्लग-इन अनुमानक (Plug-in Estimator): यह देखे गए युग्मों $(\hat{\mathbf{x}}, \mathbf{y})$ के अनुभवजन्य वितरण (empirical distribution) का उपयोग करके ग्राम मैट्रिक्स का निर्माण करता है। यह स्पर्शोन्मुख रूप से (asymptotically) सभी परिभाषित विश्वसनीयता क्रमों को सुरक्षित रखता है।
स्तरीकृत-मिलान अनुमानक (Stratified-Matching Estimator): यह एक परिमित-नमूना (finite-sample) अनुमानक है जो विशिष्ट अनुक्रमों में प्रत्येक लेबल को ठीक एक बार दिखाई देने के लिए यादृच्छिक रूप से विलगित सेटों का चयन करता है। यह सटीक-मिलान क्रम को सुरक्षित करने के लिए परिमित-नमूना गारंटी प्रदान करता है।

कर्नलाइजेशन (Kernelization): निरंतर अवलोकन स्थानों (जैसे, इमेज एम्बेडिंग्स) या संरचित डेटा को संभालने के लिए, इस पद्धति को कर्नेल फंक्शन का उपयोग करके विस्तारित किया गया है। कर्नलाइज्ड ग्राम डिटरमिनेंट स्कोर, आंतरिक उत्पादों (inner products) को कर्नेल मूल्यांकनों से बदल देता है, जिससे यह विधि गैर-परिमित अवलोकन स्थानों पर भी लागू हो पाती है, जबकि विशिष्ट कर्नेल शर्तों (जैसे, इंटीग्रली स्ट्रिक्टली पॉजिटिव डेफिनेट कर्नेल्स) के तहत सैद्धांतिक गारंटी बनाए रखती है।

मुख्य परिणाम (Key Results)

सैद्धांतिक गारंटी (Theoretical Guarantees)

क्रम संरक्षण (Ordering Preservation): रैखिक रूप से स्वतंत्र प्रयोगों और विशिष्ट मिसरिपोर्ट स्थितियों के तहत, ग्राम डिटरमिनेंट स्कोर सटीक मिलान, ब्लैकवेल और अनुमानित हैमिंग (dist) क्रमों को सुरक्षित रखता है।
विशिष्टता (Uniqueness): यह स्कोर स्केलिंग के अधीन एकमात्र प्रयोग-अज्ञेयवादी समाधान है जो सुसंगतता शर्तों को पूरा करता है।
टाइटनेस (Tightness): इन गारंटियों के लिए आवश्यक स्थितियाँ (जैसे, $\mathbf{P}$ की रैखिक स्वतंत्रता) असंभवता परिणामों के आधार पर लगभग टाइट (tight) दिखाई गई हैं।

अनुभवजन्य सत्यापन (Empirical Validation)

लेखकों ने चार प्रयोगात्मक सेटिंग्स में स्कोर को मान्य किया है:

सिंथेटिक कैटेगोरिकल डेटा (Synthetic Categorical Data): छह अलग-अलग लेबल-हेरफेर नीतियों (यूनिफॉर्म नॉइज़, एसिमेट्रिक नेबर्स और स्ट्रक्चर्ड "मिक्सड" नॉइज़ सहित) का उपयोग करते हुए, स्कोर भ्रष्टाचार (corruption) की संभावना बढ़ने के साथ लगातार घटता है। यह हैमिंग दूरी और $\ell_2$ त्रुटि के साथ एक मजबूत नकारात्मक सहसंबंध दिखाता है, और विभिन्न हेरफेर प्रकारों में सुसंगत रैंकिंग बनाए रखने में अन्य स्टोकेस्टिक उपायों (KL-divergence, $\chi^2$ -MI, Max Correlation) से बेहतर प्रदर्शन करता है।
इमेज डेटा (CIFAR-10): SimCLR एम्बेडिंग्स को निरंतर अवलोकन के रूप में उपयोग करते हुए, कर्नलाइज्ड ग्राम डिटरमिनेंट स्कोर भ्रष्ट इमेज लेबल्स को सफलतापूर्वक रैंक करता है। स्कोर भ्रष्टाचार स्तरों के साथ एकतत (monotonically) रूप से घटता है, जो कैटेगोरिकल डेटा में देखे गए रुझानों को दर्शाता है।
वास्तविक दुनिया का रोजगार डेटा (Real-World Employment Data): स्कोर को अमेरिकी रोजगार डेटा के तीन वर्जन्स (फर्स्ट रिलीज़, वन-मंथ रिवीजन, फाइनल वैल्यू) पर लागू किया गया था, जिसमें टैक्स विदहोल्डिंग डेटा को सहायक अवलोकन के रूप में उपयोग किया गया था। स्कोर ने "फाइनल वैल्यू" को सबसे विश्वसनीय के रूप में सही ढंग से पहचाना, जो इस अंतर्ज्ञान के अनुरूप है कि संशोधन डेटा की गुणवत्ता में सुधार करते हैं।
बेसलाइन के साथ तुलना: KL-divergence, $\chi^2$ -म्युचुअल इंफॉर्मेशन, मैक्सिमल कोरिलेशन और Top- $k$ वॉल्यूम के मुकाबले, ग्राम डिटरमिनेंट स्कोर ने श्रेष्ठ निरंतरता प्रदर्शित की। विशेष रूप से, मैक्सिमल कोरिलेशन विशिष्ट हेरफेर (जैसे, मर्ज 0/1 $\to$ 0) के विभिन्न स्तरों के बीच अंतर करने में विफल रहा, जबकि ग्राम डिटरमिनेंट (सभी सिंगुलर वैल्यूज का उत्पाद) और Top- $k$ वॉल्यूम ने मजबूत रैंकिंग बनाए रखी।

महत्व और दावे (Significance and Claims)

यह शोध पत्र रणनीतिक स्रोतों से प्राप्त डेटासेट के लिए विश्वसनीयता स्कोरिंग के अध्ययन को शुरू करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक कठोरता (Theoretical Rigor): यह परिभाषित करना कि विश्वसनीयता स्कोरिंग कब संभव है और "प्रयोग अज्ञेयवाद" (experiment agnosticism) को एक वांछनीय गुण के रूप में परिभाषित करना।
ज्यामितीय अंतर्दृष्टि (Geometric Insight): एक ज्यामितीय व्याख्या पेश करना (पैरेललपिपेड का आयतन) जो डेटा विश्वसनीयता को अवलोकन वितरणों की विविधता से जोड़ता है।
व्यावहारिक प्रयोज्यता (Practical Applicability): यह प्रदर्शित करना कि यह स्कोर अज्ञात शोर मॉडल या प्रयोग के ज्ञान की आवश्यकता के बिना, विविध प्रकार के डेटा (कैटेगोरिकल, निरंतर एम्बेडिंग्स, टाइम-सीरीज) और हेरफेर रणनीतियों पर काम करता है।
कार्य-अज्ञेयवादी मूल्यांकन (Task-Agnostic Evaluation): विशिष्ट डाउनस्ट्रीम कार्यों पर निर्भर रहने वाले डेटा वैल्यूएशन तरीकों के विपरीत, यह स्कोर सहायक अवलोकनों के साथ निरंतरता के आधार पर डेटा की आंतरिक गुणवत्ता का मूल्यांकन करता है।

लेखक अपनी सीमाओं के प्रति विनम्र बने हुए हैं, यह नोट करते हुए कि प्रयोग मैट्रिक्स की रैखिकता (linear independence) एक आवश्यक शर्त है, और वास्तविक दुनिया के अनुप्रयोगों (जैसे, रोजगार डेटा मामला) में, ऐसी धारणाएं जैसे कि 'कंडीशनल इंडिपेंडेंस', सत्यापित करना कठिन है, जिससे स्कोर निश्चित होने के बजाय केवल सूचक (indicative) बन जाते हैं। वे यह भी स्वीकार करते हैं कि हालांकि स्कोर सैद्धांतिक रूप से क्रमों को सुरक्षित रखता है, परिमित-नमूना भिन्नता (finite-sample variance) सरल बेसलाइनों की तुलना में इसके लाभों को अस्पष्ट कर सकती है।