📊 statistics

Unified Conformalized Multiple Testing with Full Data Efficiency

यह शोध पत्र कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग के लिए एक एकीकृत ढांचे का प्रस्ताव करता है जो एक पूर्ण परम्यूटेशन रणनीति के माध्यम से सभी उपलब्ध डेटा (शून्य, वैकल्पिक और बिना लेबल वाले) का उपयोग करके बेहतर स्कोर और पी-वैल्यू को कैलिब्रेट करके डेटा दक्षता को अधिकतम करता है, जिससे अतिरिक्त डेटा विभाजन की आवश्यकता के बिना सांख्यिकीय शक्ति में उल्लेखनीय सुधार होता है और फॉल्स डिस्कवरी रेट को कड़ाई से नियंत्रित किया जाता है।

मूल लेखक: Yuyang Huo, Xiaoyang Wu, Changliang Zou, Haojie Ren

प्रकाशित 2026-05-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuyang Huo, Xiaoyang Wu, Changliang Zou, Haojie Ren

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो भीड़ के एक विशाल समूह में कुछ विशिष्ट संदिग्धों ("नॉन-नल्स") को खोजने की कोशिश कर रहे हैं। आपका लक्ष्य निर्दोष लोगों पर गलत आरोप लगाए बिना संदिग्धों की पहचान करना है। सांख्यिकी (statistics) में, इसे मल्टीपल टेस्टिंग कहा जाता है, और नियम जो आपको पालन करना है वह यह है कि आपका "फॉल्स डिस्कवरी रेट" (FDR) कम रहे—यानी आप असली संदिग्धों को पकड़ने के चक्कर में बहुत अधिक निर्दोष लोगों पर आरोप नहीं लगा सकते।

लंबे समय से, जासूसों (सांख्यिकीविदों) के पास एक विशेष उपकरण रहा है जिसे कॉन्फॉर्मलाइज्ड टेस्टिंग (Conformalized Testing) कहा जाता है। यह एक जादुई आवर्धक लेंस (magnifying glass) की तरह है जो यह गारंटी देता है कि आप बहुत अधिक गलतियाँ नहीं करेंगे, चाहे भीड़ कैसी भी क्यों न हो। हालाँकि, एक पेंच था: इस आवर्धक लेंस का सुरक्षित रूप से उपयोग करने के लिए, जासूसों को अपने सबूतों का एक बड़ा हिस्सा फेंकना पड़ता था। उन्हें अपने डेटा को "ट्रेनिंग" और "टेस्टिंग" के ढेर में बांटना पड़ता था, जिससे बहुत सारी उपयोगी जानकारी बेकार चली जाती थी।

यह शोध पत्र, जिसका शीर्षक "Unified Conformalized Multiple Testing with Full Data Efficiency" है, इस जादुв लेंस का उपयोग करने का एक नया, स्मार्ट तरीका प्रस्तावित करता है। यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. पुराना तरीका: "पिज्जा बांटने" की समस्या

कल्पना कीजिए कि आपके पास एक पूरा पिज्जा (आपका डेटा) है और आप उसमें पेपरोनी स्लाइस (संदिग्धों) को खोजना चाहते हैं।

पुराना तरीका: आप पिज्जा को दो हिस्सों में काट देते हैं। आप एक आधे हिस्से का उपयोग यह सीखने के लिए करते हैं कि पेपरोनी कैसी दिखती है, और दूसरे आधे हिस्से का उपयोग यह जांचने के लिए करते हैं कि जो स्लाइस आपने खोजे हैं वे वास्तव में पेपरोनी हैं या नहीं।
समस्या: आपको सीखने के लिए केवल आधा पिज्जा मिलता है और जांचने के लिए आधा। यदि पिज्जा छोटा है, तो आप पेपरोनी को मिस कर सकते हैं या भ्रमित हो सकते हैं। साथ ही, अलग-अलग जासूसों के पिज्जा काटने के अलग-अलग तरीके थे, और यह तुलना करना कठिन था कि कौन सबसे अच्छा काम कर रहा है।

2. नया तरीका: "फुल परम्यूटेशन" पार्टी

लेखक, हुओ, वू, ज़ौ और रेन, ECOT (Enhanced COnformal Testing) नामक एक एकीकृत ढांचा प्रस्तावित करते हैं। पिज्जा को काटने के बजाय, वे कहते हैं: "आइए पूरे पिज्का को देखें, लेकिन हमें निष्पक्ष रहने के लिए एक विशिष्ट खेल खेलना होगा।"

खेल (परम्यूटेशन/क्रमपरिवर्तन): कल्पना कीजिए कि आपके पास ताश की एक गड्डी है जो आपके डेटा का प्रतिनिधित्व करती है। यह जांचने के लिए कि क्या कोई विशिष्ट कार्ड एक "संदिग्ध" है, आप खेल के नियमों को सख्त रखते हुए हर संभव तरीके से गड्डी को शफल (shuffle) करते हैं। आप पूछते हैं: "यदि मैं कार्डों को बेतरतीब ढंग से शफल करता हूँ, तो कितनी बार यह कार्ड दूसरों की तुलना में एक संदिग्ध की तरह दिखता है?"
जादू: सभी डेटा (जिन्हें आप पहले से जानते हैं, जिन्हें आप निर्दोष जानते हैं, और रहस्यमय भीड़) का उपयोग अपने "संदिग्ध डिटेक्टर" को बनाने के लिए करके, आप एक बहुत ही सटीक उपकरण प्राप्त करते हैं। क्योंकि आप पूरे डेक का उपयोग शफलिंग गेम खेलने के लिए करते हैं, इसलिए आपको कोई भी डेटा फेंकने की आवश्यकता नहीं है।

3. नए तरीके की तीन बड़ी जीत

A. हर सुराग का उपयोग करना (पूर्ण डेटा दक्षता)

पुराने दिनों में, यदि आपके पास ज्ञात संदिग्धों (पॉजिटिव डेटा) की एक सूची और ज्ञात निर्दोषों (नेगेटिव डेटा) की एक सूची होती थी, तो सुरक्षा बनाए रखने के लिए आपको अक्सर ज्ञात संदिग्धों को "सीखने" के चरण से बाहर रखना पड़ता था।

नया तरीका: ECOT आपको सब कुछ उपयोग करने देता है। आप डिटेक्टर को यह सिखाने के लिए कि क्या देखना है, ज्ञात संदिग्धों का उपयोग करते हैं, और अलार्म को कैलिब्रेट करने के लिए ज्ञात निर्दोषों का उपयोग करते हैं। यह डिटेक्टर को बहुत स्मार्ट बनाता है और गलत अलार्म बजाए बिना वास्तविक संदिग्धों को पकड़ने की अधिक संभावना रखता है।

B. "ऑटो-पायलट" सेलेक्टर (अनुकूली चयन)

कभी-कभी, आपको नहीं पता होता कि किस प्रकार का डिटेक्टर सबसे अच्छा काम करता है। शायद एक "बाइनरी डिटेक्टर" (जो दो समूहों के बीच अंतर देखता है) एक मामले के लिए सबसे अच्छा है, लेकिन एक "वन-क्लास डिटेक्टर" (जो केवल यह देखता है कि चीजें अजीब क्यों लग रही हैं) दूसरे मामले के लिए बेहतर है।

पुरानी समस्या: यदि आप यह देखने के लिए एक ही डेटा पर दोनों डिटेक्टरों को आज़माते हैं कि कौन सा बेहतर है, तो आप उत्तर को दो बार देखकर "चीटिंग" करते हैं, जो आपकी सुरक्षा गारंटी को खराब कर देता है।
नया तरीका: ECOT में एक अंतर्निहित "ऑटो-पायलट" है। यह शफलिंग गेम के अंदर ही सभी डिटेक्टरों को आज़माता है। यह प्रत्येक विशिष्ट व्यक्ति के लिए सबसे अच्छा डिटेक्टर चुनता है बिना नियमों के बाहर अंतिम उत्तर में "झांककर" देखे। यह बिना सुरक्षा गारंटी को प्रभावित किए, सर्वोत्तम परिणाम प्राप्त करने के लिए स्वचालित रूप से अपनी रणनीति बदल लेता है।

C. एक बड़ा नियमकोश (एकीकृत ढांचा)

इस शोध पत्र से पहले, समान तरीकों के लिए अलग-अलग नामों वाले कई अलग-अलग शोध पत्र थे (जैसे "AdaDetect," "Integ," "FullND")। यह ऐसा था जैसे एक ही खेल के लिए पांच अलग-अलग नियमकोश हों।

नया तरीका: लेखकों ने दिखाया कि ये सभी अलग-अलग तरीके वास्तव में उनके एक बड़े "फुल परम्यूटेशन" गेम के विशेष संस्करण हैं। यदि आप उनके नियमों का पालन करते हैं, तो आप सभी पुराने तरीकों को फिर से बना सकते हैं, और आप अपने डेटा का अधिक कुशलता से उपयोग करने के लिए नए और बेहतर तरीके भी बना सकते हैं।

4. प्रयोग क्या दिखाते हैं

लेखकों ने हजारों सिमुलेशन चलाए और वास्तविक दुनिया के डेटासेट (जैसे क्रेडिट कार्ड धोखाधड़ी या उपग्रह विसंगतियों को पहचानना) पर अपने तरीके का परीक्षण किया।

परिणाम: उनका तरीका पुराने तरीकों की तुलना में लगातार अधिक "संदिग्धों" (उच्च पावर) को ढूंढता है, जबकि अभी भी गलत आरोपों (FDR) को नियंत्रण में रखता है।
समझौता (Trade-off): एकमात्र कमी यह है कि हर संभव तरीके से गड्डी को शफल करने में थोड़ा अधिक कंप्यूटर समय लगता है। हालांकि, उन्होंने दिखाया कि इस अतिरिक्त समय के बावजूद, यह तरीका व्यावहारिक उपयोग के लिए पर्याप्त तेज़ है और पिछले "फुल डेटा" प्रयासों की तुलना में बहुत तेज़ है।

सारांश उपमा

पुराने तरीकों को एक ऐसे जासूस के रूप में सोचें जिसे चोर को खोजने के लिए कमरे के केवल आधे हिस्से पर टॉर्च चलाने की अनुमति है, जबकि दूसरा आधा हिस्सा अंधेरे में है।
नया ECOT तरीका एक ऐसे जासूस की तरह है जो चोर को खोजने के लिए पूरे कमरे की लाइट जला देता है। यह सुनिश्चित करने के लिए कि वे चक्कर न खा जाएं और गलत व्यक्ति पर आरोप न लगाएं, वे यह साबित करने के लिए एक विशेष "शफलिंग" तकनीक का उपयोग करते हैं कि उनके निष्कर्ष ठोस हैं। वे चोर को तेज़ी से खोजने के लिए स्वचालित रूप से विभिन्न प्रकार की टॉर्चों के बीच स्विच भी कर सकते हैं, और यह सब एक सख्त नियमकोश का पालन करते हुए करते हैं जो यह गारंटी देता है कि वे बहुत अधिक गलतियाँ नहीं करेंगे।

संक्षेप में: यह शोध पत्र सांख्यिकीविदों को बेहतर निर्णय लेने के लिए उनके सभी डेटा का उपयोग करने का एक तरीका देता है, बिना उन सुरक्षा नियमों को तोड़े जो गलत आरोपों को रोकने के लिए बनाए गए हैं।

तकनीकी सारांश: पूर्ण डेटा दक्षता के साथ एकीकृत कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग

1. समस्या विवरण (Problem Statement)

कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग (Conformalized multiple testing), उन नमूनों की पहचान करने के लिए एक मॉडल-मुक्त ढांचा प्रदान करता है जिनके लेबल अनऑब्जर्व्ड (unobserved) हैं (जैसे, आउटलियर डिटेक्शन, सैंपल सिलेक्शन), जब वे फॉल्स डिस्कवरी रेट (FDR) को नियंत्रित करने के उद्देश्य से किए जाते हैं। मानक प्रक्रिया में एक नॉन-कॉन्फॉर्मिटी स्कोर का निर्माण करना, इसे शून्य (null) नमूनों के एक सेट के विरुद्ध कैलिब्रेट करना और कॉन्फॉर्मल पी-वैल्यू (p-values) उत्पन्न करना शामिल है (जैसे, बेन्जामिनी-होचबर्ग नियम लागू करना)।

मौजूदा विधियाँ डेटा उपयोग के संबंध में दो प्राथमिक सीमाओं का सामना करती हैं:

आंशिक डेटा उपयोग (Partial Data Usage): कई दृष्टिकोण उपलब्ध शून्य डेटा ( $D_0$ ) को ट्रेनिंग और कैलिब्रेशन सेटों में विभाजित करते हैं, जिससे मूल्यवान जानकारी नष्ट हो जाती है। अन्य विधियाँ स्कोर निर्माण के दौरान उपलब्ध नॉन-नल (पॉजिटिव) लेबल वाले डेटा ( $D_1$ ) या अनलेबल टेस्ट डेटा ( $D_u$ ) का उपयोग करने में विफल रहती हैं।
खंडित ढांचे (Fragmented Frameworks): विभिन्न विधियाँ (जैसे, स्प्लिट कॉन्फॉर्मल, इंटीग्रेटिव कॉन्फॉर्मल, लोकलाइज्ड कॉन्फॉर्मल) विशिष्ट सेटिंग्स और डेटा-उपयोग योजनाओं के तहत विकसित की गई हैं। ऐसा कोई एकीकृत सैद्धांतिक ढांचा नहीं है जो इन विधियों को समाहित कर सके या एक व्यवस्थित सिद्धांत प्रदान कर सके जिससे नए तरीकों को डिजाइन किया जा सके जो सभी उपलब्ध डेटा ( $D_0, D_1, D_u$ ) का पूर्ण लाभ उठा सकें और साथ ही कठोरता से FDR को नियंत्रित कर सकें।

केंद्रीय चुनौती एक ऐसा एकीकृत दृष्टिकोण विकसित करना है जो सभी उपलब्ध डेटा ( $D_0, D_1, D_u$ ) का स्कोर निर्माण और कैलिब्रेशन दोनों के लिए उपयोग करके सांख्यिकीय शक्ति (statistical power) को अधिकतम करे, बिना उन एक्सचेंजैबिलिटी धारणाओं (exchangeability assumptions) का उल्लंघन किए जो परिमित-नमूना (finite-sample) FDR नियंत्रण के लिए आवश्यक हैं।

2. कार्यप्रणाली: ECOT ढांचा (Methodology: The ECOT Framework)

लेखक एक पूर्ण क्रमचय रणनीति (full permutation strategy) पर आधारित एक एकीकृत ढांचे, Enhanced COnformal Testing (ECOT) का प्रस्ताव करते हैं। मुख्य अंतर्दृष्टि यह है कि कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग को क्रमचय परीक्षण (permutation testing) के नजरिए से देखा जाए, जहाँ एक टेस्ट सैंपल $j$ के लिए पी-वैल्यू की गणना डेटा के सभी संभावित क्रमचयों (permutations) के विरुद्ध स्कोर की तुलना करके की जाती है।

2.1 मुख्य घटक (Core Components)

ECOT प्रक्रिया तीन चरणों से बनी है:

स्कोर निर्माण (Score Construction): प्रत्येक टेस्ट सैंपल $j \in U$ के लिए, सभी उपलब्ध डेटा ( $D_0, D_1, D_u$ ) का उपयोग करके एक व्यक्तिगत स्कोर फंक्शन $S^{(j)}$ निर्मित किया जाता है। उच्च स्कोर शून्य परिकल्पना (null hypothesis) के विरुद्ध मजबूत साक्ष्य को दर्शाता है।
पी-वैल्यू गणना (P-value Computation): एक पूर्ण क्रमचय (full permutation) के माध्यम से कॉन्फॉर्मल पी-वैल्यू की गणना की जाती है:
$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$
यहाँ, $\Omega_j$ कैलिब्रेशन सेट $C \subseteq L_0$ और टेस्ट सैंपल $j$ के क्रमचयों का सेट है, जबकि इस सेट के बाहर के इंडेक्स को स्थिर रखा गया है। $S^{(j)}_\sigma$ क्रमचय किए गए डेटासेट पर निर्मित स्कोर फंक्शन है।
टेस्टिंग प्रक्रिया (Testing Procedure): डेटा के पुन: उपयोग और व्यक्तिगत स्कोर के कारण पी-वैल्यू के बीच उत्पन्न होने वाली निर्भरता को संभालने के लिए, ECOT एक कंडीशनल कैलिब्रेशन चरण का उपयोग करता है (फिथियन और लेई, 2022 से प्रेरित)। इसमें एक क्रमचय-अपरिवर्तनीय सारांश (जैसे, मीडियन) का उपयोग करके संशोधित पी-वैल्यू $\tilde{p}^{(j)}_\ell$ को परिभाषित करना शामिल है, जिसके बाद एक रिजेक्शन प्रक्रिया अपनाई जाती है जो परिमित-नमूना FDR नियंत्रण सुनिश्चित करती है।

2.2 कम्प्यूटेशनल सरलीकरण (Computational Simplifications)

पूर्ण क्रमचय कम्प्यूटेशनल रूप से गहन ( $O((|C|+1)!)$ ) है। ढांचा दो समरूपता स्थितियों (symmetry conditions) की पहचान करता है जिनके तहत प्रक्रिया महत्वपूर्ण रूप से सरल हो जाती है:

कैलिब्रेशन-सिमेट्रिक स्कोर (Calibration-Symmetric Scores): यदि $S^{(j)}$ , कैलिब्रेशन सेट और $j$ के क्रमचयों के तहत अपरिवर्तित रहता है, तो पी-वैल्यू $C \cup \{j\}$ पर एक सरल रैंक-आधारित गणना में बदल जाती है, जिससे बार-बार मॉडल रिट्रेनिंग की आवश्यकता समाप्त हो जाती है।
जॉइंट-सिमेट्रिक स्कोर (Joint-Symmetric Scores): यदि सभी नमूनों के लिए एक ही स्कोर फंक्शन $S$ का उपयोग किया जाता है और वह सभी शून्य और टेस्ट नमूनों के संबंध में सममित (symmetric) है, तो कंडीशनल कैलिब्रेशन चरण की आवश्यकता नहीं होती है, और सरलीकृत पी-वैल्यू पर मानक बेन्जामिनी-होचबर्ग (BH) प्रक्रिया पर्याप्त होती है।

2.3 उन्नत दृष्टिकोण (Enhanced Approaches)

एकीकृत ढांचे का लाभ उठाते हुए, लेखक दो विशिष्ट उन्नत विधियों का प्रस्ताव करते हैं:

ECOT-bi (बाइनरी क्लासिफिकेशन): यह बाइनरी क्लासिफायर को प्रशिक्षित करने के लिए $D_0, D_1,$ और $D_u$ का संयुक्त रूप से उपयोग करता है। क्लासिफायर नॉन-नल नमूनों ( $D_1$ ) और मिश्रित शून्य/अनलेबल नमूनों ( $D_0 \cup D_u$ ) के बीच अंतर करता है। यह इष्टतम डेंसिटी रेशियो (density ratio) का अनुमान लगाता है बिना $D_0$ को विभाजित किए।
ECOT-oc (वन-क्लास क्लासिफिकेशन): यह उन परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ बाइनरी क्लासिफायर अक्षम होते हैं (जैसे, वेरिएंस अंतर)। यह $D_0 \cup D_u$ (शून्य के लिए) और $D_1$ (अल्टरनेटिव के लिए) पर वन-क्लास क्लासिफायर को प्रशिक्षित करता है, और स्कोर बनाने के लिए उन्हें एकीकृत करता है।

2.4 अनुकूली चयन (Adaptive Selection)

यह ढांचा Adaptive Approach Selection (ECOT-as) को सक्षम बनाता है। एक एकल विधि को फिक्स करने के बजाय, एल्गोरिदम कई उम्मीदवार दृष्टिकोणों (जैसे, ECOT-bi, ECOCO-oc, FullND) का मूल्यांकन करता है और प्रत्येक सैंपल के लिए उच्चतम पावर (रिजेक्शन की संख्या) देने वाले दृष्टिकोण का चयन करता है। महत्वपूर्ण रूप से, चयन चरण को पूर्ण क्रमचय रणनीति के माध्यम से स्कोर निर्माण में शामिल किया गया है। यह चयन को स्कोर जनरेशन के हिस्से के रूप में मानता है, जो एक्सचेंजैबिलिटी को बनाए रखता है और उस "डबल डिपिंग" समस्या से बचता है जो आमतौर पर पोस्ट-सिलेक्शन इन्फरेंस में FDR को बढ़ा देती है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): यह पेपर ECOT पेश करता है, जो एक सामान्य ढांचा है जो मौजूदा कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग विधियों (जैसे, स्प्लिट कॉन्फॉर्मल, इंटीग्रेटिव, लोकलाइज्ड) को विशिष्ट समरूपता संरचनाओं के तहत विशेष मामलों के रूप में समाहित करता है।
पूर्ण डेटा दक्षता (Full Data Efficiency): यह ढांचा स्कोर निर्माण के लिए सभी उपलब्ध डेटा ( $D_0, D_1, D_u$ ) का उपयोग करने के लिए एक सिद्धांतवादी डिजाइन रणनीति प्रदान करता है, जबकि पूरे शून्य सेट को कैलिब्रेशन के लिए सुरक्षित रखता है। यह दिखाया गया है कि यह स्कोर की गुणवत्ता को बढ़ाकर और कैलिब्रेशन सेट के आकार को अधिकतम करके सांख्यिकीय शक्ति में सुधार करता है।
FDR नियंत्रण के साथ अनुकूली चयन (Adaptive Selection with FDR Control): लेखक एक डेटा-संचालित रणनीति विकसित करते हैं जो उम्मीदवारों के एक सेट में से सर्वश्रेष्ठ कॉन्फॉर्मल टेस्टिंग दृष्टिकोण को स्वचालित रूप से चुनती है। चयन को क्रमचय-आधारित स्कोर निर्माण में एकीकृत करके, वे अतिरिक्त डेटा विभाजन की आवश्यकता के बिना परिमित-नमूना FDR नियंत्रण प्राप्त करते हैं।
सैद्धांतिक गारंटी (Theoretical Guarantees): पेपर यह सिद्ध करता है कि मानक डेटा एक्सचेंजैबिलिटी धारणाओं के तहत, ECOT प्रक्रिया उपयोग किए गए स्कोर फंक्शन की जटिलता के बावजूद, परिमित नमूनों में वांछित स्तर $\alpha$ पर FDR को नियंत्रित करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिंथेटिक डेटा और वास्तविक दुनिया के आउटलियर डिटेक्शन डेटासेट्स (Credit Card, Satellite, Shuttle, CovType, Mammography) पर व्यापक संख्यात्मक प्रयोग किए गए।

पावर में सुधार (Power Improvement): उन परिदृश्यों में जहाँ बाइनरी क्लासिफिकेशन इष्टतम है, ECOT-bi और ECOT-as ने मौजूदा बेसलाइन्स (जैसे, AdaDetect, CP-bi, Integ) से बेहतर प्रदर्शन किया, क्योंकि उन्होंने FDR नियंत्रण बनाए रखते हुए उच्च पावर प्राप्त की। इसका श्रेय $D_1$ के पूर्ण उपयोग और डेटा विभाजन से बचने को दिया गया।
परिदृश्य के प्रति मजबूती (Robustness to Scenario): उन सेटिंग्स में जहाँ वन-क्लास क्लासिफिकेशन बेहतर है (जैसे, वेरिएंस शिफ्ट), ECOT-oc ने स्कोर निर्माण में $D_u$ का उपयोग करके इंटीग्रेटिव विधियों की तुलना में काफी बेहतर प्रदर्शन किया।
अनुकूली चयन (Adaptive Selection): ECOT-as ने विविध परिदृश्यों में सर्वश्रेष्ठ प्रदर्शन करने वाली विधि को सफलतापूर्वक ट्रैक किया, और कई मामलों में सैद्धांतिक ऑरेकल (oracle) के करीब पावर प्राप्त की।
वास्तविक डेटा प्रदर्शन (Real-Data Performance): वास्तविक डेटासेट्स पर, ECOT विधियों (विशेष रूप से ECOT-bi और ECOT-as) ने बेसलाइन्स की तुलना में बेहतर पावर प्रदर्शित की, जो अक्सर सीमित लेबल वाले डेटा या अनुपयुक्त स्कोर निर्माण के कारण कम पावर से ग्रस्त थे।
कम्प्यूटेशनल लागत (Computational Cost): हालांकि पूर्ण क्रमचय दृष्टिकोण स्प्लिट विधियों की तुलना में कम्प्यूटेशनल रूप से भारी है, लेकिन समायोजित अनुकूली चयन (एल्गोरिदम 3) और समरूपता कटौती रनटाइम को व्यावहारिक सीमाओं (मध्यम आकार के नमूनों के लिए लगभग 1 मिनट) के भीतर रखती है, जो प्रतिस्पर्धी फ्रेमवर्क जैसे OptCS के पूर्ण कॉन्फॉर्मल कार्यान्वयन की तुलना में काफी तेज है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि ECOT एक महत्वपूर्ण प्रगति है क्योंकि यह कॉन्फॉर्मलाइज्ड मल्टीपल टेस्टिंग के खंडित परिदृश्य को एकीकृत करता। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

व्यवस्थित डिजाइन (Systematic Design): एक नया कॉन्फॉर्मल प्रोसीजर डिजाइन करने के लिए एक स्पष्ट, सिद्धांतवादी मार्ग प्रदान करना जो डेटा दक्षता को अधिकतम करता है।
स्वचालित अनुकूलन (Automatic Adaptation): FDR नियंत्रण से समझौता किए बिना इष्टतम टेस्टिंग रणनीति चुनने की समस्या को हल करना, जो पोस्ट-सिलेक्शन इन्फरेंस की एक सामान्य खामी है।
व्यावहारिक दक्षता (Practical Efficiency): यह प्रदर्शित करना कि पूर्ण डेटा उपयोग विविध वास्तविक और सिंथेटिक परिदृश्यों में पावर में मूर्त लाभ लाता है, जिससे कॉन्फॉर्मल टेस्टिंग आउटलियर डिटेक्शन और सैंपल सिलेक्शन जैसे अनुप्रयोगों के लिए अधिक प्रभावी हो जाती है।

लेखक स्वीकार करते हैं कि यह ढांचा डेटा एक्सचेंजैबिलिटी पर निर्भर करता है और पूर्ण क्रमचय कम्प्यूटेशनल रूप से गहन हो सकता है, जो गैर-एक्सचेंजेबल डेटा (non-exchangeable data) जैसी धारणाओं को शिथिल करने और क्रमचय-आधारित इन्फरेंस को तेज करने के लिए भविष्य के कार्य का सुझाव देता है।