📊 statistics

Conformal C2ST: Turning weak classifiers into strong two-sample tests

यह शोध पत्र Conformal C2ST को प्रस्तुत करता है, जो एक सैद्धांतिक रूप से सुदृढ़ ढांचा है जो किसी भी प्रशिक्षित क्लासिफायर (classifier), यहाँ तक कि कमजोर या पक्षपाती वाले को भी, एक विश्वसनीय टू-सैंपल टेस्ट (two-sample test) में परिवर्तित कर देता है जिसमें सीमित-नमूना टाइप-I त्रुटि नियंत्रण (finite-sample Type-I error control) और गैर-तुच्छ शक्ति (non-trivial power) की गारंटी होती है, जो न्यूरल पोस्टीरियर एस्टीमेशन (Neural Posterior Estimation) मॉडलों को मान्य करने में विशेष प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Vansh Bansal, Tianyu Chen, James G. Scott

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vansh Bansal, Tianyu Chen, James G. Scott

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या दो समूहों के लोग वास्तव में एक ही शहर से हैं या वे किसी दूसरे शहर के छद्मवेशी (impostors) हैं। सांख्यिकी (statistics) और मशीन लर्निंग की दुनिया में, इसे two-sample test कहा जाता है। आपके पास एक "सच्चा" समूह है (जो वितरण $p$ से लिया गया है) और एक "नकली" समूह है (जो वितरण $q$ से लिया गया है), और आपको निर्णय लेना है: क्या वे एक ही हैं, या वे अलग हैं?

लंबे समय तक, इसे हल करने का मानक तरीका एक सुपर-डिटेक्टिव (एक अत्यधिक प्रशिक्षित AI क्लासिफायर) को काम पर रखना था। इस जासूस का काम यह देखना है कि दोनों समूहों को कैसे पहचाना जाए और उनके बीच का अंतर समझना है।

यदि जासूस परफेक्ट है, तो वह अंतर को तुरंत पहचान सकता है।
यदि समूह वास्तव में एक ही हैं, तो जासूस भ्रमित हो जाएगा और रैंडम अनुमान लगाएगा।

समस्या:
पुराने तरीके में एक बड़ी खामी थी: यह पूरी तरह से इस बात पर निर्भर था कि जासूस कितना जीनियस है। यदि आप एक कमजोर जासूस (जो थका हुआ है, ठीक से प्रशिक्षित नहीं है, या बस अपने काम में बुरा है) को काम पर रखते हैं, तो परीक्षण विफल हो जाएगा।

यदि समूह वास्तव में अलग थे, तो एक कमजोर जासूस उन्हें पहचानने में चूक सकता है और कह सकता है, "वे एक जैसे दिखते हैं!" (False Negative)।
यदि समूह वास्तव में एक ही थे, तो एक कमजोर जासूस भ्रमित होकर कह सकता है, "वे अलग दिखते हैं!" (False Positive)।

पुराना नियम था: "यदि आपके पास एक परफेक्ट जासूस नहीं है, तो आप परीक्षण पर भरोसा नहीं कर सकते।"

समाधान: Conformal C2ST
यह पेपर Conformal C2ST नामक एक नई विधि पेश करता है। यह एक कमजोर, अविश्वसनीय जासूस को एक चतुर तकनीक जिसे Conformal Calibration कहा जाता है, का उपयोग करके एक सुपर-विश्वसनीय जज में बदलने जैसा है।

यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:

"रैंकिंग" की ट्रिक

दो समूहों के बीच "क्या यह व्यक्ति शहर A से है या शहर B से है?" (एक कठिन हाँ/ना वाला निर्णय) पूछने के बजाय, नई विधि जासूस को लोगों को केवल रैंक (क्रम में लगाना) करने के लिए कहती है।

सेटअप: आप "सच्चे" लोगों का एक समूह लेते हैं (कैलिब्रेशन सेट) और एक "टेस्ट" व्यक्ति।
रैंकिंग: आप जासूस को सभी को स्कोर देने के लिए कहते हैं। भले ही जासूस कमजोर हो, फिर भी वह यह कहने में सक्षम हो सकता है कि "यह सच्चा व्यक्ति उस टेस्ट व्यक्ति की तुलना में एक सच्चे व्यक्ति जैसा अधिक महसूस होता है," या इसके विपरीत। उन्हें 100% सही होने की आवश्यकता नहीं है; उन्हें बस रैंडम गेसिंग से बेहतर होने की आवश्यकता है।
जादू: विधि यह देखती है कि टेस्ट व्यक्ति का स्कोर सच्चे लोगों की तुलना में कहाँ आता है।
- यदि टेस्ट व्यक्ति एक छद्मवेशी (impostor) है, तो उसका स्कोर आमतौर पर सच्चे समूह से बहुत अलग होगा।
- विधि इस सापेक्ष रैंक (relative rank) के आधार पर एक "p-value" (एक संभाव्यता स्कोर) की गणना करती है।

यह सब कुछ कैसे बदल देता है

यह पेपर इस नई विधि के बारे में दो अद्भुत चीजें सिद्ध करता है:

यह अटूट है (Validity): भले ही जासूस बुरा हो, गणित गारंटी देता है कि यदि दोनों समूह वास्तव में एक ही हैं, तो यह परीक्षण कभी भी उन्हें अलग बताने के लिए एक बहुत ही मामूली, नियंत्रित मात्रा से अधिक बार गलत आरोप नहीं लगाएगा (आमतौर पर 5% समय)। यह एक ऐसे जज की तरह है जो निर्दोष व्यक्ति को कभी दोषी नहीं ठहराता, भले ही गवाह थोड़ा डगमगा रहा हो।
यह अभी भी शक्तिशाली है (Robustness): भले ही जासूस कमजोर हो, जब तक कि वह एक सिक्के के उछाल (coin flip) से थोड़ा भी बेहतर रैंक कर सकता है, परीक्षण अंतर का पता लगा सकता है।
- पेपर की उपमा: कल्पना कीजिए कि जासूस का निर्णय रेखा (decision line) दो खेतों को अलग करने वाली एक बाड़ (fence) है।
  - पुराना तरीका: यदि बाड़ को थोड़ा सा भी हिलाया जाता है (एक कमजोर क्लासिफायर), तो परीक्षण टूट जाता है और अंतर नहीं बता पाता।
  - नया तरीका: भले ही बाड़ को हिलाया गया हो, झुकाया गया हो, या घुमाया गया हो (एक बुरा क्लासिफायर), नया तरीका लोगों को बाड़ के सापेक्ष क्रम में देखता है। यह अभी भी देख सकता है कि समूह अलग हैं, भले ही बाड़ एकदम सही जगह पर न हो।

पेपर में वास्तविक दुनिया का अनुप्रयोग

लेखकों ने इसे विशेष रूप से Neural Posterior Estimation (NPE) पर परखा।

परिदृश्य: कल्पना कीजिए कि एक वैज्ञानिक शोर वाले डेटा के आधार पर किसी छिपी हुई वस्तु (जैसे कोई ग्रह या बीमारी का स्रोत) के स्थान का अनुमान लगाने के लिए एक कंप्यूटर मॉडल का उपयोग कर रहा है। कंप्यूटर एक "सर्वश्रेष्ठ अनुमान" वितरण देता है।
परीक्षण: आप कैसे जानते हैं कि कंप्यूटर का अनुमान सटीक है? आप कंप्यूटर के अनुमानों की तुलना वास्तविक वास्तविकता (true reality) से करते हैं।
परिणाम: नया Conformal C2ST तरीका कंप्यूटर के अनुमानों में उन सूक्ष्म त्रुटियों को पकड़ने में सक्षम था जिन्हें पुराने तरीकों ने मिस कर दिया था। महत्वपूर्ण रूप से, यह तब भी काम कर गया जब तुलना करने वाला "डिटेक्टर" AI कमजोर या कम प्रशिक्षित था।

मुख्य निष्कर्ष (The Takeaway)

पेपर का मुख्य संदेश सरल है: आपको यह जांचने के लिए कि आपका मॉडल अच्छा है या नहीं, एक परफेक्ट AI की आवश्यकता नहीं है।

अतीत में, यदि आपका AI कमजोर था, तो आप अपने वैलिडेशन टेस्ट पर भरोसा नहीं कर सकते थे। अब, Conformal C2ST के साथ, आप एक कमजोर, अपूर्ण, या यहाँ तक कि थोड़े खराब क्लासिफायर को ले सकते हैं, उसे इस "रैंकिंग और कैलिब्रेशन" प्रक्रिया से गुजार सकते हैं, और यह प्राप्त कर सकते हैं कि आपका मॉडल सही ढंग से काम कर रहा है या नहीं, इसके बारे में एक विश्वसनीय, गणितीय रूप से गारंटीकृत उत्तर। यह एक "कमजोर संकेत" को एक "मजबूत परीक्षण" में बदल देता है।

तकनीकी सारांश: कॉन्फॉर्मल C2ST (Conformal C2ST)

समस्या विवरण (Problem Statement)

यह शोध पत्र दो-नमूना परीक्षण समस्या (two-sample testing problem) को संबोधित करता है, जो सांख्यिकी और मशीन लर्निंग में एक मौलिक कार्य है जिसका उद्देश्य यह निर्धारित करना है कि क्या दो नमूनों के सेट, जो अंतर्निहित वितरणों $p$ और $q$ से लिए गए हैं, समान रूप से वितरित ( $p=q$ ) हैं। इसका एक प्राथमिक अनुप्रयोग जनरेटिव मॉडल और न्यूरल पोस्टीरियर एस्टीमेशन (NPE) मॉडल का मूल्यांकन करना है, जहाँ $p$ वास्तविक डेटा-जनरेटिंग प्रक्रिया (या वास्तविक पोस्टीरियर) को दर्शाता है और $q$ एक सीखे हुए सन्निकटन (approximation) को दर्शाता है।

मानक दृष्टिकोण, क्लासिफायर टू-सैंपल टेस्ट (C2ST), $p$ और $q$ के बीच नमूनों में अंतर करने के लिए एक क्लासिफायर को प्रशिक्षित करता है। यदि क्लासिफायर उच्च सटीकता प्राप्त करता है, तो वितरणों को भिन्न माना जाता है। हालाँकि, शोध पत्र एक महत्वपूर्ण सीमा की पहचान करता है: C2ST की विश्वसनीयता और शक्ति (power) एक निकट-बेयस-इष्टतम (near-Bayes-optimal) क्लासिफायर की उपलब्धता पर टिकी होती है। व्यवहार में, क्लासिफायर अक्सर सीमित डेटा या मॉडल क्षमता के कारण कमजोर, पक्षपाती (biased), ओवरफिट या खराब कैलिब्रेटेड होते हैं। यह एक अस्पष्टता पैदा करता है: यदि कोई मॉडल C2ST में "पास" हो जाता है, तो यह स्पष्ट नहीं होता कि वितरण वास्तव में समान हैं या क्लासिफायर में अंतर का पता लगाने की शक्ति की कमी है। मौजूदा C2ST के लिए सैद्धांतिक गारंटी अक्सर एक इष्टतम या स्पर्शोन्मुख सुसंगत (asymptotically consistent) क्लासिफायर तक पहुँच की धारणा पर आधारित होती है, जो वास्तविक दुनिया के परिदृश्यों जैसे NPE में दुर्लभ है।

कार्यप्रणाली (Methodology)

लेखक कॉन्फॉर्मल C2ST (Conformal C2ST) का प्रस्ताव करते हैं, जो एक ढांचा है जो किसी भी प्रशिक्षित क्लासिफायर—चाहे वह कितना भी कमजोर या पक्षपाती क्यों न हो—के स्कोर को सटीक, परिमित-नमूना (finite-sample) $p$ -मानों में परिवर्तित करता है। यह पद्धति Hu & Lei (2024) के कॉन्फॉर्मल प्रेडिक्शन ढांचे पर आधारित है, लेकिन इसे उन सुलभ जनरेटिव मॉडलों के मूल्यांकन के लिए अनुकूलित करती है जहाँ मार्जिनल वितरण समान हो सकते हैं।

मुख्य तंत्र कॉन्फॉर्मल कैलिब्रेशन पर आधारित है न कि हार्ड थ्रेशोल्डिंग पर:

स्कोरिंग (Scoring): $p$ से $q$ के बीच अंतर करने के लिए एक क्लासिफायर $f$ को प्रशिक्षित किया जाता है, जो किसी भी इनपुट $x$ के लिए एक स्कोर $s(x)$ (जैसे, लॉग-ऑड्स) उत्पन्न करता है।
कॉन्फॉर्मल $p$ -मान (Conformal $p$ -value): एक टेस्ट पॉइंट $\tilde{X} \sim q$ के लिए, एक कॉन्फॉर्मल $p$ -मान $U$ की गणना $p$ से लिए गए कैलिब्रेशन स्कोर के सेट के विरुद्ध इसके स्कोर की तुलना करके की जाती है। $p$ -मान कैलिब्रेशन सेट के बीच टेस्ट पॉइंट के स्कोर की सापेक्ष रैंक (relative rank) को दर्शाता है।
एकत्रीकरण (Aggregation): $H_0: p=q$ के वैश्विक परिकल्पना (global hypothesis) के परीक्षण के लिए, इस प्रक्रिया को $q$ से कई स्वतंत्र टेस्ट पॉइंट्स के लिए दोहराया जाता है। परिणामी $p$ -मानों के संग्रह को (जैसे, कोलमोगोरोव-स्मिरनोव टेस्ट का उपयोग करके) यूनिफॉर्मिटी (uniformity) से विचलन का आकलन करने के लिए एकत्रित किया जाता है।

शोध पत्र दो विशिष्ट वेरिएंट पेश करता है:

कॉन्फॉर्मल यूनिफॉर्म टेस्ट (Conformal Uniform Test): प्रत्येक टेस्ट पॉइंट के लिए एक नए कैलिब्रेशन सेट का उपयोग करता है। यह सटीक परिमित-नमूना वैधता प्रदान करता है और शक्ति (power) को अधिकतम करता है, लेकिन इसके लिए $p$ से अतिरिक्त नमूने लेने की आवश्यकता होती है।
कॉन्फॉर्मल मल्टीपल टेस्ट (Conformal Multiple Test): सभी टेस्ट पॉइंट्स के लिए एक ही साझा कैलिब्रेशन सेट का उपयोग करता है। यह मानक C2ST के कम्प्यूटेशनल बजट (प्रत्येक जोड़ी के लिए $p$ से एक और $q$ से एक नमूना) से मेल खाता है और मजबूती (robustness) बनाए रखता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक वैधता (Theoretical Validity): लेखक स्थापित करते हैं कि Conformal C2ST किसी भी नियतात्मक स्कोरिंग फंक्शन के लिए शून्य परिकल्पना ( $p=q$ ) के तहत सटीक परिमित-नमूना टाइप-I एरर कंट्रोल प्रदान करता है। यह वैधता क्लासिफायर की गुणवत्ता की परवाह किए बिना बनी रहती है, जो प्रभावी रूप से त्रुटि नियंत्रण को विभेदक सटीकता (discriminative accuracy) से अलग करती है।
कमजोर क्लासिफायर्स के प्रति मजबूती (Robustness to Weak Classifiers): शोध पत्र सिद्ध करता है कि वैकल्पिक परिकल्पना ( $p \neq q$ ) के तहत भी Conformal C2ST गैर-तुच्छ शक्ति (non-trivial power) बनाए रखता है, भले ही क्लासिफायर कमजोर या गलत तरीके से निर्दिष्ट (misspecified) हो। सैद्धांतिक परिणाम दिखाते हैं कि शक्ति डेंसिटी रेशियो के अनुमान त्रुटि के साथ धीरे-धीरे घटती है (जैसे $O(\epsilon^{2/3})$ ), बशर्ते क्लासिफायर एक उचित रैंकिंग सिग्नल (AUC द्वारा मापा गया) बनाए रखे।
सटीकता के बजाय रैंकिंग (Ranking over Accuracy): कार्यप्रणाली वर्गीकरण सटीकता (0.5 पर थ्रेशोल्डिंग) से ध्यान हटाकर रैंकिंग गुणवत्ता पर केंद्रित करती है। यह परीक्षण पूर्ण संभाव्यता अनुमानों के बजाय स्कोर के सापेक्ष क्रम (AUC) पर निर्भर करता है, जो मिसकैलिब्रेशन और कमजोर निर्णय सीमाओं के प्रति अधिक मजबूत है।
व्यावहारिक वेरिएंट (Practical Variants): "मल्टीपल" टेस्ट का परिचय बिना मानक C2ST की तुलना में सिमुलेशन बजट बढ़ाए, मजबूत दो-नमूना परीक्षण की अनुमति देता है, जिससे यह महंगे सिम्युलेटर्स के लिए व्यवहार्य हो जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक कई बेंचमार्क में मानक C2ST, सिमुलेशन-आधारित कैलिब्रेशन (SBC), टेस्ट ऑफ एक्यूरेसी विद रैंडम पॉइंट्स (TARP), डिस्क्रिमिनेटिव कैलिब्रेशन (DC), और कर्नेल-आधारित परीक्षणों (MMDFuse) सहित बेसलाइनों के विरुद्ध Conformal C2ST का मूल्यांकन करते हैं:

नियंत्रित विक्षोभ (Controlled Perturbations): विक्षुब्ध गाऊसीन पोस्टीरियर्स (मीन शिफ्ट, कोवेरिएंस स्केलिंग, हेवी टेल्स) के साथ प्रयोगों में, Conformal C2ST वेरिएंट्स ने सूक्ष्म विसंगतियों का पता लगाने में मानक C2ST और अन्य बेसलाइनों की तुलना में लगातार बेहतर प्रदर्शन किया। विशेष रूप से, DC इन सेटिंग्स में टाइप-I एरर को नियंत्रित करने में विफल रहा।
क्लासिफायर गिरावट (Classifier Degradation): लेखकों ने प्रशिक्षित मापदंडों को रैंडम इनिशियलाइजेशन के साथ इंटरपोलेट करके क्लासिफायर की गुणवत्ता को व्यवस्थित रूप से कम किया। परिणामों ने दिखाया कि जैसे-जैसे क्लासिफायर कमजोर हुआ, मानक C2ST की शक्ति तेजी से गिर गई। इसके विपरीत, Conformal C2ST ने उच्च शक्ति बनाए रखी, जो पक्षपाती या खराब प्रशिक्षित क्लासिफायर्स के प्रति लचीलापन प्रदर्शित करता है।
उच्च-आयामी चित्र (High-Dimensional Images): विभिन्न भ्रष्टाचारों (ब्लर, स्वर्ल, शोर) के साथ CIFAR-10 पर, Conformal C2ST ने अत्याधुनिक शक्ति प्राप्त की और तब भी मजबूत बना रहा जब अंतर्निहित क्लासिफायर कमजोर था।
वास्तविक दुनिया की वैज्ञानिक व्युत्क्रम समस्या (Real-World Scientific Inverse Problem): ग्रेविटेशनल लेंसिंग बेंचमार्क में, Conformal C2ST ने प्रतिस्पर्धियों की तुलना में निचले स्तरों पर पूर्वाग्रहों का पता लगाया और क्लासिफायर गिरावट के तहत भी वैध बना रहा, जबकि DC जैसे अन्य तरीके बढ़े हुए टाइप-I एरर के कारण अमान्य थे।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि Conformal C2ST मॉडल सत्यापन के लिए एक व्यावहारिक, सैद्धांतिक रूप से सुदृढ़ नैदानिक उपकरण स्थापित करता है। इसका प्राथमिक महत्व "कमजोर क्लासिफायर" की अस्पष्टता को हल करने में निहित है: एक मॉडल जो Conformal C2ST परीक्षण पास करता है, वह वितरण समानता का मानक C2ST की तुलना में अधिक विश्वसनीय संकेत है, क्योंकि पहले की वैधता क्लासिफायर के इष्टतम होने पर निर्भर नहीं करती है।

लेखक इस बात पर जोर देते हैं कि विश्वसनीय मॉडल सत्यापन के लिए एक निकट-बेयस-इष्टतम क्लासिफायर कड़ाई से आवश्यक नहीं है; एक कमजोर लेकिन सूचनात्मक रैंकिंग पर्याप्त है। यह विधि इसे NPE और जनरेटिव मॉडल मूल्यांकन के लिए विशेष रूप से मूल्यवान बनाती है जहाँ पूर्ण क्लासिफायर प्राप्त करना अक्सर असंभव होता है। यह कार्य अपने दायरे में विनम्र है, जो सिम्युलेटर को वास्तविक दुनिया के डेटा के विरुद्ध मान्य करने की व्यापक $M$ -open समस्या के बजाय सीखे हुए पोस्टीरियर $q$ के विरुद्ध वास्तविक पोस्टीरियर $p$ के सत्यापन ( $M$ -closed सेटिंग) पर केंद्रित है। लेखक कुछ सीमाओं को भी नोट करते हैं, जैसे कि परीक्षण की वैश्विक प्रकृति (यह विसंगतियों को स्थानीयकृत नहीं करता है) और $p$ से नमूने लेना महंगा होने पर 'यूनिफॉर्म' वेरिएंट की कम्प्यूटेशनल लागत।