📊 statistics

Weighted Conformal Clustering

यह शोध पत्र एक नवीन भारित कॉन्फॉर्मल क्लस्टरिंग (weighted conformal clustering) पद्धति प्रस्तावित करता है जो एक सशर्त लेबल-वितरण विस्थापन (conditional label-distribution shift) ढांचे के माध्यम से सिंथेटिक कैलिब्रेशन लेबल और लेटेंट ग्राउंड ट्रुथ के बीच के बेमेल को संबोधित करके क्लस्टर लेबल के लिए वैध विश्वास सेट (confidence sets) का निर्माण करती है, जो अंततः मौजूदा स्प्लिट कॉन्फॉर्मल दृष्टिकोणों की तुलना में बेहतर सूचनात्मक विश्वास सेट आकार प्रदान करती है।

मूल लेखक: Anirban Nath, YoonHaeng Hur, Genevera I. Allen

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anirban Nath, YoonHaeng Hur, Genevera I. Allen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो बिखरे हुए सुरागों के ढेर को अलग-अलग केस फाइलों में व्यवस्थित करने की कोशिश कर रहे हैं। आपके पास एक स्मार्ट असिस्टेंट (एक क्लस्टरिंग एल्गोरिदम) है जो सुरागों को देखता है और कहता है, "यह 'बर्गरी' (चोरी) की फाइल में जाएगा, और वह 'फ्रॉड' (धोखाधड़ी) की फाइल में जाएगा।"

आमतौर पर, असिस्टेंट बस आपको अंतिम सूची थमा देता है। लेकिन क्या होगा अगर असिस्टेंट थोड़ा अनिश्चित हो? क्या होगा अगर कोई सुराग 'बर्गरी' और 'फ्रॉड' दोनों जैसा लग रहा हो? पारंपरिक तरीकों में, असिस्टेंट फिर भी एक चुनाव करने के लिए मजबूर करता है, जिससे आपको बिना किसी चेतावनी के केवल एक उत्तर मिल जाता है कि उसका अनुमान कितना कमजोर हो सकता है।

यह पेपर असिस्टेंट से पूछने का एक नया तरीका प्रस्तावित करता है: "आप कितने निश्चित हैं?"

यहाँ उनके समाधान का विवरण, सरल उपमाओं का उपयोग करते हुए दिया गया है:

1. समस्या: "नकली" सत्य (The "Fake" Truth)

लेखक एक पेचीदा समस्या की ओर इशारा करते हैं। यह परीक्षण करने के लिए कि क्या असिस्टेंट अच्छा है, आपको आमतौर पर एक "कैलिब्रेशन" समूह की आवश्यकता होती है जहाँ आपको पहले से ही वास्तविक उत्तर पता हों। लेकिन क्लस्टरिंग में, आपके पास वास्तविक उत्तर नहीं होते हैं। आपके पास केवल असिस्टेंट के अपने अनुमान होते हैं।

यदि आप असिस्टेंट के अनुमानों का उपयोग असिस्टेंट को ही कैलिब्रेट करने के लिए करते हैं, तो यह एक छात्र को अपना होमवर्क खुद ग्रेड करने के लिए कहने और फिर उस ग्रेड का उपयोग यह भविष्यवाणी करने के लिए करने जैसा है कि वह फाइनल एग्जाम में कैसा प्रदर्शन करेगा। गणित जटिल हो जाता है क्योंकि जिस "सत्य" का आप उपयोग कर रहे हैं, वह वास्तव में एल्गोरिदम द्वारा बनाया गया एक सिमुलेशन है। यह एक विसंगति या "डिस्ट्रीब्यूशन शिफ्ट" पैदा करता है, जो उस नकली सत्य और वास्तविक सत्य के बीच होता है जिसे एल्गोरिदम खोजने की कोशिश कर रहा है।

2. समाधान: "वेटेड" स्केल (The "Weighted" Scale)

लेखक एक विधि पेश करते हैं जिसे वेटेड कॉन्फॉर्मल क्लस्टरिंग (Weighted Conformal Clustering) कहा जाता है।

कैलिब्रेशन प्रक्रिया को एक तराजू की तरह समझें। मानक तरीकों में, साक्ष्य के हर टुकड़े (डेटा पॉइंट) को तराजू पर समान वजन मिलता है। लेकिन क्योंकि "नकली सत्य" पक्षपाती है, इसलिए कुछ साक्ष्य दूसरों की तुलना में अधिक भ्रामक होते हैं।

लेखकों की विधि तराजू पर वजन (weights) डालती है।

यदि कोई डेटा पॉइंट वैसा ही दिखता है जैसा कि एल्गोरिदम आमतौर पर भविष्यवाणी करता है, तो उसे मानक वजन मिलता है।
यदि कोई डेटा पॉइंट अजीब या अलग दिखता है, तो विधि पक्षपात को ठीक करने के लिए उसके वजन को समायोजित करती है।

यह एक न्यायाधीश की तरह है जो यह महसूस करता है कि एक गवाह घबराया हुआ है और बढ़ा-चढ़ाकर बता सकता है, इसलिए न्यायाधीश उसके बयान को कम महत्व देता है। इन वजनों को समायोजित करके, यह विधि एल्गोरिदम के नकली लेबल और वास्तविक दुनिया के बीच के अंतर को "ठीक" करती है।

3. "ऑगमेंटेड" शॉर्टकट (The "Augmented" Shortcut)

इन सटीक वजनों की गणना करना आमतौर पर एक दुःस्वप्न है। इसके लिए कंप्यूटर को हजारों बार पूरी छंटनी प्रक्रिया को फिर से चलाना होगा, जिसमें हर बार एक समय में एक सुराग को छोड़ दिया जाएगा ताकि देखा जा सके कि परिणाम कैसे बदलता है। इसमें बहुत समय लगता है।

लेखकों ने एक चतुर शॉर्टकट का आविष्कार किया है जिसे ऑगमेंटेड कैलिब्रेशन (Augmented Calibration) कहा जाता है।

पुराना तरीका: कल्पना करें कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक पहेली कैसी दिखेगी यदि आप उसका एक टुकड़ा हटा दें, और फिर हर एक टुकड़े के लिए ऐसा ही करें।
नया तरीका: इसके बजाय, कल्पना करें कि आप जिस नए टुकड़े को छाँटने की कोशिश कर रहे हैं, उसे पहले पहेली के बॉक्स में डाल देते हैं, पूरी पहेली को एक बार हल करते हैं, और फिर देखते हैं कि टुकड़े आपस में कैसे फिट बैठते हैं।

यह "ऑगमेंटेड" चरण कंप्यूटर को एक ही बार में, तेजी से आवश्यक वजन की गणना करने की अनुमति देता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है।

4. परिणाम: "कॉन्फिडेंस सेट्स" (Confidence Sets)

एक एकल लेबल देने के बजाय जैसे कि "यह बर्गरी है," नया तरीका एक कॉन्फिडेंस सेट (Confidence Set) देता है।

उच्च आत्मविश्वास: सेट केवल {बर्गरी} हो सकता है। असिस्टेंट सुनिश्चित है।
कम आत्मविश्वास: सेट {बर्गरी, फ्रॉड} हो सकता है। असिस्टेंट कह रहा है, "मुझे लगता है कि यह बर्गरी है, लेकिन यह आसानी से फ्रॉड भी हो सकता है। मैं 100% निश्चित नहीं हूँ।"

यह अविश्वसनीय रूप से उपयोगी है क्योंकि यह आपको बताता है कि एल्गोरिदम कहाँ अनुमान लगा रहा है और कहाँ वह निश्चित है।

5. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों ने दो प्रकार की समस्याओं पर इसका परीक्षण किया:

मानक समस्याएँ: जब डेटा सरल और सुचारू होता है (जैसे बॉक्स में गेंदें), तो उनकी विधि मौजूदा विधियों के समान ही काम करती है।
कठिन समस्याएँ: जब डेटा अव्यवस्थित, उच्च-आयामी (जैसे हजारों विशेषताएं), या गैर-रेखीय (जटिल आकृतियों की तरह) होता है, तो उनकी विधि चमकती है। यह छोटे, अधिक सूचनात्मक सेट बनाती है।

सरल शब्दों में: कठिन पहेलियों पर, पुराने तरीके कहेंगे, "यह कुछ भी हो सकता है!" (संभावनाओं की एक विशाल, बेकार सूची)। नया तरीका कहता है, "यह संभवतः इन दो में से एक है," जो बहुत अधिक सहायक है।

उन्होंने हस्तलिखित अंकों (MNIST) पर भी इसका परीक्षण किया। उन्होंने पाया कि स्पष्ट नंबरों के लिए, सेट केवल एक अंक था। अस्पष्ट, उलझे हुए रेखाचित्रों के लिए, जिन्हें इंसान भी समझने में संघर्ष करते हैं, सेट ने सही ढंग से कई अंकों को शामिल करने के लिए विस्तार किया, जिससे अनिश्चितता को सटीक रूप से चिह्नित किया गया।

सारांश

यह पेपर इस रहस्य को सुलझाने का दावा नहीं करता है कि क्लस्टर क्या हैं (वह अभी भी एल्गोरिदम पर निर्भर है)। इसके बजाय, यह एक कठोर "अनिश्चितता मीटर" प्रदान करता है जो तब भी काम करता है जब एल्गोरिदम अपने स्वयं के नियम बना रहा होता है। यह एल्गोरिदम के पक्षपात को ठीक करने के लिए एक वेटेड स्केल का उपयोग करता है और गणित को तेज़ बनाने के लिए एक चतुर शॉर्टकट का उपयोग करता है, जिसके परिणामस्वरूप स्पष्ट, अधिक ईमानदार उत्तर मिलते हैं कि कौन से डेटा पॉइंट आसानी से छाँटे जा सकते हैं और कौन से कठिन हैं।

तकनीकी सारांश: वेटेड कॉन्फॉर्मल क्लस्टरिंग (Weighted Conformal Clustering)

समस्या का निरूपण
क्लस्टरिंग, बिना लेबल वाले डेटा में अंतर्निहित संरचनाओं को खोजने के लिए एक मौलिक उपकरण है, फिर भी मानक पाइपलाइन आमतौर पर अवलोकनों को क्लस्टरों में "हार्ड" असाइनमेंट (hard assignments) प्रदान करती हैं, जो असाइनमेंट की अनिश्चितता के कठोर मात्रात्मक विवरण के बिना होता है। जबकि मौजूदा विधियाँ बूटस्ट्रैपिंग, वैश्विक क्लस्टर अस्तित्व परीक्षण, या बेयसियन विश्वसनीय सेटों (Bayesian credible sets) के माध्यम से अनिश्चितता को संबोधित करती हैं, वे अक्सर व्यक्तिगत अवलोकनों के असाइनमेंट में निहित विशिष्ट अनिश्चितता की अनदेखी करती हैं।

हाल के कार्य [11] द्वारा लेबल असाइनमेंट को एक प्रेडिक्टिव समस्या के रूप में मानकर क्लस्टरिंग के लिए एक कॉन्फॉर्मल इन्फरेंस फ्रेमवर्क पेश किया गया। हालाँकि, एक महत्वपूर्ण सैद्धांतिक सीमा मौजूद है: [11] में उपयोग किए गए कैलिब्रेशन लेबल सिंथेटिक (synthetic) हैं, जो एक डेटा-डिपेंडेंट क्लस्टरिंग एल्गोरिदम द्वारा उत्पन्न किए गए हैं, न कि प्रेक्षित ग्राउंड-ट्रुथ लेबल द्वारा। फलस्वरूप, वैध कॉन्फॉर्मल प्रेडिक्शन के लिए आवश्यक एक्सचेंजैबिलिटी (exchangeability) धारणा का उल्लंघन होता है, जिससे संभावित अंडरकवरेज (undercoverage) हो सकता है। चुनौती क्लस्टर लेबल के लिए ऐसे कॉन्फिडेंस सेट्स (confidence sets) का निर्माण करने की है जो सिंथेटिक कैलिब्रेशन लेबल और अनऑब्जर्वड लेटेंट ग्राउंड-ट्रुथ लेबल के बीच इस वितरण विसंगति (distributional mismatch) के बावजूद परिमित-नमूना कवरेज गारंटी बनाए रखें।

कार्यप्रणाली (Methodology)
लेखक एक वेटेड कॉन्फॉर्मल क्लस्टरिंग (Weighted Conformal Clustering) फ्रेमवर्क प्रस्तावित करते हैं जो वितरण विसंगति को एक कंडीशनल लेबल-डिस्ट्रीब्यूशन शिफ्ट के रूप में मानकर इसे संबोधित करता है। मुख्य कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

ओरेकल-वेटेड स्प्लिट कॉन्फॉर्मल क्लस्टरिंग (Oracle-Weighted Split Conformal Clustering):
लेखक पहले एक "ओरेकल" प्रक्रिया प्राप्त करते हैं जो सटीक परिमित-नमूना मार्जिनल कवरेज प्राप्त करती है। यह दृष्टिकोण वेटेड कॉन्फॉर्मल प्रेडिक्शन का उपयोग करता है, जहाँ भार (weights) को सिंथेटिक लेबल वितरण (क्लस्टरिंग एल्गोरिदम द्वारा प्रेरित) और वास्तविक लेटेंट लेबल वितरण के बीच विसंगति को ठीक करने के लिए बनाया जाता है। भारों को वास्तविक कंडीशनल लेबल डेंसिटी $p^*_{Y|X}$ और क्लस्टरिंग एल्गोरिदम द्वारा उत्पन्न सिंथेटिक लेबल संभाव्यता के बीच लाइकलीहुड रेश्यो (likelihood ratios) के रूप में परिभाषित किया गया है। हालांकि यह सैद्धांतिक रूप से सुदृढ़ है, यह ओरेकल प्रक्रिया कम्प्यूटेशनल रूप से कठिन (intractable) है क्योंकि इसके लिए प्रत्येक कैलिब्रेशन पॉइंट और टेस्ट पॉइंट के लिए लीव-वन-आउट ऑगमेंटेड डेटासेट्स पर क्लस्टरिंग नियम का मूल्यांकन करना आवश्यक है।
ऑगमेंटेड कैलिब्रेशन मैकेनिज्म (Augmented Calibration Mechanism):
विधि को कम्प्यूटेशनल रूप से व्यवहार्य बनाने के लिए, लेखक एक नवीन ऑगमेंटेड कैलिब्रेशन मैकेनिज्म पेश करते हैं। कैलिब्रेशन सेट पर क्लस्टरिंग एल्गोरिदम को अलग से फिट करने और बार-बार लीव-वन-आउट सेट्स पर फिट करने के बजाय, एल्गोरिदम को एक ऑगमेंटेड डेटासेट $D_{aug} = D_{ca} \cup \{x\}$ पर फिट करता है, जहाँ $D_{ca}$ कैलिब्रेशन सेट है और $x$ टेस्ट पॉइंट है। यह सिंगल फिट सिंथेटिक लाइकलीहुड टर्म्स को नॉर्मलाइजेशन के दौरान फैक्टराइज और कैंसिल करने की अनुमति देता है, जिससे भार एक पॉइंटवाइज लाइकलीहुड-रेशियो फॉर्म में बदल जाते हैं। यह तंत्र फुल-कॉन्फॉर्मल और स्प्लिट-कॉफॉर्मल दृष्टिकोणों के बीच के अंतर को पाटता है, और बार-बार रिफिटिंग की आवश्यकता को समाप्त करता है।
एस्टिमेटेड-वेट कंस्ट्रक्शन (Estimated-Weight Construction):
चूंकि वास्तविक कंडीशनल डेंसिटी $p^*_{Y|X}$ अज्ञात है, इसलिए विधि ओरेकल वेट्स के स्थान पर एक अलग ट्रेनिंग स्प्लिट पर प्रशिक्षित सॉफ्ट क्लासिफायर $\hat{\pi}$ का उपयोग करके अनुमानित वेट्स (estimated weights) का उपयोग करती है। अंतिम एल्गोरिदम (एल्गोरिदम 1) में शामिल है:

डेटा को ट्रेनिंग और कैलिब्रेशन सेट्स में विभाजित करना।
लेबल और एक सॉफ्ट क्लासिफायर उत्पन्न करने के लिए ट्रेनिंग सेट पर क्लस्टरिंग एल्गोरिदम को फिट करना।
सिंथेटिक लेबल उत्पन्न करने के लिए ऑगमेंटेड कैलिब्रेशन सेट ( $D_{ca} \cup \{x\}$ ) पर क्लस्टरिंग एल्गोरिदम को फिट करना।
एक परम्यूटेशन $\hat{\sigma}$ के माध्यम से सिंथेटिक लेबल्स को ट्रेनिंग लेबल्स के साथ संरेखित (align) करना।
कॉन्फॉर्मिटी स्कोर की गणना करना और अनुमानित कंडीशनल डेंसिटी और ऑगमेंटेड क्लस्टरिंग प्रोबेबिलिटीज के अनुपात से प्राप्त अनुमानित भारों का उपयोग करके कॉन्फिडेंस सेट का निर्माण करना।

प्रमुख योगदान (Key Contributions)
यह शोध पत्र तीन प्राथमिक योगदान देता है:

नवीन फ्रेमवर्क: यह अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक फ्रेमवर्क पेश करता है जो स्पष्ट रूप से समस्या को एक कंडीशनल लेबल-डिस्ट्रीब्यूशन शिफ्ट के रूप में मॉडल करता है, और गैर-एक्सचेंजेबल सिंथेटिक लेबल्स को संभालने के लिए वेटेड कॉन्फॉर्मल प्रेडिक्शन का उपयोग करता है।
ऑगमेंटेड कैलिब्रेशन: यह एक कम्प्यूटेशनल रूप से व्यवहार्य "ऑगमेंटेड कैलिब्रेशन" मैकेनिज्म का प्रस्ताव करता है। यह नवाचार लीव-वन-आउट रिफिटिंग के कम्प्यूटेशनल बोझ को हटा देता है जबकि वेटेड कॉन्फॉर्मल प्रेडिक्शन के सैद्धांतिक लाभों को बनाए रखता है, जो क्लस्टरिंग के परे अनसुपरवाइज्ड लर्निंग में लागू होने वाला एक नया सिद्धांत है।
सैद्धांतिक गारंटी: लेखक अनुमानित-भार प्रक्रिया के लिए परिमित-नमूना कवरेज बाउंड्स स्थापित करते हैं। कवरेज लॉस को अनुमानित कंडीशनल लेबल वितरण और वास्तविक लेटेंट वितरण के बीच टोटल वेरिएशन डिस्टेंस द्वारा स्पष्ट रूप से सीमित किया गया है। पिछले दृष्टिकोणों के विपरीत, यह फ्रेमवर्क "रिप्लेस-वन" स्थिरता धारणाओं पर निर्भर नहीं करता है, क्योंकि ऑगमेंटेशन मैकेनिज्म स्वाभाविक रूप से प्रक्रिया को स्थिर करता है।

अनुभवजन्य परिणाम (Empirical Results)
प्रस्तावित विधि (एल्गोरिदम 1) का मूल्यांकन कई सेटिंग्स में स्प्लिट कॉन्फॉर्मल क्लस्टरिंग ([11]) और एक नैव कटऑफ मेथड के विरुद्ध किया गया है:

गौसियन मिक्सचर मॉडल (GMM): लो-डायमेंशनल ( $R^2$ ) और हाई-डायमेंशनल ( $R^{50}$ ) दोनों सेटिंग्स में, वेटेड दृष्टिकोण सूचनात्मक (छोटे) कॉन्फिडेंस सेट साइज के साथ वैध कवरेज बनाए रखता है। स्पेक्ट्रल क्लस्टरिंग का उपयोग करते हुए हाई-डायमेंशन में, स्प्लिट कॉन्फॉर्मल मेथड अत्यधिक बड़े, सूचनाहीन सेट्स बनाता है, जबकि वेटेड मेथड सूचनात्मक बना रहता है।
नॉनलीनियर क्लस्टरिंग: "थ्री मून्स" और "टू कॉन्सेंट्रिक सर्कल्स" डेटासेट्स पर प्रयोग दिखाते हैं कि वेटेड मेथड स्प्लिट कॉन्फॉर्मल मेथड की तुलना में शोर के स्तर (वेरिएंस) की एक विस्तृत रेंज में सूचनात्मक सेट साइज बनाए रखता है, जहाँ स्प्लिट कॉन्फॉर्मल मेथड सूचनात्मक सेट्स बनाने में विफल रहता है क्योंकि क्लस्टरिंग कठिन हो जाती है।
MNIST एप्लीकेशन: MNIST डेटासेट पर डीप क्लस्टरिंग पर लागू करने पर, विधि अनिश्चितता को सफलतापूर्वक मात्राबद्ध करती है। यह स्पष्ट क्लस्टर सेंटर्स के लिए सिंगलटन सेट्स और अस्पष्ट बाउंड्री क्षेत्रों के लिए बड़े सेट्स बनाती है, जो कठिन श्रेणीबद्ध अंकों की सही पहचान करती है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र कॉन्फॉर्मल क्लस्टरिंग के उभरते क्षेत्र के लिए एक ठोस कदम के रूप में इस कार्य को प्रस्तुत करता है। सिंथेटिक लेबल्स को एक वितरण शिफ्ट प्रेरित करने के रूप में मानकर, लेखक पिछले कार्य ([11]) में विचार किए गए स्मूथ पैरामेट्रिक मिक्सचर मॉडल की तुलना में कॉन्फॉर्मल प्रेडिक्शन की प्रयोज्यता को बढ़ाते हैं। यह विधि विशेष रूप से उच्च-आयामी और नॉनलीनियर क्लस्टरिंग अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ मानक कॉन्फॉर्मल दृष्टिकोण सूचनात्मक कॉन्फिडेंस सेट्स प्रदान करने में संघर्ष करते हैं। लेखक दावा करते हैं कि उनका फ्रेमवर्क अनिश्चितता मात्रा निर्धारण के लिए अधिक कठोर और बहुमुखी दृष्टिकोण प्रदान करता है, जो वैध कवरेज गारंटी देता है भले ही अंतर्निहित क्लस्टरिंग एल्गोरिदम जटिल हो या डेटा वितरण गैर-मानक हो। शोध पत्र निष्कर्ष निकालता है कि ऑगमेंटेड कैलिब्रेशन मैकेनिज्म एक व्यापक पद्धतिगत सिद्धांत का प्रतिनिधित्व करता है जिसके क्लस्टरिंग के विशिष्ट संदर्भ से परे अनसुपरवाइज्ड लर्निंग में अनुप्रयोग की क्षमता है।