🤖 machine learning

A Deterministic Information Bottleneck Method for Clustering Mixed-Type Data

मूल लेखक: Efthymios Costa, Ioanna Papatsouma, Angelos Markos

प्रकाशित 2026-02-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Efthymios Costa, Ioanna Papatsouma, Angelos Markos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पार्टी प्लानर हैं जो मेहमानों को बातचीत के घेरों (conversation circles) में समूहबद्ध करने की कोशिश कर रहे हैं। कुछ मेहमान बहुत बातूनी हैं और हर चीज़ के बारे में बात करते हैं (निरंतर डेटा/continuous data, जैसे ऊंचाई या आय), जबकि अन्य केवल विशिष्ट श्रेणियों में बोलते हैं, जैसे "खेल पसंद है," "कला प्रेमी है," या "शांति पसंद करता है" (श्रेणीबद्ध डेटा/categorical data)।

समस्या यह है: आप इन दो बहुत अलग प्रकार के लोगों को ऐसे समूहों में कैसे मिलाएंगे जहाँ हर कोई जुड़ा हुआ महसूस करे, बिना इस जोखिम के कि बहुत बोलने वाले लोगों के कारण शांत रहने वाले दब जाएं, या इसके विपरीत?

यह पेपर ठीक इसी समस्या को हल करने के लिए DIBmix नामक एक नया टूल पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. मूल विचार: "सूचना का अवरोध" (The Information Bottleneck)

इन्फॉर्मेशन बॉटलनेक को एक पार्टी के प्रवेश द्वार पर एक सख्त फिल्टर की तरह समझें।

लक्ष्य: आप 1,000 मेहमानों की एक लंबी सूची को केवल 5 बातचीत के घेरों में संकुचित करना चाहते हैं।
नियम: आप उन सबसे महत्वपूर्ण विवरणों को रखना चाहते हैं जो बताते हैं कि कौन किसके साथ फिट बैठता है, लेकिन बाकी शोर को हटा देना चाहते हैं।
चुनौती: यदि आप घेरे बहुत छोटे बनाते हैं, तो आप बड़ी तस्वीर खो देते हैं। यदि आप उन्हें बहुत बड़ा बनाते हैं, तो हर कोई बस एक विशाल, अव्यवस्थित समूह में खड़ा हो जाता है।

लेखक इस संतुलन को बनाए रखने के लिए एक गणितीय "ट्यूनिंग नॉब" (जिसे बीटा/beta कहा जाता है) का उपयोग करते हैं। वे चाहते हैं कि समूह इतने विशिष्ट हों कि उपयोगी हों, लेकिन इतने कठोर न हों कि लोगों को ऐसे समूहों में धकेल दें जहाँ वे नहीं belong करते।

2. नई चुनौती: "सेब और संतरे" को मिलाना

अधिकांश पुराने पार्टी-प्लानिंग टूल्स (एल्गोरिदम) मिश्रित डेटा के साथ खराब होते हैं।

कुछ टूल्स केवल दूरी मापने में सक्षम हैं (जैसे "कौन 5 फीट दूर खड़ा है?")। यह ऊंचाई या वजन के लिए काम करता है, लेकिन आप "बिल्ली प्रेमी" और "कुत्ता प्रेमी" के बीच आसानी से "दूरी" नहीं माप सकते।
अन्य टूल्स हर चीज़ को संख्याओं में बदलने की कोशिश करते हैं, जिससे श्रेणियों की वास्तविकता विकृत हो सकती है।

DIBmix विशेष है क्योंकि यह एक यूनिवर्सल ट्रांसलेटर (जिसे जनरलाइज्ड प्रोडक्ट कर्नेल कहा जाता है) का उपयोग करता है। यह मेहमानों के प्रत्येक जोड़े के लिए एक कस्टम "समानता स्कोर" बनाता है।

यदि दो लोग दोनों 6 फीट लंबे हैं, तो उन्हें उच्च स्कोर मिलता है।
यदि दो लोग दोनों "Sci-Fi" पसंद करते हैं, तो उन्हें उच्च स्कोर मिलता है।
यदि एक व्यक्ति 6 फीट लंबा है और Sci-Fi पसंद करता है, और दूसरा 5 फीट लंबा है और Sci-Fi पसंद करता है, तो यह टूल दोनों ऊंचाई के अंतर और साझा रुचि का सम्मान करते हुए एक संयुक्त स्कोर की गणना करता है।

3. गुप्त नुस्खा: वॉल्यूम को संतुलित करना

इस पेपर की सबसे बड़ी ट्रिक यह है कि वे विभिन्न चरों (variables) के "वॉल्यूम" को कैसे संभालते हैं।
कल्पना कीजिए कि आपके पास "ऊंचाई" के लिए एक माइक्रोफ़ोन है और "पसंदीदा रंग" के लिए एक माइक्रोफ़ोन है। यदि आप "ऊंचाई" के माइक को बहुत तेज़ कर देते हैं, तो यह "रंग" के माइक को दबा देगा। समूह केवल ऊंचाई के आधार पर बनेंगे, रंगों की अनदेखी करते हुए।

लेखकों ने एक व्यवस्थित वॉल्यूम कंट्रोल (Systematic Volume Control) विकसित किया है:

वे स्वचालित रूप से माइक्रोफ़ोन की संवेदनशीलता (बैंडविड्थ) को समायोजित करते हैं।
वे सुनिश्चित करते हैं कि "ऊंचाई" का माइक और "रंग" का माइक निर्णय लेने की प्रक्रिया में समान रूप से योगदान दें।
यह एल्गोरिदम को उस डेटा की ओर पक्षपाती होने से रोकता है जो कमरे में अधिक संख्या में मौजूद है।

4. समूहों को जीवित रखना (अनुकूली नॉब)

कभी-कभी, जब आप लोगों को 5 समूहों में डालने की कोशिश करते हैं, तो एल्गोरिदम गलती से सभी को 4 समूहों में डाल सकता है और एक समूह को खाली छोड़ सकता है (या दो समूहों को आपस में मिला सकता है)।

लेखकों ने एक अनुकूली सुरक्षा तंत्र (Adaptive Safety Mechanism) जोड़ा है:

"ट्यूनिंग नॉब" (बीटा) स्थिर नहीं रहता है। यह प्रक्रिया के हर चरण के साथ थोड़ा बदलता है।
यदि ऐसा लगता है कि कोई समूह गायब होने वाला है, तो यह नॉब उस समूह को बचाने के लिए अपने आप खुद को कस लेता है।
यह सुनिश्चित करता है कि आपको हमेशा ठीक उतने ही समूह मिलें जितने आपने मांगे थे, भले ही समूह बहुत अलग आकार के हों (जैसे, एक विशाल समूह और एक बहुत छोटा समूह)।

5. क्या यह काम कर गया? (पार्टी टेस्ट)

लेखकों ने दो तरीकों से DIBmix का परीक्षण किया:

सिमुलेशन लैब: उन्होंने अलग-अलग नियमों के साथ 28,800 नकली पार्टियाँ बनाईं (कुछ समान समूहों वाली, कुछ एक विशाल समूह और कई छोटे समूहों वाली; कुछ बहुत सारी श्रेणियों वाली, कुछ बहुत सारे नंबरों वाली)।
- परिणाम: DIBmix "वास्तविक" समूहों को खोजने में सबसे अच्छा था, विशेष रूप से तब जब समूह आकार में असमान थे या जब डेटा वास्तव में नंबरों और श्रेणियों का मिश्रण था।
वास्तविक दुनिया: उन्होंने एक सार्वजनिक लाइब्रेरी (जैसे मेडिकल रिकॉर्ड या क्रेडिट एप्लिकेशन) से 10 वास्तविक डेटासेट पर इसका परीक्षण किया।
- परिणाम: इसने बहुत अच्छा प्रदर्शन किया, अक्सर K-Prototypes या KAMILA जैसे स्थापित तरीकों को पछाड़ते हुए। यह उन डेटासेट में सार्थक पैटर्न खोजने में विशेष रूप से अच्छा था जहाँ संख्याएं और श्रेणियां संतुलित थीं।

सारांश

DIBmix मिश्रित डेटा को समूहबद्ध करने के लिए एक स्मार्ट, लचीला टूल है। यह एक निष्पक्ष मॉडरेटर की तरह कार्य करता है, यह सुनिश्चित करता है कि "क्वांटिटेटिव" मेहमानों (संख्याओं) और "क्वालिटेटिव" मेहमानों (श्रेणियों) दोनों को यह तय करने में समान अवसर मिले कि कौन किसके साथ बैठेगा। यह एक गतिशील ट्यूनिंग सिस्टम का उपयोग करता है ताकि कोई भी समूह पीछे न छूटे, जो इसे अव्यवस्थित, वास्तविक दुनिया के डेटा को व्यवस्थित करने के लिए एक शक्तिशाली नया विकल्प बनाता है।

तकनीकी सारांश: मिश्रित-प्रकार के डेटा के लिए एक नियतात्मक सूचना बाधा (Deterministic Information Bottleneck) विधि

समस्या विवरण
मिश्रित-प्रकार के डेटा (mixed-type data)—ऐसे डेटासेट जिनमें निरंतर (continuous) और श्रेणीगत (categorical: nominal और ordinal) दोनों प्रकार के चर शामिल हैं—का क्लस्टरिंग करना महत्वपूर्ण चुनौतियां पेश करता है क्योंकि इन विविध प्रकार के चरों की विषमता काफी अधिक होती है। पारंपरिक क्लस्टरिंग एल्गोरिदम अक्सर इन भिन्न प्रकार के चरों के योगदान को संतुलित करने में संघर्ष करते हैं, जिससे उप-इष्टतम (suboptimal) क्लस्टर संरचनाएं प्राप्त होती हैं। हालांकि K-Prototypes, KAMILA, और दूरी-आधारित दृष्टिकोण (जैसे Gower की विषमता के साथ PAM) जैसे मौजूदा तरीके समाधान प्रदान करते हैं, वे अक्सर सेंट्रॉइड-आधारित धारणाओं या विशिष्ट दूरी मेट्रिक्स पर निर्भर करते हैं जो विषम डेटा की अंतर्निहित सूचना संरचना को पूरी तरह से पकड़ने में सक्षम नहीं हो सकते हैं। इसके अलावा, कई मौजूदा दृष्टिकोणों में एक एकीकृत सैद्धांतिक ढांचा (unified theoretical framework) की कमी है जो व्यापक प्रीप्रोसेसिंग (जैसे कि वन-हॉट एनकोडिंग, जो क्लस्टर संरचना को धुंधला कर सकती है और आयामीता/dimensionality बढ़ा सकती है) की आवश्यकता के बिना स्वाभाविक रूप से निरंतर, номинаल और ऑर्डिनल चरों को संभाल सके।

कार्यप्रणाली: DIBmix
यह शोध पत्र DIBmix का प्रस्ताव करता है, जो डिटरमिनिस्टिक इंफॉर्मेशन बॉटलनेक (DIB) ढांचे पर आधारित एक क्लस्टरिंग एल्गोरिदम है, जिसे मिश्रित-प्रकार के डेटा को संभालने के लिए विस्तारित किया गया है। मुख्य उद्देश्य एक संकुचित प्रतिनिधित्व $T$ (क्लस्टर) खोजना है, जो मिश्रित-विशेषता स्थान में डेटा के स्थान $Y$ के साथ पारस्परिक सूचना (mutual information) को अधिकतम करता है, जबकि एक संपीड़न बाधा (compression constraint) का पालन करता है।

मुख्य कार्यप्रणाली घटक निम्नलिखित हैं:

सामान्यीकृत उत्पाद कर्नेल (Generalized Product Kernels): मिश्रित डेटा के लिए संयुक्त घनत्व $p(x, y)$ का अनुमान लगाने के लिए, लेखक एक सामान्यीकृत उत्पाद कर्नेल का उपयोग करते हैं। यह निम्न को एकीकृत करता है:
- निरंतर चरों के लिए गौसियन कर्नेल (Gaussian kernels)।
- номинаल (अक्रमित श्रेणीगत) चरों के लिए एिचिसन और एटकिन (Aitchison & Aitken) कर्नेल।
- ऑर्डिनल (क्रमित श्रेणीगत) चरों के लिए ली और रासीन (Li & Racine) कर्नेल।
  यह दृष्टिकोण चरों की स्वतंत्रता की धारणा से बचता है, और मजबूत घनत्व अनुमान के लिए कर्नेल उत्पाद का उपयोग एक वेटिंग तंत्र के रूप में करता है।
अनुकूलन ढांचा (Optimization Framework): एल्गोरिदम ऑब्जेक्टिव फंक्शन $H(T) - \beta I(Y; T)$ को कम करने का प्रयास करता है, जहाँ $H(T)$ क्लस्टर असाइनमेंट की एंट्रॉपी है (जो क्लस्टर आकार के लिए एक रेगुलराइज़र के रूप में कार्य करती है) और $I(Y; T)$ क्लस्टरों और डेटा स्थानों के बीच की पारस्परिक सूचना है। पैरामीटर $\beta$ संपीड़न और प्रासंगिकता के बीच संतुलन बनाता है।
अनुकूली हाइपरपैरामीटर चयन (Adaptive Hyperparameter Selection):
- बैंडविड्थ चयन (Bandwidth Selection): निरंतर और श्रेणीगत चरों के योगदान को समान करने के लिए एक व्यवस्थित रणनीति प्रस्तावित की गई है। इसमें कर्नेल अनुपात (जैसे निरंतर चरों के लिए औसत दूरस्थ-पड़ोसी कर्नेल अनुपात और श्रेणीगत चरों के लिए असहमति अनुपात) को परिभाषित करना और बैंडविड्थ को ट्यून करना शामिल है ताकि यह सुनिश्चित हो सके कि कोई भी एकल चर प्रकार समानता मैट्रिक्स (similarity matrix) पर हावी न हो।
- अनुकूली $\beta$ (Adaptive $\beta$ ): मानक DIB कार्यान्वयन के विपरीत, जहाँ $\beta$ स्थिर रहता है, DIBmix प्रत्येक पुनरावृत्ति (iteration) में रेगुलराइजेशन पैरामीटर $\beta$ के लिए एक अनुकूली अपडेटिंग स्कीम का उपयोग करता है। यह सुनिश्चित करता है कि एल्गोरिदम ठीक $C$ गैर-रिक्त क्लस्टरों के समाधान की ओर बढ़े, भले ही डेटा में असंतुलित क्लस्टर आकार हों, जिससे सबसे छोटे क्लस्टर के लुप्त होने की संभावना को रोका जा सके।
स्केलेबिलिटी (Scalability): बड़े डेटासेट्स के लिए, विधि पूर्ण समानता मैट्रिक्स के निर्माण की कम्प्यूटेशनल जटिलता को $O(n^2)$ से घटाकर $O(n\sqrt{n})$ करने के लिए निस्ट्रोम सन्निकटन (Nyström approximation) का उपयोग करती है, जिससे यह बड़े पैमाने के अनुप्रयोगों के लिए व्यवहार्य हो जाता है।

प्रमुख योगदान
शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

फ्रेमवर्क विस्तार: बिना किसी डाइमेंशनलिटी रिडक्शन या वन-हॉट एनकोडिंग की आवश्यकता के, मिश्रित-प्रकार के डेटा (निरंतर, номинаल और ऑर्डिनल) को मूल रूप से संभालने के लिए DIB ढांचे को अनुकूलित करना।
व्यवस्थित हाइपरपैरामीटर रणनीति: बैंडविड्थ और रेगुलराइजेशन पैरामीटर $\beta$ के चयन के लिए एक विधि प्रस्तावित करना जो चरों के योगदान को संतुलित करती है और पूर्व-निर्धारित संख्या में क्लस्टरों का एक वैध विभाजन सुनिश्चित करती है, जिससे असंतुलित क्लस्टर आकार की समस्या का समाधान होता है।
व्यापक मूल्यांकन: व्यापक सिमुलेशन और वास्तविक दुनिया के डेटासेट्स के माध्यम से चार स्थापित विधियों (KAMILA, K-Prototypes, FAMD के साथ K-Means, और Gower की विषमता के साथ PAM) के विरुद्ध DIBmix का बेंचमार्किंग।

परिणाम
DIBmix के प्रदर्शन का मूल्यांकन निम्नलिखित माध्यमों से किया गया:

सिमुलेशन: 28,800 सिंथेटिक डेटासेट्स उत्पन्न किए गए जिनमें सैंपल साइज, क्लस्टर्स की संख्या, चरों के अनुपात, ओवरलैप स्तर और क्लस्टर के आकार में भिन्नता थी।
- DIBmix ने सभी प्रतिस्पर्धियों की तुलना में उच्चतम माध्य (median) एडजस्टेड रैंड इंडेक्स (ARI) और एडजस्टेड म्यूचुअल इंफॉर्मेशन (AMI) प्राप्त किया।
- इसने असंतुलित क्लस्टर आकार और कम से मध्यम क्लस्टर ओवरलैप वाले परिदृश्यों में विशेष मजबूती प्रदर्शित की।
- प्रभाव आकार (partial $\eta^2$ ) ने दर्शाया कि DIBmix लगातार प्रतिस्पर्धियों से बेहतर रहा, जिसका मान 0.33 से 0.99 के बीच था।
वास्तविक दुनिया के बेंचमार्क: विधि का परीक्षण दस सार्वजनिक रूप से उपलब्ध UCI डेटासेट्स पर किया गया।
- DIBmix ने दस में से चार डेटासेट्स में सर्वश्रेष्ठ ARI प्राप्त किया।
- यह तब सबसे अच्छा प्रदर्शन करता है जब डेटासेट्स में चर प्रकारों का संतुलित मिश्रण होता है।
- उन डेटासेट्स में जहाँ लगभग पूरी तरह से या तो श्रेणीगत या निरंतर चर हावी थे, इसका प्रदर्शन प्रतिस्पर्धी लेकिन FAMD या K-Prototypes से थोड़ा कम था।
- दस डेटासेट्स पर एक फ्राइडमैन टेस्ट (Friedman test) ने दिखाया कि DIBmix का औसत रैंक (2.45) सबसे अच्छा था, हालांकि डेटासेट्स की कम संख्या और क्रिटिकल डिफरेंस थ्रेशोल्ड के कारण सांख्यिकीय महत्व (statistical significance) प्राप्त नहीं हुआ।

महत्व और दावे
लेखक दावा करते हैं कि DIBmix मिश्रित-प्रकार के डेटा के लिए एक सैद्धांतिक रूप से सुदृढ़ विकल्प स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

असमानता को संभालना: पारंपरिक सेंट्रॉइड-आधारित एल्गोरिदम के विपरीत, जो अक्सर समान आकार के क्लस्टरों का पक्ष लेते हैं, DIBmix का एंट्रॉपी-आधारित ऑब्जेक्टिव फंक्शन अत्यधिक असंतुलित क्लस्टर आकारों को प्रभावी ढंग से संभालने की अनुमति देता है।
सैद्धांतिक कठोरता: सूचना बाधा (Information Bottleneck) सिद्धांत का उपयोग करके, विधि डेटा को संकुचित करते हुए प्रासंगिक जानकारी निकालने का एक सिद्धांत-आधारित तरीका प्रदान करती है, जो दूरी-आधारित या मॉडल-आधारित दृष्टिकोणों से अलग दृष्टिकोण प्रदान करती है।
व्याख्यात्मकता (Interpretability): यह ढांचा पारस्परिक सूचना के माध्यम से चर के महत्व के परिमाणीकरण की अनुमति देता है, जिससे यह पहचानने में मदद मिलती है कि कौन से फीचर्स क्लस्टरिंग संरचना को संचालित करते हैं (उदाहरण के लिए, प्रोस्टेट कैंसर डेटासेट में चिकित्सकीय रूप से प्रासंगिक बायोमार्कर की पहचान करना)।

शोध पत्र यह निष्कर्ष निकालता है कि यद्यपि DIBmix अत्यधिक प्रतिस्पर्धी और मजबूत है, विशेष रूप से वास्तविक मिश्रित डेटा के लिए, यह उन डेटासेट्स के लिए इष्टतम विकल्प नहीं हो सकता है जहाँ एक प्रकार का चर अत्यधिक हावी हो। लेखक चरम परिदृश्यों में बैंडविड्थ चयन और क्लस्टर समरूपता (homogeneity) की धारणा के संबंध में सीमाओं को स्वीकार करते हैं, और सुझाव देते हैं कि भविष्य के कार्य स्थानीय बैंडविड्थ और आउटलेयर्स के प्रति मजबूती का पता लगा सकते हैं।