📊 statistics

Cluster and then Embed: A Modular Approach for Visualization

यह शोध पत्र एक पारदर्शी, मॉड्यूलर विज़ुअलाइज़ेशन फ्रेमवर्क प्रस्तावित करता है जो डेटा को क्रमिक रूप से क्लस्टर करने, प्रत्येक क्लस्टर को व्यक्तिगत रूप से एम्बेड करने और फिर स्थानीय संरचना और वैश्विक ज्यामिति दोनों को संरक्षित करने के लिए उन्हें संरेखित करने के माध्यम से t-SNE और UMAP जैसी विधियों में सुधार करता है।

मूल लेखक: Elizabeth Coda, Ery Arias-Castro, Gal Mishne

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elizabeth Coda, Ery Arias-Castro, Gal Mishne

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास 3D LEGO मूर्तियों का एक विशाल, बिखरा हुआ डिब्बा है। कुछ बहुत छोटे, जटिल किले हैं; कुछ विशाल, सपाट शहर हैं। आपका लक्ष्य उन सभी की तस्वीरें लेना और उन्हें एक सपाट 2D मेज पर इस तरह बिछाना है कि आप देख सकें कि वे एक-दूसरे से कैसे संबंधित हैं।

समस्या क्या है? यदि आप पूरे डिब्बे को एक साथ मेज पर कुचल देंगे, तो सपाट शहर दब जाएंगे, और किले एक विशाल, भ्रमित करने वाले ढेर में ओवरलैप हो जाएंगे। यह "क्राउडिंग समस्या" (crowding problem) है जो t-SNE और UMAP जैसे लोकप्रिय टूल्स को परेशान करती है। वे प्रत्येक किले के सूक्ष्म विवरणों को एक साथ रखने में बहुत अच्छे हैं, लेकिन वे अक्सर मानचित्र को विकृत कर देते हैं, जिससे दूर स्थित किले भी पास दिखाई देने लगते हैं।

यहाँ आता है Cluster+Embed (C+E) दृष्टिकोण, एक नई विधि जिसे एलिजाबेथ कोडा, एरी एरियास-कास्त्रो और गैल मिशने द्वारा प्रस्तावित किया गया है। इस पद्धति को केवल एक जादुई कैमरे के रूप में नहीं, बल्कि एक तीन-चरणीय असेंबली लाइन के रूप में सोचें जो आपके डेटा के साथ एक अलग-अलग मोहल्लों के संग्रह की तरह व्यवहार करती है।

चरण 1: मोहल्ले की छंटनी (The Neighborhood Sort)

सबसे पहले, यह पद्धति पूरे डिब्बे की एक साथ तस्वीर लेने की कोशिश नहीं करती है। इसके बजाय, यह एक अत्यंत व्यवस्थित लाइब्रेरियन की तरह कार्य करती है जो LEGO मूर्तियों को उनके आकार के आधार पर अलग-अलग ढेरों में छाँटती है। यदि आपके पास किलों का एक ढेर है और शहरों का एक ढेर है, तो उन्हें अलग-अलग डिब्बों में रखा जाता है। लेखक बताते हैं कि आप अपनी पसंद की किसी भी छंटनी विधि (जैसे लोकप्रिय Leiden या DBSCAM एल्गोरिदम) का उपयोग कर सकते हैं, लेकिन मुख्य बात यह है कि आप फोटो लेने से पहले समूहों को परिभाषित करते हैं।

चरण 2: व्यक्तिगत तस्वीरें (The Individual Photos)

इसके बाद, यह पद्धति प्रत्येक ढेर की व्यक्तिगत रूप से फोटो लेती है। क्योंकि लाइब्रेरियन एक समय में केवल किलों के एक ढेर को ही देख रहा है, वे शहरों को बीच में आए बिना किलों को उनके जटिल विवरण दिखाने के लिए सटीक रूप से व्यवस्थित कर सकते हैं। यह चरण केवल उस एक समूह को सपाट करने के लिए मानक उपकरणों (जैसे PCA या TriMap) का उपयोग करता है। परिणाम? किलों की एक स्पष्ट, उच्च-गुणवत्ता वाली फोटो, और शहरों की एक अलग, उतनी ही स्पष्ट फोटो।

चरण 3: वैश्विक मानचित्र (The Global Map)

यही वह चतुर हिस्सा है। अब आपके पास अलग-अलग बेहतरीन तस्वीरों का एक ढेर है। अंतिम चरण में आप इन तस्वीरों को एक बड़े मानचित्र पर टेप से चिपकाते हैं। लेकिन उन्हें बेतरतीब ढंग से चिपकाने के बजाय, यह विधि एक "रिजिड ट्रांसफॉर्मेशन" (rigid transformation) का उपयोग करती है—कल्पना कीजिए कि आप किलों के ढेर वाली पूरी फोटो को उठाते हैं और उसे खिसकाते हैं, घुमाते हैं, या पलटते हैं, लेकिन फोटो को स्वयं खींचते या कुचलते नहीं हैं।

लक्ष्य यह है कि इन ढेरों को दीवार पर इस तरह व्यवस्थित किया जाए कि "किले के ढेर" और "शहर के ढेर" के बीच की दूरी मूल डिब्बे में उनकी दूरी से मेल खाती हो। इस क्राउडिंग समस्या को हल करने के लिए (जहाँ दीवार पर सब कुछ रखने के लिए पर्याप्त जगह नहीं होती), यह विधि एक "स्केलिंग नॉब" (जिसे $\alpha$ कहा जाता है) पेश करती है। यदि ढेर बहुत करीब हैं और ओवरलैप हो सकते हैं, तो लेखक सुझाव देते हैं कि इस नॉब को घुमाकर ढेरों को धीरे से दूर धकेल दें, जिससे हर किसी को स्पष्ट रूप से देखने के लिए पर्याप्त जगह मिल सके, बिना फोटो के आंतरिक विवरणों को विकृत किए।

यह पद्धति किस बात को "ना" कहती है

लेखक बहुत स्पष्ट हैं कि वे किसके खिलाफ लड़ रहे हैं। वे इस विचार का विरोध करते हैं कि एक एकल, ऑल-इन-वन टूल (जैसे t-SNE या UMAP) एक साथ दो विरोधाभासी काम पूरी तरह से कर सकता है: सूक्ष्म स्थानीय विवरणों को एकदम सही रखना और वैश्विक दूरियों को सटीक रखना। वे दिखाते हैं कि जबकि t-SNE क्लस्टर्स को अलग करने में महान है, यह "मानचित्र" को इतना विकृत कर देता है कि आप समूहों के बीच की दूरियों पर भरोसा नहीं कर सकते। वे स्पष्ट रूप रूप से इस विचार को भी खारिज करते हैं कि आप बिना किसी संरचित प्रक्रिया के केवल एक पदानुक्रमित वृक्ष (hierarchical tree) को मानचित्र पर थोप सकते हैं; उनकी विधि एक जानबूझकर बनाई गई, पारदर्शी तीन-चरणीय पाइपलाइन है, न कि कोई ब्लैक बॉक्स।

वे कितने आश्वस्त हैं?

लेखक यह दावा नहीं करते कि यह हर चीज़ को हमेशा के लिए हल करने वाला कोई जादुई समाधान है। इसके बजाय, वे सिमुलेशन और वास्तविक डेटा से मजबूत साक्ष्य प्रस्तुत करते हैं।

सिंथेटिक डेटा पर: उन्होंने 5,000 बिंदुओं वाले 10-आयामी गौसियन मिक्सचर मॉडल पर अपनी विधि का परीक्षण किया। इन सिमुलेशन में, उन्होंने दिखाया कि $\alpha = 2$ के स्केलिंग फैक्टर के साथ, उनकी विधि ने उस ओवरलैप से बचने में सफलता पाई जो अन्य विधियों में बड़ी समस्या थी, जिससे क्लस्टर्स का एक घेरा बना जो t-SNE के समान दिखता था, लेकिन इसे एक पारदर्शी, नियंत्रणीय प्रक्रिया के माध्यम से प्राप्त किया गया था।
वास्तविक डेटा पर: उन्होंने इसे तीन वास्तविक डेटासेट पर लागू किया:
1. MNIST (हस्तलिखित अंक): 60,000 छवियों का एक डेटासेट। यहाँ, C+E ने अंकों को समूहों में सफलतापूर्वक अलग किया (जैसे कि 'चारों' और 'नौओं' का पास होना) और t-SNE की तुलना में वैश्विक संरचना को बेहतर ढंग से संरक्षित किया, जो कि सब कुछ समान रूप से दूर रखने की प्रवृत्ति रखता है।
2. ह्यूमन ब्रेन ऑर्गेनोइड्स (Human Brain Organoids): 20,272 कोशिकाओं का एक डेटासेट। विधि ने एक स्पष्ट "विकासात्मक प्रक्षेपवक्र" (विकास के समय के साथ बढ़ने का मार्ग) को प्रकट किया जो उनके मानचित्र में दृश्यमान था, लेकिन t-SNE और UMAP में यह अधिक "विच्छिन्न" (discrete) और कम निरंतर था।
3. माउस कॉर्टेक्स (Mouse Cortex): 23,823 कोशिकाओं का एक डेटासेट। यहाँ, C+E ने एक "कोर्स-टू-फाइन" (बड़े समूहों से छोटे समूहों में टूटना) संरचना को प्रकट किया जिसे अन्य विधियों ने मिस कर दिया था।

लेखक स्वीकार करते हैं कि इसमें एक ट्रेड-ऑफ (समझौता) है। हालांकि C+E वैश्विक दूरियों और स्थानीय आकारों को बनाए रखने में उत्कृष्ट है, लेकिन कभी-कभी इसे छोटे $k$ मानों के लिए बहुत निकटतम पड़ोसियों (kNN recall) को एकदम सटीक रखने में संघर्ष करना पड़ता है। वे सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि t-SNE के पास डेटा को छोटे पैच में तोड़ने का एक रहस्यमय तरीका है जिसे C+E दोहरा नहीं पाता है। हालाँकि, उनका तर्क है कि एक ऐसे विज़ुअलाइज़ेशन के लिए जो पारदर्शी और समग्र आकार के प्रति वफादार हो, C+E एक अत्यधिक प्रतिस्पर्धी और बहुत अधिक समझ में आने वाला विकल्प है।

संक्षेप में, यह शोध पत्र सुझाव देता है कि समस्या को "छँटनी, सपाट करना, फिर संरेखित करना" में तोड़कर, हम एक ऐसा मानचित्र प्राप्त कर सकते हैं जो झूठ नहीं बोलता कि चीजें कहाँ हैं, भले ही वहां तक पहुँचने में कुछ अधिक चरणों की आवश्यकता हो।

तकनीकी सारांश: क्लस्टर और फिर एम्बेड: विज़ुअलाइज़ेशन के लिए एक मॉड्यूलर दृष्टिकोण

समस्या विवरण

डाइमेंशनलिटी रिडक्शन (dimensionality reduction) विधियाँ, विशेष रूप से t-SNE और UMAP, लेटेंट क्लस्टर्ड स्ट्रक्चर वाले उच्च-आयामी डेटा (high-dimensional data) के विज़ुअलाइज़ेशन के लिए व्यापक रूप से उपयोग की जाती हैं। जबकि ये विधियाँ डेटा बिंदुओं को प्रभावी ढंग से समूहित करती हैं और स्थानीय जानकारी (local information) को सुरक्षित रखती हैं, वे अंतर्निहित डेटा की वैश्विक ज्यामिति (global geometry) को विकृत करने के लिए जानी जाती हैं। विशेष रूप से, वे विभिन्न क्लस्टरों के सापेक्ष पदों, दूरियों और आकारों को बनाए रखने में विफल रहती हैं। यह सीमा "क्राउडिंग समस्या" (crowding problem) से उत्पन्न होती है, जहाँ निम्न-आयामी एम्बेडिंग स्पेस में पूरे डेटासेट को उनके मूल उच्च-आयामी दूरी स्केल पर समायोजित करने के लिए पर्याप्त क्षमता नहीं होती है, जिससे दूर स्थित बिंदु सिमट जाते हैं और अलग-अलग क्लस्टर आपस में मिल जाते हैं। मौजूदा विधियाँ अक्सर स्थानीय संरचना (क्लस्टरों को अलग करने) और वैश्विक दूरियों (global distances) को बनाए रखने के बीच एक समझौता (trade-off) करने के लिए मजबूर करती हैं।

कार्यप्रणाली: द क्लस्टर+एम्बेड (C+E) फ्रेमवर्क

लेखक एक तीन-चरणीय मॉड्यूलर फ्रेमवर्क प्रस्तावित करते हैं जिसे क्लस्टर+एम्बेड (C+E) कहा जाता है, जिसका उद्देश्य स्थानीय और वैश्विक निष्ठा (fidelity) के बीच के समझौते को संबोधित करना है। यह दृष्टिकोण क्लस्टरिंग, स्थानीय एम्बेडिंग और वैश्विक संरेखण (global alignment) को अलग करता है, जिससे विश्लेषक को अपने विज़ुअलाइज़ेशन लक्ष्यों के आधार पर प्रत्येक चरण के लिए विशिष्ट एल्गोरिदम चुनने की अनुमति मिलती है।

चरण 1: क्लस्टरिंग (Clustering)

डेटा $\{x_i\}_{i=1}^n$ को पहले किसी भी चुने हुए क्लस्टरिंग एल्गोरिदम (जैसे Leiden, DBSCAN, k-means) का उपयोग करके $\kappa$ क्लस्टरों ( $C_1, \dots, C_\kappa$ ) में विभाजित किया जाता है। यह चरण डेटा में मौजूद क्लस्टर संरचना को स्पष्ट रूप से प्रकट करता है। इस चरण में पहचाने गए शोर (noise) वाले बिंदुओं को हटाया जा सकता है।

चरण 2: व्यक्तिगत क्लस्टर एम्बेडिंग (Individual Cluster Embedding)

प्रत्येक क्लस्टर $C_l$ को एक चुने हुए एम्बेडिंग मेथड (जैसे PCA, Isomap, TriMap) का उपयोग करके अलग से एक निम्न-आयामी स्थान (आमतौर पर $\mathbb{R}^2$ ) में एम्बेड किया जाता है।

तर्क: पूरे डेटासेट को एक साथ एम्बेड करने की तुलना में व्यक्तिगत क्लस्टरों को एम्बेड करने से विरूपण (distortion) कम हो जाता है, क्योंकि छोटे, स्थानीयकृत उपसमुच्चयों (subsets) के भीतर "क्राउडिंग समस्या" कम हो जाती है।
स्केलिंग: यदि एम्बेडिंग विधि ऑर्डिनल जानकारी (ordinal information) पर निर्भर करती है, तो प्रत्येक क्लस्टर पर एक स्केलिंग फैक्टर $\gamma_l$ लागू किया जाता है ताकि एम्बेडेड दूरियों और मूल असमानताओं (dissimilarities) के बीच क्वाड्रेटिक लॉस (quadratic loss) को न्यूनतम किया जा सके।

चरण 3: वैश्विक संरेखण (Global Alignment)

एम्बेडेड क्लस्टरों को केवल रिजिड ट्रांसफॉर्मेशन (अनुवाद, रोटेशन और रिफ्लेक्शन) का उपयोग करके एक एकल वैश्विक एम्बेडिंग में संरेखित किया जाता है। इसका लक्ष्य क्लस्टरों को एक-दूसरे के सापेक्ष इस प्रकार व्यवस्थित करना है कि विभिन्न क्लस्टरों के बीच के बिंदु-जोड़ी असमानताएँ यथासंभव निष्ठापूर्वक संरक्षित रहें।

ऑप्टिमाइज़ेशन: संरेखण एक स्ट्रेस फंक्शन (Kruskal's stress) को कम करता है जिसे निम्नानुसार परिभाषित किया गया है:
$\min_{T_1, \dots, T_\kappa} \sum_{1 \le i < j \le \kappa} \sum_{l \in C_i} \sum_{m \in C_j} (\delta_{lm} - \|T_i(y_l) - T_j(y_m)\|)^2$
जहाँ $\delta_{lm}$ मूल असमानता है और $T$ रिजिड ट्रांसफॉर्मेशन को दर्शाता है।
स्केलिंग ( $\alpha$ ) के माध्यम से क्राउडिंग शमन: अंतिम विज़ुअलाइज़ेशन में ओवरलैप को रोकने के लिए, लेखक एक ट्यूनिंग पैरामीटर $\alpha \ge 1$ $α \geq 1$ पेश करते हैं। क्लस्टरों के बीच लक्षित दूरी को $\alpha \delta_{lm}$ $α δ_{l m}$ के रूप में स्केल किया जाता है। यह प्रभावी रूप से निम्न-आयामी मैप में क्लस्टरों के बीच के स्थान को फुला देता है, जिससे क्राउडिंग समस्या से बचा जा सकता है।
- $\alpha$ को मैन्युअल रूप से या स्वचालित रूप से ट्यून किया जा सकता है। एक स्वचालित ह्यूरिस्टिक (heuristic) प्रस्तावित है: $\alpha = \max(1, \frac{\kappa \tau}{2\pi \Delta})$ , जहाँ $\tau$ औसत क्लस्टर व्यास (diameter) है और $\Delta$ औसत अंतर-क्लस्टर दूरी है।

मुख्य योगदान

मॉड्यूलर फ्रेमवर्क: पेपर एक पारदर्शी, मॉड्यूलर दृष्टिकोण पेश करता है जहाँ क्लस्टरिंग, एम्बेडिंग और एलाइनमेंट अलग-अलग चरण हैं। यह उपयोगकर्ताओं को विशिष्ट विज़ुअलाइज़ेशन गुणों (जैसे kNN रिकॉल के लिए TriMap या दूरी संरक्षण के लिए PCA का उपयोग करना) को लक्षित करने के लिए प्रत्येक चरण के लिए विशिष्ट एल्गोरिदम चुनने की अनुमति देता है।
वैश्विक ज्यामिति पर स्पष्ट नियंत्रण: t-SNE और UMAP के विपरीत, जो बल-निर्देशित गतिकी (force-directed dynamics) के माध्यम से अंतर्निहित और अक्सर अपारदर्शी रूप से वैश्विक संरचना को संभालते हैं, C+E रिजिड एलाइनमेंट के माध्यम से अंतर-क्लस्टर दूरियों के संरक्षण के लिए स्पष्ट रूप से अनुकूलित होता है।
क्राउडिंग समस्या का समाधान: यह विधि कर्नेल (जैसा कि t-SNE में Cauchy kernel के साथ किया जाता है) को बदलने के बजाय, अंतर-क्लस्टर दूरियों को $\alpha$ पैरामीटर के माध्यम से स्पष्ट रूप से स्केल करके क्राउडिंग समस्या को संबोधित करती है, जिससे यह सुनिश्चित होता है कि अलग-अलग क्लस्टर आपस में न मिलें जबकि उनका सापेक्ष संगठन बना रहे।
पारदर्शिता: यह दृष्टिकोण एंड-टू-एंड विधियों की तुलना में अधिक व्याख्या योग्य (interpretable) है क्योंकि स्थानीय संरचना (क्लस्टरों के भीतर) और वैश्विक संरचना (क्लस्टरों के बीच) के संरक्षण को अलग-अलग, नियंत्रणीय तंत्रों द्वारा संभाला जाता है।

प्रयोगात्मक परिणाम

लेखकों ने t-SNE, UMAP, PCA, Isomap, PHATE, और TriMap सहित बेसलाइन के विरुद्ध सिंथेटिक और वास्तविक दुनिया के डेटासेट (MNIST, मानव मस्तिष्क ऑर्गेनॉइड डेटा, माउस कॉर्टेक्स डेटा) पर C+E का मूल्यांकन किया।

सिंथेटिक शेप्स डेटासेट: C+E ने सटीक क्लस्टर कॉन्फ़िगरेशन को रिकवर करते हुए पूर्ण स्थानीय मेट्रिक्स प्राप्त किए और वैश्विक ओरिएंटेशन को बनाए रखा, जबकि t-SNE और UMAP ने महत्वपूर्ण स्थानीय विरूपण पेश किया।
MNIST: C+E ने क्लस्टरों को सफलतापूर्वक अलग किया और उन्हें सार्थक समूहों (जैसे समान अंकों को समूहबद्ध करना) में व्यवस्थित किया। जबकि t-SNE ने छोटे $k$ के लिए बेहतर kNN रिकॉल दिखाया, C+E ने वैश्विक मेट्रिक्स (क्लास प्रिजर्वेशन और इंटर-क्लस्टर डिस्टेंस प्रिजर्वेशन) पर t-SNE और UMAP को पछाड़ दिया।
मानव मस्तिष्क ऑर्गेनॉइड डेटा: C+E एम्बेडिंग्स ने एक स्पष्ट टेम्पोरल डेवलपमेंटल ट्रेजेक्टरी और विशिष्ट सेल-टाइप ग्रुपिंग को प्रकट किया। इसने PCA और L-Isomap के समान या बेहतर वैश्विक मेट्रिक्स को संरक्षित किया, जबकि t-SNE या UMAP की तुलना में बेहतर स्थानीय संरचना और कम कोलैप्स (collapse) प्रदान किया।
माउस कॉर्टेक्स डेटा: C+E ने एक कोर्स-टू-फाइन (coarse-to-fine) संरचना को प्रकट किया (इनहिबिटरी/एक्साइटेटरी न्यूरॉन्स और नॉन-न्यूरॉन्स को अलग करना) जो अन्य विधियों में मौजूद नहीं थी। जबकि एम्बेडिंग का स्केल बढ़ा हुआ था (जिससे उच्च नॉर्मलाइज्ड स्ट्रेस हुआ), स्केल-इनवेरिएंट ग्लोबल मेट्रिक्स ने UMAP और t-SNE की तुलना में C+E का पक्ष लिया।

महत्व और दावे

पेपर दावा करता है कि C+E मौजूदा विज़ुअलाइज़ेशन विधियों के एक प्रतिस्पर्धी विकल्प के रूप में कार्य करता है, जो वफादार स्थानीय एम्बेडिंग और वफादार वैश्विक संगठन के बीच संतुलन बनाता है।

ट्रेड-ऑफ प्रबंधन: विधि स्थानीय और वैश्विक संरक्षण के अंतर्निहित ट्रेड-ऑफ को स्वीकार करती है लेकिन इस ट्रेड-ऑफ को स्पष्ट रूप से प्रबंधित करने के लिए एक तंत्र (पैरामीटर $\alpha$ ) प्रदान करती है।
लचीलापन: फ्रेमवर्क उपयोगकर्ताओं को वैश्विक क्लस्टर व्यवस्था से समझौता किए बिना विशिष्ट मेट्रिक्स (जैसे kNN रिकॉल के लिए TriMap या दूरी संरक्षण के लिए PCA) को प्राथमिकता देने की अनुमति देता है।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि छोटे $k$ के लिए kNN रिकॉल को अधिकतम करने के लिए t-SNE अभी भी स्टेट-ऑफ-द-आर्ट बना हुआ है। वे सुझाव देते हैं कि C+E के kNN रिकॉल को $\alpha$ बढ़ाकर या अधिक क्लस्टर बनाकर सुधारा जा सकता है, हालांकि इसमें गलत क्लस्टर बनाने का जोखिम रहता है। एलाइनमेंट चरण की कम्प्यूटेशनल जटिलता बिंदुओं की संख्या के साथ क्वाड्रेटिक रूप से बढ़ती है, हालांकि इसके प्रभाव को कम करने के लिए सबसैंपलिंग रणनीतियों का उपयोग किया जाता है।

निष्कर्षतः, लेखक तर्क देते हैं कि C+E क्लस्टर्ड डेटा को विज़ुअलाइज़ करने के लिए अधिक पारदर्शी और नियंत्रणीय दृष्टिकोण प्रदान करता है, जो क्लस्टरों की आंतरिक ज्यामिति और क्लस्टरों की सापेक्ष स्थिति दोनों को संरक्षित करता है, जो अक्सर लोकप्रिय नॉनलीनियर डाइमेंशनलिटी रिडक्शन तकनीकों में खो जाता है।