💻 computer science

Complementary t-SNE-UMAP Optimization for High-Dimensional Data Visualization

यह शोध पत्र एक हाइब्रिड t-SNE-UMAP अनुकूलन विधि प्रस्तावित करता है जो t-SNE के स्थानीय पड़ोस संरक्षण को आरंभ करने और सुदृढ़ करने के लिए UMAP की ग्राफ संरचना का लाभ उठाता है, जिसके परिणामस्वरूप घनत्व संरक्षण में समझौते के बावजूद नौ डेटासेटों में ट्रस्टवर्थनेस (trustworthiness) और नेबरहुड रिकॉल (neighborhood recall) में सांख्यिकीय रूप से महत्वपूर्ण सुधार होता है।

मूल लेखक: Shouq Al-Khuzaei, Abdul-Rahman Abdel-Fattah, Adnan Khan, Samir Brahim Belhaouari

प्रकाशित 2026-08-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shouq Al-Khuzaei, Abdul-Rahman Abdel-Fattah, Adnan Khan, Samir Brahim Belhaouari

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक सपाट मानचित्र को देखकर एक विशाल, अदृश्य परिदृश्य के आकार को समझने की कल्पना करें। यह उच्च-आयामी डेटा (high-dimensional data) के साथ काम करने वाले वैज्ञानिकों के लिए दैनिक चुनौती है। जीव विज्ञान से लेकर कंप्यूटर विज़न जैसे क्षेत्रों में, शोधकर्ता अक्सर ऐसे डेटासेट के साथ काम करते हैं जहाँ प्रत्येक वस्तु को सैकड़ों या हज़ारों विशेषताओं द्वारा वर्णित किया जाता है। ये जटिल विवरण मानवीय आँखों द्वारा सीधे निरीक्षण करने के लिए असंभव हैं। इन्हें समझने के लिए, वैज्ञानिक 'डायमेंशनैलिटी रिडक्शन' नामक एक तकनीक का उपयोग करते हैं, जो एक अनुवादक की तरह कार्य करती है, इन विशाल, बहु-स्तरीय विवरणों को सरल द्वि-आयामी चित्रों में परिवर्तित करती है जिन्हें हम वास्तव में देख सकते हैं। इसका लक्ष्य सबसे महत्वपूर्ण संबंधों को संरक्षित करना है: यदि मूल जटिल दुनिया में दो वस्तुएं समान थीं, तो उन्हें मानचित्र पर पास दिखना चाहिए; यदि वे भिन्न थीं, तो उन्हें दूर दिखना चाहिए।

इन मानचित्रों को बनाने के लिए दो सबसे लोकप्रिय उपकरणों को t-SNE और UMAP के रूप में जाना जाता है। दोनों अपने कार्यों में उत्कृष्ट हैं, लेकिन उनकी अपनी ताकत और कमजोरियां हैं। एक विधि विशेष रूप से समान वस्तुओं को मजबूती से एक साथ समूहबद्ध करने में अच्छी है, जिससे यह सुनिश्चित होता है कि स्थानीय पड़ोस (local neighborhoods) सटीक हों। दूसरी विधि कुशल है और अक्सर यह दिखाने में बेहतर होती है कि ये समूह बड़े मानचित्र में एक-दूसरे से कैसे जुड़े हुए हैं। वर्षों से, शोधकर्ताओं को या तो उनके बीच चयन करना पड़ा है या बाद में उनके अंतिम चित्रों को जोड़ने का प्रयास करना पड़ा है। हालाँकि, हम्द बिन खलीफा यूनिवर्सिटी के एक नए अध्ययन ने एक अधिक सुरुचिपूर्ण समाधान का सुझाव दिया है: यह चुनने के बजाय कि कौन विजेता है या दो पूर्ण मानचित्रों को आपस में जोड़ने के बजाय, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो मानचित्र बनाए जाने के दौरान ही दोनों विधियों को एक साथ काम करने देती है।

शोधकर्ताओं ने, जिसका नेतृत्व शौक अल-खुज़ई और सहयोगियों ने किया, एक हाइब्रिड दृष्टिकोण प्रस्तावित किया जो अनुकूलन प्रक्रिया (optimization process) के दौरान दोनों विधियों की शक्तियों का उपयोग करता है। उन्होंने मानचित्र का एक प्रारंभिक रेखाचित्र बनाने के लिए कुशल विधि का उपयोग करके शुरुआत की। फिर, उन्होंने इस रेखाचित्र को परिष्कृत करने की प्रक्रिया शुरू की जिसमें शक्तिशाली स्थानीय-समूहीकरण (local-grouping) विधि का उपयोग किया गया। नवाचार विवरणों को संभालने के तरीके में निहित है। सामान्यतः, स्थानीय-समूहीकरण विधि उन दो वस्तुओं के बीच के संबंध को मिस कर सकती है जो वास्तव में समान हैं। नया सिस्टम यह जाँचता है कि क्या ऐसा कोई संबंध प्रारंभिक रेखाचित्र में मौजूद है। यदि प्रारंभिक रेखाचित्र दो वस्तुओं के बीच एक मजबूत कड़ी दिखाता है, लेकिन स्थानीय-समूग्रीकरण विधि उसे देखने में संघर्ष कर रही है, तो सिस्टम प्रारंभिक रेखाचित्र की जानकारी का उपयोग करके उन वस्तुओं को धीरे से एक-दूसरे के करीब खींचता है। यदि दोनों विधियाँ पहले से ही सहमत हैं कि दो वस्तुएं पड़ोसी हैं, तो सिस्टम कुछ भी अतिरिक्त नहीं करता है। यह सुनिश्चित करता है कि अंतिम मानचित्र दोनों उपकरणों के सर्वोत्तम अंतर्दर्दर्शनों से लाभान्वित हो, बिना किसी समझौते के।

इस विचार का परीक्षण करने के लिए, टीम ने हस्तलिखित अंकों, फैशन वस्तुओं और चिकित्सा रिकॉर्ड सहित नौ अलग-अलग बेंचमार्क डेटासेट पर अपनी विधि को लागू किया। उन्होंने अपने नए हाइब्रिड मानचित्र की तुलना दोनों उपकरणों के मानक संस्करणों और अन्य आधुनिक तकनीकों से की। परिणामों ने एक विशिष्ट क्षेत्र में स्पष्ट सुधार दिखाया: विश्वसनीयता (trustworthiness)। इन मानचित्रों के संदर्भ में, विश्वसनीयता यह मापती है कि स्थानीय पड़ोस कितने भरोसेमंद हैं—अनिवार्य रूप से, यह कि मानचित्र पर पास दिखने वाली वस्तुएं वास्तव में मूल जटिल डेटा में कितनी पास थीं। नई विधि ने सभी नौ डेटासेट में उच्चतम विश्वसनीयता स्कोर प्राप्त किया। एक सावधानीपूर्वक मेल किए गए नियंत्रण समूह (control group) की तुलना में, जिसने समान शुरुआती बिंदु का उपयोग किया था लेकिन जिसमें विशेष हाइब्रिड नियम की कमी थी, नए तरीके ने हर एक डेटासेट पर विश्वसनीयता में सुधार किया। यह सुधार सांख्यिकीय रूप से महत्वपूर्ण था, जिसका अर्थ है कि इसकी एक आकस्मिक घटना होने की संभावना बहुत कम थी।

हालाँकि, अध्ययन ने एक ट्रेड-ऑफ (trade-off) भी प्रकट किया, जो डेटा विज्ञान में एक सामान्य वास्तविकता है जहाँ एक पहलू को सुधारने से अक्सर दूसरे की कीमत चुकानी पड़ती है। जबकि नए तरीके ने स्थानीय पड़ोस को अधिक विश्वसनीय बनाया, इसके परिणामस्वरूप घनत्व संरक्षण (density preservation) में थोड़ी कमी आई। इसका अर्थ यह है कि वस्तुओं के विभिन्न समूहों के बीच सापेक्ष दूरी उतनी पूर्ण रूप से संरक्षित नहीं थी जितनी कि मानक उपकरणों के साथ थी। शोधकर्ताओं ने पाया कि नया तरीका धीमा भी था, जिसे एक विशिष्ट बेंचमार्क रन को प्रोसेस करने में मानक तरीके के 33 सेकंड की तुलना में लगभग 58 सेकंड लगे। यह अतिरिक्त समय मुख्य रूप से प्रारंभिक सेटअप और दोनों विधियों को संतुलित करने के लिए आवश्यक जटिल गणनाओं के कारण है, न कि अंतिम ड्राइंग चरण के कारण।

निष्कर्ष बताते हैं कि यह हाइब्रिड दृष्टिकोण उन शोधकर्ताओं के लिए एक शक्तिशाली उपकरण है जो सबसे ऊपर स्थानीय समूहों की सटीकता को प्राथमिकता देते हैं। यह सिद्ध करता है कि दो अलग-अलग गणितीय दृष्टिकोणों को मानचित्र बनाने के लिए क्रमिक रूप से नहीं, बल्कि एक साथ मार्गदर्शन करने देकर, जटिल डेटा का अधिक निष्ठावान प्रतिनिधित्व प्राप्त किया जा सकता है। अध्ययन यह दावा नहीं करता है कि इसने डेटा विज़ुअलाइज़ेशन की हर समस्या को हल कर दिया है; वैश्विक दूरियां और घनत्व ऐसे क्षेत्र हैं जहाँ मानक उपकरण अभी भी बढ़त बनाए रखते हैं। फिर भी, यह प्रदर्शित करके कि एक पूरक रणनीति लगातार स्थानीय संबंधों की विश्वसनीयता में सुधार कर सकती है, यह कार्य उच्च-आयामी डेटा के अदृश्य परिदृश्यों में नेविगेट करने की कोशिश करने वाले किसी भी व्यक्ति के लिए एक नया मार्ग प्रदान करता है।

तकनीकी सारांश: उच्च-आयामी डेटा विज़ुअलाइज़ेशन के लिए पूरक t-SNE–UMAP अनुकूलन

समस्या विवरण
उच्च-आयामी डेटा का विज़ुअलाइज़ेशन चुनौतीपूर्ण है क्योंकि डेटा को दो या तीन आयामों में कम करने से अक्सर महत्वपूर्ण संरचनात्मक संबंधों का नुकसान हो जाता है। जबकि t-डिस्ट्रीब्यूटेड स्टोकेस्टिक नेबरहुड एम्बेडिंग (t-SNE) स्थानीय पड़ोस संरचनाओं (local neighborhood structures) को संरक्षित करने में अत्यधिक प्रभावी है, इसे वैश्विक ज्यामिति (global geometry) के लिए संघर्ष करना पड़ सकता है और इसके लिए अंतर-क्लस्टर दूरियों की सावधानीपूर्वक व्याख्या की आवश्यकता होती है। इसके विपरीत, यूनिफॉर्म मैनिफोल्ड एप्रोक्सिमेशन एंड प्रोजेक्शन (UMAP) कम्प्यूटेशनल दक्षता और अच्छी निरंतरता प्रदान करता है, लेकिन यह एक अलग उद्देश्य फलन (objective function) को अनुकूलित करता है। मौजूदा दृष्टिकोण अक्सर दोनों में से किसी एक विधि को चुनने या दो स्वतंत्र रूप से पूर्ण एम्बेडिंग को संयोजित करने में शामिल होते हैं। लेखक तर्क देते हैं कि ये रणनीतियाँ एक ही अनुकूलन प्रक्रिया के भीतर दोनों एल्गोरिदम की पूरक शक्तियों का लाभ उठाने में विफल रहती हैं, विशेष रूप से t-SNE में कमजोर पड़ोस प्रतिनिधित्व को सुधारने के लिए UMAP की ग्राफ संरचना का उपयोग करने के अवसर को चूक जाती हैं।

कार्यप्रणाली
प्रस्तावित विधि एक हाइब्रिड फ्रेमवर्क पेश करती है जहाँ UMAP जानकारी को दो अलग-अलग एम्बेडिंग को फ्यूज करने के बजाय सीधे t-SNE अनुकूलन प्रक्रिया में एकीकृत किया जाता है। मुख्य नवाचार एक पूरक एज वेटिंग (complementary edge weighting) तंत्र है जिसे केवल वहीं UMAP मार्गदर्शन लागू करने के लिए डिज़ाइन किया गया है जहाँ t-SNE कमजोर है।

पूरक एज वेटिंग (Complementary Edge Weighting):
विधि नमूनों $i$ और $j$ के बीच एक किनारे (edge) के लिए एक पूरक भार $C_{ij}$ को परिभाषित करती है:
$C_{ij} = W^U_{ij} (1 - T^{tSNE}_{ij})$
जहाँ $W^U_{ij}$ UMAP से फजी ग्राफ वेट है, और $T^{tSNE}_{ij}$ t-SNE संबद्धता (affinity) का सामान्यीकृत विश्वास (confidence) है।
- यदि UMAP दो बिंदुओं को मजबूती से जोड़ता है लेकिन t-SNE का विश्वास कम है, तो $C_{ij}$ बड़ा हो जाता है, जिससे एक मजबूत आकर्षक बल (attractive force) जुड़ जाता है।
- यदि दोनों विधियाँ पहले से ही एक मजबूत संबंध पर सहमत हैं, तो $C_{ij}$ छोटा हो जाता है, जो अनावश्यक प्रभाव को रोकता है।
अनुकूलन उद्देश्य (Optimization Objective):
अंतिम उद्देश्य फलन मानक t-SNE कुलबैक–लीब्लर (KL) डाइवर्जेंस को पूरक UMAP किनारों पर आधारित एक स्पार्स अट्रैक्टिव टर्म के साथ जोड़ता है:
$L_H(Y, t) = D_{KL}(P^{tSNE} || Q^Y) + \lambda(t) L_C(Y)$
महत्वपूर्ण रूप से, पूरक टर्म $L_C(Y)$ में UMAP के रिपल्सिव नॉन-एज टर्म्स शामिल नहीं हैं, यह सुनिश्चित करता है कि प्राथमिक संरचना t-SNE द्वारा संचालित रहे।
विलंबित सक्रियण (Delayed Activation):
t-SNE के प्रारंभिक क्लस्टर निर्माण के दौरान हस्तक्षेप को रोकने के लिए, पूरक टर्म को "अर्ली एक्सैजरेशन" (early exaggeration) चरण के दौरान अक्षम कर दिया जाता है। इसका भार $\lambda(t)$ एक स्मूथस्टेप शेड्यूल का उपयोग करके अर्ली एक्सैजरेशन चरण के बाद (विशेष रूप से प्रयोगों में 250 इटरेशन के बाद) धीरे-धीरे बढ़ाया जाता है जब तक कि यह अधिकतम मान ( $\lambda_{max} = 0.05$ ) तक न पहुँच जाए।
आरंभीकरण (Initialization):
अनुकूलन को एक UMAP एम्बेडिंग का उपयोग करके इनिशियलाइज़ किया जाता है, जो t-SNE प्रक्रिया के लिए एक अनुकूल शुरुआती बिंदु प्रदान करता है।

प्रमुख योगदान
पेपर पाँच प्राथमिक योगदानों को रेखांकित करता है:

फ्रेमवर्क: एक अभिनव t-SNE–UMAP हाइब्रिड जहाँ UMAP ग्राफ जानकारी का उपयोग t-SNE अनुकूलन लूप के भीतर किया जाता है।
वेटिंग रणनीति: पूरक विश्वास भार $C_{ij}$ का परिचय, जो मौजूदा t-SNE संबद्धता की ताकत के आधार पर UMAP प्रभाव को गतिशील रूप से समायोजित करता है।
अनुकूलन शेड्यूलिंग: एक विलंबित सक्रियण रणनीति जो प्रारंभिक t-SNE अनुकूलन की अखंडता को बनाए रखने के लिए अर्ली एक्सैजरेशन चरण के बाद ही पूरक टर्म को पेश करती है।
कठोर नियंत्रण: इनिशियलाइजेशन, ग्राफ आकर्षण और पूरक रेगुलाइजेशन के विशिष्ट प्रभावों को अलग करने के लिए एक मैचड KL कंट्रोल (UMAP-इनिशियलाइज्ड t-SNE बिना पूरक टर्म के) और कई एब्लेशन वेरिएंट का उपयोग।
व्यापक मूल्यांकन: नौ बेंचमार्क डेटासेट (MNIST, CIFAR-10/100 और टैबुलर डेटा सहित) पर ट्रस्टवर्थनेस, निरंतरता, नेबरहुड रिकॉल, डेंसिटी प्रिजर्वेशन और ग्लोबल डिस्टेंस प्रिजर्वेशन जैसे विस्तृत मेट्रिक्स और सांख्यिकीय महत्व परीक्षणों का उपयोग करके व्यापक परीक्षण।

परिणाम
विधि का मूल्यांकन नौ डेटासेट पर मानक t-SNE, मानक UMAP, UMAP-इनिशियलाइज्ड t-SNE और अन्य नॉन-लीनियर विधियों (densMAP, TriMap, PaCMAP, LocalMAP) के विरुद्ध किया गया।

ट्रस्टवर्थनेस और नेबरहुड रिकॉल: प्रस्तावित विधि (A6) ने सभी परीक्षण की गई विधियों में उच्चतम माध्य ट्रस्टवर्थनेस (0.9602) और नेबरहुड रिकॉल (0.4426) प्राप्त किया।
सांख्यिकीय महत्व: मैचड KL कंट्रोल (A3) की तुलना में, प्रस्तावित विधि ने सभी नौ डेटासेट पर ट्रस्टवर्थनेस में सुधार किया। यह सुधार Holm सुधार के बाद सांख्यिकीय रूप से महत्वपूर्ण था ( $p_{Holm} = 0.046875$ ) जिसमें एक बड़ा पेयर्ड इफेक्ट साइज ( $d_z = 1.47$ ) देखा गया।
ट्रेड-ऑफ: स्थानीय पड़ोस विश्वसनीयता में सुधार एक ट्रेड-ऑफ के साथ आया। विधि ने मैचड कंट्रोल की तुलना में काफी कम डेंसिटी प्रिजर्वेशन दिखाया ( $p_{Holm} = 0.046875$ )।
ग्लोबल स्ट्रक्चर: मानक t-SNE की तुलना में ग्लोबल यूक्लिडियन या जेन्सन–शैनन डिस्टेंस प्रिजर्वेशन में कोई महत्वपूर्ण सुधार नहीं हुआ। वास्तव में, मानक t-SNE ने उच्च ग्लोबल यूक्लिडियन स्कोर बनाए रखा।
रनटाइम: प्रस्तावित पाइपलाइन मानक t-SNE की तुलना में लगभग 1.77 गुना धीमी थी (58.59s बनाम 33.01s), जो मुख्य रूप से UMAP इनिशियलाइजेशन और कस्टम ऑप्टिमाइज़ेशन फ्रेमवर्क के कारण थी, न कि स्वयं पूरक टर्म के कारण।

महत्व और दावे
लेखक दावा करते हैं कि इस कार्य का प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि चयनात्मक रूप से पूरक ग्राफ जानकारी को एकीकृत करके स्थानीय पड़ोस विश्वसनीयता को बढ़ाया जा सकता है, न कि केवल एम्बेडिंग्स को औसत निकालकर।

पेपर स्पष्ट रूप से कहता है कि यह विधि डाइमेंशनैलिटी रिडक्शन के सभी पहलुओं में सुधार के लिए एक सार्वभौमिक समाधान नहीं है। इसके बजाय, यह एक विशिष्ट लाभ प्रदान करती है: स्थानीय पड़ोस संबंधों की विश्वसनीयता में सुधार करना (गलत पड़ोसियों को कम करना) जबकि समग्र संरचनात्मक गुणवत्ता को प्रतिस्पर्धी बनाए रखना। लेखक इस बात पर जोर देते हैं कि यह लाभ डेंसिटी प्रिजर्वेशन और बढ़े हुए रनटाइम के स्पष्ट ट्रेड-ऑफ के साथ आता है। फलस्वरूप, यह विधि उन अनुप्रयोगों के लिए सबसे उपयुक्त है जहाँ डेंसिटी प्रिजर्वेशन या न्यूनतम निष्पादन समय के बजाय स्थानीय पड़ोस संबंधों की सटीकता प्राथमिकता है। परिणाम बताते हैं कि हाइब्रिड विधियों का मूल्यांकन कई मेट्रिक्स का उपयोग करके किया जाना चाहिए, क्योंकि एक संरचनात्मक गुण (स्थानीय ट्रस्टवर्थनेस) के लिए अनुकूलित करने से स्वाभाविक रूप से अन्य (डेंसिटी) का क्षरण हो सकता है।

तकनीकी सारांश: उच्च-आयामी डेटा विज़ुअलाइज़ेशन के लिए पूरक t-SNE–UMAP अनुकूलन

इसी तरह के और पेपर