🤖 machine learning

DREAMS: Preserving both Local and Global Structure in Dimensionality Reduction

यह शोध पत्र DREAMS को प्रस्तुत करता है, जो एक आयामी न्यूनीकरण (dimensionality reduction) विधि है जो एक सरल नियमितीकरण पद (regularization term) के माध्यम से t-SNE और PCA की शक्तियों को जोड़कर स्थानीय और वैश्विक संरचना संरक्षण को प्रभावी ढंग से संतुलित करती है, और कई वास्तविक दुनिया के डेटासेट पर मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करती है।

मूल लेखक: Noël Kury, Dmitry Kobak, Sebastian Damrich

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Noël Kury, Dmitry Kobak, Sebastian Damrich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास हजारों अलग-अलग खिलौनों वाला एक विशाल, बिखरा हुआ डिब्बा है। कुछ बहुत छोटे और बारीक एक्शन फिगर्स हैं; कुछ बड़े, भारी बिल्डिंग ब्लॉक्स हैं। आप उन्हें एक सपाट मेज पर बिछाना चाहते हैं ताकि आप देख सकें कि वे एक-दूसरे से कैसे संबंधित हैं।

समस्या यह है कि यह डिब्बा 3D (या यहाँ तक कि उच्च आयामों वाला) है, लेकिन आपकी मेज केवल 2D है। जब आप इसे समतल करने की कोशिश करते हैं, तो आपको एक चुनाव करना पड़ता है:

"लोकल" दृष्टिकोण (t-SNE): आप छोटे एक्शन फिगर्स को एक साथ सघन रूप से रखने का निर्णय लेते हैं ताकि आप उनके व्यक्तिगत विवरण देख सकें। लेकिन ऐसा करने में, आप अनजाने में बड़े बिल्डिंग ब्लॉक्स को पूरी मेज पर बिखेर सकते हैं, जिससे "बड़ी तस्वीर" (big picture) का बोध खो सकता है।
"ग्लोबल" दृष्टिकोण (PCA): आप बड़े बिल्डिंग ब्लॉक्स को एक-दूसरे के सापेक्ष उनके सही, तार्किक स्थानों पर रखते हैं। लेकिन ऐसा करने में, छोटे एक्शन फिगर्स एक ही धुंधले गोले में दब जाते हैं, और आप उन्हें एक-दूसरे से अलग नहीं पहचान पाते।

लंबे समय तक, वैज्ञानिकों को इन दोनों में से एक दृश्य चुनना पड़ता था। वे एक ही समय में सूक्ष्म विवरण और बड़ी तस्वीर, दोनों नहीं पा सकते थे।

DREAMS से परिचय: "दोनों दुनियाओं का सर्वश्रेष्ठ" तरीका

यह शोध पत्र एक नई विधि पेश करता है जिसे DREAMS (डाइमेंशनलिटी रिडक्शन एनहांस्ड अक्रॉस मल्टीपल स्केल्स) कहा जाता है। सोचिए कि DREAMS एक स्मार्ट, समायोज्य लेंस (adjustable lens) है जो आपको पूरे दृश्य को स्पष्ट रूप से देखने देता है और साथ ही आपको सूक्ष्म विवरणों पर ज़ूम करने की सुविधा भी देता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

"रबर शीट" और "चुंबक"
कल्पना कीजिए कि आप एक रबर शीट को खींच रहे हैं (यह t-Sne वाला हिस्सा है)। आप छोटे एक्शन फिगर्स को एक-दूसरे से दूर खींचते हैं ताकि वे ओवरलैप न हों, जिससे उनके स्थानीय पड़ोस (local neighborhoods) सुरक्षित रहते हैं। यह सूक्ष्म विवरण देखने के लिए बहुत अच्छा है।

हालाँकि, रबर शीट बहुत अधिक खिंच सकती है, जिससे पूरा लेआउट विकृत हो सकता है। इसे ठीक करने के लिए, DREAMS शीट के नीचे एक चुंबक जोड़ता है (यह PCA वाला हिस्सा है)। यह चुंबक पूरी शीट को एक पूर्व-निर्धारित, तार्किक आकार (ग्लोबल स्ट्रक्चर) की ओर धीरे से खींचता है।

यदि चुंबक कमजोर है: रबर शीट स्वतंत्र रूप से खिंचती है। आपको छोटे आंकड़ों का एक विस्तृत मानचित्र मिलता है, लेकिन बड़ी तस्वीर थोड़ी डगमगाती हुई दिख सकती है।
यदि चुंबक मजबूत है: शीट को तार्किक आकार के विरुद्ध कसकर खींचा जाता है। आपको एक सटीक बड़ी तस्वीर मिलती है, लेकिन छोटे एक्शन फिगर्स दब जाते हैं।
द स्वीट स्पॉट (DREAMS समाधान): लेखकों ने चुंबक की शक्ति के लिए एक "गोल्डिलॉक्स" (Goldilocks) सेटिंग खोजी। इस सेटिंग पर, रबर शीट इतने से खिंचती है कि छोटे आंकड़ों को स्पष्ट रूप से दिखाया जा सके, लेकिन चुंबक इतना भी मजबूत होता है कि बड़े बिल्डिंग ब्लॉक्स को उनके सही, तार्किक स्थानों पर रखा जा सके।

उन्होंने क्या पाया?

शोधकर्ताओं ने इस "समायोज्य चुंबक" पद्धति का परीक्षण 11 अलग-अलग वास्तविक दुनिया के डेटासेट्स पर किया, जिसमें जटिल जैविक डेटा (जैसे मस्तिष्क कोशिकाएं) और इमेज डेटा (जैसे हस्तलिखित अंक) शामिल हैं।

यह प्रतिस्पर्धा से बेहतर है: जब उन्होंने अन्य लोकप्रिय तरीकों (जैसे UMAP, t-SNE और PCA) के साथ DREAMS की तुलना की, तो DREAMS ने "पड़ोस" (स्थानीय संरचना) और "महाद्वीपों" (वैश्विक संरचना) दोनों को बरकरार रखने में लगातार सबसे अच्छा काम किया।
एक सुचारू स्पेक्ट्रम: एक बहुत ही शानदार विशेषता यह है कि आप दृश्य बदलने के लिए एक डायल (जिसे $\lambda$ कहा जाता है) को घुमा सकते हैं। आप इसे सूक्ष्म विवरण देखने के लिए पूरी तरह से "लोकल" की ओर स्लाइड कर सकते हैं, बड़ी तस्वीर देखने के लिए पूरी तरह से "ग्लोबल" की ओर, या बीच में कहीं भी रुक सकते हैं ताकि एक आदर्श संतुलन प्राप्त हो सके।
वास्तविक दुनिया का उदाहरण: मस्तिष्क कोशिकाओं के एक डेटासेट में, मानक तरीके या तो आपको कोशिकाओं की व्यापक श्रेणियों (न्यूरॉन्स बनाम गैर-न्यूरॉन्स) को दिखाते थे लेकिन विशिष्ट उप-प्रकारों को मिस कर देते थे, या वे विशिष्ट सेल प्रकारों को दिखाते थे लेकिन व्यापक श्रेणियों को अस्त-व्यस्त कर देते थे। DREAMS ने आपको दोनों दिखाए: व्यापक समूह सही स्थानों पर थे, और विशिष्ट कोशिका प्रकार उन समूहों के भीतर स्पष्ट रूप से अलग थे।

निचोड़

DREAMS एक नया उपकरण है जो एक पुरानी समस्या को हल करता है: जटिल, बहु-स्तरीय डेटा को बिना जंगल या पेड़ों में से किसी एक को खोए, कैसे समतल किया जाए। एक वैश्विक मानचित्र की ओर एक "सौम्य खिंचाव" जोड़कर और स्थानीय विवरणों को सांस लेने देने से, यह पिछले तरीकों की तुलना में अधिक सटीक और समझने में आसान विज़ुअलाइज़ेशन बनाता है।

लेखक उल्लेख करते हैं कि इस "चुंबक" प्रणाली को चलाने के लिए थोड़े अधिक कंप्यूटिंग पावर की आवश्यकता होती है, लेकिन परिणाम जटिल डेटा की बहुत अधिक स्पष्ट तस्वीर प्रदान करता है, विशेष रूप से तब जब उस डेटा में एक पदानुक्रम (जैसे कि एक वंशावली या जिलों के साथ शहर का नक्शा) हो।

तकनीकी सारांश: DREAMS – डाइमेंशनलिटी रिडक्शन में स्थानीय और वैश्विक संरचना दोनों को संरक्षित करना

समस्या विवरण (Problem Statement)

डाइमेंशनलिटी रिडक्शन (DR) उच्च-आयामी डेटा के विज़ुअलाइज़ेशन के लिए आवश्यक है, फिर भी मौजूदा विधियाँ आमतौर पर या तो स्थानीय संरचना (local structure) या वैश्विक संरचना (global structure) को प्रभावी ढंग से संरक्षित करती हैं, लेकिन शायद ही कभी दोनों को एक साथ।

स्थानीय संरचना (Local Structure): t-SNE और UMAP जैसी विधियाँ पड़ोस के संबंधों और सूक्ष्म क्लस्टर्स (जैसे विशिष्ट सेल प्रकार) को प्रभावी ढंग से संरक्षित करती हैं, लेकिन अक्सर वैश्विक व्यवस्थाओं (जैसे व्यापक वर्ग पृथक्करण या विकासात्मक प्रक्षेपवक्र) को विकृत कर देती हैं।
वैश्विक संरचना (Global Structure): PCA और MDS व्यापक डेटा पैटर्न और वेरिएंस को संरक्षित करते हैं, लेकिन अक्सर सूक्ष्म स्थानीय संबंधों को हल करने में विफल रहते हैं, जिससे अलग-अलग क्लस्टर आपस में मिल जाते हैं।

वास्तविक दुनिया के डेटासेट में, जैसे कि सिंगल-सेल ट्रांसक्रिप्टोमिक्स, दोनों स्तरों की संरचना सार्थक और पूरक होती है। एक स्तर की उपेक्षा करने से अपूर्ण या पक्षपाती व्याख्याएँ हो सकती हैं। वर्तमान हाइब्रिड दृष्टिकोण अक्सर इन प्रतिस्पर्धी उद्देश्यों को प्रभावी ढंग से संतुलित करने में संघर्ष करते हैं या अपने अनुकूलन स्पेक्ट्रा (optimization spectra) के भीतर शुद्ध चरम सीमाओं (मानक PCA या t-SNE) को प्राप्त करने में विफल रहते हैं।

कार्यप्रणाली: DREAMS

लेखक DREAMS (Dimensionality Reduction Enhanced Across Multiple Scales) प्रस्तावित करते हैं, जो एक गैर-पैरामीट्रिक विधि है जो एक सरल रेगुलराइजेशन टर्म (regularization term) के माध्यम से PCA के वैश्विक संरचना संरक्षण के साथ t-SNE की स्थानीय संवेदनशीलता को जोड़ती है।

मुख्य तंत्र (Core Mechanism)

DREAMS मानक t-SNE लॉस फंक्शन को एक क्वाड्रेटिक पेनल्टी (quadratic penalty) के साथ बढ़ाता है जो लो-डायमेंशनल एम्बेडिंग को एक पूर्व-निर्धारित वैश्विक संदर्भ एम्बेडिंग (डिफ़ॉल्ट: PCA) के साथ संरेखित होने के लिए प्रोत्साहित करता है।

ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$

जहाँ:

$Y$ वह लो-डायमेंशनल एम्बेडिंग है जिसे ऑप्टिमाइज़ किया जा रहा है।
$L_{t-SNE}(Y)$ मानक t-SNE लॉस (उच्च-आयामी और निम्न-आयामी समानता वितरणों के बीच Kullback–Leibler divergence) है।
$\tilde{Y}$ एक पूर्व-निर्धारित वैश्विक संदर्भ एम्बेडिंग (जैसे, PCA) है।
$\lambda \in [0, 1]$ एक हाइपरपैरामीटर है जो स्थानीय और वैश्विक संरक्षण के बीच ट्रेड-ऑफ को नियंत्रित करता है।
$\alpha$ एक स्केलर स्केलिंग फैक्टर है जिसे t-SNE एम्बेडिंग ( $Y$ ) के स्केल को संदर्भ एम्बेडिंग ( $\tilde{Y}$ ) के स्केल के साथ मिलाने के लिए प्रत्येक ग्रेडिएंट डिसेंट इटरेशन पर कंप्यूट किया जाता है, जिससे रैखिक PCA स्केल और गैर-रैखिक t-SNE स्केल के बीच अनुकूलता सुनिश्चित होती है।

कार्यान्वयन विवरण (Implementation Details)

संदर्भ एम्बेडिंग (Reference Embedding): डिफ़ॉल्ट रूप से, DREAMS अपनी गति और व्याख्यात्मकता के कारण PCA का उपयोग करता है। हालाँकि, यह ढांचा अन्य वैश्विक विधियों जैसे MDS (जिसे DREAMS-MDS कहा जाता है) का समर्थन करता है।
ऑप्टिमाइज़ेशन (Optimization): विधि को openTSNE लाइब्रेरी पर आधारित किया गया है, जिसमें ग्रेडिएंट-डिसेंट ऑप्टिमाइज़ेशन में रेगुलराइजेशन टर्म जोड़ा गया है।
वैकल्पिक दृष्टिकोण: लेखकों ने एक "लीनियर डिकोडिंग" वेरिएंट (DREAMS-CNE-Decoder) का भी अन्वेषण किया जिसमें मूल डेटा को एम्बेडिंग से पुनर्गठित करने के लिए एक ट्रेन करने योग्य लीनियर डिकोडर का उपयोग किया गया, लेकिन उन्होंने पाया कि पूर्व-निर्धारित संदर्भ दृष्टिकोण स्थानीय संरचना को संरक्षित करने में बेहतर है।
स्पेक्ट्रम (Spectrum): $\lambda$ $λ$ को बदलकर, DREAMS एम्बेडिंग्स का एक निरंतर स्पेक्ट्रम उत्पन्न करता है:
- $\lambda = 0$ : मानक t-SNE को रिकवर करता है।
- $\lambda = 1$ : स्केल किए गए PCA एम्बेडिंग को रिकवर करता है।
- $0 < \lambda < 1$ : स्थानीय और वैश्विक संरक्षण के बीच एक संतुलित ट्रेड-ऑफ प्रदान करता है।

प्रमुख योगदान (Key Contributions)

रेगुलराइजेशन रणनीति: एक सरल, प्रभावी रेगुलराइजेशन टर्म का परिचय जो वैश्विक संरचना संरक्षण (PCA/MDS के माध्यम से) को सीधे t-SNE ऑब्जेक्टिव में एकीकृत करता है।
विज़ुअलाइज़ेशन का स्पेक्ट्रम: एक ट्यूनेबल स्पेक्ट्रम का प्रदर्शन जो स्थानीय और वैश्विक संरचना संरक्षण के बीच एक अत्याधुनिक ट्रेड-ऑफ प्रदान करता है।
व्यापक बेंचमार्किंग: दस एल्गोरिदम का ग्यारह वास्तविक दुनिया के डेटासेट्स (सिंगल-सेल ट्रांसक्रिप्टोमिक्स, जीनोमिक डेटा और इमेज डेटासेट्स सहित) पर मूल्यांकन।
ओपन-सोर्स कार्यान्वयन: openTSNE और CNE (Contrastive Neighbor Embedding) लाइब्रेरी पर आधारित ओपन-सोर्स कार्यान्वयन का प्रावधान।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बेसलाइन्स (t-SNE, UMAP, PCA, MDS) और हाइब्रिड विधियों (TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP) के विरुद्ध दो प्राथमिक मेट्रिक्स का उपयोग करके DREAMS का मूल्यांकन किया:

KNN (Local): k-nearest neighbor रिकॉल।
CPD (Global): युग्म दूरी (pairwise distances) का सहसंबंध (Spearman correlation)।

निष्कर्ष (Findings)

बेहतर ट्रेड-ऑफ: 10 में से 11 डेटासेट्स पर, DREAMS (डिफ़ॉल्ट $\lambda=0.15$ के साथ) ने उच्चतम एकत्रित स्थानीय-वैश्विक स्कोर प्राप्त किया। इसने लगातार t-SNE के करीब KNN स्कोर बनाए रखते हुए PCA के करीब CPD स्कोर प्राप्त किया।
हाइब्रिड्स के साथ तुलना: DREMS ने StarMAP और SQuadMDS-hybrid जैसे अन्य हाइब्रिड तरीकों को पछाड़ दिया। विशेष रूप से, DREAMS ने StarMAP (जो UMAP का उपयोग करता है) की तुलना में स्थानीय संरचना को काफी बेहतर तरीके से संरक्षित किया और SQuadMDS-hybrid की तुलना में अधिक अनुकूल वैश्विक-स्थानीय ट्रेड-ऑफ प्रदान किया।
स्पेक्ट्रम की गुणवत्ता: DREAMS द्वारा उत्पन्न एम्बेडिंग्स के स्पेक्ट्रम ने प्रतिस्पर्धी विधियों की तुलना में स्थानीय और वैश्विक चरम सीमाओं के बीच एक सहज और अधिक प्रभावी संक्रमण प्रदान किया, जो अक्सर चरम सीमाओं पर शुद्ध PCA या MDS सीमाओं को प्राप्त करने में विफल रहती हैं या प्रदर्शन में गिरावट का शिकार होती हैं।
सीमाएं (Limitations): उन डेटासेट्स पर जिनमें प्रमुख वैश्विक संरचना की कमी है (जैसे, MNIST), DREAMS दोनों मेट्रिक्स को एक साथ अधिकतम नहीं कर सका, क्योंकि वैश्विक संरचना स्वयं कमजोर थी। ऐसे मामलों में, प्रदर्शन अन्य विधियों के समान था।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DREms स्थानीय और वैश्विक संरचनाओं दोनों को बिना किसी बड़े समझौते के एक साथ संरक्षित करने में सक्षम बनाकर डाइमेंशनलिटी रिडक्शन में एक महत्वपूर्ण अंतर को संबोधित करता है।

व्याख्यात्मकता (Interpretability): t-SNE ऑप्टिमाइज़ेशन को PCA संदर्भ के साथ बांधकर, DREMS ऐसे विज़ुअलाइज़ेशन बनाता है जो स्थानीय रूप से विस्तृत (सूक्ष्म क्लस्टर्स को प्रकट करना) और वैश्विक रूप से सुसंगत (व्यापक वर्ग पृथक्करण को संरक्षित करना) दोनों हैं, जिससे वे अंतर्निहित डेटा पदानुक्रम के प्रति अधिक निष्ठावान बनते हैं।
लचीलापन (Flexibility): विधि अनुकूलनीय है; उपयोगकर्ता विशिष्ट विश्लेषणात्मक आवश्यकताओं के आधार पर स्थानीय या वैश्विक विशेषताओं को प्राथमिकता देने के लिए $\lambda$ को ट्यून कर सकते हैं, या यदि PCA किसी विशिष्ट डेटासेट के वैश्विक ज्यामिति के लिए उप-इष्टतम है, तो संदर्भ एम्बेडिंग (जैसे, MDS) को बदल सकते हैं।
व्यावहारिकता (Practicality): लेखक उल्लेख करते हैं कि हालांकि DREMS रेगुलराइजेशन टर्म के कारण थोड़ा कम्प्यूटेशनल ओवरहेड पेश करता है, डिफ़ॉल्ट सेटिंग ( $\lambda=0.15$ ) व्यापक रूप से विविध डेटासेट्स पर बिना किसी गहन हाइपरपैरामीटर ट्यूनिंग के मजबूती से काम करती है।

लेखक निष्कर्ष निकालते हैं कि DREMS एक अधिक निष्ठावान और व्याख्या योग्य विज़ुअलाइज़ेशन टूल प्रदान करता है, विशेष रूप से उन पदानिद्ध (hierarchical) डेटासेट्स के लिए जहाँ कई स्तरों की संरचना मौजूद होती है।