🤖 machine learning

T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning

यह शोधपत्र T-REGS को प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित शिक्षण ढांचा (self-supervised learning framework) है जो सीखे गए निरूपणों (representations) पर वितरण एकरूपता (distribution uniformity) को बढ़ावा देने के साथ-साथ आयामी पतन (dimensional collapse) को सैद्धांतिक और अनुभवजन्य रूप से रोकने के लिए न्यूनतम स्पैनिंग ट्री लंबाई (Minimum Spanning Tree length) को एक नियमितीकरण पद (regularization term) के रूप में उपयोग करता है।

मूल लेखक: Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को बिना किसी लेबल (जैसे "बिल्ली" या "कुत्ता") के तस्वीरें समझना सिखाने की कोशिश कर रहे हैं। इसे सेल्फ-सुपरवाइज्ड लर्निंग (Self-Supervised Learning) कहा जाता है। कंप्यूटर एक ही फोटो के दो अलग-अलग संस्करणों को देखकर सीखता है (शायद एक धुंधली है, और दूसरा क्रॉप किया हुआ) और यह पता लगाने की कोशिश करता है कि वे एक ही चीज़ हैं।

हालाँकि, एक बड़ी समस्या है: कंप्यूटर अक्सर आलसी हो जाता है। समृद्ध, विस्तृत विशेषताओं को सीखने के बजाय, यह हर तस्वीर के लिए बिल्कुल एक जैसा उबाऊ उत्तर दे सकता है। इसे "कोलैप्स" (Collapse) कहा जाता है। यह एक ऐसे छात्र की तरह है जो पूरे पाठ्यपुस्तक को पढ़ने के बजाय, हर अध्याय के पहले वाक्य को रट लेता है और हर टेस्ट प्रश्न का वही एक ही उत्तर देता है।

इस शोध पत्र के लेखकों, जूली मोर्डैक (Julie Mordacq) और उनकी टीम ने कंप्यूटर को आलसी होने से रोकने के लिए एक नया टूल बनाया है जिसे T-REGS कहा जाता है। यह कैसे काम करता है, यहाँ सरल रूप में समझाया गया है:

समस्या: "भीड़भाड़ वाला कमरा" बनाम "खाली कमरा"

जब एक कंप्यूटर सीखता है, तो वह हर तस्वीर को संख्याओं की एक सूची (एक बहु-आयामी स्थान में एक बिंदु) में बदल देता है।

डायमेंशनल कोलैप्स (Dimensional Collapse): कल्पना कीजिए कि ये सभी बिंदु कमरे के एक छोटे से कोने में सिमट गए हैं। कंप्यूटर ने कमरे के अधिकांश आयामों (dimensions) को भुला दिया है। वह अपनी पूरी मानसिक शक्ति का उपयोग नहीं कर रहा है।
एकरूपता का अभाव (Lack of Uniformity): भले ही वे सिमटे हुए न हों, लेकिन वे एक तंग घेरे में भी हो सकते हैं। वे पूरे स्थान में समान रूप से नहीं फैले हुए हैं।

लक्ष्य यह है कि कंप्यूटर इन बिंदुओं को जितना संभव हो सके उतना दूर फैला दे, ताकि वे पूरे "कमरे" को समान रूप से भर दें, जिससे वह हर तस्वीर को स्पष्ट रूप से पहचान सके।

समाधान: "मिनिमम स्पैनिंग ट्री" (Minimum Spanning Tree - MST)

लेखक गणित की एक अवधारणा का उपयोग करते हैं जिसे मिनिमम स्पैनिंग ट्री (Minimum Spanning Tree) कहा जाता है।

उपमा: कल्पना कीजिए कि आपके पास मैदान में खड़े लोगों का एक समूह है। आप उन सभी को एक एकल रस्सी नेटवर्क से जोड़ना चाहते हैं ताकि हर कोई जुड़ा रहे, लेकिन आप रस्सी की कुल लंबाई को यथासंभव कम रखना चाहते हैं। वह सबसे छोटा नेटवर्क ही "मिनिमम स्पैनिंग ट्री" है।
ट्रिक: आमतौर पर, यदि आप रस्सी को कम करना चाहते हैं, तो आप लोगों को करीब लाते हैं। लेकिन T-REGS इसके विपरीत करता है: यह उस रस्सी की लंबाई को अधिकतम (maximize) करने की कोशिश करता है।

कंप्यूटर को जोड़ने वाली "रस्सी" की लंबाई को यथासंभव लंबा बनाने के लिए मजबूर करके, T-REGS कंप्यूटर को बिंदुओं को दूर धकेलने के लिए मजबूर करता है। वह उन्हें एक साथ गुच्छों में नहीं रख सकता, क्योंकि इससे रस्सी बहुत छोटी हो जाएगी।

सुरक्षा जाल: "गोला" (The Sphere)

एक पेच है। यदि आप केवल कंप्यूटर को "रस्सी की लंबाई बढ़ाएं" कहते हैं बिना किसी नियम के, तो बिंदु अनंत की ओर उड़ जाएंगे, रस्सी को हमेशा के लिए खींच देंगे। यह उपयोगी नहीं है।

इसलिए, T-REsGS एक दूसरा नियम जोड़ता है: बिंदुओं को एक विशाल, अदृश्य गेंद (गोले) की सतह पर रहना चाहिए।

अब, कंप्यूटर को इस गोले की सतह पर रहते हुए बिंदुओं को एक-दूसरे से जितना संभव हो सके उतना दूर धकेलना होगा।
इस गोले पर रहते हुए रस्सी को यथासंभव लंबा बनाने का एकमात्र तरीका यह है कि बिंदुओं को पूरे सतह पर एक समान रूप से फैला दिया जाए, जैसे कि एक पूर्ण ज्यामितीय आकार (simplex) के कोने।

उन्होंने क्या पाया

यह शोध पत्र दिखाता है कि यह सरल विचार वास्तव में बहुत अच्छा काम करता है:

यह कोलैप्स को रोकता है: कंप्यूटर को अपने सभी आयामों का उपयोग करने के लिए मजबूर किया जाता है; वह एक कोने में छिप नहीं सकता।
यह एकरूपता लाता है: डेटा बिंदु समान रूप से फैल जाते हैं, जैसे पार्टी में आए मेहमान जिन्हें एक-दूसरे से जितना संभव हो सके दूर खड़े होने के लिए कहा गया हो, जबकि वे कमरे में ही हैं।
यह वास्तविक डेटा पर काम करता है: उन्होंने मानक इमेज डेटासेट (जैसे CIFAR और ImageNet) पर इसका परीक्षण किया। जब उन्होंने मौजूदा लर्निंग मेथड्स में T-REGS जोड़ा, तो कंप्यूटर चित्र पहचानने में बेहतर हो गए।
यह टेक्स्ट और इमेज दोनों पर काम करता है: उन्होंने इसे एक ऐसे सिस्टम पर भी टेस्ट किया जो फोटो को टेक्स्ट के साथ मिलाता है (जैसे CLIP)। इसने सिस्टम को छवियों और शब्दों दोनों को बेहतर ढंग से समझने में मदद की क्योंकि इसने दोनों के लिए "मानसिक स्थान" को समान रूप से भरा।

संक्षेप में

T-REGS को एक सख्त शिक्षक के रूप में सोचें जो कंप्यूटर को कहता है: "आप अपने उत्तरों को एक साथ इकट्ठा नहीं कर सकते, और आप पन्ने से बाहर नहीं उड़ सकते। आपको अपने उत्तरों को पूरे पन्ने पर यथासंभव दूर तक फैलाना होगा, हर कोने को समान रूप से भरना होगा।"

यह कंप्यूटर को दुनिया को देखने का एक बहुत अधिक समृद्ध, विस्तृत और उपयोगी तरीका सीखने के लिए मजबूर करता है, बिना किसी मानवीय लेबल की आवश्यकता के।

तकनीकी सारांश: T-REGS (स्व-पर्यवेक्षित शिक्षण के लिए मिनिमम स्पैनिंग ट्री रेगुलेराइजेशन)

समस्या विवरण

स्व-पर्यवेक्षित शिक्षण (Self-supervised learning - SSL) बिना लेबल वाले डेटा से प्रतिनिधित्व सीखने के लिए एक प्रमुख प्रतिमान बन गया है, विशेष रूप से विजुअल डोमेन में। हालाँकि, जॉइंट-एम्बेडिंग स्व-पर्यवेक्षित शिक्षण (JE-SSL) में एक महत्वपूर्ण चुनौती रिप्रेजेंटेशन कोलैप्स (representation collapse) है, जहाँ नेटवर्क इनपुट के बावजूद समान या गैर-सूचनात्मक वेक्टर आउटपुट करता है। हालिया शोध ने विफलता के एक अधिक सूक्ष्म रूप की पहचान की है जिसे डायमेंशनल कोलैप्स (dimensional collapse) कहा जाता है, जहाँ सीखे गए फीचर्स केवल एक निम्न-आयामी उप-स्थान (low-dimensional subspace) में सिमट जाते हैं, जिससे उच्च फीचर सहसंबंध और कम विविधता होती है। इसके अतिरिक्त, प्रभावी प्रतिनिधित्व के लिए यूनिफॉर्मिटी (uniformity) की आवश्यकता होती है, जो यह सुनिश्चित करता है कि एम्बेडिंग्स प्रतिनिधित्व स्थान में समान रूप से वितरित हों ताकि अधिकतम सूचना को संरक्षित किया जा सके और डाउनस्ट्रीम जनरलाइजेशन में सहायता मिल सके।

मौजूदा समाधानों की सीमाएँ हैं:

कॉन्ट्रास्टिव विधियाँ (जैसे SimCLR, MoCo) बड़े बैच आकार और कई नेगेटिव सैंपल्स की आवश्यकता रखती हैं, जो गणनात्मक रूप से महंगी हैं।
रेडंडेंसी रिडक्शन विधियाँ (जैसे Barlow Twins, VICreg) कोवैरियन्स मैट्रिसेस को आइडेंटिटी के करीब लागू करती हैं लेकिन केवल द्वितीय-क्रम के मोमेंट्स (second-order moments) पर निर्भर करती हैं, जिससे वे घनत्व संकेंद्रण बिंदुओं (density concentration points) को मिस कर सकती हैं जो यूनिफॉर्म डिस्ट्रीब्यूशन तक अभिसरण (convergence) को रोकते हैं।
एसिमेट्रिक विधियाँ (जैसे BYOL) इस बारे में सैद्धांतिक आधार की कमी रखती हैं कि वे कोलैप्स को कैसे रोकती हैं।
ऑप्टिमल ट्रांसपोर्ट-आधारित दृष्टिकोण (जैसे Fang et al.) आवश्यक सैद्धांतिक गुणों को संतुष्ट करते हैं, लेकिन गणनात्मक रूप से महंगे हो सकते हैं और SVD गणनाओं के कारण संख्यात्मक अस्थिरता (numerical instabilities) से ग्रस्त हो सकते हैं।

कार्यप्रणाली: T-REG और T-REGS

लेखक T-REG (मिनिमम स्पैनिंग ट्री रेगुलेराइजेशन) प्रस्तावित करते हैं, जो एक ढांचा है जिसे डायमेंशनल कोलैप्स को कम करने और वितरण यूनिफॉर्मिटी को बढ़ावा देने के लिए डिज़ाइन किया गया है।

मुख्य अवधारणा: MST लंबाई का अधिकतमकरण

केंद्रीय विचार सीखे गए एम्बेडिंग्स के मिनिमम स्पैनिंग ट्री (MST) की लंबाई को अधिकतम करना है। सैद्धांतिक विश्लेषण MST लंबाई को सांख्यिकीय आयाम अनुमान (statistical dimension estimation) और एंट्रॉपी मैक्सिमाइजेशन से जोड़ता है।

MST लंबाई ( $E(G)$ ): इसे ट्री में जुड़े नोड्स के बीच यूक्लिडियन दूरियों के योग के रूप में परिभाषित किया गया है: $E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$ ।
रिपल्सिव फोर्स (Repulsive Force): अनुकूलन (optimization) के दौरान, MST में किनारों (edges) को बनाने वाले जोड़े एक दूसरे पर प्रतिकर्षण बल (repulsive force) डालते हैं, जो स्वाभाविक रूप से बिंदुओं को दूर धकेलकर कुल ट्री लंबाई को बढ़ाता है।

T-REG लॉस फंक्शन

बिंदुओं को अनंत की ओर जाने वाले (चूंकि MST लंबाई को अधिकतम करना फैलाव को प्रोत्साहित करता है) ट्रिवियल समाधान को रोकने के लिए, T-REG एम्बेडिंग्स को एक कॉम्पैक्ट मैनिफोल्ड, विशेष रूप से एक हाइपरस्फीयर (hypersphere) के भीतर सीमित करता है। कुल लॉस दो पदों से बना है:

MST लंबाई मैक्सिमाइजेशन ( $L_E$ ): $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$ । यह पद प्रसार (spreading) को प्रोत्साहित करता है।
सॉफ्ट स्फीयर कंस्ट्रेंट ( $L_S$ ): $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$ । यह यूनिट स्फीयर से विचलन को दंडित करता है।

संयुक्त लॉस है:
$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$
जहाँ $\gamma$ और $\lambda$ हाइपरपैरामीटर हैं जो फैलाव और स्फीयर कंस्ट्रेंट के बीच ट्रेड-ऑफ को संतुलित करते हैं।

T-REGS का विस्तार

T-REGS इस रेगुलेराइजेशन को JE-SSL फ्रेमवर्क पर लागू करता है। दो ऑगमेंटेड व्यूज़ $X$ और $X'$ दिए जाने पर, मॉडल एम्बेडिंग्स $Z$ और $Z'$ उत्पन्न करता है। T-REGS प्रत्येक ब्रांच पर स्वतंत्र रूप से लागू किया जाने वाला एक रेगुलेराइजेशन टर्म है:
$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$
इसे दो तरह से उपयोग किया जा सकता है:

स्टैंडअलोन (Standalone): व्यू-इनवेरियंस टर्म (जैसे Mean Squared Error) के साथ सीधे संयोजित।
ऑक्सिलरी (Auxiliary): मौजूदा SSL उद्देश्यों (जैसे BYOL, Barlow Twins) को बढ़ाने के लिए जोड़ा गया।

सैद्धांतिक विश्लेषण

पेपर T-REG के लिए कठोर सैद्धांतिक गारंटी प्रदान करता है:

छोटे सैंपल ( $n \le d+1$ ): थ्योरम 4.1 सिद्ध करता है कि स्फीयर कंस्ट्रेंट के तहत, MST लंबाई को अधिकतम करना बिंदुओं को एक रेगुलर सिम्प्लेक्स (regular simplex) के वर्टिसेस पर रहने के लिए मजबूर करता है। यह कॉन्फ़िगरेशन पेयरवाइज दूरियों को अधिकतम करता है, जो पूरे रिप्रेजेंटेशन डायमेंशन का उपयोग करके डायमेंशनल कोलैप्स को प्रभावी ढंग से रोकता है।
बड़े सैंपल ( $n \to \infty$ ): विश्लेषण MST लंबाई को आंतरिक रेनी एंट्रॉपी (Rényi entropy) से जोड़ता है। थ्योरम 4.4 और कोरोलरी 4.6 प्रदर्शित करते हैं कि MST लंबाई को अधिकतम करना एसिम्प्टोटिक रूप से एम्बेडिंग डिस्ट्रीब्यूशन को कॉम्पैक्ट रिमानियन मैनिफोल्ड (स्फीयर) पर यूनिफॉर्म डिस्ट्रीब्यूशन की ओर ले जाता है।
सिद्धांत-आधारित गुण: T-REG स्वाभाविक रूप से उन चार गुणों को संतुष्ट करता है जो Fang et al. [23] द्वारा प्रस्तावित किए गए थे (इंस्टेंस परम्यूटेशन, इंस्टेंस क्लोनिंग, फीचर क्लोनिंग, और फीचर बेबी कंस्ट्रेंट्स), जो डायमेंशनल कोलैप्स को रोकने और यूनिफॉर्मिटी सुनिश्चित करने के लिए आवश्यक हैं।

प्रयोगात्मक परिणाम

लेखकों ने सिंथेटिक डेटा और मानक SSL बेंचमार्क पर T-REGS का मूल्यांकन किया।

सिंथेटिक डेटा सत्यापन

डायमेंशनल कोलैप्स: नियंत्रित कोलैप्स स्तरों वाले 1024-डायमेंशनल गौसियन डेटासेट पर, T-REG की लॉस सेंसिटिविटी W2 मेट्रिक (Fang et al. से) के समान थी, जो कोलैप्स को दंडित करने की इसकी क्षमता की पुष्टि करती है।
यूनिफॉर्मिटी: पॉइंट क्लाउड्स के अनुकूलन ने दिखाया कि T-REG ने क्लस्टर्ड डेटा को स्फीयर पर यूनिफॉर्मली डिस्ट्रीब्यूटेड पॉइंट्स में सफलतापूर्वक बदल दिया। हाई डायमेंशन (256-d) में, कोसाइन सिमिलरिटी डिस्ट्रीब्यूशन 0 के पास एक डिरैक डेल्टा (Dirac delta) की ओर अभिसरित हुआ, जो एक रेगुलर सिम्प्लेक्स कॉन्फ़िगरेशन का संकेत देता है।

बेंचमार्क प्रदर्शन

CIFAR-10/100: T-REGS ने प्रतिस्पर्धी परिणाम प्राप्त किए, जो W2-रेगुलराइज्ड विधियों के बराबर या उससे थोड़ा बेहतर रहे। जब इसे BYOL और Barlow Twins के लिए एक ऑक्सिलरी लॉस के रूप में उपयोग किया गया, तो इसने अन्य रेगुलराइजर्स (जैसे Lu, W2) का उपयोग करने वाले बेसलाइन्स और वेरिएंट्स की तुलना में टॉप-1 एक्यूरेसी में लगातार सुधार किया।
ImageNet-100/1k: T-REGS ने स्केलेबिलिटी प्रदर्शित की। BYOL और Barlow Twins के लिए एक ऑक्सिलरी लॉस के रूप में, इसने दोनों डेटासेट्स पर प्रदर्शन में सुधार किया। स्टैंडअलोन T-REGS (LMSE के साथ संयुक्त) ने ImageNet-1k पर 68.8% टॉप-1 एक्यूरेसी हासिल की, जो INTL जैसे स्टेट-ऑफ-द-आर्ट तरीकों के साथ प्रतिस्पर्धी है।
मल्टी-मोडल एप्लीकेशन (इमेज-टेक्स्ट रिट्रीवल): CLIP को फाइन-ट्यून करने में लागू होने पर, T-REGS ने Flickr30k और MS-COCO पर रिट्रीवल प्रदर्शन (R@1 और R@5) में सुधार किया। यह सुझाव देता है कि T-REGS दोनों इमेज और टेक्स्ट ब्रांच में यूनिफॉर्मिटी लागू करके "मोडैलिटी गैप" को कम करने में मदद करता है।

गणनात्मक दक्षता

जटिलता (Complexity): MST गणना क्रुस्कल के एल्गोरिदम (Kruskal's algorithm) का उपयोग करती है जिसकी वर्स्ट-केस कॉम्प्लेक्सिटी $O(B^2(D \cdot \log B))$ है, जहाँ $B$ बैच साइज और $D$ डायमेंशन है।
रनटाइम: सैद्धांतिक जटिलता के बावजूद, GPU-पैरेललाइज्ड इम्प्लीमेंटेशन ( torchph का उपयोग करके) व्यावहारिक रूप से T-REGS को SimCLR और VICReg के प्रति स्टेप वॉल-क्लॉक टाइम के बराबर रखने की अनुमति देता है।

महत्व और दावे

पेपर का दावा है कि T-REGS मौजूदा रेगुलेराइजेशन रणनीतियों के लिए एक वैचारिक रूप से सरल, आसानी से लागू होने वाला और गणनात्मक रूप से कुशल विकल्प प्रदान करता है। इसका प्राथमिक महत्व है:

सैद्धांतिक सुदृढ़ता: यह टोपोलॉजिकल डेटा एनालिसिस और एंट्रॉपी मैक्सिमाइजेशन पर आधारित, डायमेंशनल कोलैप्स के विरुद्ध प्रमाण योग्य गारंटी और यूनिफॉर्मिटी को बढ़ावा देने के लिए ठोस आधार प्रदान करता है।
व्यावहारिक प्रभावशीलता: यह बड़े नेगेटिव बैचों या जटिल संख्यात्मक संचालन जैसे SVD की आवश्यकता के बिना विविध आर्किटेक्चर (कॉन्ट्रास्टिव और नॉन-कॉन्ट्रास्टिव) और मोडैलिटीज (सिंगल और मल्टी-मोडल) में रिप्रेजेंटेशन की गुणवत्ता में सुधार करता है।
बहुमुखी प्रतिभा: यह एक स्टैंडअलोन ऑब्जेक्टिव और एक मॉड्यूलर ऑक्सिलरी लॉस दोनों के रूप में प्रभावी ढंग से कार्य करता है, जिससे यह विभिन्न SSL पाइपलाइनों के लिए अनुकूलनीय बनता है।

लेखक निष्कर्ष निकालते हैं कि T-REGS अच्छे SSL रिप्रेजेंटेशन के लिए सैद्धांतिक आवश्यकताओं और व्यावहारिक, स्केलेबल कार्यान्वयन के बीच के अंतर को सफलतापूर्वक पाटता है।