🤖 AI

Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning

यह शोध पत्र कॉन्ट्रास्टिव सबस्पेस क्लस्टरिंग (CSC) का प्रस्ताव करता है, जो एक स्व-पर्यवेक्षित (self-supervised) ढांचा है जो अधूरे डेटा को प्रभावी ढंग से क्लस्टर करने के लिए मजबूत एम्बेडिंग उत्पन्न करने हेतु मास्क्ड व्यूज़ और SimCLR-शैली के कॉन्ट्रास्टिव लर्निंग का लाभ उठाता है, जो कई बेंचमार्क डेटासेट्स पर मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Huanran Li, Daniel Pimentel-Alarcón

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huanran Li, Daniel Pimentel-Alarcón

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किताबों के एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं, लेकिन एक पेंच है: हर एक किताब के कुछ पन्ने गायब हैं। किसी का पहला अध्याय गायब है, किसी का बीच का हिस्सा, तो कुछ तो बस कवर मात्र रह गए हैं। आपका लक्ष्य इन किताबों को उनके जॉनर (विज्ञान कथा, इतिहास, रहस्य, आदि) के आधार पर समूहों में छाँटना है, भले ही आप पूरी कहानी न पढ़ सकें।

यही वह समस्या है जिसे यह शोध पत्र संबोधित करता है। इसे इनकम्प्लीट डेटा पर सबस्पेस क्लस्टरिंग (Subspace Clustering on Incomplete Data) कहा जाता है।

यहाँ लेखक का नया तरीका, जिसे CSC (कॉन्ट्रास्टिव सबस्पेस क्लस्टरिंग) कहा जाता है, इस पहेली को कैसे सुलझाता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "टूटी हुई पहेली" (The "Broken Puzzle")

डेटा को छाँटने के पारंपरिक तरीके आमतौर पर पहले गायब पन्नों को भरने की कोशिश करते हैं (जैसे यह अनुमान लगाना कि गायब टेक्स्ट क्या होगा) और उसके बाद किताबों को छाँटते हैं। यह शोध पत्र तर्क देता है कि यह एक बुरा विचार है। यदि आप गायब पन्नों के बारे में गलत अनुमान लगाते हैं, तो आप गलती से एक मिस्ट्री उपन्यास को साइंस फिक्शन के ढेर में डाल सकते हैं क्योंकि आपके अनुमान ने कहानी के लहजे (tone) को बदल दिया होगा।

इसके अलावा, जब पुस्तकालय बहुत बड़ा हो जाता है या गायब पन्ने बहुत अधिक होते हैं, तो पारंपरिक तरीके बहुत धीमे और भ्रमित हो जाते हैं।

2. समाधान: "परछाईं का खेल" (The "Shadow Play" Game)

गायब पन्नों का अनुमान लगाने के बजाय, लेखक शैडो प्ले नामक एक खेल का प्रस्ताव देते हैं।

कल्पना कीजिए कि आपके पास एक किताब है जिसके कुछ पन्ने गायब हैं। आप उस पर दो अलग-अलग कोणों से रोशनी डालते हैं।

दृश्य A (View A): आप अपने हाथ से कुछ और रैंडम पन्नों को ढक देते हैं।
दृश्य B (View B): आप अपने दूसरे हाथ से गायब पन्नों का एक अलग सेट ढक देते हैं।

भले ही दोनों दृश्य अधूरे और एक-दूसरे से भिन्न हों, फिर भी आप गहराई में जानते हैं कि वे एक ही किताब हैं।

3. प्रशिक्षण: "मस्तिष्क" को पैटर्न पहचानने के लिए सिखाना

लेखकों ने एक डिजिटल "मस्तिष्क" (एक डीप न्यूरल नेटवर्क) बनाया और उसे यह खेल सिखाया:

नियम: "यदि आप एक ही किताब के दो अलग-अलग दृश्य देखते हैं, भले ही वे गायब पन्नों के कारण बहुत अलग दिख रहे हों, तो आपको यह समझना चाहिए कि वे एक साथ आते हैं।"
दंड: "यदि आप अलग-अलग किताबों के दो दृश्य देखते हैं, तो आपको उन्हें अपने मन में एक-दूसरे से दूर धकेल देना चाहिए।"

इसे कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) कहा जाता है। मस्तिष्क यह सीखता है कि गायब हिस्सों को अनदेखा करना है और केवल उन हिस्सों पर ध्यान केंद्रित करना है जो वहाँ मौजूद हैं ताकि किताब के "सार" या "अहसास" (vibe) को समझा जा सके। यह किताब के लिए एक फिंगरप्रिंट सीखता है जो वही रहता है, चाहे कितने भी पन्ने गायब क्यों न हों।

4. परिणाम: "अहसास" (Vibe) के आधार पर छँटाई

एक बार जब मस्तिष्क यह कौशल सीख लेता है, तो आपको अब गायब पन्नों को भरने की आवश्यकता नहीं होती है।

आप मस्तिष्क को एक नई, अधूरी किताब दिखाते हैं।
मस्तिष्क दृश्य भागों के आधार पर तुरंत एक फिंगरप्रिंट (एम्बेडिंग) बनाता है।
आप इन फिंगरप्रिंट्स को लेते हैं और उन्हें छाँटने के लिए एक साधारण, मानक टूल (जैसे एक चुंबक जो समान चीजों को एक साथ खींचता है) का उपयोग करते हैं।

चूंकि मस्तिष्क ने गायब पन्नों के बावजूद "अहसास" को पहचानना सीख लिया था, इसलिए किताबें सही ढेरों में समाप्त होती हैं (साइंस फिक्शन को साइंस फिक्शन के साथ, इतिहास को इतिहास के साथ) और बहुत उच्च सटीकता के साथ।

यह एक बड़ी बात क्यों है?

कोई अनुमान नहीं: यह गायब डेटा को आविष्कार करने में समय बर्बाद नहीं करता। यह जो उपलब्ध है, उसी के साथ काम करता है।
गति: प्रशिक्षित होने के बाद, यह नए डेटा को लगभग तुरंत छाँट सकता है, जबकि पुराने तरीकों को हर एक नई वस्तु के लिए भारी गणितीय गणना करनी पड़ती थी।
मजबूती (Robustness): यह तब भी काम करता है जब डेटा बहुत अस्त-व्यस्त हो या उसमें बहुत सारे हिस्से गायब हों (कुछ परीक्षणों में 90% तक गायब)।

प्रमाण

लेखकों ने छह अलग-अलग "पुस्तकालयों" (डेटासेट्स) पर इसका परीक्षण किया, जिसमें प्रसिद्ध इमेज डेटासेट्स (जैसे हस्तलिखित अंक और चेहरे) और जटिल सैटेलाइट इमेजेस (हाइपरस्पेक्ट्रल डेटा) शामिल हैं।

परिणाम: उनके तरीके (CSC) ने लगातार पुराने तरीकों और अन्य आधुनिक AI तरीकों को पछाड़ दिया।
निष्कर्ष: भले ही डेटा टूटा हुआ या अधूरा हो, यदि आप कंप्यूटर को आंशिक दृश्यों के बीच "समानता" को पहचानना सिखाते हैं, तो वह टूटे हुए हिस्सों को ठीक किए बिना भी अराजकता को पूरी तरह से व्यवस्थित कर सकता है।

संक्षेप में: टूटी हुई पहेली के टुकड़ों को ठीक करने की कोशिश न करें; बल्कि यह पहचानना सीखें कि वे बिखरे होने पर भी कौन सी तस्वीर बनाते हैं।

तकनीकी सारांश: अपूर्ण डेटा पर स्व-पर्यवेक्षित कंट्रास्टिव लर्निंग के साथ सबस्पेस क्लस्टरिंग

समस्या की परिभाषा

सबस्पेस क्लस्टरिंग (Subspace clustering) उच्च-आयामी डेटा बिंदुओं को निम्न-आयामी सबस्पेस के संघ (union) में विभाजित करने का लक्ष्य रखती है। जीन अभिव्यक्ति विश्लेषण, हाइपरस्पेक्ट्रल इमेजिंग और अनुशंसा प्रणालियों जैसे क्षेत्रों में प्रभावी होने के बावजूद, मौजूदा विधियाँ मुख्य रूप से पूर्णतः प्रेक्षित (fully observed) डेटा मानती हैं। वास्तविक दुनिया के परिदृश्यों में, डेटा अक्सर अवरोध (occlusion), सेंसर विफलता या संसाधन बाधाओं के कारण अधूरा होता है। पारंपरिक दृष्टिकोण, जो युग्म संबद्धता (pairwise affinities) या मैट्रिक्स अपघटन (matrix decompositions) पर निर्भर करते हैं, लुप्त प्रविष्टियों के साथ संघर्ष करते हैं, और जब सरल इम्प्यूटेशन (imputation) का उपयोग किया जाता है तो उप-इष्टतम परिणाम देते हैं या बड़े डेटासेट के साथ स्केल करने में विफल रहते हैं। इसके अतिरिक्त, कई डीप लर्निंग-आधारित सबस्पेस क्लस्टरिंग विधियाँ भी पूर्ण इनपुट मानती हैं, जिससे वे प्रेक्षित प्रविष्टियों पर ओवरफिट हो जाती हैं या पक्षपाती इम्प्यूटेशन रणनीतियों की आवश्यकता होती है।

कार्यप्रणाली: कंट्रास्टिव सबस्पेस क्लस्टरिंग (CSC)

लेखक कंट्रास्टिव सबस्पेस क्लस्टरिंग (CSC) का प्रस्ताव करते हैं, जो एक स्व-पर्यवेक्षित ढांचा (framework) है जिसे बिना लेबल या स्पष्ट डेटा पुनर्निर्माण (reconstruction) की आवश्यकता के अधूरे डेटा से मजबूत एम्बेडिंग सीखने के लिए डिज़ाइन किया गया है।

मुख्य ढांचा

यह पाइपलाइन दो मुख्य चरणों में कार्य करती है: प्रशिक्षण और अनुमान (inference)।

रैंडम मास्किंग के माध्यम से डेटा ऑग्मेंटेशन:
प्रत्येक आंशिक रूप से प्रेक्षित नमूने $y_i = M_i \odot x_i$ (जहाँ $M_i$ एक बाइनरी मास्क है) के लिए, यह विधि मूल अधूरे नमूने पर दो अलग-अलग रैंडम मास्क ( $M_i^a$ और $M_i^b$ ) लागू करके दो विलगित (disjoint) ऑगमेंटेड व्यू $y_i^a$ और $y_i^b$ उत्पन्न करती है। ये व्यू कंट्रास्टिव लर्निंग के लिए पॉजिटिव पेयर्स (positive pairs) के रूप में कार्य करते हैं।
कंट्रास्टिव लर्निंग (SimCLR-शैली):
एक साझा डीप न्यूरल नेटवर्क (बैकबोन) $f_\theta$ दोनों ऑगमेंटेड व्यूज को प्रोसेस करता है ताकि लेटेंट रिप्रजेंटेशन $h_i^a$ और $h_i^b$ प्राप्त हो सके। इन्हें एक हेड $g_\phi$ के माध्यम से एक लेटेंट स्पेस में प्रोजेक्ट किया जाता है। मॉडल को नॉर्मलाइज्ड टेम्परेचर-स्केल्ड क्रॉस-एन्ट्रॉपी (NT-Xent) लॉस का उपयोग करके प्रशिक्षित किया जाता है। यह ऑब्जेक्टिव एक ही नमूने के दोनों व्यूज की एम्बेडिंग्स को एक साथ खींचता है और विभिन्न नमूनों की एम्बेडिंग्स को एक दूसरे से दूर धकेलता है। यह नेटवर्क को ऐसे इनवेरिएंट फीचर्स सीखने के लिए प्रोत्साहित करता है जो लुप्त प्रविष्टियों के बावजूद अंतर्निहित सबस्पेस संरचना को कैप्चर करते हैं।
अनुमान और क्लस्टरिंग:
प्रशिक्षण के बाद, प्रोजेक्शन हेड को हटा दिया जाता है। प्रशिक्षित बैकबोन $f_\theta$ मूल अधूरे नमूनों को एक लेटेंट स्पेस में एम्बेड करता है। इन एम्बेडिंग्स को फिर अंतिम क्लस्टर असाइनमेंट को रिकवर करने के लिए एक मानक स्पार्स सबस्पेस क्लस्टरिंग (SSC) एल्गोरिदम में फीड किया जाता है। उल्लेखनीय है कि यह विधि लुप्त डेटा का पुनर्निर्माण नहीं करती है; यह सीधे सीखे गए रिप्रजेंटेशन को क्लस्टर करती है।

प्रमुख योगदान

अपूर्ण डेटा के लिए नवीन ढांचा: CSC विशेष रूप से लुप्त डेटा के साथ सबस्पेस क्लस्टरिंग के लिए एक कंट्रास्टिव स्व-पर्यवेक्षित ढांचे को लागू करने वाला पहला तरीका है। यह रैंडम मास्किंग को इम्प्यूटेशन समस्या के बजाय एक डेटा ऑग्मेंटेशन रणनीति के रूप में मानता है।
लुप्तता के प्रति मजबूती (Robustness to Missingness): मास्क किए गए व्यूज के बीच इनवेरिएंस को सीखकर, यह विधि कैप्चर करती है कि व्यक्तिगत फीचर मान अनुपस्थित होने पर भी सबस्पेस संरचना कैसे बनी रहती है, जिससे दो-चरणीय इम्प्यूटेशन विधियों द्वारा उत्पन्न आर्टिफैक्ट्स से बचा जा सकता है।
स्केलेबिलिटी: अनुकूलन-आधारित विधियों के विपरीत, जो एफिनिटी मैट्रिक्स निर्माण के कारण नमूनों की संख्या के साथ क्वाड्रेटिक रूप से स्केल करती हैं, CSC अनुमान के लिए एक फॉरवर्ड पास का उपयोग करता है, जो लगभग तात्कालिक क्लस्टरिंग और काफी कम कम्प्यूटेशनल मांग प्रदान करता है।
मॉड्यूलरिटी: यह दृष्टिकोण रिप्रजेंटेशन लर्निंग को क्लस्टरिंग एल्गोरिदम से अलग करता है, जिससे सीखे गए एम्बेडिंग्स का उपयोग किसी भी मानक क्लस्टरिंग तकनीक (जैसे k-means, स्पेक्ट्रल क्लस्टरिंग, या SSC) के साथ किया जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने छह बेंचमार्क डेटासेट्स पर CSC का मूल्यांकन किया, जिसमें मानक कंप्यूटर विजन डेटासेट्स (MNIST, COIL20) और हाइपरस्पेक्ट्रल इमेजिंग (HSI) डेटासेट्स (IndianPines, Pavia University, Salinas) शामिल हैं।

बेसलाइन्स के विरुद्ध प्रदर्शन: CSC ने लगातार शास्त्रीय विधियों (जैसे EWZF-SSC, GSSC, MSC) और डीप लर्निंग बेसलाइन्स (जैसे DSC, MAE, DMFMC) दोनों को पछाड़ दिया।
- MNIST पर, CSC ने सभी बेंचमार्क से 15% से अधिक बेहतर औसत सटीकता दिखाई।
- Pavia और IndianPines (HSI डेटासेट्स) पर, क्रमशः 5% और 6% से अधिक सुधार देखे गए।
- उच्च मिसिंग रेट (कम सैंपलिंग रेट $\rho$ ) वाले डेटासेट्स पर, CSC ने स्थिर प्रदर्शन बनाए रखा, जबकि शास्त्रीय विधियों और मास्क ऑटोएनकोडर्स (MAE) को विशेष रूप से उच्च शोर (noise) की स्थितियों में महत्वपूर्ण गिरावट का सामना करना पड़ा।
एब्लेशन स्टडीज (Ablation Studies):
- मॉडल डेप्थ: नेटवर्क की गहराई बढ़ाने से सटीकता एक बिंदु तक बढ़ी (डेप्थ 5 के आसपास स्थिर हुई), जो मॉडल की एक्सप्रेसिवनेस के लाभ को दर्शाती है।
- रेसिड्यूअल कनेक्शन: रेसिड्यूअल कनेक्शन रणनीति (Full, Block, या None) का प्रदर्शन पर मामूली प्रभाव पड़ा, जिसमें बड़े डेटासेट्स पर "No Residual" थोड़ा बेहतर प्रदर्शन करता है।
- शोर के प्रति मजबूती (Noise Robustness): CSC ने कम और उच्च शोर दोनों व्यवस्थाओं के तहत MAE की तुलना में बेहतर मजबूती प्रदर्शित की, और मध्यम-से-कम सैंपलिंग रेट ( $\rho \approx 0.5$ ) के तहत भी कम क्लस्टरिंग एरर बनाए रखा।

महत्व और दावे

पेपर का दावा है कि CSC लुप्त डेटा की उपस्थिति में सबस्पेस क्लस्टरिंग के लिए एक स्केलेबल, मजबूत और लेबल-मुक्त समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

इम्प्यूटेशन बॉटलनेक को पार करना: स्पष्ट पुनर्निर्माण से बचकर, यह विधि उस विरूपण (distortion) से बचती है जो अक्सर उच्च मिसिंग-रेट परिदृश्यों में इम्प्यूटेशन चरणों के कारण सबस्पेस ज्योमेट्री के साथ होता है।
दक्षता: एक साधारण फॉरवर्ड पास के माध्यम से अनुमान करने की क्षमता इस पद्धति को पारंपरिक अनुकूलन-आधारित सबस्पेस क्लस्टरिंग विधियों की तुलना में काफी कुशल बनाती है।
सामान्यीकरण (Generalizability): यह ढांचा डोमेन-विशिष्ट आर्किटेक्चरल परिवर्तनों के बिना मानक छवियों और उच्च-आयामी हाइपरस्पेक्ट्रल डेटा सहित विविध डेटा मोडैलिटीज के लिए लागू करने योग्य है।

लेखक निष्कर्ष निकालते हैं कि हालांकि लुप्त डेटा के साथ सबस्पेस क्लस्टरिंग एक चुनौतीपूर्ण समस्या बनी हुई है, विशेष रूप से उच्च-आयामी व्यवस्थाओं में, प्रस्तावित कंट्रास्टिव दृष्टिकोण स्ट्रीमिंग और मल्टी-व्यू सेटिंग्स के लिए भविष्य के कार्यों के लिए एक मजबूत आधार प्रदान करता है।