💻 computer science

Learning Disentangled Representations for Generalized Multi-view Clustering

यह शोध पत्र जनरलाइज्ड मल्टी-व्यू ऑटो-एनकोडर (GMAE) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो विविक्त (disentangled) निरूपण सीखने के लिए डुअल-पाथ ऑटो-एनकोडर और एडवरसैरियल डिस्क्रिमिनेटर का उपयोग करता है, जिससे व्यू-डिस्ट्रीब्यूशन एंटैंगलमेंट की समस्या का समाधान होता है और 13 बेंचमार्क डेटासेट्स में पूर्ण और अपूर्ण मल्टी-व्यू क्लस्टरिंग कार्यों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Xin Zou, Ruimeng Liu, Chang Tang, Zhenglai Li, Xinwang Liu, Kunlun He, Wanqing Li

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Zou, Ruimeng Liu, Chang Tang, Zhenglai Li, Xinwang Liu, Kunlun He, Wanqing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "ग्रुप फोटो" की समस्या

कल्पना कीजिए कि आप अलग-अलग देशों के लोगों की एक विशाल समूह फोटो को व्यवस्थित करने की कोशिश कर रहे हैं। आपके पास एक ही समूह की तस्वीरें लेने के लिए तीन अलग-अलग प्रकार के कैमरे हैं:

कैमरा A उन्हें ब्लैक एंड व्हाइट में देखता है।
कैमरा B उन्हें एक अजीब कोण से रंगीन रूप में देखता है।
कैमरा C उन्हें धुंधले लेंस के साथ 3D में देखता है।

मल्टी-व्यू क्लस्टरिंग (MVC) इन सभी अलग-अलग तस्वीरों का एक साथ उपयोग करके इन लोगों को उनके सही समूहों (परिवारों, टीमों या राष्ट्रीयताओं) में वर्गीकृत करने का कार्य है।

वर्तमान तरीकों के साथ समस्या यह है कि वे इन सभी अलग-अलग तस्वीरों को तुरंत एक बड़े ढेर में मिलाने की कोशिश करते हैं। क्योंकि कैमरे चीजों को अलग तरह से देखते हैं (एक धुंधला है, एक ब्लैक एंड व्हाइट है), वह "ढेर" अव्यवस्थित हो जाता है। अलग-अलग समूहों के लोग एक-दूसरे के ऊपर आ जाते हैं, और समूह धुंधले दिखाई देने लगते हैं। पेपर इसे "एंटैंगलमेंट" (उलझन) कहता है। यह हेडफ़ोन के उलझे हुए तारों को सुलझाने जैसा है जबकि कोई बॉक्स को हिला रहा हो।

समाधान: GMAE (स्मार्ट सॉर्टर)

लेखकों ने GMAE (जनरलाइज्ड मल्टी-व्यू ऑटो-एनकोडर) नामक एक नई प्रणाली प्रस्तावित की है। तस्वीरों को बस आपस में टकराने के बजाय, GMAE एक बहुत ही व्यवस्थित लाइब्रेरियन की तरह काम करता है जो कहानी के "अद्वितीय" (unique) हिस्सों को "साझा" (common) हिस्सों से अलग करता है।

यहाँ बताया गया है कि GMAE कैसे काम करता है, चरण-दर-चरण:

1. डुअल-पाथ ऑटो-एनकोडर (द "स्प्लिटर" यानी विभाजक)

कल्पना कीजिए कि आपके पास किसी व्यक्ति के बारे में एक कहानी है।

व्यू-स्पेसिफिक (अनोखी विशेषताएं): यह वह है जो किसी व्यक्ति को एक विशेष कैमरे के लिए अद्वितीय बनाता है। शायद कैमरा A एक टोपी देखता है, लेकिन कैमरा B नहीं। GMAE इन अनोखी विशेषताओं को अलग करता है ताकि वे वर्गीकरण की प्रक्रिया को भ्रमित न करें।
व्यू-कॉमन (मूल तत्व): यह वह सत्य है जिस पर सभी कैमरे सहमत हैं। सभी इस बात पर सहमत हैं कि व्यक्ति ने लाल शर्ट पहनी है। GMAE इस साझा सत्य को निकालता है।

उपमा: इसे एक बैंड को सुनने जैसा समझें।

एंटैंगल्ड (पुराना तरीका): आप ड्रम, गिटार और वोकल्स को एक साथ मिश्रित सुनते हैं। यदि ड्रम बहुत तेज़ हैं, तो आप गायक को नहीं सुन पाएंगे, और आप यह नहीं बता पाएंगे कि कौन क्या गा रहा है।
डिसेन्टैंगल्ड (GMAE का तरीका): GMAE शोर कम करने वाले (noise-canceling) हेडफ़ोन लगाता है जो ट्रैक्स को अलग करते हैं। यह ड्रम (व्यू-स्पेसिफिक) और मेलोडी (व्यू-कॉमन) को अलग करता है। अब, यह शोर के बिना गाने (क्लस्टर) को स्पष्ट रूप से सुन सकता है।

2. क्रॉस-व्यू एडवर्सरियल डिस्क्रिमिनेटर (द "लाई डिटेक्टर" यानी झूठ पकड़ने वाला)

GMAE को कैसे पता चलता है कि वह "साझा" सत्य को "विशिष्ट" विशेषताओं से अलग करने में अच्छा काम कर रहा है? यह एक खेल का उपयोग करता है।

यह एक "झूठ पकड़ने वाला" (डिस्क्रिमिनेटर) स्थापित करता है जो यह अनुमान लगाने की कोशिश करता है कि किस कैमरे ने एक विशिष्ट तस्वीर ली थी।

यदि "कॉमन ट्रुथ" वाला हिस्सा किसी विशिष्ट कैमरे की शैली जैसा दिखने लगता है, तो झूठ पकड़ने वाला उसे पकड़ लेता है।
GMAE फिर झूठ पकड़ने वाले को चकमा देने के लिए अपने गणित को समायोजित करता है, जिससे "कॉमन ट्रुथ" को हर बार बिल्कुल एक जैसा दिखने के लिए मजबूर किया जा सके, चाहे वह किसी भी कैमरे से ली गई फोटो हो।

परिणाम: "कॉमन" ढेर हर व्यू के लिए एक आदर्श, साफ और समान प्रति बन जाता है। "स्पेसिफिक" ढेर केवल अद्वितीय विवरणों को रखता है।

3. म्यूचुअल इंफॉर्मेशन (द "ग्लू" यानी गोंद)

अंत में, GMAE यह सुनिश्चित करने के लिए कि समूह मजबूती से जुड़े रहें, म्यूचुअल इंफॉर्मेशन की अवधारणा का उपयोग करता है। यह सुनिश्चित करता है कि जो लोग एक ही समूह के हैं उन्हें करीब लाया जाए, जबकि अलग-अलग समूहों के लोगों को दूर धकेला जाए। यह एक चुंबक का उपयोग करने जैसा है ताकि यह सुनिश्चित हो सके कि सभी "रेड टीम" के सदस्य एक साथ रहें, जबकि "ब्लू टीम" दूर रहे।

यह बेहतर क्यों है? (परिणाम)

पेपर ने 13 अलग-अलग डेटासेट्स (मेडिकल इमेज और डीएनए डेटा से लेकर कारों और हाथ से लिखे नंबरों की तस्वीरों तक) पर GMAE का परीक्षण किया।

स्पष्ट समूह: विज़ुअलाइज़ेशन (जैसे t-SNE प्लॉट्स) में, पिछले तरीके एक बिखरे हुए बादल की तरह दिखते थे जहाँ रंग एक-दूसरे में मिल जाते थे। GMAE ने स्पष्ट, अलग और रंगीन द्वीप बनाए। समूह "डिसेन्टैंगल्ड" (अलग) और देखने में आसान थे।
लापता डेटा के प्रति मजबूती: कभी-कभी, एक कैमरा टूट जाता है, या एक व्यू (जैसे आपके पास रंगीन फोटो है लेकिन 3D फोटो गायब है) गायब होता है। GMAE इसे आश्चर्यजनक रूप से अच्छी तरह से संभालता है। यहाँ तक कि आधा डेटा गायब होने पर भी, यह समूहों को सटीक रूप से वर्गीकृत करता है क्योंकि इसने "कोर ट्रुथ" को इतनी अच्छी तरह से सीखा है।
स्थिरता: अन्य तरीके कभी-कभी एक डेटासेट पर बहुत अच्छा काम करते हैं और दूसरे पर बुरी तरह विफल हो जाते हैं। GMAE 13 में से सभी परीक्षणों में लगातार अच्छा रहा, चाहे डेटा एकदम सही हो या अस्त-व्यस्त।

निचोड़

पेपर का दावा है कि प्रत्येक डेटा स्रोत के अद्वितीय शोर को उसके साझा सत्य से अलग करके, और फिर उन्हें पूरी तरह से पुनः संरेखित (re-aligning) करके, GMAE यह स्पष्ट चित्र बनाता है कि डेटा को कैसे समूहित किया जाना चाहिए।

यह तीन अलग-अलग बक्सों से मिले-जुले पहेली (पज़ल) के टुकड़ों को छाँटने के प्रयास (पुराना तरीका) बनाम पहले टुकड़ों को इस आधार पर छाँटने का अंतर है कि वे किस बॉक्स से आए हैं, फिर उस चित्र को खोजना जो वे सभी साझा करते हैं, और फिर पहेली को जोड़ना (GMAE का तरीका) है। परिणाम एक ऐसा चित्र है जो तीक्ष्ण, स्पष्ट और समझने में आसान है।

तकनीकी सारांश: सामान्यीकृत मल्टी-व्यू क्लस्टरिंग के लिए डिसेंटैंगल्ड रिप्रेजेंटेशन लर्निंग

1. समस्या विवरण (Problem Statement)

मल्टी-व्यू क्लस्टरिंग (MVC) का उद्देश्य विविध डेटा व्यूज़ (जैसे, टेक्स्ट, इमेज, ओमिक्स) से पूरक जानकारी का लाभ उठाना है ताकि अंतर्निहित संरचनाओं को उजागर किया जा सके। हालाँकि, मौजूदा डीप MVC विधियाँ अक्सर व्यू-डिस्ट्रीबशन एंटैंगलमेंट (view-distribution entanglement) से ग्रस्त होती हैं। जब विभिन्न व्यूज़ से रिप्रेजेंटेशन को फ्यूज किया जाता है, तो विभिन्न व्यूज़ के बीच डेटा डिस्ट्रीब्यूशन में भिन्नता के कारण मिसअलाइन्ड लेटेंट स्पेस (misaligned latent spaces) उत्पन्न होते हैं। यह एंटैंगलमेंट अस्पष्ट क्लस्टरिंग संरचनाओं का परिणाम देता है जहाँ ग्रुप क्लस्टर्स स्पष्ट नहीं होते हैं, और मॉडल व्यू-विशिष्ट शोर (view-specific noise) और वास्तविक साझा पैटर्न के बीच अंतर करने में संघर्ष करता है। इसके अलावा, मौजूदा दृष्टिकोण अक्सर ऐसे रिप्रेजेंटेशन सीखने में विफल रहते हैं जो विभिन्न व्यूज़ के बीच संरेखित (aligned) होने के साथ-साथ व्यू-विशिष्ट शोर के प्रति मजबूत (robust) भी हों, जिससे विशेष रूप से अपूर्ण या शोर वाले परिदृश्यों में सब-ऑप्टिमल क्लस्टरिंग प्रदर्शन होता है।

2. कार्यप्रणाली: जनरलाइज्ड मल्टी-व्यू ऑटो-एनकोडर (GMAE)

लेखक GMAE प्रस्तावित करते हैं, जो एक सेल्फ-सुपरवाइज्ड फ्रेमवर्क है जिसे सोर्स फीचर्स को व्यू-विशिष्ट (view-specific) और व्यू-कॉमन (view-common) एम्बेडिंग्स में अलग करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क निम्नलिखित तंत्रों के माध्यम से कार्य करता है:

2.1 डिसेंटैंगल्ड रिप्रेजेंटेशन लर्निंग (Disentangled Representation Learning)

GMAE मल्टी-व्यू डेटा को डिकंपोज़ करने के लिए डुअल-पाथ ऑटो-एनकोडर्स का उपयोग करता है:

एनकोडर्स (Encoders): एक व्यू-विशिष्ट एनकोडर ( $f^v_{\theta_v}$ ) और एक क्रॉस-व्यू शेयर्ड एनकोडर ( $f_{\theta_c}$ ) इनपुट को प्रोसेस करते हैं।
डिकंपोजिशन (Decomposition): फीचर्स को व्यू-विशिष्ट रिप्रेजेंटेशन ( $Z^v$ ) और व्यू-कॉमन रिप्रेजेंटेशन ( $C^v$ ) में मैप किया जाता है।
रिकंस्ट्रक्शन (Reconstruction): एक डिकोडर विशिष्ट और कॉमन फीचर्स के संयोजन ( $[Z^v \oplus C^v]$ ) का उपयोग करके इनपुट को रिकंस्ट्रक्ट करता है।
ऑब्जेक्टिव (Objective): फ्रेमवर्क मूल व्यू और उसके रिकंस्ट्रक्शन के बीच म्यूचुअल इंफॉर्मेशन (MI) को मैक्सिमाइज करता है (रिकंस्ट्रक्शन लॉस $L^v_{Rec}$ को मिनिमाइज करता है) जबकि व्यू-विशिष्ट और व्यू-कॉमन रिप्रेजेंटेशन के बीच MI को मिनिमाइज करता है ताकि सांख्यिकीय स्वतंत्रता (statistical independence) सुनिश्चित की जा सके। यह एक कोरिलेशन लॉस ( $L^v_{Cor}$ ) के माध्यम से प्राप्त किया जाता है, जो $Z^v$ और $C^v$ के बीच कोवेरिएंस को कम करता है।

2.2 क्रॉस-व्यू एडवरसैरियल अलाइनमेंट (Cross-View Adversarial Alignment)

डिस्ट्रीब्यूशन मिसअलाइनमेंट को संबोधित करने के लिए, GMAE एक क्रॉस-व्यू एडवरसैरियल मैकेनिज्म पेश करता है:

डिस्क्रिमिनेटर्स (Discriminators): व्यू-विशिष्ट डिस्क्रिमिनेटर्स ( $D^v_{\kappa_v}$ ) को यह पहचानने के लिए प्रशिक्षित किया जाता है कि क्या कोई रिप्रेजेंटेशन लक्षित व्यू (रियल) से आता है या किसी अन्य व्यू (फेक) से।
अलाइनमेंट (Alignment): एक मिन-मैक्स एडवरसैरियल गेम के माध्यम से, व्यू-विशिष्ट एनकोडर्स को ऐसे रिप्रेजेंटेशन बनाने के लिए निर्देशित किया जाता है जो उनके अनूठे गुणों को संरक्षित करते हुए, डिस्ट्रीब्यूशन के संबंध में विभिन्न व्यूज़ के बीच अविभेद्य (indistinguishable) हों, जिससे व्यू-विशिष्ट डिस्ट्रीब्यूशन को अलाइन किया जा सके। इसे एक जेनेरेटिव एडवरसैरियल लॉस ( $L^v_{Dis}$ ) के रूप में औपचारिक रूप दिया गया है।

2.3 सेल्फ-कोरिलेशन और क्लस्टरिंग स्ट्रक्चर (Self-Correlation and Clustering Structure)

बिना लेबल के क्लस्टरिंग क्षमता को बढ़ाने के लिए, GMAE व्यापक रिप्रेजेंटेशन ( $Q$ ) और उसके लोकल नेबरहुड ( $Q_\omega$ ) के बीच म्यूचुअल इंफॉर्मेशन को मैक्सिमाइज करता है।

कॉन्ट्रास्टिव ऑब्जेक्टिव (Contrastive Objective): एक InfoNCE-प्रेरित दृष्टिकोण का उपयोग करते हुए, मॉडल इंट्रा-क्लस्टर कोहेजन (intra-cluster cohesion) और इंटर-क्लस्टर सेपरेशन (inter-cluster separation) को बढ़ावा देने के लिए एक सैंपल और उसके निकटतम पड़ोसियों के बीच MI को मैक्सिमाइज करता है। इसे एक क्रॉस-एंट्रॉपी लॉस ( $L_{Ent}$ ) के माध्यम से ऑप्टिमाइज़ किया जाता है।
सैद्धांतिक गारंटी (Theoretical Guarantee): लेखक थ्योरम्स (Theorems 1-3) के माध्यम से सैद्धांतिक प्रमाण प्रदान करते हैं कि प्रस्तावित बाधाओं के तहत, सीखे गए कॉमन रिप्रेजेंटेशन में सभी आवश्यक क्लीन इंफॉर्मेशन शामिल है और व्यापक रिप्रेजेंटेशन मानक कॉन्ट्रास्टिव लर्निंग विधियों की तुलना में अधिक क्लस्टर-रेलेवेंट जानकारी और कम क्लस्टर-इररेलेवेंट शोर को संरक्षित करता है।

2.4 ऑब्जेक्टिव फंक्शन (Objective Function)

कुल ऑब्जेक्टिव फंक्शन इन घटकों को जोड़ता है:
$J = \sum_{v=1}^{V} L^v_{Rec} + \alpha \times (L^v_{Cor} + L^v_{Dis}) + \beta \times L_{Ent}$
जहाँ $\alpha$ और $\beta$ रेगुलराइजेशन टर्म्स को संतुलित करने वाले हाइपरपैरामीटर्स हैं।

3. मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

नवल फ्रेमवर्क (Novel Framework): GMAE को विशेष रूप से MVC में व्यू डिस्ट्रीब्यूशन और इंटर-क्लस्टर एंटैंगलमेंट की चुनौती को संबोधित करने वाले पहले सेल्फ-सुपरवाइज्ड डिसेंटैंगल्ड रिप्रेजेंटेशन लर्निंग फ्रेमवर्क के रूप में प्रस्तुत किया गया है।
सैद्धांतिक विश्लेषण (Theoretical Analysis): लेखक म्यूचुअल इंफॉर्मेशन एस्टीमेशन पर आधारित एक ऑप्टिमाइजेबल लॉस फंक्शन को कड़ाई से व्युत्पन्न करते हैं। वे एक सैद्धांतिक विश्लेषण प्रदान करते हैं जो दिखाता है कि GMAE के सीखे गए रिप्रेजेंटेशन मौजूदा विधियों की तुलना में काफी अधिक क्लस्टर-रेलेवेंट जानकारी और कम शोर रखते हैं।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): फ्रेमवर्क एक साथ व्यूज़ के बीच क्लस्टरिंग कंसिस्टेंसी में सुधार करता है और व्यू डायवर्सिटी को संरक्षित करता है। यह विविध डेटा प्रकारों (टेक्स्ट, इमेज, ओमिक्स, सिंथेटिक) में पूर्ण और अपूर्ण मल्टी-व्यू क्लस्टरिंग कार्यों में मजबूती प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक डेटा, इमेज डेटासेट्स (STL-10, Digits, LandUse-21, आदि), इमेज-टेक्स्ट पेयर्स (Wikipedia, RGB-D), और मल्टी-ओमिक्स डेटा (BRCA, LGG) सहित 13 बेंचमार्क डेटासेट्स पर GMAE का मूल्यांकन किया।

प्रदर्शन (Performance): GMAE ने एक्यूरेसी (ACC), नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन (NMI) और प्योरिटी (PUR) के मामले में 12 स्टेट-ऑफ-द-आर्ट (SOTA) विधियों (जैसे, COMPLETER, DCP, DealMVC, SCMVC) को लगातार पछाड़ दिया। इसने 20 टेस्ट में 15 प्रथम स्थान, 3 द्वितीय स्थान और 2 तृतीय स्थान प्राप्त किए।
अपूर्ण डेटा (Incomplete Data): मिसिंग व्यूज़ (0.9 तक की मिसिंग रेट) के साथ प्रयोगों में, GMAE ने बेहतर लचीलापन दिखाया, जो प्रतिस्पर्धी विधियों की तुलना में प्रदर्शन में गिरावट की काफी धीमी दर प्रदर्शित करता है।
स्केलेबिलिटी (Scalability): Digits डेटासेट पर, GAVE का प्रदर्शन व्यूज़ की संख्या बढ़ने के साथ सुधरा, जबकि अन्य विधियों (जैसे, DSMVC और SURE) में अतिरिक्त व्यूज़ के साथ प्रदर्शन में गिरावट देखी गई।
स्थिरता (Stability): मॉडल ने अन्य विधियों (जैसे, CPSPAN, DCP) में देखे गए महत्वपूर्ण उतार-चढ़ाव के बिना स्थिर ट्रेनिंग कन्वर्जेंस प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि इष्टतम प्रदर्शन के लिए रिकंस्ट्रक्शन, कोरिलेशन/एडवरसैरियल, और सेल्फ-कोरिलेशन लॉस का संयोजन आवश्यक है; किसी भी घटक को हटाने से मेट्रिक्स में महत्वपूर्ण गिरावट आई।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GMAE वर्तमान डीप MVC की एक मौलिक सीमा को संबोधित करता है: व्यू-विशिष्ट डिस्क्रिमिनेटिव पावर को खोए बिना या एंटैंगलमेंट पेश किए बिना व्यू डिस्ट्रीब्यूशन को अलाइन करने में असमर्थता। व्यू-विशिष्ट और व्यू-कॉमन फैक्टर्स को स्पष्ट रूप से अलग करके और उन्हें एडवरसैरियल लर्निंग के माध्यम से अलाइन करके, GMAE मजबूत, नॉन-ट्रिवियल एम्बेडिंग्स जेनरेट करता है।

लेखक दावा करते हैं कि यह दृष्टिकोण एक स्केलेबल समाधान प्रदान करता है जिसका कंप्यूटेशनल कॉम्प्लेक्सिटी डेटासेट के आकार के सापेक्ष लीनियर है, जो इसे बड़े पैमाने के डेटा के लिए उपयुक्त बनाता है। यह फ्रेमवर्क वास्तविक दुनिया के अनुप्रयोगों के लिए विशेष रूप से महत्वपूर्ण है जहाँ डेटा अक्सर अधूरा, शोर वाला या हेट्रोजेनियस होता है, क्योंकि यह उन प्रतिकूल स्थितियों में भी उच्च क्लस्टरिंग गुणवत्ता बनाए रखता है जहाँ पारंपरिक विधियाँ विफल हो जाती हैं। पुनरुत्पादकता (reproducibility) और आगे के अनुसंधान को सुगम बनाने के लिए कोड उपलब्ध कराया गया है।