तकनीकी सारांश: CoMAG (Context-aware Modality-Topology Co-Alignment)

1. समस्या की परिभाषा

मल्टीमॉडल एटट्रिब्यूटेड ग्राफ्स (MAGs) ग्राफ टोपोलॉजी को विषम (heterogeneous) सिमेंटिक एटट्रिब्यूट्स (जैसे टेक्स्ट, इमेज) के साथ जोड़कर वास्तविक दुनिया की संस्थाओं का प्रतिनिधित्व करते हैं। जबकि MAGs दोनों प्रकार के कार्यों का समर्थन करते हैं—ग्राफ-केंद्रित कार्य (नोड क्लासिफिकेशन, लिंक प्रेडिक्शन, क्लस्टरिंग) और मोडैलिटी-केंद्रित कार्य (क्रॉस-मोडल रिट्रीवल, मैचिंग, ग्राफ-कंडीशन्ड जनरेशन)—मौजूदा विधियाँ दो महत्वपूर्ण सीमाओं का सामना करती हैं:

1. टास्क-अग्नोस्टिक कॉन्टेक्स्ट प्रोपेगेशन: वर्तमान दृष्टिकोण अक्सर एक निश्चित या समान रूप से सीखे गए टोपोलॉजी पर सूचना प्रसारित करते हैं। यह विशिष्ट कार्यों के लिए विश्वसनीय किनारों (edges) के बीच अंतर करने में विफल रहता है (जैसे वर्गीकरण के लिए लेबल-सुसंगत पड़ोसी बनाम लिंक प्रेडिक्शन के लिए संरचनात्मक रूप से पूरक नोड्स) और शोर वाले किनारों को बढ़ा सकता है या लुप्त सिमेंटिक संबंधों को अनदेखा कर सकता है।
2. ओवर-कंप्रेस्ड क्रॉस-मोडल फ्यूजन: मानक फ्यूजन तंत्र अक्सर विभिन्न मोडैलिटीज को एक ही साझा प्रतिनिधित्व स्थान में समाहित (collapse) कर देते हैं। हालांकि यह साझा सिमेंटिक्स को उजागर करता है, लेकिन यह मोडैलिटी-विशिष्ट साक्ष्य को मिटा देता है जो रिट्रीवल, मैचिंग और जनरेशन जैसे सूक्ष्म कार्यों के लिए आवश्यक है।

मुख्य शोध प्रश्न यह है: एक MAG बैकबोन कैसे विभिन्न कार्यों के लिए विश्वसनीय संदर्भ (contexts) सीख सकता है और उनकी विशिष्ट जानकारी को मिटाए बिना मोडैलिटीज को संरेखित (align) कर सकता है?

2. कार्यप्रणाली: CoMAG फ्रेमवर्क

लेखक CoMAG का प्रस्ताव करते हैं, जो एक एकीकृत बैकबोन है जो कार्य-अनुकूलित विश्वसनीय संदर्भ सीखता है और उन संदर्भों के भीतर मोडैलिटी-संरक्षण संरेखण (modality-preserving alignment) करता है। यह फ्रेमवर्क चार एकीकृत चरणों के माध्यम से संचालित होता है:

A. विश्वसनीय संदर्भ सीखना (Reliable Context Learning)

कच्चे ग्राफ का सीधे उपयोग करने के बजाय, CoMAG तीन चरणों के माध्यम से एक कार्य-अनुकूलित संदर्भ ग्राफ ($Q_\tau$) का निर्माण करता है:

1. एज विश्वसनीयता अनुमान (Edge Reliability Estimation): यह मल्टीमोडल सिमेंटिक निरंतरता (इंट्रा-मोडैलिटी और क्रॉस-मोडैलिटी दोनों) के आधार पर देखे गए किनारों $(i, j)$ का मूल्यांकन करता है। एक हल्का स्कोरिंग नेटवर्क विश्वसनीयता $R_{ij}$ को पैरामीटराइज करता है, जिससे उन किनारों को कम महत्व दिया जाता है जहाँ मोडैलिटीज में संघर्ष होता है।
2. सिमेंटिक कॉन्टेक्स्ट रिकवरी: कच्चे टोपोलॉजी में मौजूद लुप्त संबंधों को संबोधित करने के लिए, उच्च-विश्वास वाले क्रॉस-मोडल समानता का उपयोग करके एक सिमेंटिक पूरक ग्राफ ($A_{sem}$) बनाया जाता है, जो मूल ग्राफ में मौजूद न रहने वाले पड़ोसियों को पुनः प्राप्त करता है।
3. टास्क-अनुकूलित गेटिंग (Task-Adaptive Gating): एक कार्य-जागरूक गेट विशिष्ट डाउनस्ट्रीम कार्य $\tau$ के आधार पर विश्वसनीय टोपोलॉजी ($A_{rel}$), सिमेंटिक पूरक ($A_{sem}$), और स्व-सूचना ($I$) को गतिशील रूप से मिश्रित करता है।

B. मोडैलिटी-विशिष्ट मल्टी-हॉप कॉन्टेक्स्ट ट्रेजेक्टरी

CoMAG प्रत्येक मोडैलिटी को सीखे गए संदर्भ ग्राफ $Q_\tau$ के साथ एक अलग मल्टी-हॉप ट्रेजेक्टरी के रूप में प्रसारित करता है।

• मोडैलिटी-विशिष्ट गुणांक (Modality-Specific Coefficients): प्रत्येक कार्य के लिए, मॉडल गुणांक $(\gamma, \alpha, \beta)$ उत्पन्न करता है जो मूल मोडैलिटी सिग्नल को पुन: इंजेक्ट करने, समान-मोडैलिटी कॉन्टेक्स्ट को प्रसारित करने और क्रॉस-मोडैलिटी कॉन्टेक्स्ट को शामिल करने के बीच संतुलन को नियंत्रित करते हैं।
• ट्रेजेक्टरी रिटेंशन (Trajectory Retention): केवल अंतिम लेयर का उपयोग करने वाली विधियों के विपरीत, CoMAG सभी हॉप्स $k=0 \dots K$ के लिए छिपी हुई अवस्थाओं (hidden states) $H^{(m)}_{\tau, k}$ के अनुक्रम को बनाए रखता है। यह स्थानीय मोडैलिटी साक्ष्य (प्रारंभिक हॉप्स) को सुरक्षित रखते हुए व्यापक ग्राफ संदर्भ (बाद के हॉप्स) को एनकोड करता है।

C. हॉप-टोकन क्रॉस-मोडल एलाइनमेंट

मोडैलिटीज को एक एकल एम्बेडिंग में मजबूर किए बिना उन्हें संरेखित करने के लिए, CoMAG प्रत्येक मोडैलिटी-हॉप स्टेट को एक एलाइनमेंट टोकन के रूप में मानता है।

• टोकन निर्माण: टोकन $u^{(m,k)}_i$ को लर्न करने योग्य मोडैलिटी और हॉप-पोजीशन एम्बेडिंग्स के साथ छिपी हुई अवस्था को जोड़कर बनाया जाता है।
• डिस्टेंस-पेनलाइज्ड अटेंशन (Distance-Penalized Attention): एक क्रॉस-मोडल अटेंशन मैकेनिज्म मोडैलिटीज के बीच टोकन का मिलान करता है। महत्वपूर्ण रूप से, यह अटेंशन स्कोर पर एक हॉप-डिस्टेंस पेनल्टी ($\lambda_h |k-l|$) लागू करता है। यह विभिन्न हॉप डेप्थ्स (जैसे, एक 1-हॉप टेक्स्ट नोड का 2-हॉप इमेज नोड से मिलना) के बीच मिलान की अनुमति देता है लेकिन मजबूत सिमेंटिक साक्ष्य के बिना दूर के हॉप्स को दंडित करता है।

D. शेयर्ड-प्राइवेट रिप्रेजेंटेशन डिकपलिंग

अंतिम चरण प्रतिनिधित्व को दो घटकों में अलग करता है ताकि दोनों प्रकार के कार्यों की सेवा की जा सके:

1. साझा सहमति (Shared Consensus - $s_i$): संरेखित टोकन का एक भारित फ्यूजन, जो क्रॉस-मोडल सहमति का प्रतिनिधित्व करता है। यह संरचनात्मक कार्यों के लिए ग्राफ-केंद्रित प्रतिनिधित्व ($z^g_i$) के रूप में कार्य करता है।
2. निजी अवशेष (Private Residuals - $p^{(m)}_i$): मूल मोडैलिटी ट्रेजेक्टरी और साझा सहमति के बीच का अंतर। ये अवशेष मोडैलिटी-विशिष्ट साक्ष्य को कैप्चर करते हैं।
3. आउटपुट जनरेशन: मोडैलिटी-केंद्रित प्रतिनिधित्व ($e^{(m)}_i$) का निर्माण साझा सहमति और निजी अवशेष को जोड़कर किया जाता है। एक ऑर्थोगोनैलिटी लॉस ($L_\perp$) यह सुनिश्चित करता है कि साझा और निजी सबस्पेस अलग रहें, जिससे मोडैलिटी कोलैप्स को रोका जा सके।

3. सैद्धांतिक विश्लेषण

पेपर प्रस्तावित आर्किटेक्चर के लिए सैद्धांतिक गारंटी प्रदान करता है:

• स्थिर प्रोपेगेशन (Stable Propagation): प्रोपेगेशन ऑपरेटर को कॉन्ट्रैक्टिव (contractive) सिद्ध किया गया है, जो एक अद्वितीय फिक्स्ड पॉइंट तक अभिसरण (convergence) सुनिश्चित करता है।
• ओवर-स्मूथिंग शमन (Over-smoothing Mitigation): ट्रेजेक्टरी के दौरान प्रारंभिक सिग्नल (रेसिड्यूअल इंजेक्शन) को बनाए रखकर, मॉडल केंद्रित आइजन-घटकों (eigencomponents) के लुप्त होने को रोकता है, जिससे गहरे प्रोपेगेशन में ओवर-स्मूथिंग कम होती है।
• हॉप-डिस्टेंस रेगुलराइजेशन: सैद्धांतिक विश्लेषण दिखाता है कि हॉप-डिस्टेंस पेनल्टी एक प्रायर (prior) के रूप में कार्य करती है, जो हॉप-सिंक्रोनस और क्रॉस-हॉप मिलान के बीच संतुलन को नियंत्रित करती है।
• मोडैलिटी कोलैप्स नियंत्रण: ऑर्थोगोनैलिटी बाधा निजी अवशेषों के साझा दिशाओं पर प्रोजेक्शन को सीमित करती है, जिससे यह सुनिश्चित होता है कि मोडैलिटी-विशिष्ट जानकारी संरक्षित रहे।

4. प्रयोगात्मक परिणाम

लेखकों ने फीचर-ओनली, ग्राफ-ओनली, मल्टीमोडल और यूनिफाइड बेसलाइन्स के विरुद्ध नौ OpenMAG डेटासेट्स (ई-कॉमर्स, सोशल मीडिया, वीडियो रिकमेंडेशन और आर्ट नेटवर्क को कवर करते हुए) पर CoMAG का मूल्यांकन किया।

• ग्राफ-केंद्रित कार्य: CoMAX ने नोड क्लासिफिकेशन, लिंक प्रेडिक्शन और नोड क्लस्टरिंग में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। उदाहरण के लिए, Grocery डेटासेट पर, इसने 87.75 सटीकता प्राप्त की (अगले सर्वश्रेष्ठ 84.78 के मुकाबले), और DY पर, इसने 95.75 प्राप्त किया (92.51 के मुकाबले)।
• मोडैलिटी-केंद्रित कार्य: CoMAG ने क्रॉस-मोडल मैचिंग (AUC/AP) और ग्राफ-कंडीशन्ड जनरेशन (BLEU-4, CIDEr, CLIP-S, DINO-S) में बेसलाइन्स को पछाड़ दिया। KU पर, इसने मैचिंग के लिए 93.81 AUC प्राप्त किया, जो LGMRec (90.64) से काफी बेहतर है।
• एब्लेशन स्टडीज: एज रिलायबिलिटी, सिमेंटिक ग्राफ रिकवरी, या प्राइवेट रेसिड्यूल्स को हटाने से प्रदर्शन में लगातार गिरावट आई, जो पुष्टि करता है कि तीनों घटक एक-दूसरे के पूरक हैं।
• मजबूती (Robustness): CoMAG ने टेक्स्ट, इमेज, लेबल और एज नॉइज़ के तहत बेसलाइन्स की तुलना में बेहतर मजबूती प्रदर्शित की, विशेष रूप से एज नॉइज़ परिदृश्यों में जहां विश्वसनीय फिल्टरिंग महत्वपूर्ण साबित हुई।
• जटिलता: मॉडल एज-लीनियर कॉम्प्लेक्सिटी ($O(M(|E| + |Q_\tau|)d)$) बनाए रखता है, जिससे कुछ स्ट्रक्चर-लर्निंग विधियों से जुड़ी घनी $O(|V|^2)$ मेमोरी लागत से बचा जा सके।

5. महत्व और योगदान

पेपर निम्नलिखित योगदानों का दावा करता है:

1. समस्या का पुनर्निर्धारण: यह एकीकृत MAG लर्निंग को ग्राफ एग्रीगेशन या मल्टीमोडल फ्यूजन के प्रत्यक्ष विस्तार के रूप में नहीं, बल्कि टास्क-अनुकूलित संदर्भ निर्माण और मोडैलिटी-संरक्षण संरेखण की समस्या के रूप में पुनर्परिभाषित करता है।
2. नवाचारपूर्ण फ्रेमवर्क: CoMAG एक एकल एकीकृत बैकबोन में विश्वसनीय संदर्भ लर्निंग, मोडैलिटी-विशिष्ट हॉप ट्रेजेक्टरीज, हॉप-टोकन क्रॉस-मोडल मैचिंग और शेयर्ड-प्राइवेट डिकपलिंग को एकीकृत करता है।
3. स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक मूल्यांकन प्रदर्शित करते हैं कि CoMAG विविध ग्राफ-स्तरीय और मोडैलिटी-स्तरीय कार्यों में सर्वश्रेष्ठ रिपोर्ट किया गया प्रदर्शन प्राप्त करता है, जो इस परिकल्पना की पुष्टि करता है कि टास्क-अनुकूलित संदर्भ और मोडैलिटी-संरक्षण संरेखण संयुक्त रूप से स्ट्रक्चरल प्रेडिक्शन और क्रॉस-मोडल मैचिंग को मजबूत करते हैं।

लेखक निष्कर्ष निकालते हैं कि CoMAG MAG लर्निंग के लिए एक मजबूत, सैद्धांतिक रूप से आधारित दृष्टिकोण प्रदान करता है जो संरचनात्मक तर्क के साथ सूक्ष्म सिमेंटिक पत्राचार को संतुलित करता है, और ओवर-स्मूथिंग तथा मोडैलिटी कोलैप्स के खतरों से बचते हुए स्पार्स एज-लीनियर जटिलता को बनाए रखता है।