Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

तकनीकी सारांश: आंशिक गुप्त साझाकरण के तहत पहचान योग्य बहुविध कारण प्रतिनिधित्व सीखना (Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing)

समस्या विवरण
कारण प्रतिनिधित्व शिक्षण (Causal Representation Learning - CRL) का लक्ष्य उच्च-आयामी अवलोकनात्मक डेटा से सार्थक गुप्त चर (latent variables) और उनकी कारण संरचनाओं (causal structures) को उजागर करना है। हालाँकि, CRL में एक महत्वपूर्ण बाधा पहचान क्षमता (identifiability) है: बिना किसी गारंटी के, सीखे गए प्रतिनिधित्व वास्तविक डेटा-जनरेटिंग प्रक्रिया से संरचनात्मक रूप से भिन्न हो सकते हैं, जो व्याख्यात्मकता और सुदृढ़ता को कम करते हैं।

मौजूदा बहुविध (multimodal) CRL दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

1. प्रतिबंधात्मक धारणाएँ: कई विधियाँ द्वैत (bijective) मिश्रण कार्यों (जहाँ अवलोकित और गुप्त आयाम समान होते हैं) की धारणा लेती हैं, जो कि वास्तविकता के अनुकूल नहीं है, जैसे कि इमेज डेटा के मामले में जहाँ अवलोकन उच्च-आयामी होते हैं और गुप्त चर निम्न-आयामी (undercomplete setting) होते हैं।
2. सीमित साझाकरण पैटर्न: पूर्ववर्ती कार्य अक्सर या तो गैर-अतिव्यापी (non-overlapping) गुप्त संरचनाओं या पूर्णतः साझा संरचनाओं (जहाँ सभी मोडलिटीज़ समान गुप्त चरों पर निर्भर करती हैं) पर ध्यान केंद्रित करते हैं। बहुत कम कार्य आंशिक रूप से साझा (partially shared) संरचनाओं को संबोधित करते हैं, जहाँ विशिष्ट मोडलिटीज़ के उपसमुच्चय (subsets) गुप्त चचरों को साझा करते हैं जबकि अन्य मोडलिटी-विशिष्ट रहते हैं।
3. सहायक संकेतों पर निर्भरता: कई विधियाँ पर्यवेक्षण (supervision), हस्तक्षेप (interventions), या अस्थायी निर्भरता (temporal dependencies) पर निर्भर करती हैं, जो वास्तविक दुनिया के परिवेश में हमेशा उपलब्ध नहीं होते हैं।

यह शोध पत्र एक बहुविध सेटिंग में, जिसमें आंशिक रूप से साझा गुप्त संरचनाएं हैं, घटक-वार पहचान क्षमता (component-wise identifiability) स्थापित करने की चुनौती को संबोधित करता है, जिसके लिए किसी पैरामीट्रिक वितरण धारणा, पर्यवेक्षण या हस्तक्षेप की आवश्यकता नहीं है।

कार्यप्रणाली (Methodology)

1. सैद्धांतिक ढांचा (Theoretical Framework)
लेखक एक गुप्त चर मॉडल को सूत्रबद्ध करते हैं जहाँ अवलोकित मोडलिटीज़ $x^{(m)}$ को अंशतः गुप्त कारण चरों $z_{A_m}$ के उपसमुच्चयों के माध्यम से स्मूथ, इंजेक्टिव (परंतु आवश्यक रूप से द्वैत नहीं) मिश्रण कार्यों $f_m$ द्वारा उत्पन्न किया जाता है। गुप्त चर $z$ एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) का पालन करते हैं जिसे $z_j = g_j(Pa(z_j), \epsilon_j)$ द्वारा परिभाषित किया गया है।

मुख्य सैद्धांतिक योगदान निम्नलिखित स्थितियों के तहत घटक-वार पहचान क्षमता (प्रत्येक गुप्त चर को एक स्मूथ इनवर्टिबल ट्रांसफॉर्मेशन तक पुनः प्राप्त करना) को सिद्ध करना है:

• इंजेक्टिविटी और प्रॉपरनेस (Injectivity & Properness): मिश्रण कार्य इंजेक्टिव और प्रॉपर (चरम मानों पर सूचना हानि को रोकने के लिए) हैं।
• कारण संरचनात्मक विरलता (Causal Structural Sparsity): गुप्त चरों का कारण ग्राफ विरलता प्रदर्शित करता है, विशेष रूप से विभिन्न मोडलिटीज़ के बीच विशिष्ट चरों के बीच कारण किनारों (causal edges) को प्रतिबंधित करता है।
• आंशिक साझाकरण (Partial Sharing): कोई भी एकल गुप्त चर सभी मोडलिटीज़ के बीच साझा नहीं किया गया है; साझाकरण केवल उपसमुच्चयों के बीच होता है।
• मिश्रण घनत्व (Mixing Density): कारण संरचना यह सुनिश्चित करती है कि गैर-परम्यूटेशन रूपांतरण (non-permutation transformations) कारण किनारों के घनत्व को बढ़ा देंगे, जो विरलता बाधाओं का उल्लंघन करेगा।

ये स्थितियाँ दोनों साझा चरों (उपसमुच्चयों के लिए सामान्य) और मोडलिटी-विशिष्ट चरों को घटक-वार द्वैत (bijections) तक पुनः प्राप्त करने की अनुमति देती हैं, यहाँ तक कि अंडरकम्प्लीट परिदृश्यों ($|A_m| \leq d_m$) में भी।

2. शिक्षण ढांचा (Learning Framework)
इन सैद्धांतिक गारंटियों को लागू करने के लिए, लेखक एक जनरेटिव फ्रेमवर्क प्रस्तावित करते हैं जिसमें तीन घटक शामिल हैं:

• ऑटोएन्कोडर संरचना (Autoencoder Structure): मोडलिटी-विशिष्ट एनकोडर अवलोकित डेटा $x^{(m)}$ को गुप्त अनुमानों $\hat{z}_{A_m}$ में मैप करते हैं, जिन्हें बाद में अवलोकनों के पुनर्निर्माण के लिए डिकोड किया जाता है।
• वॉसरस्टीन-आधारित प्लगेबल मॉड्यूल (Wasserstein-Based Pluggable Module): एक अभिनव, डिफरेंशिएबल मॉड्यूल आंशिक रूप से साझा गुप्त संरचना को सीखता है। यह विभिन्न मोडलिटीज़ के गुप्त चरों के बीच संरेखण (alignment) को एक ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में सूत्रबद्ध करता है। विभिन्न मोडलिटीज़ के बीच ट्रांसपोर्ट कॉस्ट (वॉसरस्टीन दूरी पर आधारित) को कम करके, यह मॉड्यूल एक परम्यूटेशन मैट्रिक्स $P$ सीखता है जो यह पहचानता है कि कौन से गुप्त घटक मोडलिटीज़ के बीच साझा किए गए हैं। यह मॉड्यूल आर्किटेक्चर-एग्नोस्टिक है और इसके लिए किसी अतिरिक्त पर्यवेक्षण या हस्तक्षेप की आवश्यकता नहीं है।
• कारण संरचना शिक्षण (Causal Structure Learning): फ्रेमवर्क बाह्य शोर (exogenous noise) को मॉडल करने के लिए एक मास्कड ऑटोरेग्रेसिव नॉर्मलाइजिंग फ्लो का उपयोग करता है और कारण ग्राफ को इन्फर करने के लिए एक सीखने योग्य एडजेसेंसी मैट्रिक्स का उपयोग करता है। सैद्धांतिक पहचान क्षमता की शर्तों को पूरा करने के लिए विरलता ($L_1$ रेगुलराइजेशन) और अचक्रीयता (acyclicity) बाधाओं को लागू किया जाता है।

प्रमुख योगदान (Key Contributions)

1. घटक-वार पहचान क्षमता की गारंटी: यह शोध पत्र स्थापित करता है कि पूर्ववर्ती कार्यों द्वारा आवश्यक सख्त द्वैत (bijectivity) धारणा को हटाते हुए, बहुविध सेटिंग में साझा और मोडलिटी-विशिष्ट दोनों गुप्त चरों को घटक-वार पहचाना जा सकता है।
2. अंडरकम्प्लीट सेटिंग (Undercomplete Setting): सैद्धांतिक परिणाम तब भी मान्य हैं जब प्रत्येक मोडलिटी में अवलोकित चरों की संख्या गुप्त चरों की संख्या से अधिक होती है।
3. आर्किटेक्चर-एग्नोस्टिक मॉड्यूल: बिना अतिरिक्त प्रशिक्षण डेटा, पर्यवेक्षण या हस्तक्षेप के, साझा संरचना के परम्यूटेशन मैट्रिक्स को पुनः प्राप्त करने के लिए एक डिफरेंशिएबल वॉसरस्टीन-आधारित मॉड्यूल का परिचय।
4. सामान्यीकरण (Generalization): यह कार्य पिछले ब्लॉक-वाइज आइडेंटिफिकेशन परिणामों को एक अधिक लचीले सेटिंग में सामान्यीकृत करता है जहाँ मोडलिटीज़ आवश्यक रूप से एक-दूसरे के ऑगमेंटेड वर्ज़न नहीं होती हैं।

प्रायोगिक परिणाम (Experimental Results)
लेखक अपने दृष्टिकोण का मूल्यांकन सिंथेटिक न्यूमेरिकल डेटासेट्स (2, 3, और 4 मोडलिटीज़), एक सिंथेटिक 3D इमेज-टेक्स्ट डेटासेट (MultiModal3DIdent), और एक जीन रेगुलेटरी नेटवर्क डेटासेट (SERGIO) पर करते हैं।

• मैट्रिक्स (Metrics): प्रदर्शन को मीन कोरिलेशन कोएफिशिएंट (MCC), कोएफिशिएंट ऑफ डिटरमिनेशन ($R^2$), और एन्हांस्ड स्ट्रक्चरल हैमिंग डिस्टेंस (EnSHD) के माध्यम से मापा जाता है।
• निष्कर्ष:
  • प्रस्तावित विधि सभी न्यूमेरिकल डेटासेट्स पर ग्राउंड-ट्रुथ लेटेंट स्ट्रक्चर को बेहतर ढंग से रिकवर करने के मामले में $R^2$ के संदर्भ में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (CausalVAE, Multimodal Contrastive Learning, MultiBio, MultiView) से बेहतर प्रदर्शन करती है।
  • MultiModal3DIdent डेटासेट पर, विधि बेसलाइन्स की तुलना में बेहतर $R^2$ स्कोर प्राप्त करती है।
  • जीन रेगुलेटरी नेटवर्क डेटासेट पर, विधि उच्चतम MCC (0.98) प्राप्त करती है, जो वास्तविक जैविक डेटा के लिए इसकी प्रयोज्यता की पुष्टि करती है।
  • विधि कंट्रास्टिव लर्निंग या ब्लॉक-वाइज आइडेंटिफिकेशन पर आधारित बेसलाइन्स की तुलना में कारण ग्राफ (EnSHD) को पुनः प्राप्त करने में प्रतिस्पर्धी या बेहतर प्रदर्शन करती है।

महत्ता और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि इसकी प्राथमिक महत्ता मौजूदा कार्यों की तुलना में पहचान क्षमता के लिए कमजोर सैद्धांतिक शर्तों को प्रदान करने में निहित है। द्वैत मिश्रण कार्यों, पैरामीट्रिक वितरण धारणाओं और सहायक संकेतों (पर्यवेक्षण/हस्तक्षेप) की आवश्यकता को हटाकर, प्रस्तावित फ्रेमवर्क एक अधिक व्यावहारिक और लचीला दृष्टिकोण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनके घटक-वार पहचान क्षमता के गारंटी यह सुनिश्चित करती है कि सीखे गए प्रतिनिधित्व न केवल संरचनात्मक रूप से समान हैं, बल्कि व्यक्तिगत रूप से पुनः प्राप्त करने योग्य भी हैं, जो विशिष्ट कारण कारकों (causal factors) की आवश्यकता वाले डाउनस्ट्रीम कार्यों के लिए महत्वपूर्ण है। वॉसरस्टीन-आधारित मॉड्यूल का परिचय आंशिक रूप से साझा संरचनाओं के जटिल संरेखण को डिफरेंशिएबल तरीके से संभालने के लिए एक व्यावहारिक तंत्र प्रदान करता है, जो सैद्धांतिक पहचान क्षमता और डीप लर्निंग कार्यान्वयन के बीच के अंतर को पाटता है।