तकनीकी सारांश: तंत्र विरलता के माध्यम से गैर-पैरामीट्रिक आंशिक पृथक्करण (Nonparametric Partial Disentanglement via Mechanism Sparsity)

समस्या सेटिंग (Problem Setting)

यह कार्य कारण प्रतिनिधित्व शिक्षण (Causal Representation Learning - CRL) के ढांचे के भीतर पहचान योग्य प्रतिनिधित्व शिक्षण (identifiable representation learning) की समस्या को संबोधित करता है। इसका लक्ष्य उच्च-आयामी अवलोकनों ($x$) से उच्च-स्तरीय, अर्थपूर्ण गुप्त कारकों ($z$) को पुनः प्राप्त करना और उनके गतिकी (dynamics) को नियंत्रित करने वाले कारण ग्राफिकल मॉडल (CGM) को उजागर करना है।

लेखक एक ऐसे जनरेटिव मॉडल पर विचार करते हैं जहाँ अवलोकन एक संभावित रूप से अत्यधिक गैर-रेखीय मिश्रण फलन (decoder) $f$ द्वारा उत्पन्न किए जाते हैं जो गुप्त कारकों $z$ पर कार्य करता है, और इसमें शोर (noise) शामिल होता है:
$$x_t = f(z_t) + n_t$$
गुप्त कारक समय के साथ एक ट्रांजिशन मॉडल $p(z_t | z_{<t}, a_{<t})$ के अनुसार विकसित होते हैं, जहाँ $a_t$ देखे गए सहायक चर (जैसे, क्रियाएं, वातावरण सूचकांक, या हस्तक्षेप संकेतक) का प्रतिनिधित्व करता है। महत्वपूर्ण रूप से, यह माना जाता है कि गुप्त कारक एक विरल (sparse) कारण ग्राफ $G$ में अपने पूर्वजों (parents) के दिए गए होने पर सशर्त स्वतंत्र होते हैं (जिसमें अस्थायी निर्भरता के लिए $G_z$ और सहायक निर्भरता के लिए $G_a$ शामिल है)।

मुख्य चुनौती पहचान योग्यता (identifiability) है: अतिरिक्त धारणाओं के बिना, गुप्त कारक और मिश्रण फलन मनमाने विभेदक (diffeomorphisms) तक अनिश्चित (unidentifiable) रहते हैं। जबकि पिछले कार्यों ने विशिष्ट स्थितियों (जैसे, घातीय परिवार (exponential family) धारणाएं, ज्ञात हस्तक्षेप लक्ष्य, या सख्त ग्राफिकल मानदंड) के तहत पहचान योग्यता स्थापित की है, यह शोध पत्र इन बाधाओं को गैर-पैरामीट्रिक (nonparametric) सेटिंग्स और मनमाने गुप्त कारण ग्राफों को संभालने के लिए शिथिल करने का प्रयास करता है, जिससे संभावित रूप से आंशिक पृथक्करण (partial disentanglement) संभव हो सके।

कार्यप्रणाली (Methodology)

1. सैद्धांतिक ढांचा: तंत्र विरलता नियमितीकरण (Mechanism Sparsity Regularization)

यह शोध पत्र एक नए प्रेरक पूर्वाग्रह (inductive bias) के रूप में तंत्र विरलता नियमितीकरण को पेश करता है। केंद्रीय परिकल्पना यह है कि गुप्त गतिकी को नियंत्रित करने वाले तंत्र विरल हैं:

• विरल सहायक प्रभाव (Sparse Auxiliary Influence): सहायक चर $a$ केवल कुछ ही गुप्त कारकों को प्रभावित करते हैं (विरल $G_a$)।
• विरल अस्थायी निर्भरता (Sparse Temporal Dependencies): गुप्त कारक अपने पिछले अवस्थाओं पर विरल रूप से निर्भर करते (विरल $G_z$)।

लेखक वास्तविक मॉडल $\theta = (f, p, G)$ और सीखे गए मॉडल $\hat{\theta} = (\hat{f}, \hat{p}, \hat{G})$ के बीच संबंध को औपचारिक रूप देते हैं। वे एक एंटैंगलमेंट मैप (entanglement map) $v = f^{-1} \circ \hat{f}$ को परिभाषित करते हैं, जो सीखे गए प्रतिनिधित्व को वास्तविक प्रतिनिधित्व पर मैप करता है।

2. पहचान योग्यता सिद्धांत (Identifiability Theory)

यह शोध पत्र सीखे गए ग्राफों $\hat{G}_a$ और $\hat{G}_z$ की विरलता पर आधारित एक गैर-पैरामीट्रिक पहचान योग्यता सिद्धांत विकसित करता है।

• तुल्यता संबंध (Equivalence Relations): पूर्ण पृथक्करण (क्रमपरिवर्तन और तत्व-वार रूपांतरण तक पहचान योग्यता) के बजाय, यह सिद्धांत संगति (consistency) तक पहचान योग्यता स्थापित करता है:

  • $a$-संगति ($\sim_{a}^{con}$): एंटैंगलमेंट मैप $v$ एक क्रमपरिवर्तन और एक $G_a$-संरक्षण करने वाले विभेदक (diffeomorphism) का संयोजन है।
  • $z$-संगति ($\sim_{z}^{con}$): एंटैंगलमेंट मैप $v$ एक क्रमपरिवर्तन और एक $G_z$- (और $G_z^\top$-) संरक्षण करने वाले विभेदक का संयोजन है।
  • आंशिक पृथक्करण (Partial Disentanglement): इसका तात्पर्य यह है कि हालांकि कुछ गुप्त कारक उलझे हुए (mixed) रह सकते हैं, इस उलझन की संरचना वास्तविक ग्राफ की विरलता पैटर्न द्वारा कड़ाई से नियंत्रित होती है।

• पर्याप्त प्रभाव धारणाएं (Sufficient Influence Assumptions): इन परिणामों को सिद्ध करने के लिए, लेखक "पर्याप्त प्रभाव" धारणाएं (Assments 6, 7, 8) पेश करते हैं। इनके लिए यह आवश्यक है कि ट्रांजिशन मॉडल के लॉग-घनत्व (log-density) का हेसियन (निरंतर $a$ के लिए) या आंशिक अंतर (विच्छिन्न $a$ के लिए) ग्राफ संरचना द्वारा परिभाषित प्रासंगिक उप-स्थानों (subspaces) को स्पैन करने के लिए पर्याप्त रूप से भिन्न हो।

• ग्राफ-संरक्षण मानचित्र (Graph Preserving Maps): एक प्रमुख गणितीय उपकरण $G$-संरक्षण मानचित्रों की अवधारणा है, जो ऐसे फलन हैं जिनके निर्भरता ग्राफ $G$ की विरलता बाधाओं का सम्मान करते हैं। सिद्धांत दिखाता है कि यदि सीखे गए ग्राफ को वास्तविक ग्राफ की तरह विरल बनाया जाता है, तो एंटैंगलमेंट मैप एक $G$-संरक्षण मानचित्र होगा।

• पूर्ण पृथक्करण (Complete Disentanglement): यह शोध पत्र पूर्ण पृथक्करण (क्रमपरिवर्तन और तत्व-वार रूपांतरण तक पहचान योग्यता) के मजबूत परिणाम को एक विशेष मामले के रूप में पुनः प्राप्त करता है, जब वास्तविक ग्राफ एक विशिष्ट ग्राफिकल मानदंड (Assumption 5) को संतुष्ट करता है, जो Lachapelle et al. (2022) के मानदंडों का सामान्यीकरण है।

3. घातीय परिवार (Exponential Families) तक विस्तार

यह शोध पत्र अपने गैर-पैरामीट्रिक परिणामों को लोकप्रिय घातीय परिवार धारणा से जोड़ता है। यह मानते हुए कि ट्रांजिशन मॉडल एक एक-आयामी पर्याप्त सांख्यिकी (sufficient statistic) वाले घातीय परिवार से संबंधित है, लेखक दिखाते हैं कि "पर्याप्त प्रभाव" धारणाओं को शिथिल किया जा सकता है, जिससे बिना सहायक चरों के मार्कोवियन ट्रांजिशन की अनुमति मिलती है (जो गैर-पैरामीट्रिक मामले में एक सीमा है)।

4. अनुमान प्रक्रिया (Estimation Procedure)

इन विचारों को लागू करने के लिए, लेखक वेरिएशनल ऑटोएनकोडर्स (VAEs) पर आधारित एक लर्निंग एल्गोरिदम प्रस्तावित करते हैं:

• मॉडल: एक VAE डिकोडर $\hat{f}$ और ट्रांजिशन मॉडल $\hat{p}$ को सीखता है।
• विरलता बाधा (Sparsity Constraint): विरलता दंड (नियमितीकरण) के बजाय, यह विधि एक विरलता बाधा का उपयोग करती है। एडजेसेंसी मैट्रिसेस $\hat{G}_a$ और $\hat{G}_z$ को बर्नौली वितरणों के पैरामीटर के रूप में माना जाता है, और अनुकूलन को इस प्रकार बाधित किया जाता है कि किनारों (edges) की अपेक्षित संख्या एक बजट $\beta$ (आदर्श रूप से वास्तविक किनारों की संख्या) से अधिक न हो।
• अनुकूलन (Optimization): बाधित अनुकूलन को ड्यूल रीस्टार्ट्स के साथ एक लैग्रेंजियन फॉर्मूलेशन का उपयोग करके हल किया जाता है।

मुख्य योगदान (Key Contributions)

1. नया सिद्धांत: पृथक्करण के लिए तंत्र विरलता नियमितीकरण के सिद्धांत का परिचय, जो तब लागू होता है जब गुप्त कारक सहायक चरों या पिछली अवस्थाओं पर विरल रूप से निर्भर होते हैं।
2. गैर-पैरामीट्रिक पहचान योग्यता: एक पूर्णतः गैर-पैरामीट्रिक पहचान योग्यता सिद्धांत का विकास, जिसे घातीय परिवार धारणा की आवश्यकता नहीं है, जो मनमाने गुप्त कारण ग्राफों की अनुमति देता है (बशर्ते कि एक ही समय चरण पर गुप्तों के बीच कोई तात्कालिक कारण लिंक न हो)।
3. आंशिक पृथक्करण सिद्धांत: नए तुल्यता संबंधों ($a$-संगति और $z$-संगति) के माध्यम से आंशिक पृथक्करण का औपचारिक रूप देना। सिद्धांत सटीक रूप से भविष्यवाणी करता है कि वास्तविक ग्राफ संरचना के आधार पर "एंटैंगलमेंट ग्राफ" (कौन से चर मिश्रित रहते हैं) की संरचना क्या होगी।
4. हस्तक्षेपों का सामान्यीकरण: एक ऐसा ढांचा जो अज्ञात लक्ष्यों वाले मल्टी-नोड हस्तक्षेपों को संभालता है, एक ऐसा परिवेश जहाँ पिछले कार्य अक्सर एकल-नोड हस्तक्षेपों या ज्ञात लक्ष्यों तक सीमित थे।
5. नया मूल्यांकन मीट्रिक: $R_{con}$ का परिचय, जो यह मापने के लिए एक मीट्रिक है कि सीखा गया प्रतिनिधित्व $a$-संगत या $z$-संगत होने के कितने करीब है, जो पूर्ण पृथक्करण (MCC) और सामान्य प्रतिनिधित्व गुणवत्ता ($R$) के बीच के अंतर को पाटता है।
6. अनुभवजन्य सत्यापन: सिंथेटिक डेटासेट पर विरलता-बाधित VAE का कार्यान्वयन और सत्यापन, जो दिखाता है कि विरलता लागू करने से ग्राफ रिकवरी (SHD) और पृथक्करण (MCC, $R_{con}$) दोनों में सुधार होता है।

परिणाम (Results)

• सैद्धांतिक: प्रमेय 1, 2, और 3 स्थापित करते हैं कि पर्याप्त प्रभाव और विरलता नियमितीकरण के तहत, सीखा गया मॉडल $a$-संगति, $z$-संगति, या $(a,z)$-संगति तक पहचानने योग्य है। प्रपोजिशन 7 दिखाता है कि यदि ग्राफिकल मानदंड लागू होता है, तो यह पूर्ण पृथक्करण में बदल जाता है।
• प्रायोगिक:
  • उन डेटासेट पर जो ग्राफिकल मानदंड को संतुष्ट करते हैं (जैसे, विकर्ण या विशिष्ट गैर-विकर्ण ग्राफ), विरलता-बाधित VAE लगभग पूर्ण मीन कोरिलेशन कोएफिशिएंट (MCC) प्राप्त करता है और कम स्ट्रक्चरल हैमिंग डिस्टेंस (SHD) दिखाता है, जो TCVAE, iVAE, PCL, और SlowVAE जैसे बेसलाइन को पछाड़ देता है।
  • उन डेटासेट पर जो ग्राफिकल मानदंड का उल्लंघन करते हैं (केवल आंशिक पृथक्करण की अनुमति देते हैं), यह विधि उच्च $R_{con}$ स्कोर प्राप्त करती है, जो पुष्टि करती है कि सीखे गए प्रतिनिधित्व अनुमानित एंटैंगलमेंट संरचना का सम्मान करते हैं, जबकि बेसलाइन आंशिक पृथक्करण प्राप्त करने में विफल रहते हैं।
  • प्रयोगों से पता चलता है कि यह विधि निरंतर सहायक चरों (क्रियाओं) और विच्छिन्न हस्तक्षेपों (बहु-लक्ष्य हस्तक्षेपों सहित) दोनों के लिए काम करती है।
  • गैर-पैरामीट्रिक सेटिंग में, विधि हेटरोसेडास्टिक वेरिएंस (गैर-घातीय परिवार मामलों) के प्रति मजबूत है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र Lachapelle et al. (2022) का एक महत्वपूर्ण विस्तारित संस्करण प्रदान करने का दावा करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

• धारणाओं को शिथिल करना: प्रतिबंधात्मक घातीय परिवार धारणा से हटकर एक सामान्य गैर-पैरामीट्रिक सेटिंग की ओर बढ़ना।
• दायरा बढ़ाना: पहचान योग्यता के लिए विशिष्ट संरचनाओं की आवश्यकता के बजाय मनमाने गुप्त कारण ग्राफों की अनुमति देना।
• आंशिक पृथक्करण को औपचारिक बनाना: यह समझने और भविष्यवाणी करने के लिए एक कठोर गणितीय ढांचा प्रदान करना कि गुप्त कारक कब और कैसे उलझे रहेंगे, बजाय इसके कि आंशिक पृथक्करण को एक विफलता मोड के रूप में माना जाए।
• अज्ञात लक्ष्यों को संभालना: अज्ञात लक्ष्यों वाले विरल हस्तक्षेपों का उपयोग करके पृथक्करण प्राप्त करने के लिए एक सैद्धांतिक औचित्य प्रदान करना।

लेखक इस कार्य को भविष्य के अनुभवजन्य अन्वेषणों के लिए एक सैद्धांतिक आधार के रूप में प्रस्तुत करते हैं, जैसे कि सिंगल-सेल बायोलॉजी और वीडियो विश्लेषण, जहाँ तंत्र स्वाभाविक रूप से विरल लेकिन जटिल होते हैं। वे स्पष्ट रूप से कहते हैं कि उनका कार्य सभी सेटिंग्स में पृथक्करण को हल करने का दावा नहीं करता है, बल्कि उन पर्याप्त स्थितियों को प्रदान करता है जिनके तहत यह संभव है, भले ही वहां गैर-रेखीय मिश्रण और जटिल कारण संरचनाएं मौजूद हों।