Aitchison Embeddings for Learning Compositional Graph Representations

यहाँ शोध पत्र "Aitchison Embeddings for Learning Compositional Graph Representations" (AICoG) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ग्राफ प्रतिनिधित्व सीखना (Graph representation learning) लिंक प्रेडिक्शन और नोड क्लासिफिकेशन जैसे कार्यों के लिए मौलिक है। हालाँकि, मौजूदा विधियाँ व्याख्यात्मकता (interpretability) और संरचनात्मक मॉडलिंग के संबंध में दो प्राथमिक सीमाओं का सामना करती हैं:

• अंतर्निहित व्याख्यात्मकता का अभाव (Lack of Intrinsic Interpretability): मानक यूक्लिडियन एम्बेडिंग्स (जैसे, Node2Vec, GNNs) ज्यामितीय रूप से समानता को एनकोड करते हैं लेकिन उनके लेटेंट आयामों (latent dimensions) में कोई अर्थपूर्ण अर्थ नहीं होता। दूरियाँ और दिशाएँ अक्सर मनमानी होती हैं और समन्वय विकल्पों (coordinate choices) के प्रति संवेदनशील होती हैं, जिसके लिए स्पष्टीकरण हेतु पोस्ट-हॉक विश्लेषण की आवश्यकता होती है।
• भूमिका संरचनाओं का अपर्याप्त मॉडलिंग (Inadequate Modeling of Role Structures): कई वास्तविक दुनिया के नेटवर्क भूमिका-मिश्रण (role-mixture) संरचनाएं प्रदर्शित करते हैं जहाँ नोड्स विशिष्ट संस्थाएं नहीं बल्कि लेटेंट आर्कटाइपल कारकों (archetypal factors) के मिश्रण होते हैं (उदाहरण के लिए, एक उपयोगकर्ता "शोधकर्ता" और "छात्र" दोनों के रूप में कार्य करता है)।
  • पारंपरिक भूमिका-आधारित मॉडल (जैसे, Stochastic Block Models) असतत (discrete), अक्ष-संरेखित (axis-aligned) भूमिकाओं को मानते हैं।
  • मिश्रित-सदस्यता मॉडल (Mixed-membership models) ओवरलैप की अनुमति देते हैं, लेकिन वे अक्सर उन असतत, पहचान योग्य अक्षों पर निर्भर करते हैं जो तब विफल हो जाते हैं जब भूमिकाएं निरंतर (continuous), ओवरलैपिंग, या सापेक्ष ट्रेड-ऑफ (relative trade-offs) द्वारा परिभाषित होती हैं, न कि पूर्ण परिमाण (absolute magnitudes) द्वारा।
  • मानक यूक्लिडियन स्थान स्वाभाविक रूप से कंपोजिशनल डेटा (compositional data) (वह डेटा जहाँ केवल घटकों के बीच अनुपात मायने रखता है, न कि पूर्ण पैमाना) को संभालने में सक्षम नहीं हैं, जिससे स्केल इनवेरिएंस (scale invariance) और उप-संरचनात्मक सुसंगति (subcompositional coherence) से जुड़ी समस्याएँ उत्पन्न होती हैं।

2. कार्यप्रणाली: AICoG (Methodology: AICoG)

लेखक Aitchison compositional graph embeddings (AICoG) का प्रस्ताव करते हैं, जो Aitchison ज्यामिति (Aitchison geometry) पर आधारित एक ढांचा है, जो कंपोजिशनल डेटा के लिए मानक ज्यामिति है।

मुख्य अवधारणाएं (Core Concepts)

• कंपोजिशनल प्रतिनिधित्व (Compositional Representation): प्रत्येक नोड $i$ को $(K-1)$-आयामी सिम्प्लेक्स $\Delta^{K-1}$ पर एक कंपोजिशन $z_i$ के रूप में दर्शाया जाता है, जहाँ $K$ लेटेंट आर्कटाइपल कारकों की संख्या है। वेक्टर $z_i = (z_{i1}, \dots, z_{iK})$ प्रत्येक आर्कटाइप के नोड में सापेक्ष योगदान का प्रतिनिधित्व करता है।
• Aitchison ज्यामिति (Aitchison Geometry): यूक्लिडियन दूरी के बजाय, समानता को Aitchison दूरी का उपयोग करके मापा जाता है, जो घटकों के बीच लॉग-अनुपात (log-ratios) पर निर्भर करती है। यह स्केल इनवेरिएंस (स्केल अपरिवर्तनीयता) सुनिश्चित करता है (पूर्ण गतिविधि स्तर समानता को प्रभावित नहीं करते हैं) और उप-संरचनात्मक सुसंगति (एक उपसमुच्चय के घटकों को हटाने से सापेक्ष ज्यामिति सुरक्षित रहती है) प्रदान करता है।
• Isometric Log-Ratio (ILR) रूपांतरण: Aitchison ज्यामिति को संरक्षित करते हुए मानक यूक्लिडियन उपकरणों (जैसे ग्रेडिएंट डिसेंट) का उपयोग करके अनुकूलन (optimization) को सक्षम करने के लिए, यह विधि ILR रूपांतरण के माध्यम से कंपोजिशन को सिम्प्लेक्स से एक अनियंत्रित यूक्लिडियन स्पेस $\mathbb{R}^{K-1}$ में मैप करती है:
  $$x_i = \text{ILR}(z_i) = \log(z_i)^\top V$$
  जहाँ $V$ कंट्रास्ट स्पेस के लिए एक ऑर्थोनॉर्मल बेसिस (orthonormal basis) है। यह रूपांतरण एक आइसोमेट्री (isometry) है, जिसका अर्थ है कि $x_i$ और $x_j$ के बीच की यूक्लिडियन दूरी $z_i$ और $z_j$ के बीच की Aitchison दूरी के ठीक बराबर है।

मॉडल आर्किटेक्चर (Model Architecture)

1. पैरामीटराइजेशन (Parameterization): नोड कंपोजिशन $z_i$ को अनकन्स्ट्रेंड लॉजिट्स $\tilde{z}_i$ के माध्यम से पैरामीटराइज किया जाता है जिन्हें सिम्प्लेक्स पर रहने के लिए सॉफ्टमैक्स फंक्शन के माध्यम से गुजारा जाता है।
2. एज लाइकलीहुड (Edge Likelihood): एक एज $(i, j)$ की प्रायिकता को बर्नौली वितरण (Bernoulli distribution) के रूप में मॉडल किया जाता है जहाँ लॉग-ऑड्स $\eta_{ij}$ ILR दूरी का एक मोनोटोन घटता हुआ फलन है:
   $$\eta_{ij} = -\|x_i - x_j\|^2 + \gamma_i + \gamma_j$$
   यहाँ, $\gamma$ नोड-विशिष्ट बायस (जैसे, डिग्री विषमता) को दर्शाता है।
3. अनुकूलन (Optimization): मॉडल को देखे गए एड्ज के ऊपर बर्नौली लॉग-लाइक्लीहुड को अधिकतम करके प्रशिक्षित किया जाता है।
4. बेसिस लचीलापन (Basis Flexibility): यह ढांचा व्याख्यात्मकता को अनुकूलित करने के लिए फिक्स्ड बेसिस (जैसे, हेल्मर्ट बेसिस) और लर्नेबल बेसिस (जो एम्बेडिंग्स के साथ संयुक्त रूप से प्रशिक्षित होते हैं) दोनों का समर्थन करता है।

3. प्रमुख योगदान (Key Contributions)

1. AICoG ढांचा: एक ग्राफ एम्बेडिंग ढांचे की शुरुआत जो नोड्स को लेटेंट आर्कटाइप्स के ऊपर कंपोजिशन के रूप में मॉडल करता है और Aitchison ज्यामिति का उपयोग करके उनकी तुलना करता है।
2. अभिव्यक्ति समानता (Expressive Equivalence): यह प्रमाण कि ILR कोऑर्डिनेट्स के माध्यम से कंपोजिशन को एम्बेड करना एक लेटेंट डिस्टेंस मॉडल देता है जो मानक अनकन्स्ट्रेंड यूक्लिडियन लेटेंट डिस्टेंस मॉडल्स के अभिव्यक्ति रूप से समकक्ष (expressively equivalent) है। इसका अर्थ है कि AICoG बिना जटिल एज प्रोबेबिलिटी मैट्रिसेस को दर्शाने की क्षमता खोए, व्याख्यात्मकता प्राप्त करता है।
3. ज्यामितीय भूमिकाएँ (Geometric Roles): "भूमिकाओं" की एक नई परिभाषा जो कंपोजिशनल लेटेंट स्पेस में क्षेत्रों (regions) के रूप में है, जो स्थिर सापेक्ष ट्रेड-ऑफ द्वारा लक्षित हैं, न कि अक्ष-संरेखित आयामों द्वारा। यह निरंतर और ओवरलैपिंग भूमिका संरचनाओं का समर्थन करता है।
4. उप-संरचनात्मक सुसंगति (Subcompositional Coherence): यह प्रदर्शन करना कि ढांचा सिद्धांतिक घटक प्रतिबंध (principled component restriction) की अनुमति देता है। घटकों के एक उपसमुच्चय को हटाना और पुनर्गणना (renormalizing) करने से एक सुपरिभाषित ज्यामिति बनी रहती है, जिससे पुनः प्रशिक्षण के बिना यह विश्लेषण करना संभव होता है कि विशिष्ट आर्कटाइप समूह भविष्यवाणियों को कैसे प्रभावित करते हैं।
5. अंतर्निहित व्याख्यात्मकता (Intrinsic Explainability): यह विधि निर्माण द्वारा ही स्पष्टीकरण प्रदान करती है। समानता को आर्कटाइप्स के बीच लॉग-अनुपात संतुलन (ट्रेड-ऑफ) के माध्यम से समझाया जाता है, जो कोऑर्डिनेट सिस्टम के किसी भी ऑर्थोगोनल रीपैरामीट्राइजेशन के प्रति अपरिवर्तनीय है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न डेटासेट्स (साइटेशन नेटवर्क: Cora, Citeseer; को-ऑथरशिप: DBLP, AstroPh, आदि; सोशल: LastFM) पर Node2Vec, Role2Vec, MMSBM, और SLIM-RAA जैसे मजबूत बेसलाइन्स के विरुद्ध AICoG का मूल्यांकन किया।

• लिंक प्रेडिक्शन (Link Prediction): AICoG ने मजबूत बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर AUC-ROC स्कोर प्राप्त किए। विशेष रूप से, Aitchison ज्यामिति को सिम्प्लेक्स पर यूक्लिडियन ज्यामिति से बदलने पर (SIMPLEX-EUCLIDEAN) प्रदर्शन में भारी गिरावट आई, जो यह सिद्ध करता है कि कंपोजिशनल ज्यामिति स्वयं महत्वपूर्ण है, न कि केवल सिम्प्लेक्स बाधा।
• नोड क्लासिफिकेशन (Node Classification): AICoG ने यूक्लिडियन विधियों के समान अनुकूल Micro-F1 स्कोर प्राप्त किया, जबकि ज्यामितीय रूप से व्याख्या योग्य प्रतिनिधित्व प्रदान किया।
• उप-संरचनात्मक मूल्यांकन (Subcompositional Evaluation): जब घटकों को हटाया गया (उपसमुच्चय चयन के माध्यम से आयामीता कमी), तो AICo $\text{B}$ ने अन्य सिम्प्लेक्स-आधारित बेसलाइन्स (जैसे, MMSBM या HM-LDM) की तुलना में काफी बेहतर प्रदर्शन बनाए रखा। यह प्रतिनिधित्व की स्थिरता की पुष्टि करता है।
• व्याख्यात्मकता विश्लेषण (Interpretability Analysis): विज़ुअलाइज़ेशन ने दिखाया कि विभिन्न ILR बेसिस (Helmert, Learned, Varimax) ने सुसंगत लेबल सेपरेशन प्रदान किया, जो पुष्टि करता है कि संरचना कोऑर्डिनेट सिस्टम के प्रति अपरिवर्तनीय है। पद्धति ने सफलतापूर्वक व्याख्या योग्य "ट्रेड-ऑफ ट्रेजेक्टरीज" की पहचान की।

5. महत्व और प्रभाव (Significance and Impact)

• अंतर को पाटना (Bridging the Gap): AICoG उच्च भविष्य कहनेवाला प्रदर्शन (जो यूक्लिडियन एम्बेडिंग्स की विशेषता है) और उच्च व्याख्यात्मकता (जो संभावabilistic रोल मॉडल्स की विशेषता है) के बीच के अंतर को पाटता है।
• भूमिकाओं के लिए नया प्रतिमान (New Paradigm for Roles): यह भूमिकाओं को असतत, अक्ष-संरेखित भूमिकाओं से बदलकर निरंतर, सापेक्ष ट्रेड-ऑफ में बदल देता है, जो वास्तविक दुनिया के नेटवर्क (जैसे, सामाजिक, जैविक, आर्थिक) की प्रकृति को बेहतर ढंग से दर्शाता है।
• सिद्धांतिक व्याख्यात्मकता (Principled Explainability): पोस्ट-हॉक स्पष्टीकरण विधियों (जैसे, GNNExplainer) के विपरीत, AICoG के स्पष्टीकरण इसके मॉडल की ज्यामिति के लिए अंतर्निहित हैं। यह शोधकर्ताओं को यह पूछने की अनुमति देता है कि "आर्कटाइप A और B के बीच का ट्रेड-ऑफ नोड की स्थिति को कैसे प्रभावित करता है?" न कि "डायमेंशन X का भार क्या है?"।
• भविष्य की दिशाएँ (Future Directions): यह शोध पत्र सुझाव देता है कि Aitchison ज्यामिति कंपोजिशनल इंडक्टिव बायस (inductive biases) को अन्य आर्किटेक्चर, जैसे कि कंपोजिशनल नोड स्टेट्स पर काम करने वाले मैसेज-पासिंग न्यूरल नेटवर्क तक विस्तारित करने के लिए एक आधार के रूप में कार्य कर सकती है।

संक्षेप में, AICoG एक ऐसा दृष्टिकोण प्रदान करता है जो गणितीय रूप से कठोर और व्यावहारिक रूप से प्रभावी है, जहाँ लेटेंट स्पेस की सिमेंटिक्स को नोड भूमिकाओं की सापेक्ष और कंपोजिशनल प्रकृति के साथ स्पष्ट रूप से संरेखित किया गया है।