तकनीकी सारांश: टेम्पोरल ग्राफ न्यूरल नेटवर्क के लिए टेम्पोरल मोटिफ सिग्नेचर (Temporal Motif Signatures)

समस्या विवरण (Problem Statement)

वास्तविक दुनिया के टेम्पोरल इंटरैक्शन स्ट्रीम्स (जैसे सामाजिक संचार, वित्तीय लेनदेन, ऑनलाइन समीक्षाएं) में अल्प-क्षितिज (short-horizon) मोटिफ पैटर्न के भीतर भविष्यवाणात्मक संरचना होती है, जैसे कि पुनरावृत्ति (repetition), पारस्परिकता (reciprocity), स्टार डायवर्सिटी (star diversity), और ट्रायडिक फ्लो (triadic flow)। जबकि आधुनिक टेम्पोरल ग्राफ न्यूरल नेटवर्क्स (TGNNs) सक्षम अनुक्रम मॉडल (sequence models) हैं जो सैद्धांतिक रूप से किसी भी टेम्पोरल स्ट्रीम के फलन (function) को निकालने में सक्षम हैं, उनके इंडक्टिव बायस (inductive biases) और सीमित प्रशिक्षण बजट अक्सर उन्हें विशिष्ट, अल्प-क्षितिज संरचनात्मक नियमितताओं को पकड़ने से रोकते हैं। ये नियमितताएं विश्लेषणात्मक रूप से गणना करने में सरल हैं लेकिन डाउनस्ट्रीम कार्यों के लिए महत्वपूर्ण हैं। यह शोध पत्र इस बात को संबोधित करता है कि क्या एक सिद्धांत-आधारित, आर्किटेक्चर-अज्ञेय (architecture-agnostic) संवर्धन (augmentation) इस अवशेष अंतराल (residual gap) को पाट सकता है।

कार्यप्रणाली (Methodology)

1. अनुभवजन्य निदान और सिग्नेचर की पहचान (Empirical Diagnostics and Signature Identification)

लेखक पहले 13 वास्तविक और कृत्रिम टेम्पोरल डेटासेट (जिसमें MOOC, Bitcoin Alpha/OTC, और TGB बेंचमार्क शामिल हैं) के एक विविध सेट में प्रति-उम्मीदवार (per-candidate), पिछले-विंडो मोटिफ गणनाओं का विश्लेषण करते हैं। वे पहचानते हैं कि मोटिफ गतिविधि लगातार तीन स्केल-स्टेबल अक्षों (scale-stable axes) के साथ व्यवस्थित होती है:

• A1 (डायडिक रिसेंसी/रिसिप्रोसिटी): एक उम्मीदवार जोड़ी $(u, v)$ के बीच प्रत्यक्ष इंटरैक्शन के समय और आवृत्ति को कैप्चर करता है।
• A2 (स्टार डायवर्सिटी): एक समय विंडो के भीतर $u$ या $v$ के साथ इंटरैक्ट करने वाले पड़ोसियों की विविधता को मापता है (उदाहरण के लिए, एक छात्र ने कितने अलग-अलग आइटम के साथ इंटरैक्ट किया है)।
• A3 (ट्रायडिक फ्लो): $u$ और $v$ को जोड़ने वाले तीसरे पक्षों के माध्यम से इंटरैक्शन के प्रवाह को कैप्चर करता है (उदाहरण के लिए, सामान्य पड़ोसी)।

2. मोटिफ फीचर मैप $h(u, v, t)$

इन अक्षों के आधार पर, लेखक एक संक्षिप्त, 13-कोऑर्डिनेट, उम्मीदवार-स्थानीय मोटिफ फीचर मैप, $h(u, v, t) \in \mathbb{R}^{13}$ डिजाइन करते हैं। मुख्य डिजाइन बाधाएं शामिल हैं:

• लीकेज सुरक्षा (Leakage Safety): फीचर्स को सख्ती से पिछले विंडो $W_{t}^{past}(\Delta) = \{i : t - \Delta \le t_i < t\}$ से कंप्यूट किया जाता है, यह सुनिश्चित करते हुए कि भविष्य की कोई जानकारी उम्मीदवार के प्रतिनिधित्व में न जाए।
• निश्चित आयाम (Fixed Dimension): बिना किसी आर्किटेक्चरल बदलाव के किसी भी स्टैटिक या टेम्पोरल एनकोडर में 13 फीचर्स को एक लर्नबल लीनियर एम्बेडिंग मैट्रिक्स $M$ के माध्यम से जोड़ा (concatenate) जाता है।
• उप-परिवार (Sub-families): 13 कोऑर्डिनेट्स तीन अक्षों के अनुरूप हैं:
  • A1 (5 फीचर्स): $u \to v$ और $v \to u$ घटनाओं की गिनती, युग्मित घटनाएं (paired events), बर्स्टिनेस (burstiness), और अंतिम पारस्परिक घटना के बाद का सामान्यीकृत समय।
  • A2 (4 फीचर्स): विंडो के भीतर अलग-अलग पड़ोसी सेट ($N_{u}^{out}, N_{u}^{in}, N_{v}^{out}, N_{v}^{in}$) का आकार, जो हब (hubs) को संभालने के लिए कैप किया गया है।
  • A3 (4 फीचर्स): पड़ोसी सेटों के बीच निर्देशित क्रॉस-वेज (cross-wedge) और बाई-वेज (bi-wedge) इंटरसेक्शन का आकार।
• नॉर्मलाइजेशन (Normalization):ized: हेवी-टेल्ड काउंट कोऑर्डिनेट्स को तुलनात्मक बनाने के लिए $\log_{10}(1+x)$ ट्रांसफॉर्म के माध्यम से संसाधित किया जाता है।

3. सैद्धांतिक स्थान (टेम्पोरल वेइसफाइलर-लेमैन) (Theoretical Placement - Temporal Weisfeiler-Leman)

यह शोध पत्र मानक टेम्पोरल मैसेज-पासिंग GNNs (MP-GNNs) के लिए एक सैद्धांतिक सीमा स्थापित करता है। एक सामान्य एज-स्कोरिंग एब्स्ट्रैक्शन के तहत, ये मॉडल कैंडिडेट-एंकरड टेम्पोरल वेइसफाइलर-लेमैन (WL) पदानुक्रम (temporal-1-WL) के पहले स्तर द्वारा सीमित हैं।

• लेखक सिद्ध करते हैं कि ऐसे एंकरड टेम्पोरल स्ट्रीम्स मौजूद हैं (जैसे, एक $C_6$ चक्र बनाम दो विलगित त्रिकोण $2K_3$), जिन्हें टेम्पोरल-1-WL नहीं पहचान सकता (उन्हें एक ही रंग में समाहित कर देता है), फिर भी मोटिफ फीचर मैप $h$ उन्हें पूरी तरह से अलग करता है।
• यह संवर्धन को मानक टेम्पोरल MP-GNNs की अभिव्यक्ति शक्ति (expressive power) से स्पष्ट रूप से ऊपर रखता है, जो एक "विटनेस" के रूप में कार्य करता है जो WL बॉटलनैक को तोड़ता है।

मुख्य योगदान (Key Contributions)

1. निदान (अनुभाग 4): शोध पत्र स्पष्ट करता है कि प्रति-उम्मीदवार मोटिफ काउंट्स टेम्पोरल स्ट्रीम्स को तीन प्रमुख, स्केल-स्टेबल अक्षों (A1, A2, A3) के साथ व्यवस्थित करते हैं। ये प्रति-डेटासेट सिग्नेचर भविष्यवाणी करते हैं कि मोटिफ संवर्धन कहाँ सबसे बड़े प्रदर्शन लाभ प्रदान करेगा।
2. टेम्पोरल अभिव्यक्ति (अनुभाग 6): लेखक एक मानक टेम्पोरल-WL पदानुक्रम के भीतर मानक टेम्पोरल MP-GNNs के लिए एक सैद्धांतिक स्थान प्रदान करते हैं। वे एक विशिष्ट जोड़ी दिखाते हैं जहाँ मोटिफ फीचर्स उन उम्मीदवारों को अलग करते हैं जिन्हें टेम्पोरल-1-WL समाहित कर देता है, जो यह दर्शाता है कि संवर्धन मॉडल को इस पदानुक्रम के पहले स्तर से ऊपर उठाता है।
3. अनुभवजन्य प्रदर्शन (अनुभाग 7): शोध पत्र प्रदर्शित करता है कि विविध कार्यों (TGB लिंक-प्रॉपर्टी प्रेडिक्शन, एज क्लासिफिकेशन, और ग्राफ-लेवल क्लासिफिकेशन) में मजबूत TGNN बेसलाइन्स की तुलना में मोटिफ संवर्धन लगातार प्रदर्शन को बढ़ाता है। यह लाभ व्याख्या योग्य है: यह वहां सबसे अधिक होता है जहां बेसलाइन विफल रहती है (जैसे, MOOC) और वहां नगण्य होता है जहां बेसलाइन पहले से ही प्रासंगिक संरचना को कैप्चर कर लेती है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन किया गया:

• TGB लिंक-प्रॉपर्टी प्रेडिक्शन: पांच बेसलाइन्स (TPNet, HyperEvent, DyGFormer, TNCN, TGN) और तीन डेटासेट्स (Wiki, Review, Coin) पर।
  • परिणाम: मोटिफ संवर्धन ने सभी मूल्यांकित बेसलाइन-डेटासेट जोड़ों पर प्रदर्शन को बढ़ाया। सबसे महत्वपूर्ण लाभ tgbl-review-v2 डेटासेट के लिए DyGFormer पर देखा गया, जहाँ मीन रेसिप्रोकल रैंक (MRR) 0.224 से बढ़कर 0.413 हो गया।
  • अवलोकन: tgbl-coin-v2 पर TPNet जैसे बेसलाइन्स के लिए लाभ शून्य के एक मानक विचलन (standard deviation) के भीतर था, जो इस बात की पुष्टि करता है कि उन बेसलाइन्स ने उस विशिष्ट डेटासेट के लिए प्रासंगिक अल्प-क्षितिज संरचना को पहले से ही कैप्चर कर लिया था।
• एज क्लासिफिकेशन (Edge Classification):
  • MOOC: एक बाइनरी क्लासिफिकेशन टास्क जो छात्र के ड्रॉप-आउट की भविष्यवाणी करता है। एक वैजिला (vanilla) GraphSAGE एनकोडर ने 0.0164 का PR-AUC प्राप्त किया। 4-फीचर स्टार-काउंट सबसेट (A2) जोड़ने से यह 0.1430 हो गया, और पूर्ण 13-फीचर मैप ने 0.1659 प्राप्त किया।
  • Bitcoin Alpha/OTC: ट्रस्ट क्लासिफिकेशन कार्यों ने मामूली लेकिन निरंतर सुधार दिखाया (जैसे, Alpha पर SAGE PR-AUC 0.9282 से 0.9667 तक)।
• ग्राफ-लेवल क्लासिफिकेशन: सिंथेटिक टेम्पोरल जनरेटर्स पर, मोटिफ संवर्धन ने सटीकता में महत्वपूर्ण सुधार किया, विशेष रूप से GAT को एक कोलैप्स्ड 16.7% (बहुसंख्यक वर्ग भविष्यवाणी) से बढ़ाकर बिना किसी आर्किटेक्चरल बदलाव के 94.0% कर दिया।

एब्लेशन और कंट्रोल्स (Ablation and Controls):

• 'लीव-वन-आउट' विश्लेषण ने पुष्टि की कि कोई भी एकल कोऑर्डिनेट समान रूप से अनावश्यक नहीं है; विभिन्न डेटासेट अलग-अलग अक्षों (जैसे, MOOC मुख्य रूप से A2 स्टार डायवर्सिटी पर निर्भर करता है, जबकि Bitcoin Alpha A1 रिसिप्रोसिटी पर निर्भर करता है) पर निर्भर करते हैं।
• कंट्रोल्स ने यह सिद्ध किया कि लाभ का स्रोत "अतिरिक्त क्षमता" (extra capacity) नहीं है (रैंडम फीचर्स ने लाभ को दोहराया नहीं) और यह पुष्टि की कि लाभ केवल सरल नोड एक्टिविटी काउंट का प्रॉक्सी नहीं है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि टेम्पोरल मोटिफ सिग्नेचर, TGNNs में अल्प-क्षितित संरचनात्मक नियमितताओं को इंजेक्ट करने का एक संक्षिप्त, व्याख्या योग्य और आर्किटेक्चर-अज्ञेय तरीका प्रदान करते हैं।

• भवि счет करने की शक्ति (Predictive Power): A1/A2/A3 अक्षों के साथ प्रति-डेटासेट सिग्नेचर एक नैदानिक उपकरण के रूप में कार्य करता है जो यह भविष्यवाणी करता है कि संवर्धन सबसे अधिक फायदेमंद होगा।
• सैद्धांतिक आधार (Theoretical Grounding): टेम्पोरल-WL पदानिर्ह में संवर्धन को रखकर, शोध पत्र स्पष्ट करता है कि मानक TGNNs क्यों विफल होते हैं (वे टेम्पोरल-1-WL द्वारा सीमित हैं) और यह संवर्धन कैसे उस बाधा को दूर करता है।
• व्यावहारिक उपयोगिता (Practical Utility): इसके लिए अंतर्निहित एनकोडर आर्किटेक्चर में बदलाव की आवश्यकता नहीं है, केवल एक पूर्व-गणना किए गए फीचर वेक्टर को जोड़ना आवश्यक है, जिससे इसे मौजूदा पाइपलाइनों पर आसानी से तैनात किया जा सकता है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि विंडो रेडियस $\Delta$ एक संवेदनशील हाइपरपैरामीटर है और उन स्पार्स स्ट्रीम्स में जहां ट्रायडिक फ्लो नगण्य है, संवर्धन एक कम-आयामी सबस्पेस में बदल जाता है जिसके परिणामस्वरूप कम लाभ होता है। फ्रेमवर्क को एक सिद्धांत-आधारित तरीके के रूप में प्रस्तुत किया गया है जो विशिष्ट संरचनात्मक संकेतों को उजागर करता है जिन्हें वैजिला (vanilla) TGNN अक्सर अपने एज स्कोरर्स के लिए उजागर करने में विफल रहते हैं।