🤖 machine learning

Temporal Sheaf Neural Networks with Dynamic Orthogonal Transport

यह शोध पत्र टेम्पोरल शीफ न्यूरल नेटवर्क्स (TSNN) प्रस्तुत करता है, जो एक कारण संबंधी टेम्पोरल लिंक प्रेडिक्शन फ्रेमवर्क है जो विकसित होते इंटरैक्शन सिमेंटिक्स को मॉडल करने के लिए गतिशील, नोड-विशिष्ट ऑर्थोगोनल फ्रेम्स और स्पष्ट ट्रांसपोर्ट का उपयोग करता है, जो एक नवीन शीफ-आधारित डिफ्यूजन प्रक्रिया के माध्यम से ज्यामितीय निरंतरता और मोनोटोन डिसेंट सुनिश्चित करते हुए हेटेरोजेनियस ग्राफ्स पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक विशाल, अराजक ग्रुप चैट में अगला कौन किससे बात करेगा जो कभी सोती नहीं है। यह टेम्पोरल लिंक प्रेडिक्शन (temporal link prediction) की समस्या है: बातचीत के इतिहास को देखकर अगले जुड़ाव का अनुमान लगाना।

अधिकांश मौजूदा AI मॉडल इस समस्या को हल करने के लिए एक ही विशाल "साझा शब्दकोश" (shared dictionary) में हर किसी को डालने की कोशिश करते हैं। वे मान लेते हैं कि टोक्यो के एक किशोर के लिए "दोस्त" शब्द का अर्थ बिल्कुल वही है जो न्यूयॉर्क के एक CEO के लिए है, और यह अर्थ कभी बदलता नहीं है।

यह शोध पत्र तर्क देता है कि यह एक गलती है। लोग अपनी भूमिकाएं बदलते हैं, संदर्भ बदलते हैं, और रिश्ते विकसित होते हैं। एक गेमर के लिए "दोस्त" का अर्थ एक स्टॉक ट्रेडर से अलग होता है। यदि आप हर किसी को एक ही शब्दकोश का उपयोग करने के लिए मजबूर करते हैं, तो अंततः आप भ्रमित हो जाएंगे।

लेखक TSNN (टेम्पोरल शीफ न्यूरल नेटवर्क - Temporal Sheaf Neural Networks) पेश करते हैं, जो एक नया सिस्टम है जो हर व्यक्ति को अपना खुद का व्यक्तिगत शब्दकोश देकर इसे ठीक करता है जो वास्तविक समय (real-time) में अपडेट होता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है:

1. "व्यक्तिगत शब्दकोश" (डायनेमिक लोकल फ्रेम्स)

कल्पना कीजिए कि नेटवर्क में हर व्यक्ति के पास अपना एक नोटबुक (एक "फ्रेम") है जहाँ वे परिभाषित करते हैं कि उनके रिश्तों का क्या अर्थ है।

पुराना तरीका: हर कोई एक ही नोटबुक में लिखता है। यदि समूह के लिए "दोस्त" की परिभाषा बदलती है, तो सभी के नोट्स गड़बड़ा जाते हैं।
TSNN का तरीका: हर किसी के पास अपनी नोटबुक है। जब एलिस बॉब से बात करती है, तो एलिस अपनी नोटबुक में लिखती है, और बॉब अपने में लिखता है। उनकी परिभाषाएं थोड़ी अलग हो सकती हैं, और वह ठीक है। जैसे-जैसे वे बातचीत करते हैं, यह नोटबुक बदलती रहती है, जिससे उनकी समझ ताज़ा और सटीक बनी रहती है।

2. "अनुवादक" (ऑर्थोगोनल ट्रांसपोर्ट)

जब एलिस भविष्य की बातचीत का अनुमान लगाने के लिए बॉब के नोट्स की तुलना करने के लिए अपने नोट्स देखना चाहती है, तो वे सीधे एक-दूसरे के नोट्स नहीं पढ़ सकते क्योंकि वे अलग-अलग भाषाएं (कोऑर्डिनेट सिस्टम) उपयोग करते हैं।

समाधान: TSNN एक अंतर्निहित अनुवादक (जिसे "ऑर्थोगोनल ट्रांसपोर्ट" कहा जाता है) का उपयोग करता है। नोट्स की तुलना करने से पहले, यह एलिस के एंट्री को बॉब की भाषा में पूरी तरह से अनुवादित करता है ताकि कोई अर्थ न खो जाए।
उपमा: यह ऐसा है जैसे एलिस फ्रेंच बोल रही है और बॉब स्पेनिश, और एलिस के फ्रेंच वाक्य को बॉब की अपनी भाषा में सटीक स्पेनिश में अनुवादित किया जाता है ताकि बॉब समझ सके कि उसने वास्तव में क्या कहा था, अपने स्वयं के संदर्भ में। इसमें अंग्रेजी बोलने के लिए मजबूर करने के बजाय, जो सूक्ष्म अंतर खो सकता है, AI तुरंत अनुवाद करता है।

3. "मेमोरी कीपर" (कोऑर्डिनेट-कंसिस्टेंट कैरी-ओवर)

क्या होता है जब एलिस अपनी नोटबुक अपडेट करती है? क्या वह कल लिखा हुआ सब कुछ भूल जाती है?

समस्या: पुराने मॉडलों में, शब्दकोश को अपडेट करने से अक्सर पुरानी यादें गड़बड़ा जाती थीं।
TSNN का समाधान: सिस्टम एक "जादुई कैरी-ओवर" का उपयोग करता है। जब एलिस अपनी नोटबुक अपडेट करती है, तो सिस्टम उसकी पुरानी यादों को नए फॉर्मेट में गणितीय रूप से शिफ्ट करता है ताकि वे पूरी तरह से सुरक्षित रहें। यह एक किताब को नए फॉन्ट में फिर से लिखने जैसा है; शब्द (अर्थ) बिल्कुल वही रहते हैं, भले ही उनका स्वरूप (कोऑर्डिनेट्स) बदल गया हो।

4. "स्मूदी मिक्सर" (शीफ डिफ्यूजन)

एक बातचीत के बाद, सिस्टम केवल एलिस और बॉब को अपडेट नहीं करता है; यह जानकारी को उनके तत्काल मित्र मंडल में धीरे से फैला देता है ताकि यह सुनिश्चित हो सके कि सभी की समझ सुसंगत है।

उपमा: कल्पना कीजिए कि पानी के गिलास में रंग की एक बूंद डाली गई है। रंग फैलता है। TSNN गणितीय रूप से ऐसा ही करता है, लेकिन यह बहुत सावधानी से करता है ताकि "रंग" (अर्थ) पतला या धुंधला न हो जाए। यह सुनिश्चित करता है कि यदि एलिस और बॉब किसी चीज़ पर सहमत हैं, तो उनके दोस्तों की उस घटना के प्रति समझ भी संरेखित (aligned) है।

यह बेहतर क्यों है?

शोध पत्र ने बड़े डेटासेट्स (जैसे विकिपीडिया संपादन, अमेज़न समीक्षाएं और राजनीतिक मतदान रिकॉर्ड) पर इसका परीक्षण किया।

परिणाम: TSNN ने लगभग हर अन्य मौजूदा विधि को पछाड़ दिया।
क्यों जीता: इसने विषमता (heterogeneity) (विभिन्न प्रकार के लोग और भूमिकाएं) को बहुत बेहतर तरीके से संभाला। उन ग्राफ्स में जहाँ नोड्स की भूमिकाएं बहुत अलग होती हैं (जैसे एक जटिल सामाजिक नेटवर्क), सबको एक "ग्लोबल" दृश्य में जबरदस्ती डालना विफल हो जाता है। TSNN सफल रहा क्योंकि इसने इस बात का सम्मान किया कि हर किसी का अपना दृष्टिकोण होता है और तुलना करने से पहले ही उन्हें ठीक से अनुवादित किया।

मुख्य निष्कर्ष

TSNN को एक सुपर-इंटेलिजेंट मैचमेकर के रूप में सोचें जो सबको एक ही भाषा बोलने के लिए मजबूर नहीं करता है। इसके बजाय, यह हर किसी को अपना विकसित होता हुआ शब्दकोश देता है, तुलना करने से पहले उनके बीच पूरी तरह से अनुवाद करता है, और यह सुनिश्चित करता है कि शब्दावली बदलने के बावजूद यादें स्पष्ट रहें। यह मौजूदा मॉडलों की तुलना में बहुत अधिक सटीकता के साथ भविष्य के कनेक्शनों का अनुमान लगाने की अनुमति देता है जो एक एकल, कठोर प्रणाली में सबको जबरदस्ती फिट करने की कोशिश करते हैं।

तकनीकी सारांश: डायनेमिक ऑर्थोगोनल ट्रांसपोर्ट के साथ टेम्पोरल शीफ न्यूरल नेटवर्क (TSNN)

1. समस्या विवरण

टेम्पोरल लिंक प्रेडिक्शन (Temporal link prediction) में निरंतर विकसित होते ग्राफों में अतीत की घटनाओं के कालानुक्रमिक प्रवाह के आधार पर भविष्य के कनेक्शनों का अनुमान लगाना शामिल है। मौजूदा निरंतर-समय ग्राफ मॉडलों में एक मौलिक चुनौती रिप्रेजेंटेशन-अलाइनमेंट (representation-alignment) की समस्या है। वर्तमान आर्किटेक्चर आमतौर पर एक साझा वैश्विक एम्बेडिंग स्पेस (shared global embedding space) के भीतर कार्य करते हैं, जो यह मान लेते हैं कि किसी नोड की स्थिति को परिभाषित करने वाले समन्वय अक्ष (coordinate axes) समय के साथ अर्थपूर्ण रूप से सुसंगत रहते हैं। हालांकि, गतिशील प्रणालियों में, नोड की भूमिकाएं बदलती रहती हैं (जैसे, उपयोगकर्ताओं का समुदायों में बदलना, प्रोटीनों का नए साथियों को प्राप्त करना), जिससे सीखे गए रिप्रेसेंटेशन का आधार (basis) खिसक जाता है। जबकि संग्रहीत वेक्टर संख्यात्मक रूप से स्थिर रह सकते हैं, उनका अर्थपूर्ण अर्थ (semantic meaning) गलत संरेखित हो सकता है, जिससे अलग-अलग स्थानीय संदर्भों में सीखी गई अवस्थाओं की तुलना करने पर गलत भविष्यवाणियां हो सकती हैं। मौजूदा विधियां, जिनमें मेमोरी-आधारित आर्किटेक्चर और इवेंट-सेंट्रिक एनकोडर शामिल हैं, इस अनकहे वैश्विक-अलाइनमेंट धारणा को विरासत में लेती हैं और तुलना से पहले परस्पर क्रिया करने वाली अवस्थाओं को संरेखित करने के लिए किसी स्पष्ट तंत्र की कमी रखती हैं।

2. कार्यप्रणाली: टेम्पोरल शीफ न्यूरल नेटवर्क (TSNN)

TSNN निरंतर-समय इंटरैक्शन स्ट्रीम के लिए शीफ-आधारित रिप्रेसेंटेशन लर्निंग का विस्तार करके इस चुनौती का समाधान करता है। एक साझा वैश्विक स्थान के बजाय, TSNN प्रत्येक नोड को एक समय-परिवर्तनीय ऑर्थोगोनल फ्रेम (एक स्थानीय समन्वय प्रणाली) से लैस करता है। मॉडल एक सख्त प्रेडिक्ट-देन-अपडेट (predict-then-update) प्रोटोकॉल के तहत कार्य करता है, जो यह सुनिश्चित करता है कि सभी गणनाएं पूरी तरह से कारणत्मक (causal) हों और केवल पूर्व-इवेंट इतिहास पर निर्भर हों।

मुख्य घटक

डायनेमिक लोकल फ्रेम्स (Dynamic Local Frames): प्रत्येक नोड $v$ एक स्टाल वेक्टर $h_v(t)$ (अर्थपूर्ण स्मृति/semantic memory) और फ्रेम पैरामीटर्स $F_v(t)$ बनाए रखता है जो एक ऑर्थोगोनल मैप $U_v(t) \in \mathbb{R}^{d \times d}$ को पैरामीटराइज करते हैं। ये फ्रेम्स लो-रैंक हाउसहोल्डर उत्पादों (Householder products) के माध्यम से कुशलतापूर्वक पैरामीटराइज किए जाते हैं, जिसमें प्रति नोड केवल $O(kd)$ पैरामीटर्स की आवश्यकता होती है।
स्पष्ट ऑर्थोगोनल ट्रांसपोर्ट (Explicit Orthogonal Transport): विभिन्न नोड्स से अवस्थाओं की तुलना या एकत्रीकरण करने के लिए, TSNN उन्हें स्पष्ट रूप से एक सामान्य स्थानीय फ्रेम में ट्रांसपोर्ट करता है। नोड्स के बीच ट्रांसपोर्ट मैप $Q_{uv}(t) = U_u(t)^\top U_v(t)$ के रूप में परिभाषित किया गया है। यह सुनिश्चित करता है कि इंटरैक्शन को एक सिंक्रोनाइज्ड समन्वय प्रणाली में ज्यामितीय दूरियों के आधार पर स्कोर किया जाता है, जिससे विकसित होते स्थानीय फ्रेम्स के बावजूद अर्थपूर्ण सामग्री सुरक्षित रहती है।
कोऑर्डिनेट-कंसिस्टेंट स्टेट इवोल्यूशन (Coordinate-Consistent State Evolution): जब किसी नोड का फ्रेम अपडेट होता है, तो संग्रहीत हिडन स्टेट को हटाया या री-इनिशियलाइज नहीं किया जाता है। इसके बजाय, इसे $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$ के माध्यम से सटीक रूप से ले जाया जाता है। यह गारंटी देता है कि मेमोरी की अर्थपूर्ण सामग्री स्थानीय समन्वय आधार (local coordinate basis) में परिवर्तनों के तहत अपरिवर्तित रहती है।
जियोमेट्रिक-रेसिडुअल डिकोडर (Geometric-Residual Decoder): स्कोरिंग तंत्र एक ज्यामितीय शाखा (geometric branch) को जोड़ता है, जो संरेखित अवस्थाओं के बीच ट्रांसपोर्ट किए गए स्क्वेर्ड यूक्लिडियन डिस्टेंस पर भविष्यवाणियों को एंकर करता है, और एक रेसिडुअल शाखा (MLP) को जो संबंध प्रकारों, नवीनता और नोड मेटाडेटा के आधार पर सुधारों को सीखती है। यह डिज़ाइन एक कंट्रास्टिव इंडक्टिव बायस को लागू करता है जबकि व्यवस्थित विचलन के लिए लचीलापन भी प्रदान करता है।
फुल-एक्टिव शीफ डिफ्यूजन (Full-Active Sheaf Diffusion): एक इवेंट के बाद, मॉडल एक इवेंट-लोकल एक्टिव ग्राफ पर फीचर-स्केल्ड नॉर्मलाइज्ड शीफ डिफ्यूजन के $K$ राउंड करता है। यह डिफ्यूजन को कॉम्बिनेटोरियल शीफ डिरिचलेट ऊर्जा (combinatorial sheaf Dirichlet energy) पर एक मेट्रिक-ग्रेडिएंट डिसेंट स्टेप के रूप में तैयार किया गया है, जो मोनोटोन ऊर्जा गिरावट और नॉन-एक्सपेंसिवनेस (non-expansiveness) सुनिश्चित करता है।

एल्गोरिद्मिक पाइपलाइन

प्रत्येक इनकमिंग इवेंट $(u, v, t, r, x)$ के लिए:

स्कोरिंग: उम्मीदवार गंतव्यों को केवल पूर्व-इवेंट इतिहास ( $E_{<t}$ ) का उपयोग करके जियोमेट्रिक-रेसिडुअल डिकोडर के माध्यम से रैंक किया जाता है।
अपडेट: सकारात्मक इवेंट को देखने पर, एंडपॉइंट फ्रेम्स को ट्रांसपोर्ट किए गए पार्टनर स्टेट्स का उपयोग करके अपडेट किया जाता है।
कैरी-ओवर: पूर्व-इवेंट स्टाल्स को नए स्थानीय निर्देशांकों में रूपांतरित किया जाता है।
मेसेज पासिंग: संदेशों की गणना अपडेट किए गए स्थानीय निर्देशांकों में की जाती है और GRU द्वारा प्रोसेस की जाती है।
डिफ्यूजन: स्टेट स्टोर में कमिट करने से पहले अवस्थाओं को स्मूथ और रिफाइन करने के लिए फुल-एक्टिव डिफ्यूजन लागू किया जाता है।

3. प्रमुख योगदान

शीफ-स्ट्रक्चर्ड टेम्पोरल GNN: एक नवीन फ्रेमवर्क जहाँ प्रत्येक नोड के पास एक समय-परिवर्तनीय ऑर्थोगोनल फ्रेम होता है। उम्मीदवार लिंक को जियोमेट्रिक-रेसिडुअल डिकोडर का उपयोग करके सख्ती से पूर्व-इवेंट इतिहास से स्कोर किया जाता है।
कोऑर्डिनेट-कंसिस्टेंट मेमोरी इवोल्यूशन: एक तंत्र जो एकीकरण से पहले परस्पर क्रिया करने वाली अवस्थाओं को एक सामान्य फ्रेम में ट्रांसपोर्ट करता है और फ्रेम अपडेट के दौरान संग्रहीत हिडन स्टेट्स को सटीक रूप से कैरी-ओवर करता है, जिससे स्थानीय निर्देशांकों के विकसित होने पर भी अर्थपूर्ण सामग्री सुरक्षित रहती है।
स्पेक्ट्रल और स्टेबिलिटी गारंटी:
- प्रेरित डिग्री-नॉर्मलाइज्ड शीफ लैपलेसियन (degree-normalized sheaf Laplacian), सिमेट्रिक नॉर्मलाइज्ड ग्राफ लैपलेसियन के ऑर्थोगोनली सिमिलर है, जिसका स्पेक्ट्रम $[0, 2]$ में सीमित है।
- फुल-एक्टिव फीचर-स्केल्ड डिफ्यूजन ऑपरेटर यह सिद्ध है कि यह कॉम्बिनेटोरियल शीफ डिरिचलेट ऊर्जा पर एक मेट्रिक-ग्रेडिएंट स्टेप है, जो डिग्री-फ्री मोनोटोन डिसेंट और नॉन-एक्सपेंसिवनेस की गारंटी देता है।
- फ्रेम ड्रिफ्ट अपडेट को केवल रैखिक रूप से बाधित करता है, जिसकी स्थिरता एक स्मूथनेस रेगुलराइज़र द्वारा नियंत्रित होती है।
अनुभवजन्य प्रदर्शन (Empirical Performance): TSNN, TGB v2, टेम्पोरल हेट्रोजेनियस, और DGB बेंचमार्क सूट्स पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है, विशेष रूप से उन ग्राफों पर उत्कृष्ट प्रदर्शन करता है जहाँ नोड-रोल हेट्रोजेनिटीिटी (node-role heterogeneity) अधिक होती है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो ट्रैक्स पर TSNN का मूल्यांकन किया:

ट्रैक A (TGB v2): इसमें लिंक-प्रेडिक्शन डेटासेट्स (tgbl-wiki, tgbl-review) और एक टेम्पोरल हेट्रोजेनियस ग्राफ (thgl-software) शामिल हैं। TSNN 15 आधिकारिक बेसलाइन्स की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है, tgbl-wiki (82.82%) और thgl-software (71.13%) पर उच्चतम MRR प्राप्त करता है, और tgbl-review पर महत्वपूर्ण सुधार करता है।
ट्रैक B (DGB): इसमें 13 मानक बेंचमार्क (जैसे, Wikipedia, Reddit, MOOC, Enron) शामिल हैं। TSNN औसत प्रिसिजन (Average Precision - AP) और AUC दोनों मेट्रिक्स पर सबसे कम औसत रैंक प्राप्त करता है। उल्लेखनीय लाभों में TPNet की तुलना में MOOC पर +2.97 AP और US Legis पर +6.50 AP शामिल है।
इंडक्टिव सेटिंग: इंडक्टिव लिंक प्रेडिक्शन (अनदेखे नोड्स) में, TSNN भी सबसे कम औसत रैंक प्राप्त करता है, जो बिना किसी मेमोरीकृत प्रक्षेपवक्र (memorized trajectories) पर निर्भर किए मजबूत सामान्यीकरण (generalization) प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies): प्रयोग पुष्टि करते हैं कि रेसिडुअल स्कोरर, स्पष्ट ऑर्थोगोनल ट्रांसपोर्ट, और समय-परिवर्तनीय स्थानीय फ्रेम प्रदर्शन के प्राथमिक चालक हैं, जहाँ ट्रांसपोर्ट और डायनेमिक फ्रेम्स पूरे डेटासेट्स में निरंतर सुधार प्रदान करते हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि TSNN डायनेमिक रिलेशनल लर्निंग में एक महत्वपूर्ण अंतर को संबोधित करता है: बदलते नोड-लोकल अर्थ (semantics) के तहत रिप्रेसेंटेशन अर्थ को संरक्षित करने के लिए ऑपरेटर-लेवल तंत्र की कमी। विकसित होते नोड-लोकल फ्रेम्स, स्पष्ट ट्रांसपोर्ट, और ऑनलाइन कॉज़ल मेमोरी अपडेट को एकीकृत करके, TSNN टेम्पोरल ग्राफ लर्निंग के लिए एक बेसिस-कंसिस्टेंट (basis-consistent) दृष्टिकोण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि अनुभवजन्य लाभ केवल समृद्ध डिफ्यूजन स्पेक्ट्रम से नहीं आते हैं (क्योंकि फ्रेम्स फिक्स्ड होने पर स्पेक्ट्रल गुण मानक ग्राफ डिफ्यूजन के समान होते हैं), बल्कि डायनेमिक लोकल फ्रेम्स, फ्रेम परिवर्तनों के बीच सटीक कैरी-ओवर, फुल-एक्टिव इवेंट-लोकल डिफ्यूजन, और लोकल कोऑर्डिनेट्स में नॉनलीनियर अपडेट्स से आते हैं। मॉडल को पूरी तरह से गेज-इक्विवेरेंट (gauge-equivariant) के बजाय "बेसिस-कंसिस्टेंट" के रूप में वर्णित किया गया है, क्योंकि फ्रेम अपडेट और मैसेज MLPs चुने गए स्थानीय निर्देशांकों में कार्य करते हैं, जबकि ट्रांसपोर्ट और डिकोडिंग सिंक्रोनाइज्ड ऑर्थोगोनल परिवर्तनों का सम्मान करते हैं। यह कार्य स्थापित करता है कि जब नोड भूमिकाएं समय के साथ बदलती हैं, तो परस्पर क्रिया करने वाली अवस्थाओं का स्पष्ट संरेखण सटीक टेम्पोरल प्रेडिक्शन के लिए आवश्यक है।