🤖 machine learning

Time-varying Interaction Graph ODE for Dynamic Graph Representation Learning

यह शोधपत्र TI-ODE का प्रस्ताव करता है, जो एक नवीन ढांचा है जो ग्राफ ODE विकास को समय-निर्भर सीखने योग्य इंटरेक्शन बेसिस फंक्शन्स में विघटित करके डायनेमिक ग्राफ रिप्रजेंटेशन लर्निंग को बढ़ाता है, जिससे विविध और विकसित होते इंटर-नोड पैटर्न को प्रभावी ढंग से कैप्चर करने के साथ-साथ अत्याधुनिक प्रदर्शन और बेहतर मजबूती प्राप्त होती है।

मूल लेखक: Xiaoyi Wang, Zhiqiang Wang, Jianqing Liang, Xingwang Zhao, Chuangyin Dang, Zhen Jin, Jiye Liang

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoyi Wang, Zhiqiang Wang, Jianqing Liang, Xingwang Zhao, Chuangyin Dang, Zhen Jin, Jiye Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अगले एक घंटे में भीड़ वाले रेलवे स्टेशन में लोगों के चलने-फिरने के तरीके की भविष्यवाणी करने की कोशिश कर रहे हैं। अतीत में, कंप्यूटर मॉडल यह मानकर चलते थे कि हर कोई नियमों के एक ही सटीक सेट का पालन करता है: "यदि आप अपने मित्र को देखें, तो उनकी ओर चलें; यदि आप किसी बाधा को देखें, तो उसके चारों ओर से निकलें।" इन मॉडलों ने हर बातचीत को इस तरह माना जैसे कि वह एक ही प्रकार की बातचीत हो, जो हमेशा एक ही गति पर हो रही हो।

आपके द्वारा प्रदान किया गया शोध पत्र इस तरह की चलती-फिरती भीड़ (या "डायनेमिक ग्राफ्स") को मॉडल करने का एक नया, अधिक स्मार्ट तरीका पेश करता है। लेखक इसके नए तरीके को TI-ODE (Time-varying Interaction Graph Ordinary Differential Equations) कहते हैं।

यहाँ इसका एक सरल विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:

1. समस्या: "एक ही नियम सबके लिए" वाली गलती

मौजूदा मॉडल एक ऐसे शिक्षक की तरह हैं जो कक्षा के हर छात्र को गणित की समस्या हल करने के लिए बिल्कुल एक ही विधि का उपयोग करने के लिए कहता है, चाहे वह छात्र बीजगणित (algebra) में अच्छा हो, ज्यामिति (geometry) में, या उसे समझने के लिए केवल चित्र बनाने की आवश्यकता हो।

वास्तविक जीवन: वास्तविक भीड़ में, आपसी संपर्क (interactions) बदलते रहते हैं। कभी लोग बातें कर रहे होते हैं (एक मैत्रीपूर्ण संपर्क), कभी वे एक-दूसरे के पास से तेजी से गुजर रहे होते हैं (एक तीव्र संपर्क), और कभी वे किसी फिसलन या बाधा से बच रहे होते हैं (एक प्रतिक्रियात्मक संपर्क)। ये सभी चीजें एक साथ होती हैं और समय के साथ बदलती रहती हैं।
पुराना तरीका: पिछले कंप्यूटर मॉडलों ने यह मान लिया था कि हर कोई एक ही समय में बिल्कुल एक जैसा काम कर रहा है। वे इस तथ्य को नहीं संभाल सके कि एक "दोस्ती" वाला संपर्क सुबह मजबूत हो सकता है लेकिन शाम को कमजोर हो सकता है, या एक "तेजी से गुजरने" वाला संपर्क किसी विशिष्ट घटना के दौरान ही हो सकता है।

2. समाधान: "स्विस आर्मी नाइफ" वाला दृष्टिकोण

लेखक TI-ODE का प्रस्ताव देते हैं, जो एक साधारण चम्मच के बजाय कंप्यूटर को एक स्विस आर्मी नाइफ देने जैसा है।

ब्लेड्स (आधार फलन/Basis Functions): केवल एक नियम के बजाय, TI-ODE में "इंटरैक्शन टूल्स" का एक सेट है। एक टूल "बातचीत" वाले संपर्कों के लिए अच्छा हो सकता है, दूसरा "तेजी से गुजरने" के लिए, और तीसरा "बचने" के लिए।
हैंडल (समय-परिवर्तित भार/Time-Varying Weights): जादू केवल टूल्स के पास होने में नहीं है; जादू यह जानने में है कि कौन सा टूल इस्तेमाल करना है और हर सेकंड उसे कितनी जोर से दबाना है। TI-ODE के पास एक स्मार्ट हैंडल है जो लगातार खुद को एडजस्ट करता है। यह कह सकता है, "अभी, 'बातचीत' वाला टूल 80% सक्रिय है, लेकिन 10 मिनट में, 'तेजी से गुजरने' वाला टूल हावी हो जाएगा।"

3. यह कैसे सीखता है: "अभ्यास सत्र"

इन भविष्यवाणियों को करने के लिए, मॉडल दो चरणों वाली प्रक्रिया का उपयोग करता है:

स्नैपशॉट (एनकोडर): सबसे पहले, यह भीड़ के इतिहास (पिछले कुछ मिनटों) को देखता है ताकि वर्तमान स्थिति और माहौल को समझा जा सके। यह यह समझने के लिए एक विशेष "अटेंशन" तंत्र का उपयोग करता है कि कौन किसे देख रहा है या ध्यान दे रहा है।
अनुमान (रैंडमनेस): यह सुनिश्चित करने के लिए कि मॉडल एक ही ढर्रे में न फंस जाए, मॉडल थोड़ा "रचनात्मक अराजकता" (RandNet का उपयोग करके) जोड़ता है। कल्पना कीजिए कि विशेषज्ञों के एक समूह से भविष्य का अनुमान लगाने के लिए कहा जा रहा है, लेकिन उनमें से कुछ को थोड़े अलग शुरुआती परिदृश्यों की कल्पना करने के लिए कहा जाता है। मॉडल फिर इन अनुमानों को मिलाकर सबसे संभावित मार्ग खोजता है।
मूवी (ODE सॉल्वर): अंत में, स्थिर फोटो की एक श्रृंखला (जैसे फ्लिपबुक) लेने के बजाय, मॉडल एक निरंतर चलती फिल्म चलाता है। यह वर्तमान क्षण से भविष्य की ओर सुचारू रूप से बहने के लिए गणित (Ordinary Differential Equations) का उपयोग करता है, और जैसे-जैसे स्थिति बदलती है, यह "टूल्स के मिश्रण" को हर मिलीसेकंड में एडजस्ट करता रहता है।

4. यह बेहतर क्यों है: "स्थिर पुल" का उदाहरण

शोध पत्र का दावा है कि यह नया तरीका अधिक मजबूत (robust) है।

पुराना तरीका: एक ऐसे पुल की कल्पना करें जो एक ही विशाल बीम से बना हो। यदि आप शुरुआत में पुल को थोड़ा सा भी धक्का देते हैं, तो जैसे ही आप उस पर चलते हैं, पूरा पुल बुरी तरह हिलने लगेगा और ढह जाएगा। यह पुराने मॉडलों के साथ होता है जब शुरुआती डेटा में एक छोटी सी त्रुटि होती; वह त्रुटि समय के साथ बहुत बड़ी हो जाती है।
TI-ODE: एक ऐसे पुल की कल्पना करें जो कई छोटे, लचीले केबलों से बना है जो एक साथ काम करते हैं। यदि आप एक केबल को धक्का देते हैं, तो अन्य केबल झटके को सोखने के लिए खुद को समायोजित कर लेते हैं। क्योंकि TI-ODE अपने काम को कई अलग-अलग "टूल्स" (आधार फलनों) के बीच बांट देता है जो अपने भार को एडजस्ट करते हैं, इसलिए शुरुआत में हुई एक छोटी सी गलती बाद में बड़ी आपदा नहीं बनती। यह लंबे समय तक स्थिर रहता है।

5. प्रमाण: वास्तविक दुनिया के परीक्षण

लेखकों ने छह अलग-अलग "दुनियाओं" पर इसका परीक्षण किया:

भौतिकी (Physics): उछलते हुए स्प्रिंग्स और एक-दूसरे को धकेलने वाले आवेशित कणों (charged particles) का अनुकरण करना।
अणु (Molecules): यह देखना कि प्रोटीन में परमाणु कैसे घूमते और मुड़ते हैं।
वास्तविक जीवन: मानव शरीर की गतिविधियों (जैसे नृत्य या दौड़ना) को ट्रैक करना और यहाँ तक कि वायरस के प्रसार (चीन में COVID-19 महामारी के डेटा का उपयोग करके) को ट्रैक करना।

परिणाम: हर परीक्षण में, TI-ODE ने पुराने मॉडलों की तुलना में भविष्य की गतिविधियों की अधिक सटीक भविष्यवाणी की।

"वायरस" का उदाहरण: COVID डेटा को देखते समय, मॉडल वास्तव में यह देख सका कि इंटरैक्शन के नियम कैसे बदल रहे हैं। उदाहरण के लिए, इसने देखा कि सख्त लॉकडाउन के दौरान, "यात्रा" वाला टूल बहुत कमजोर (कम भार) हो गया, लेकिन जैसे ही प्रतिबंध हटे, वह टूल फिर से मजबूत हो गया। यह साबित करता है कि मॉडल केवल अनुमान नहीं लगा रहा है; यह समझ रहा है कि इंटरैक्शन क्यों बदल रहे हैं।

सारांश

TI-ODE को एक गिरगिट के रूप में समझें जो पर्यावरण के अनुकूल होने के लिए अपने त्वचा के पैटर्न को पूरी तरह से बदल सकता है। जबकि पुराने मॉडल एक स्थिर रंग में फंसे हुए थे, TI-ODE अपने रंगों (इंटरैक्शन पैटर्न) और तीव्रता (भार) को लगातार बदलता रहता है ताकि वह वास्तविक दुनिया में चीजों के हिलने-डुलने और आपस में जुड़ने की जटिल और बदलती वास्तविकता से मेल खा सके। यह इसे गतिशील प्रणालियों के भविष्य की भविष्यवाणी करने के लिए एक बहुत अधिक सटीक और विश्वसनीय भविष्य बताने वाला यंत्र बनाता है।

यहाँ शोध पत्र "Time-varying Interaction Graph ODE for Dynamic Graph Representation Learning" (TI-ODE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र मौजूदा डायनेमिक ग्राफ न्यूरल नेटवर्क्स (DGNNs) और ग्राफ न्यूरल ऑर्डिनरी डिफरेंशियल इक्वेशंस (Graph Neural ODEs) की एक महत्वपूर्ण सीमा को संबोधित करता है। जबकि वर्तमान मॉडल निरंतर-समय (continuous-time) गतिकी को प्रभावी ढंग से कैप्चर करते हैं, वे आमतौर पर एक एकीकृत संदेश-पासिंग तंत्र (unified message-passing mechanism) पर निर्भर करते हैं। यह धारणा निहित करती है कि सभी नोड-बीच की अंतःक्रियाएं (interactions) समय या अंतःक्रिया के प्रकार के बावजूद एक ही फलन (function) साझा करती हैं।

हालाँकि, वास्तविक दुनिया के डायनेमिक ग्राफ (जैसे, सोशल नेटवर्क, महामारी का प्रसार, आणविक गतिशीलता) दो जटिल विशेषताओं को प्रदर्शित करते हैं जिन्हें एकीकृत मॉडल कैप्चर करने में विफल रहते हैं:

विविधता (Diversity): अंतःक्रियाएं एक साथ कई अलग-अलग रूपों में हो सकती हैं (जैसे, सोशल मीडिया में 'लाइक' बनाम 'शेयर'; महामारी में 'हवा के माध्यम से' बनाम 'संपर्क से' संचरण)।
समय-परिवर्तनीय प्रकृति (Time-Varying Nature): अंतःक्रिया पैटर्न समय के साथ गतिशील रूप से विकसित होते हैं, जिसमें लिंक का उभरना/गायब होना, अंतःक्रिया प्रकारों के बीच स्विच करना और अंतःक्रिया की शक्ति में उतार-चढ़ाव शामिल है।

मुख्य चुनौती इन विविध और समय-विकसित होने वाले अंतःक्रिया पैटर्न को गणनात्मक दक्षता या मजबूती (robustness) से समझौता किए बिना एक निरंतर-समय ढांचे के भीतर मॉडल करना है।

2. कार्यप्रणाली: TI-ODE

लेखक TI-ODE (Time-varying Interaction Graph Ordinary Differential Equations) प्रस्तावित करते हैं, जो एक नया ढांचा है जो ग्राफ ODE विकास फलन (evolution function) को सीखने योग्य 'इंटरेक्शन बेसिस फंक्शन्स' (interaction basis functions) के एक सेट में विघटित करता है।

A. मॉडल आर्किटेक्चर

मॉडल एक वेरिएशनल ऑटोएन्कोडर (VAE) ढांचे के भीतर कार्य करता है, जिसमें तीन मुख्य घटक शामिल हैं:

प्रारंभिक स्थिति निर्माण (Encoder):
- टेम्पोरल ग्राफ निर्माण: ऐतिहासिक डायनेमिक ग्राफ स्नैपशॉट्स को एक टेम्पोरल ग्राफ में परिवर्तित किया जाता है जिसमें स्थानिक किनारे (spatial edges - नोड टोपोलॉजी) और टेम्पोरल किनारे (temporal edges - समय के साथ नोड का विकास) दोनों शामिल होते हैं।
- स्थानिक-कालिक एन्कोडिंग (Spatio-Temporal Encoding): एक अटेंशन-आधारित एनकोडर पड़ोसियों और समय चरणों (time steps) से विशेषताओं को एकत्रित करता है। यह एज प्रकारों को अलग करने के लिए टाइम एम्बेडिंग्स का उपयोग करता है।
- परिष्कृत पोस्टीरियर वितरण (Refined Posterior Distribution): प्रारंभिक लेटेंट अवस्थाओं की विविधता को बढ़ाने के लिए, मॉडल एक रैंडम मैपिंग नेटवर्क (RandNet) का उपयोग करता है। यह प्राथमिक एनकोडर आउटपुट से कई सहायक पोस्टीरियर वितरण उत्पन्न करता है और उन्हें सीखने योग्य भार (weights) का उपयोग करके अनुकूल रूप से फ्यूज करता है। यह एक परिष्कृत वितरण बनाता है जिससे प्रारंभिक लेटेंट अवस्थाएँ ( $z_0$ ) ली जाती हैं।
टाइम-वेरिंग इंटरेक्शन ग्राफ ODE (कोर इवोल्यूशन):
एक एकल फलन $f(z_i, z_j)$ के बजाय, लेटेंट स्टेट का डेरिवेटिव $K$ बेसिस फंक्शन्स के एक भारित योग (weighted sum) के रूप में परिभाषित किया गया है:
$\frac{dz_i^t}{dt} = f_a\left( \sum_{j \in V} \sum_{k=1}^K w_{i,j,k}^t f_k^r(z_i^t, z_j^t) \right) - z_i^t$

बेसिस फंक्शन्स ( $f_k^r$ ): प्रत्येक $k$ -वाँ बेसिस फंक्शन नोड्स के बीच एक विशिष्ट प्रकार की अंतःक्रिया (जैसे, विभिन्न संचरण मोड) को दर्शाता है।
समय-निर्भर भार ( $w_{i,j,k}^t$ ): ये भार गतिशील रूप से सीखे जाते हैं और समय $t$ पर निर्भर करते हैं। इन्हें एक रिस्पॉन्स वेट (नोड $i$ अंतःक्रिया $k$ के प्रति कैसे प्रतिक्रिया करता है) और एक एक्टिवेशन वेट (नोड $j$ अंतःक्रिया $k$ को कैसे प्रसारित करता है) में विभाजित किया गया है।
एग्रीगेशन ( $f_a$ ): एक फलन जो नोड अवस्था को अपडेट करने के लिए भारित अंतःक्रिया संकेतों को एकीकृत करता है।

डिकोडर और ऑप्टिमाइजेशन:
- एक हल्का डिकोडर विकसित लेटेंट अवस्थाओं को वापस ऑब्जर्वेशन स्पेस में मैप करता है (भविष्य के नोड गुणों की भविष्यवाणी करना)।
- प्रशिक्षण एविडेंस लोअर बाउंड (ELBO) को कम करने के लिए किया जाता है, जो रिकंस्ट्रक्शन एरर और लेटेंट डिस्ट्रीब्यूशन के KL-डाइवर्जेंस के बीच संतुलन बनाता है।

B. सैद्धांतिक मजबूती (Theoretical Robustness)

लेखक प्रमेय (Theorems 4.1 और 4.2) प्रदान करते हैं जो यह सिद्ध करते हैं कि TI-ODE एकीकृत-इंटरेक्शन मॉडल्स की तुलना में अधिक मजबूत है।

अस्तित्व और विशिष्टता (Existence & Uniqueness): बाउंडेड वेट्स और लिप्सचिट्ज़ निरंतर (Lipschitz continuous) एक्टिवेशन के तहत, समाधान मौजूद होते हैं और प्रारंभिक स्थितियों पर निरंतर रूप से निर्भर करते हैं।
स्थिरता (Stability): TI-ODE व्यवधान-प्रेरित त्रुटियों (perturbation-induced errors) की वृद्धि दर में कम होता है (ल्यपुनोव स्थिरता)। कई बेसिस फंक्शन्स में अंतःक्रिया को विभाजित करके, मॉडल व्यक्तिगत सब-नेटवर्क्स के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) को कम करता है, जिससे लंबे समय के विकास के दौरान एकीकृत मॉडल्स में होने वाले त्रुटि विस्तार (exponential amplification of errors) को रोका जा सकता है।

3. मुख्य योगदान

नया फॉर्मूलेशन: TI-ODE पहला ग्राफ न्यूरल ODE है जो अंतर-नोड अंतःक्रियाओं को कई सीखने योग्य बेसिस फंक्शन्स के समय-निर्भर संयोजन के रूप में स्पष्ट रूप से मॉडल करता है, जो विविधता और टेम्पोरल विकास दोनों को कैप्चर करता है।
सैद्धांतिक गारंटी: यह शोध पत्र कठोर सैद्धांतिक प्रमाण प्रदान करता है कि TI-ODE एकीकृत संदेश-पासिंग फंक्शन का उपयोग करने वाले मॉडल्स की तुलना में प्रारंभिक अवस्था के व्यवधानों के विरुद्ध बेहतर मजबूती (robustness) प्रदान करता है।
व्यापक मूल्यांकन: मॉडल का सत्यापन छह विविध डेटासेट्स पर किया गया है जो भौतिक गतिशीलता (physical dynamics), आणविक गतिशीलता (molecular dynamics) और वास्तविक दुनिया के परिदृश्यों (COVID-19 डेटासेट सहित) तक फैले हुए हैं।
व्याख्यात्मकता (Interpretability): सीखे गए बेसिस फंक्शन वेट्स व्याख्यात्मकता प्रदान करते हैं, जिससे मॉडल समय के साथ विशिष्ट अंतःक्रिया तंत्रों (जैसे, संचरण मार्ग) की पहचान और ट्रैकिंग कर सकता है।

4. प्रयोगात्मक परिणाम

प्रयोग छह डेटासेट्स पर किए गए: Spring, Charged (भौतिक), 2N5C, 5AWL (आणविक), Motion (मानव जोड़), और Covid (महामारी)।

प्रदर्शन: TI-ODE ने सभी डेटासेट्स और भविष्यवाणियों के क्षितिज (12 और 24 स्टेप्स) में मीन स्क्वेर्ड एरर (MSE) और मीन एब्सोल्यूट एरर (MAE) के मामले में 11 अत्याधुनिक (state-of-the-art) बेसलाइन्स (Latent-ODE, DCRNN, GraphWaveNet, CSG-ODE, और PG-ODE सहित) को लगातार पछाड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- समय-परिवर्तनीय भार (time-varying weights) को हटाने या बेसिस फंक्शन्स को 1 तक कम करने से प्रदर्शन में भारी गिरावट आई, जो बहु-बेसिस, समय-परिवर्तनीय डिज़ाइन की आवश्यकता की पुष्टि करता है।
- RandNet मॉड्यूल को हटाने से प्रदर्शन गिर गया, जो विविध प्रारंभिक लेटेंट रिप्रजेंटेशन के महत्व को दर्शाता है।
मजबूती (Robustness): व्यवधान प्रयोगों (perturbation experiments) में, TI-ODE ने लंबे क्षितिज (36 स्टेप्स) पर स्थिर एरर कर्व बनाए रखा, जबकि एकीकृत मॉडल (CSG-ODE, PG-ODE) ने तेजी से त्रुटि संचय (error accumulation) दिखाया।
व्याख्यात्मकता (COVID डेटासेट): COVID डेटासेट पर सीखे गए वेट्स के विज़ुअलाइज़ेशन ने दिखाया कि विशिष्ट बेसिस फंक्शन्स महामारी के विशिष्ट चरणों (जैसे, लॉकडाउन अवधि बनाम यात्रा की बहाली) के साथ सह-संबंधित थे, जो सफलतापूर्वक संचरण तंत्र में बदलाव को कैप्चर करते हैं।
दक्षता (Efficiency): कई बेसिस फंक्शन्स की अतिरिक्त जटिलता के बावजूद, प्रति एपोक ट्रेनिंग समय अन्य ग्राफ ODE तरीकों के तुलनीय रहा।

5. महत्व

डायनेमिक ग्राफ लर्निंग को आगे बढ़ाना: TI-ODE निरंतर-समय मॉडलिंग और विविध, विकसित होती अंतःक्रियाओं की जटिल वास्तविकता के बीच के अंतर को पाटता है। यह पिछले GNNs की "एक ही आकार सबके लिए" (one-size-fits-all) वाली धारणा से आगे बढ़ता है।
उन्नत विश्वसनीयता: बेहतर मजबूती के सैद्धांतिक और अनुभवजन्य प्रदर्शन को देखते हुए, TI-ODE विशेष रूप से उन दीर्घकालिक पूर्वानुमान कार्यों के लिए उपयुक्त है जहाँ त्रुटि संचय एक बड़ी चिंता का विषय है।
वास्तविक दुनिया की प्रयोज्यता: COVID-19 डेटासेट पर सफल अनुप्रयोग जटिल, नीति-संचालित अंतःक्रिया गतिकी को सीखने और व्याख्या करने की मॉडल की क्षमता को प्रदर्शित करता है, जो महामारी विज्ञान, सोशल नेटवर्क विश्लेषण और भौतिक प्रणाली मॉडलिंग के लिए एक शक्तिशाली उपकरण प्रदान करता है।
भावी दिशाएं: लेखक नोट करते हैं कि प्रभावी होने के बावजूद, मिलियन-नोड ग्राफ तक स्केलेबिलिटी एक चुनौती बनी हुई है, जो स्पार्स रिप्रेजेंटेशन (sparse representations) और सन्निकटन विधियों (approximation methods) में भविष्य के कार्य का सुझाव देती है।