🤖 machine learning

Structured Neural Marked Point Processes for Interpretable Event Interaction Modeling

यह शोध पत्र एक स्ट्रक्चर्ड न्यूरल मार्कड पॉइंट प्रोसेस (SNMPP) प्रस्तावित करता है जो मल्टी-क्लास इवेंट स्ट्रीम्स में उच्च पूर्वानुमान सटीकता और संरचित अंतर-घटना संबंधों की स्पष्ट, व्याख्या योग्य खोज को एक साथ प्राप्त करने के लिए एक हस्ताक्षरित इंटरेक्शन नेटवर्क और एक डिले-अवेयर टेम्पोरल नेटवर्क को संयोजित करता है।

मूल लेखक: Zhitong Xu, Qiwei Yuan, Yinghao Chen, Shandian Zhe, Bin Shen

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhitong Xu, Qiwei Yuan, Yinghao Chen, Shandian Zhe, Bin Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर के चौक को देख रहे हैं। लोग आ रहे हैं, कॉफी खरीद रहे हैं, पत्र डाल रहे हैं और जा रहे हैं। कभी-कभी, एक व्यक्ति का कॉफी खरीदना लाइन को लंबा कर देता है, जिससे और अधिक लोग रुककर बातचीत करने लगते हैं (एक "सकारात्मक" प्रभाव)। अन्य समय में, एक अचानक हुई तेज़ आवाज़ से सभी लोग बिखर सकते हैं और कुछ समय के लिए बात करना बंद कर सकते हैं (एक "नकारात्मक" प्रभाव)। कभी-कभी, कोई विशिष्ट घटना होती है, लेकिन उसका प्रभाव दस मिनट बाद दिखाई देता है, जैसे किसी तीखे भोजन के प्रति विलंबित प्रतिक्रिया।

यह शोध पत्र SNMPP (स्ट्रक्चर्ड न्यूरल मार्क्ड पॉइंट प्रोसेसेज) नामक एक नया टूल पेश करता है ताकि इस तरह के व्यस्त, घटनाओं से भरे प्रवाह (streams) को समझा जा सके।

यहाँ इस पेपर के काम का विवरण दिया गया है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:

समस्या: "ब्लैक बॉक्स" बनाम "पारदर्शी मानचित्र"

लंबे समय से, कंप्यूटर इस तरह के प्रवाह में अगला इवेंट कब होगा, इसका अनुमान लगाने में अच्छे रहे हैं। वे जटिल "न्यूरल नेटवर्क" (सोचिए कि वे सुपर-स्मार्ट, लेकिन अपारदर्शी "ब्लैक बॉक्स" हैं) का उपयोग करते हैं।

समस्या: ये ब्लैक बॉक्स अगले इवेंट का अनुमान लगाने में तो बहुत अच्छे हैं, लेकिन वे यह समझाने में बहुत खराब हैं कि ऐसा क्यों हुआ। वे जानते हैं कि "इवेंट A" आमतौर पर "इवेंट B" की ओर ले जाता है, लेकिन वे उस संबंध को गणित की उन परतों के भीतर छिपा देते हैं जिन्हें इंसान पढ़ नहीं सकते। यह एक GPS की तरह है जो आपको बाएं मुड़ने के लिए तो कहता है, लेकिन आपको नक्शा दिखाने या यह समझाने से इनकार कर देता है कि आगे कोई रास्ता बंद है।
लक्ष्य: लेखकों चाहते थे कि एक ऐसा मॉडल हो जो भविष्यवाणी करने में उतना ही अच्छा हो, लेकिन साथ ही एक पारदर्शी मानचित्र की तरह भी काम करे। वे स्पष्ट रूप से देखना चाहते थे कि विभिन्न घटनाएं एक-दूसरे को कैसे प्रभावित करती हैं: क्या वे एक-दूसरे को प्रोत्साहित करती हैं? क्या वे एक-दूसरे को रोकती हैं? क्या कोई देरी है?

समाधान: "रेसिपी" दृष्टिकोण

लेखकों ने SNMPP बनाया है, जो इवेंट स्ट्रीम्स को समझने के लिए एक रेसिपी की तरह है। एक विशाल, अव्यवस्थित ब्लैक बॉक्स के बजाय, उन्होंने इस मॉडल को दो अलग-अलग, समझने योग्य सामग्रियों (ingredients) का उपयोग करके बनाया है जो एक साथ काम करती हैं:

"रिलेशनशिप शेफ" (साइंड इंटरैक्शन नेटवर्क):
कल्पना कीजिए कि एक शेफ जो दो सामग्रियों के बीच के संबंध के प्रकार को तय करता है।
- यदि वह "कॉफी" और "चैट" को देखता है, तो वह कहता है, "ये दोनों एक-दूसरे को उत्तेजित (excite) करते हैं" (सकारात्मक प्रभाव)।
- यदि वह "तेज़ शोर" और "खामोशी" को देखता है, तो वह कहता है, "ये एक-दूसरे को रोकते (inhibit) हैं" (नकारात्मक प्रभाव)।
- यदि वह "बारिश" और "ट्रैफिक" को देखता है, तो वह कह सकता है कि ये तटस्थ (neutral) हैं।
  इस मॉडल का यह हिस्सा स्पष्ट रूप से सीखता है कि घटनाएं एक-दूसरे को आगे बढ़ाती हैं या पीछे खींचती हैं।
"टाइम-लैप्स कैमरा" (डिले-अवेयर टेम्पोरल नेटवर्क):
कल्पना कीजिए कि एक कैमरा जो यह रिकॉर्ड करता है कि समय के साथ किसी घटना का प्रभाव कैसे बदलता है।
- मानक मॉडल यह मानते हैं कि प्रभाव सबसे मजबूत तब होता है जब कुछ घटित होता है और फिर तुरंत फीका पड़ जाता है (जैसे एक पटाखा)।
- SNMPP यह समझता है कि कभी-कभी प्रभाव शुरू में कमजोर होता है, फिर बढ़ता है, और बाद में अपने चरम (peak) पर पहुँचता है (जैसे किसी चिकित्सा उपचार या सप्लाई चेन ऑर्डर का विलंबित प्रभाव)।
- यह मॉडल उस वक्र (curve) के विशिष्ट आकार को सीखता है और यहाँ तक कि चरम प्रभाव आने से पहले के सटीक "विलंब" (delay) समय को भी खोज लेता है।

उन्होंने इसे कैसे प्रशिक्षित किया: "स्ट्रेटिफाइड टेस्टिंग"

इन मॉडल्स को प्रशिक्षित करना कठिन है क्योंकि आपको समय के साथ होने वाली घटनाओं की संभावना की गणना करनी होती है, जिसमें जटिल गणितीय इंटीग्रल्स (अनंत छोटी संभावनाओं को जोड़ना) शामिल होते हैं।

पुराना तरीका: कल्पना कीजिए कि आप एक बड़े बर्तन के सूप का स्वाद लेने के लिए ऊपर से 100 रैंडम चम्मच निकाल रहे हैं। आप नीचे मौजूद नमक या ऊपर मौजूद मसाले को मिस कर सकते हैं।
SNMPP का तरीका: लेखकों ने एक "स्ट्रेटिफाइड मोंटे कार्लो" विधि का आविष्कार किया। कल्पना कीजिए कि आपने सूप के बर्तन को 4 समान परतों में काटा और प्रत्येक परत से ठीक एक चम्मच लिया। यह सुनिश्चित करता है कि आप सूप के हर हिस्से का समान रूप से स्वाद लें। यह बिना पूरे बर्तन को चखे, प्रशिक्षण को बहुत अधिक स्थिर और सटीक बनाता है।

उन्होंने इसका परीक्षण किन चीजों पर किया

लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने तीन तरीकों से इसका परीक्षण किया:

नकली डेटा (लैब टेस्ट): उन्होंने कृत्रिम इवेंट स्ट्रीम्स बनाए जहाँ वे "ग्राउंड ट्रुथ" (जैसे, "हम जानते हैं कि इवेंट A ठीक 1 सेकंड के बाद इवेंट B को ट्रिगर करता है") जानते थे। SNMPP इन छिपे हुए नियमों, विलंब और "रोकने वाले" संकेतों को सफलतापूर्वक खोज पाया, जबकि अन्य मॉडल्स या तो इन्हें मिस कर गए या समझा नहीं सके।
वास्तविक दुनिया का डेटा (फील्ड टेस्ट): उन्होंने वास्तविक डेटासेट पर इसका परीक्षण किया जैसे:
- Amazon रिव्यूज: जब लोग एक चीज़ खरीदते हैं, तो क्या वे दूसरी चीज़ खरीदते हैं?
- Twitter रिट्वीट्स: क्या एक ट्वीट लोगों को बाद में रिट्वीट करने के लिए प्रेरित करता है?
- टैक्सी ट्रिप्स: क्या एक क्षेत्र में पिकअप दूसरे क्षेत्र में ड्रॉप-ऑफ की ओर ले जाते हैं?
- मेडिकल रिकॉर्ड्स (MIMIC): मरीज के डॉक्टर के पास जाने के बाद क्या होता है?
- परिणाम: SNMPP सबसे अच्छे "ब्लैक बॉक्स" मॉडल्स की तरह ही अगले इवेंट की भविष्यवाणी करने में सक्षम था, लेकिन इसने उन्हें घटनाओं के बीच के इंटरैक्शन का "मानचित्र" भी दिया।
सप्लाई चेन सिमुलेशन (लॉजिक टेस्ट): उन्होंने एक वेयरहाउस का कंप्यूटर सिमुलेशन बनाया। सिमुलेशन में सख्त नियम थे (जैसे, "यदि स्टॉक शून्य हो जाता है, तो बिक्री रोक दें")। यह सिमुलेशन लेखकों द्वारा परीक्षण किए जा रहे गणित पर नहीं, बल्कि भौतिक तर्क (physical logic) पर आधारित था।
- परिणाम: भले ही डेटा एक लॉजिक-आधारित सिमुलेशन से आया था, SNMPP ने उस डेटा को देखकर छिपे हुए नियमों को सही ढंग से पहचान लिया: "ऑर्डर होने से रीस्टॉकिंग होती है," "रीस्टॉकिंग से स्टॉक कुछ समय बाद आता है," और "स्टॉक खत्म होने से नए ऑर्डर्स रुक जाते हैं।" इसने सफलतापूर्वक सिस्टम के तर्क को "रिवर्स-इंजीनियर" किया।

मुख्य निष्कर्ष

यह शोध पत्र एक ऐसा टूल प्रस्तुत करता है जो दो काम एक साथ करता है:

यह उच्च सटीकता के साथ भविष्य की भविष्यवाणी करता है।
यह अतीत की संरचना को सरल भाषा में समझाता है (जैसे, "इवेंट A, इवेंट B को प्रोत्साहित करता है, लेकिन 4 घंटे के विलंब के बाद")।

यह शक्तिशाली AI भविष्यवाणी और मानवीय समझ के बीच के अंतर को पाटता है, जिससे हमें सप्लाई चेन, सोशल मीडिया और मेडिकल रिकॉर्ड जैसे जटिल सिस्टम के अदृश्य कनेक्शनों और विलंबों को देखने में मदद मिलती है।

तकनीकी सारांश: व्याख्या योग्य घटना अंतःक्रिया मॉडलिंग के लिए स्ट्रक्चर्ड न्यूरल मार्क्ड पॉइंट प्रोसेस (Structured Neural Marked Point Processes)

समस्या विवरण
सोशल नेटवर्क, आपूर्ति श्रृंखला (supply chains) और मेडिकल रिकॉर्ड जैसे डोमेन में मल्टी-क्लास इवेंट स्ट्रीम्स सर्वव्यापी हैं। इन स्ट्रीम्स को मॉडल करने में एक केंद्रीय चुनौती उच्च भविष्य कहनेवाला सटीकता (predictive accuracy) और संरचित, व्याख्या योग्य अंतर-घटना संबंधों (inter-event relationships) को उजागर करने की आवश्यकता के बीच संतुलन बनाना है। मौजूदा न्यूरल पॉइंट प्रोसेस मॉडल (जैसे, न्यूरल हॉक्स प्रोसेस, ट्रांसफॉर्मर हॉक्स प्रोसेस) कंडीशनल इंटेंसिटी को पैरामीटराइज करने के लिए डीप न्यूरल नेटवर्क का उपयोग करके उच्च अभिव्यक्तता (expressivity) प्रदान करते हैं। हालांकि, वे घटना अंतःक्रियाओं को लेटेंट रिप्रेजेंटेशन्स के भीतर एक "ब्लैक-बॉक्स" तरीके से एनकोड करते हैं, जिससे उत्तेजना (excitation), निषेध (inhibition), या विलंबित प्रभावों (delayed effects) जैसे संरचित निर्भरताओं की स्पष्ट खोज को रोका जा सकता है। इसके विपरीत, मानक हॉक्स प्रोसेस जैसे शास्त्रीय मॉडल व्याख्या योग्य तो हैं, लेकिन अक्सर केवल उत्तेजक प्रभावों तक सीमित होते हैं और तत्काल प्रभाव क्षय (immediate influence decay) मान लेते हैं, जिससे वे वास्तविक दुनिया की प्रणालियों में सामान्य विलंबित शिखर (delayed peaks) या निरोधात्मक गतिकी (inhibitory dynamics) को पकड़ने में विफल रहते हैं।

कार्यप्रणाली: स्ट्रक्चर्ड न्यूरल मार्क्ड पॉइंट प्रोसेस (SNMPP)
लेखक SNMPP का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे मॉडलिंग लचीलेपन और घटना-वार एवं क्लास-वार अंतःक्रिया संरचनाओं की स्पष्ट, डेटा-संचालित खोज को सक्षम करने के लिए डिज़ाइन किया गया है।

मॉडल आर्किटेक्चर:
SNMPP का मूल एक प्रोडक्ट-फॉर्म न्यूरल इन्फ्लुएंस कर्नेल है जो प्रकार $k_n$ के पिछले इवेंट के प्रकार $k$ की इंटेंसिटी पर प्रभाव को दो अलग-अलग न्यूरल घटकों में विभाजित करता है:
$f(e_{k_n}, e_k, \Delta t) = \psi(e_{k_n}, e_k) \cdot \phi(e_{k_n}, e_k, |\Delta t - d_{k_n, k}|)$

साइंड इंटरेक्शन नेटवर्क ( $\psi$ ): यह घटक स्रोत और लक्ष्य इवेंट प्रकारों के एम्बेडिंग्स को इनपुट के रूप में लेता है और एक साइन वाला स्केलर आउटपुट देता है। यह स्पष्ट रूप से अंतःक्रिया टोपोलॉजी को चित्रित करता है: धनात्मक मान उत्तेजना (excitation) को दर्शाते हैं, ऋणात्मक मान निषेध (inhibition) को दर्शाते हैं, और शून्य के करीब मान तटस्थता को दर्शाते हैं। यह मॉडल को प्रत्येक क्रमित जोड़े के लिए अलग पैरामीटरों के बिना निर्देशित संबंध सीखने की अनुमति देता है।
डिले-अवेयर मोनोटोनिक टेम्पोरल नेटवर्क ( $\phi$ ): यह घटक प्रभाव की तीव्रता के विकास को मॉडल करता है। इसे टाइम लैग के संबंध में मोनोटोनिक रूप से घटता हुआ होने के लिए डिज़ाइन किया गया है ताकि क्षय पैटर्न को कैप्चर किया जा सके। महत्वपूर्ण रूप से, इस नेटवर्क का इनपुट एक सीखने योग्य डिले पैरामीटर ( $d_{k_n, k}$ ) द्वारा ऑफसेट किया गया पूर्ण समय अंतर है। यह फॉर्मूलेशन विलंबित शिखर प्रभाव (delayed peak effects) को कैप्चर करने की अनुमति देता है, जहाँ प्रभाव शुरू में कमजोर होता है, एक विशिष्ट लैग पर चरम पर पहुँचता है, और फिर घट जाता है।
बाधाएं (Constraints): व्याख्यात्मकता और स्थिरता सुनिश्चित करने के लिए, टेम्पोरल नेटवर्क के आउटपुट को एक डिफरेंशिएबल सॉफ्ट-क्लिपिंग ट्रांसफॉर्मेशन का उपयोग करके $[0, 1]$ की सीमित रेंज में प्रतिबंधित किया गया है। यह परिमाण/चिह्न (जिसे $\psi$ द्वारा संभाला जाता है) को टेम्पोरल शेप (जिसे $\phi$ द्वारा संभाला जाता है) से अलग करता है।

प्रशिक्षण एल्गोरिदम:
प्रेक्षित घटना अनुक्रमों की लाइक्लीहुड (likelihood) में इंटीग्रल टर्म शामिल हैं जिनका क्लोज्ड-फॉर्म समाधान नहीं है। लेखक कुशल प्रशिक्षण के लिए एक स्ट्रैटिफाइड मोंटे कार्लो एस्टिमेटर विकसित करते हैं। पूरे इंटर-इवेंट अंतराल से सैंपल लेने के बजाय, अंतराल को $Q$ गैर-ओवरलैपिंग सेगमेंट में विभाजित किया जाता है, और प्रत्येक से एक सैंपल लिया जाता है। यह स्ट्रैटिफिकेशन लाइक्लीहुड एस्टिमेटर के वेरिएंस को कम करता है और इंटेंसिटी फंक्शन के स्थानीय विविधताओं के प्रति संवेदनशीलता को बनाए रखता है, जिससे स्थिर स्टोकेस्टिक ग्रेडिएंट डिसेंट सक्षम होता है।

प्रमुख योगदान

स्पष्ट अंतःक्रिया खोज: ब्लैक-बॉक्स न्यूरल मॉडल्स के विपरीत, SNMPP अंतःक्रिया टोपोलॉजी (उत्तेजना, निषेध, तटस्थता) और टेम्पोरल डायनेमिक्स (क्षय पैटर्न, डिले पैरामीटर) को सीधे डेटा से स्पष्ट रूप से रिकवर करता है।
लचीला टेम्पोरल मॉडलिंग: मॉडल विविध टेम्पोरल व्यवहारों को समायोजित करता है, जिसमें विलंबित प्रभाव शामिल हैं जहाँ प्रभाव एक टाइम लैग के बाद चरम पर पहुँचता है—एक ऐसी विशेषता जो मानक एक्सपोनेंशियल कर्नेल्स द्वारा मिस कर दी जाती है।
कुशल लर्निंग: प्रस्तावित स्ट्रैटिफाइड मोंटे कार्लो एस्टिमेटर लाइक्लीहुड इंटीग्रल्स के लिए एक अनबायस्ड, लो-वेरिएंस सन्निकटन प्रदान करता है, जो जटिल डेटासेट्स पर मजबूत प्रशिक्षण की सुविधा देता है।

प्रायोगिक परिणाम
पेपर तीन अलग-अलग प्रायोगिक सेटिंग्स के माध्यम से SNMPP को मान्य करता है:

सिंथेटिक डेटा: विलंबित ट्रिगरिंग और निरोधात्मक अंतःक्रियाओं वाले सिंथेटिक डेटासेट्स पर, SNMPP ग्राउंड-ट्रुथ कंडीशनल इंटेंसिटीज, इंटरेक्शन साइंस, डिले पैरामीटर्स और कर्नेल शेप्स को सटीक रूप से रिकवर करता है। यह मानक हॉक्स प्रोसेस (जो निषेध/विलंब में विफल रहते हैं) और न्यूरल बेसलाइन्स (जो स्पष्ट संरचना रिकवर करने में विफल रहते हैं) से बेहतर प्रदर्शन करता है।
रियल-वर्ल्ड बेंचमार्क्स: MIMIC, Amazon, Retweet, Taxi, StackOverflow जैसे पांच डेटासेट्स पर मूल्यांकन करते हुए, SNMPP सभी डेटासेट्स में नेक्स्ट-इवेंट टाइम प्रेडिक्शन (न्यूनतम RMSE) में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। जबकि इवेंट-टाइप प्रेडिक्शन सटीकता बेस्ट न्यूरल बेसलाइन्स के प्रतिस्पर्धी है, यह हमेशा उनसे अधिक नहीं होती है, जो दर्शाता है कि स्ट्रक्चर्ड इंडक्टिव बायस ने प्रेडिक्टिव पावर से समझौता नहीं किया है।
सप्लाई-चेन सिमुलेशन: एक सिम्युलेटेड वातावरण में जो भौतिक बाधाओं और निर्णय नियमों द्वारा संचालित होता है, SNMPP अंतर्निहित अंतःक्रिया संरचना को सफलतापूर्वक उजागर करता है। यह सही ढंग से उत्तेजना (ऑर्डर रिप्लेनिशमेंट को ट्रिगर करते हैं), निषेध (स्टॉक आगमन नए ऑर्डर्स को दबाते हैं), हार्ड गेटिंग (स्टॉकआउट डिमांड को दबाते हैं) और विशिष्ट डिले पैरामीटर (लग-टाइम के अनुरूप लगभग 4.0 टाइम यूनिट्स) की पहचान करता है।

महत्व और दावे
पेपर दावा करता है कि SNMPP न्यूरल पॉइंट प्रोसेस की उच्च अभिव्यक्तता और शास्त्रीय मॉडलों की व्याख्यात्मकता के बीच के अंतर को सफलतापूर्वक पाटता है। एक स्ट्रक्चर्ड न्यूरल इन्फ्लुएंस कर्नेल पेश करके, यह विधि प्रेडिक्टिव सटीकता से समझौता किए बिना संरचित संबंधों की स्पष्ट खोज (निषेध और विलंबित प्रभावों सहित) को सक्षम बनाती है। लेखक तर्क देते हैं कि यह स्ट्रक्चर्ड पैरामीटराइजेशन एक प्रभावी इंडक्टिव बायस के रूप में कार्य करता है, जो लर्निंग समस्या को रेगुलराइज करता है और टेम्पोरल जनरलाइजेशन में सुधार करता है। यह कार्य प्रदर्शित करता है कि जटिल, मल्टी-क्लास इवेंट स्ट्रीम्स में ब्लैक-बॉक्स रिप्रेजेंटेशन से आगे बढ़कर व्याख्या योग्य तंत्रों—जैसे विलंबित शिखर प्रभाव और निरोधात्मक टोपोलॉजी—को उजागर करना संभव है। भविष्य के कार्य में असिमेट्रिक टेम्पोरल इन्फ्लुएंस प्रोफाइल के लिए मॉडल का विस्तार करने की संभावना नोट की गई है।

समस्या: "ब्लैक बॉक्स" बनाम "पारदर्शी मानचित्र"

समाधान: "रेसिपी" दृष्टिकोण

उन्होंने इसे कैसे प्रशिक्षित किया: "स्ट्रेटिफाइड टेस्टिंग"

उन्होंने इसका परीक्षण किन चीजों पर किया

मुख्य निष्कर्ष

इसी तरह के और पेपर