🤖 machine learning

CoMemNet: Contrastive Sampling with Memory Replay Network for Continual Traffic Prediction

CoMemNet एक ड्यूल-ब्रांच कंटीन्यूअल लर्निंग फ्रेमवर्क है जो विकसित होते ट्रैफिक पैटर्न को प्रभावी ढंग से कैप्चर करने और कैटास्ट्रोफिक फॉरगेटिंग को कम करने के लिए मोमेंटम-अपडेटेड टारगेट ब्रांच को डायनेमिक कॉन्ट्रास्टिव सैंपलर और एक लाइटवेट टेम्पोरल मेमोरी बफर के साथ जोड़ता है, जिससे बड़े पैमाने के वास्तविक दुनिया के डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसे शहर में ट्रैफिक जाम की भविष्यवाणी करने की कोशिश कर रहे हैं जो लगातार बढ़ रहा है। हर साल, नई सड़कें बनाई जाती हैं, नए चौराहे खुलते हैं, और लोगों के गाड़ी चलाने का तरीका बदल जाता है। यह वही चुनौती है जिसे CoMemNet पेपर हल करता है।

यहाँ बताया गया है कि उन्होंने इसे कैसे हल किया, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "बदलता हुआ लक्ष्य" वाला शहर

ट्रैफिक भविष्यवाणी करने वाले अधिकांश उपकरण पुराने मानचित्रों की तरह होते हैं। वे उस शहर के आधार पर बनाए जाते हैं जैसा वह कुछ साल पहले था।

समस्या: यदि आप एक नया हाईवे या नया मोहल्ला बनाते हैं, तो आपका पुराना नक्शा बेकार हो जाता है।
पुराना तरीका: पुराने नक्शे को ठीक करने के लिए, आपको आमतौर पर इसे फेंकना पड़ता है और हर बार जब कोई नई सड़क आती है, तो पूरे शहर को फिर से शून्य से बनाना पड़ता है। इसमें बहुत समय लगता है और बहुत अधिक कंप्यूटिंग पावर (पैसा) खर्च होता है।
"भूलने" की समस्या: यदि आप केवल पुराने नक्शे में नई सड़क जोड़ने की कोशिश करते हैं बिना सब कुछ फिर से बनाए, तो AI भ्रमित हो जाता है। वह नई सड़क को तो सीख लेता है लेकिन पुरानी सड़कों के काम करने के तरीके को भूल जाता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है।

समाधान: CoMemNet (एक स्मार्ट, अनुकूलन योग्य ट्रैफिक कोच)

लेखकों ने एक ऐसा सिस्टम बनाया है जिसे CoMemNet कहा जाता है, जो एक स्मार्ट कोच की तरह सीखता है जो कभी नहीं भूलता, भले ही टीम बढ़ती और बदलती रहे। इसके पास तीन विशेष तरकीबें हैं:

1. "दोहरे मस्तिष्क" वाली प्रणाली (Online बनाम Target Branch)

कल्पना कीजिए कि एक कोच के पास दो मस्तिष्क हैं जो मिलकर काम करते हैं:

"तेज़ सीखने वाला" मस्तिष्क (Online Branch): यह मस्तिष्क आज के ट्रैफिक पर पूरी तरह केंद्रित है। यह नई सड़कों और वर्तमान रश ऑवर (rush hour) के पैटर्न को संभालने के लिए तेज़ी से सीखता है। यह फुर्तीला और तेज़ है।
"बुद्धिमान मार्गदर्शक" मस्तिष्क (Target Branch): यह मस्तिष्क धीरे चलता है। यह पिछले साल और उससे पिछले साल के ट्रैफिक पैटर्न को याद रखता है। यह आसानी से अपनी राय नहीं बदलता।
वे कैसे मिलकर काम करते हैं: तेज़ सीखने वाला नया प्रयोग करता है, लेकिन बुद्धिमान मार्गदर्शक उसे बुनियादी बातों को याद रखने के लिए धीरे से वापस खींचता है। यह सुनिश्चित करता है कि सिस्टम पुरानी चीज़ों को भूले बिना नई चीज़ों को सीख ले।

2. "स्पॉटलाइट" चयनकर्ता (DC Sampler)

आप एक साथ एक विशाल शहर की हर एक कार को नहीं देख सकते; आपका कंप्यूटर फट जाएगा।

तरकीब: हर सड़क को देखने के बजाय, CoMemNet एक "स्पॉटलाइट" का उपयोग करता है। यह एक विशेष गणितीय टूल (Wasserstein Distance) का उपयोग करके पूछता है: "कौन सी सड़कें सबसे अधिक बदल रही हैं?"
परिणाम: यदि कोई सड़क 10 वर्षों से वैसी ही है, तो स्पॉटलाइट उसे अनदेखा कर देती है। यदि एक नई सड़क खुली है या किसी पुरानी सड़क का ट्रैफिक पैटर्न अचानक बदल गया है, तो स्पॉटलाइट उस पर चमकती है। सिस्टम अपनी ऊर्जा केवल उन्हीं सड़कों पर खर्च करता है जिन्हें वास्तव में ध्यान देने की आवश्यकता है। यह बहुत सारा समय और मेमोरी बचाता है।

3. "जेब वाली नोटबुक" (TMRB-N)

आमतौर पर, पुराने ट्रैफिक को याद रखने के लिए, आपको हर कार के इतिहास की एक विशाल लाइब्रेरी को स्टोर करना होगा। यह बहुत भारी होगा।

तरकीब: CoMemNet एक छोटी, हल्की "जेब वाली नोटबुक" का उपयोग करता है। यह हर विवरण को स्टोर नहीं करता है। इसके बजाय, यह केवल सबसे महत्वपूर्ण परिवर्तनों का "सार" (gist) लिखता है।
परिणाम: जब सिस्टम को अतीत को याद करने की आवश्यकता होती है, तो वह इस छोटी नोटबुक को पलटता है। यह इतना कुशल है कि जैसे-जैसे शहर बढ़ता है, सिस्टम की मेमोरी कभी खत्म नहीं होती।

परिणाम: यह क्यों मायने रखता है

लेखकों ने कैलिफोर्निया के वास्तविक ट्रैफिक डेटा (जिसमें दो नए डेटासेट भी शामिल हैं) पर इसका परीक्षण किया।

सटीकता: इसने वर्तमान में उपलब्ध किसी भी अन्य विधि की तुलना में बेहतर तरीके से ट्रैफिक की भविष्यवाणी की (State-of-the-Art)।
दक्षता: जबकि अन्य तरीकों को हर साल हजारों सड़कों पर फिर से ट्रेनिंग देनी पड़ती थी, CoMemNet ने केवल सड़कों के एक छोटे से हिस्से (कभी-कभी 30% से भी कम) पर ध्यान केंद्रित किया, फिर भी इसे बेहतर परिणाम मिले।
दीर्घायु (Longevity): इसने 7 वर्षों तक बढ़ते शहर को सफलतापूर्वक संभाला बिना यह "भूले" कि शुरुआती वर्षों में ट्रैफिक की भविष्यवाणी कैसे की जाती थी।

संक्षेप में

CoMemNet एक ऐसा ट्रैफिक प्रेडिक्शन सिस्टम है जिसे हर बार नई सड़क बनने पर पूरे शहर को फिर से सीखने की आवश्यकता नहीं होती है। इसके पास नई चीज़ों के लिए एक तेज़ दिमाग, पुरानी यादों के लिए एक धीमा दिमाग, केवल बदलाव पर ध्यान केंद्रित करने के लिए एक स्पॉटलाइट और चीज़ों को व्यवस्थित रखने के लिए एक छोटी नोटबुक है। यह इसे एक बढ़ते शहर में सटीक रूप से ट्रैफिक की भविष्यवाणी करने में सक्षम बनाता है, बिना कंप्यूटर को क्रैश किए।

तकनीकी सारांश: CoMemNet

समस्या विवरण

यातायात का पूर्वानुमान (Traffic prediction) बुद्धिमान परिवहन प्रणालियों के लिए महत्वपूर्ण है, फिर भी मौजूदा पद्धतियां वास्तविक दुनिया के, विकसित होते यातायात नेटवर्क पर लागू होने पर महत्वपूर्ण सीमाओं का सामना करती हैं। अधिकांश वर्तमान दृष्टिकोण स्थिर अंतर्निहित ग्राफ संरचनाओं और अल्पकालिक प्रशिक्षण विंडोज़ (आमतौर पर एक महीना) पर निर्भर करते हैं, जो उन सड़क नेटवर्क के विस्तार और विकास को समझने में विफल रहते हैं जहाँ समय के साथ नए नोड्स और किनारों (edges) को जोड़ा जाता है। यह गतिशील विकास तीन प्राथमिक चुनौतियों को जन्म देता है:

गतिशील टोपोलॉजी के तहत फीचर निष्कर्षण (Feature Extraction): स्पष्ट ग्राफ संरचनाओं (जैसे, एडजेसेंसी मैट्रिसेस) पर निर्भर पारंपरिक पद्धतियां वृद्धिशील टोपोलॉजिकल परिवर्तनों के प्रति लचीली नहीं होती हैं और संरचनात्मक पुनर्निर्माण के दौरान सूचना व्यवधान के प्रति संवेदनशील होती हैं।
स्थानिक-कालिक विचलन (Spatio-Temporal Drift) के तहत विनाशकारी विस्मृति (Catastrophic Forgetting): जैसे-जैसे समय के साथ यातायात प्रवाह वितरण बदलता है, नए डेटा पर प्रशिक्षित मॉडल अक्सर ऐतिहासिक पैटर्न को भूल जाते हैं। सीधे मेमोरी रिप्ले का अनुप्रयोग अमान्य स्थानिक-कालिक निर्भरताओं के कारण शोर (noise) पेश कर सकता है।
वृद्धिशील ग्राफ में मेमोरी विस्फोट: गतिशील, घने यातायात ग्राफों में सभी ऐतिहासिक नोड्स के लिए मल्टी-हॉप पड़ोसी जानकारी को संग्रहीत करने से मेमोरी का घातीय (exponential) विकास होता है, जिससे वैश्विक भंडारण और पुनर्गणना असंभव हो जाती है।

कार्यप्रणाली (Methodology)

लेखक CoMemNet (कॉन्ट्रास्टिव सैंपलिंग विद मेमोरी रिप्ले नेटवर्क) का प्रस्ताव करते हैं, जो विस्तारित नेटवर्क पर दीर्घकालिक यातायात पूर्वानुमान के लिए डिज़ाइन किया गया एक द्वैत-शाखा (dual-branch) निरंतर शिक्षण ढांचा है। यह ढांचा बिना किसी स्पष्ट ग्राफ संरचना इनपुट की आवश्यकता के, एम्बेडिंग-आधारित लर्निंग पर निर्भर करता है।

1. द्वैत-शाखा संरचना (Dual-Branch Architecture)

CoMemNet तीव्र अनुकूलन और ज्ञान प्रतिधारण के बीच संतुलन बनाने के लिए एक मोमेंटम-अपडेटेड द्वैत-शाखा संरचना का उपयोग करता है:

ऑनलाइन शाखा (Online Branch): वर्तमान अवधि ( $\tau$ ) के लिए ग्रेडिएंट डिसेंट के माध्यम से अनुकूलित, यह शाखा वर्तमान यातायात पैटर्न पर तीव्र अभिसरण (convergence) की सुविधा प्रदान करती है।
टारगेट शाखा (Target Branch): ऑनलाइन शाखा के मापदंडों के एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से अपडेट की जाती है, यह शाखा दीर्घकालिक स्थिरता बनाए रखती है और ऐतिहासिक ज्ञान को संरक्षित करती है, जो तीव्र उतार-चढ़ाव के विरुद्ध एक लो-पास फिल्टर के रूप में कार्य करती है।

2. डायनेमिक कॉन्ट्रास्टिव सैंपलर (DC Sampler)

वैश्विक ग्राफ स्टोरेज के बिना प्रासंगिक डेटा चुनने की चुनौती को हल करने के लिए, DC सैंपलर प्रत्येक समय अवधि के लिए नोड्स के एक उपसमूह ( $V^s_\tau$ ) का गतिशील रूप से चयन करता है।

तंत्र: यह वर्तमान अवधि और पिछली अवधि (जो टारगेट शाखा के माध्यम से संसाधित की गई है) के फीचर वितरण के बीच वॉसरस्टीन दूरी (Wasserstein Distance) की गणना करता है।
चयन रणनीति: यह उन शीर्ष- $M$ नोड्स का चयन करता है जिनमें सबसे बड़ा वितरण परिवर्तन (जो महत्वपूर्ण गतिशील नेटवर्क फीचर परिवर्तन को दर्शाता है) होता है और उन्हें नए जोड़े गए नोड्स के साथ जोड़ता है। यह एक "हार्ड-एग्जांपल-फर्स्ट" रणनीति को लागू करता है, जो उन नोड्स पर प्रशिक्षण केंद्रित करता है जो टोपोलॉजिकल और यातायात पैटर्न परिवर्तनों के प्रति सबसे अधिक संवेदनशील हैं।

3. नोड-अनुकूली टेम्पोरल मेमोरी रिप्ले बफर (TMRB-N)

ऐतिहासिक ज्ञान को समेकित करते हुए मेमोरी विस्फोट को रोकने के लिए, CoMemNet एक हल्का मेमोरी बफर उपयोग करता है।

कार्य: पूरे ग्राफ पड़ोस को संग्रहीत करने के बजाय, TMRB-N प्रमुख नोड्स के निम्न-आयामी टेम्पोरल एम्बेडिंग्स को संग्रहीत करता है।
अपडेट तंत्र: यह एक गेटिंग तंत्र (GRU/LSTM सेल्स के समान) का उपयोग करके टेम्पोरल फीचर्स को अपडेट करता है। यह वर्तमान और पिछले अवधियों के बीच फीचर अंतर की गणना करता है, सबसे बड़े अंतर वाले शीर्ष- $K$ नोड्स का चयन करता है, और वर्तमान एवं ऐतिहासिक फीचर्स के भारित औसत (weighted average) का उपयोग करके उनके हिडन स्टेट्स को अपडेट करता है। यह सुनिश्चित करता है कि मॉडल नए वितरणों के अनुकूल हो सके और आवश्यक ऐतिहासिक पूर्ववृत्तों (priors) को बनाए रख सके।

4. प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को केवल DC सैंपलर द्वारा चयनित नोड उपसमूह पर गणना किए गए मीन एब्सोल्यूट एरर (MAE) लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है। हालाँकि, व्यापक प्रदर्शन मूल्यांकन सुनिश्चित करने के लिए मूल्यांकन पूरे नोड सेट पर किया जाता है।

मुख्य योगदान

Co-MemNet फ्रेमवर्क: एक सरल, एम्बेडिंग-आधारित बैकबोन जो स्पष्ट ग्राफ संरचना इनपुट की आवश्यकता को समाप्त करता है, जिससे वृद्धिशील नोड और एज जोड़ियों के प्रति गतिशील अनुकूलन संभव होता है।
द्वैत-शाखा मोमेंटम कॉन्ट्रास्ट: एक तंत्र जो स्थानिक-कालिक विचलन के तहत विनाशकारी विस्मृति को कम करने के लिए एक तीव्र-अनुकूलन वाली ऑनलाइन शाखा और एक स्थिर टारगेट शाखा को तालमेल प्रदान करता है।
कुशल मेमोरी प्रबंधन: DC Sampler और TMRB-N का परिचय, जो प्रमुख नोड्स को चुनिंदा रूप से अपडेट करते हैं और निम्न-आयामी निरूपण (representations) को संग्रहीत करते हैं, जिससे वैश्विक ग्राफ स्टोरेज और मेमोरी विस्फोट प्रभावी रूप से बच जाता है।
नए डेटासेट: लेखकों ने कैलिफोर्निया के विभिन्न क्षेत्रों को कवर करने वाले, अलग-अलग नेटवर्क स्केल वाले दो नए बड़े पैमाने के, ओपन-सोर्स ट्रैफिक डेटासेट (PEMSD4(L) और PEMS8(M)) तैयार किए हैं।

प्रयोगात्मक परिणाम

लेखकों ने तीन बड़े पैमाने के वास्तविक दुनिया के डेटासेट: PEMSD3(S), PEMSD4(L), और PEMSD8(M) पर CoMemNet का मूल्यांकन किया।

प्रदर्शन: CoMemNet ने तीनों डेटासेट पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया, जिसने MAE, RMSE और MAPE के मामले में बेसलाइन कॉन्टिनुअल लर्निंग पद्धतियों (जैसे, TrafficStream, PECPM, TFMoE) और स्थिर/विस्तार योग्य मॉडलों को पीछे छोड़ दिया।
दक्षता: मॉडल ने बेहतर कम्प्यूटेशनल दक्षता प्रदर्शित की। DC सैंपलर द्वारा चुने गए नोड्स के एक छोटे उपसमूह (उदाहरण के लिए, बाद के वर्षों में कुल नोड्स का 15-30%) पर प्रशिक्षण देकर, Co-MemNet ने सभी डेटा पर मॉडल को पुनः प्रशिक्षित करने या सभी नोड्स पर वृद्धिशील रूप से प्रशिक्षण देने की तुलना में प्रशिक्षण समय और संसाधनों की खपत को काफी कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने दोनों घटकों—DC सैंपलर (सूचनात्मक नोड्स के चयन के लिए) और TMRB-N (मेमोरी रिप्ले और टेम्पोरल फीचर अपडेट के लिए)—की आवश्यकता की पुष्टि की। इनमें से किसी एक को हटाने से भी प्रदर्शन में महत्वपूर्ण गिरावट आई।
संवेदनशीलता विश्लेषण (Sensitivity Analysis): मॉडल ने विशिष्ट हाइपरपैरामीटर (जैसे, नोड चयन अनुपात के लिए $\rho=0.05$ और प्रमुख नोड चयन के लिए $K=12$ ) के साथ मजबूत प्रदर्शन दिखाया, जो विभिन्न डेटासेट स्केल्स के बीच स्थिरता को दर्शाता है।

महत्व और दावे

यह पेपर दावा करता है कि CoMemNet विस्तारित ट्रैफिक नेटवर्क में दीर्घकालिक निरंतर शिक्षण (long-term continual learning) की उभरती चुनौती के लिए एक कुशल और प्रभावी समाधान प्रदान करता है। मॉडल को निश्चित ग्राफ संरचनाओं से अलग करके और एक कॉन्ट्रास्टिव सैंपिंग रणनीति का उपयोग करके, यह नए टोपोलॉजिकल परिवर्तनों के अनुकूल होने और ऐतिहासिक ज्ञान को बनाए रखने के बीच के संतुलन को सफलतापूर्वक संबोधित करता है। लेखक दावा करते हैं कि उनका दृष्टिकोण उन स्केलेबल, दीर्घकालिक यातायात पूर्वानुमान प्रणालियों की व्यवहार्यता को प्रमाणित करता है जो अत्यधिक कम्प्यूटेशनल या मेमोरी लागत के बिना शहरी बुनियादी ढांचे के साथ विकसित हो सकती हैं। नए ओपन-सोर्स डेटासेट जारी करना अनुसंधान समुदाय की स्पैटियो-टेम्पोरल डोमेन में निरंतर शिक्षण को बेंचमार्क करने की क्षमता में योगदान देता है।