🤖 machine learning

Parameter Efficient Hybrid Transformer (PEHT) for Network Traffic Prediction via Dynamic Urban Congestion Integration

यह शोध पत्र पैरामीटर-एफिशिएंट हाइब्रिड ट्रांसफॉर्मर (PEHT) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सटीक और संसाधन-कुशल नेटवर्क ट्रैफ़िक भविष्यवाणी प्राप्त करने के लिए लो-रैंक एडेप्टेशन का उपयोग करके शहरी गतिशीलता और भीड़भाड़ के डेटा को ट्रांसफॉर्मर आर्किटेक्चर में एकीकृत करता है।

मूल लेखक: Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मिलान जैसे हलचल भरे शहर की कल्पना एक विशाल, जीवित जीव के रूप में करें। हर बार जब कोई फोन कॉल करता है, टेक्स्ट भेजता है, या इंटरनेट ब्राउज़ करता है, तो यह उस जीव की एक छोटी सी धड़कन की तरह होता है। शहर के योजनाकारों और नेटवर्क इंजीनियरों को यह भविष्यवाणी करने की आवश्यकता है कि भविष्य में ये "धड़कनें" कहाँ सबसे मजबूत होंगी ताकि वे नेटवर्क को "हार्ट अटैक" (भीड़भाड़/कंजेशन) या "बेहोश होने" (कॉल ड्रॉप) से बचा सकें।

समस्या यह है कि इसकी भविष्यवाणी करना अविश्वसनीय रूप से कठिन है। यह केवल अतीत को देखने के बारे में नहीं है; यह यह समझने के बारे में भी है कि लोग कैसे चलते हैं, ट्रैफिक जाम कहाँ बन रहे हैं, और विभिन्न पड़ोस कैसे व्यवहार करते हैं। पारंपरिक तरीके एक ही थर्मामीटर को देखकर मौसम की भविष्यवाणी करने के समान हैं—वे बड़ी तस्वीर को मिस कर देते हैं।

यह पेपर एक नया टूल पेश करता है जिसे PEHT (पैरामीटर-एफिशिएंट हाइब्रिड ट्रांसफॉर्मर) कहा जाता है। PEHT को एक सुपर-स्मार्ट, अत्यधिक कुशल शहर ट्रैफिक कंट्रोलर के रूप में समझें जो एक विशेष प्रकार के "मस्तिष्क" (एक AI मॉडल) का उपयोग करके नेटवर्क ट्रैफिक का पूर्वानुमान लगाता है। यह यहाँ कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. "स्मार्ट मैप" (ग्रिड क्लस्टरिंग)

उनके द्वारा उपयोग किया गया कच्चा डेटा मिलान के मानचित्र पर छोटे-छोटे वर्गों (स्क्वायर्स) से आता है। यदि आप केवल एक छोटे से वर्ग को देखते हैं, तो डेटा अक्सर अव्यवरेज और खाली होता है (जैसे शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश करना)।

सादृश्य (Analogy): PEHT व्यक्तिगत वर्गों को नहीं देखता है। इसके बजाय, यह पड़ोसी वर्गों को "आभासी बेस स्टेशनों" (Virtual Base Stations) में समूहबद्ध करता है। कल्पना करें कि आप कई छोटे, बिखरे हुए पहेली के टुकड़ों को लेकर उन्हें एक एकल, स्पष्ट चित्र में चिपका रहे हैं। यह एक अधिक सुचारू, अधिक विश्वसनीय सिग्नल बनाता है, ठीक वैसे ही जैसे स्टैटिक-भरे रेडियो स्टेशन को एक स्पष्ट प्रसारण में बदलना।

2. "दो-ट्रैक मस्तिष्क" (हाइब्रिड आर्किटेक्चर)

अधिकांश AI मॉडल सब कुछ एक साथ सीखने की कोशिश करते हैं, जो बहुत भारी हो सकता है। PEHT सीखने को दो ट्रैकों में विभाजित करता है:

ट्रैक A (नेटवर्क): यह वास्तविक फोन और इंटरनेट डेटा (कॉल, टेक्स्ट, वेब ब्राउजिंग) को देखता है।
ट्रैक B (शहर): यह "बाहरी" कारकों को देखता है, जैसे कि कितने कारें ट्रैफिक में फंसी हुई हैं या कितने पैदल यात्री घूम रहे हैं।
सादृश्य: एक शेफ की कल्पना करें जो यह अनुमान लगा रहा है कि रेस्टोरेंट कितना व्यस्त होगा। ट्रैक A वह शेफ है जो पिछले आरक्षण (रिजर्वेशन) नंबरों को देख रहा है। ट्रैक B वह शेफ है जो खिड़की से बाहर देख रहा है कि पास में कोई परेड हो रही है या कोई तूफान आ रहा है। PEHT केवल एक को देखने की तुलना में अधिक स्मार्ट अनुमान लगाने के लिए दोनों दृश्यों को जोड़ता है।

3. "हल्का मस्तिष्क" (LoRA)

आमतौर पर, इस तरह के स्मार्ट AI मॉडल बहुत बड़े और भारी होते हैं, जिन्हें चलाने के लिए विशाल कंप्यूटरों की आवश्यकता होती है। वे एक क्रॉसवर्ड पहेली हल करने वाले सुपरकंप्यूटर की तरह हैं।

नवाचार: PEHT LoRA (लो-रैंक अडैप्टेशन) नामक एक तकनीक का उपयोग करता है।
सादृश्य: कल्पना करें कि आपके पास एक विशाल विश्वकोश (पूरा AI मॉडल) है जिसे आपको नई जानकारी के साथ अपडेट करने की आवश्यकता है। पूरे पुस्तक को फिर से लिखने के बजाय, LoRA सबसे महत्वपूर्ण अपडेट के साथ 'स्टिकी नोट्स' जोड़ने जैसा है। यह मॉडल को प्रभावी ढंग से सीखने की अनुमति देता है जबकि यह 90% कम "मस्तिष्क कोशिकाओं" (पैरामीटर्स) का उपयोग करता है। यह इसे इतना तेज़ और कुशल बनाता है कि इसे पेपर में वर्णित NVIDIA Jetson किट जैसे छोटे उपकरणों पर चलाया जा सके।

4. "टाइम ट्रैवलर" (ट्रांसफॉर्मर)

PEMT का मूल एक "ट्रांसफॉर्मर" है, जो एक प्रकार का AI है जो घटनाओं के लंबे अनुक्रमों को समझने के लिए प्रसिद्ध है।

सादृश्य: यदि आप एक फिल्म देखते हैं, तो एक साधारण AI केवल पिछले 5 सेकंड को याद रख सकता है। एक ट्रांसफॉर्मर पूरी कहानी को याद रखता है, यह समझते हुए कि शुरुआत कैसे अंत की ओर ले जाती है। PEHT पिछले घंटों के ट्रैफिक डेटा को देखने के लिए इसका उपयोग करता है, जबकि यह सख्ती से सुनिश्चित करता है कि वह भविष्य के उस डेटा को देखकर "चीटिंग" न करे जिसे वह अभी तक नहीं जानता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने मिलान के वास्तविक डेटा का उपयोग करके PEHT का परीक्षण किया और पांच अलग-अलग "नकली" शहर परिदृश्य (जैसे कि एक शहर जिसमें केवल कारें हैं, या एक शहर जिसमें भारी ट्रैफिक जाम है) बनाए ताकि देखा जा सके कि यह कैसा प्रदर्शन करता है।

परिणाम: PEHT उनके द्वारा परीक्षण किए गए सभी अन्य शीर्ष मॉडलों से बेहतर था। इसने SMS, कॉल और इंटरनेट ट्रैफिक की भविष्यवाणी करने में कम गलतियाँ (कम त्रुटि दर) कीं।
प्रमाण: उनके परीक्षणों में, "फुल मॉडल" (स्मार्ट मैप, दो-ट्रैक मस्तिष्क और हल्का LoRA ट्रिक दोनों का उपयोग करके) लगातार उन संस्करणों से बेहतर प्रदर्शन करता रहा जिनमें इनमें से कोई भी हिस्सा गायब था। इसने साबित कर दिया कि मूवमेंट डेटा को नेटवर्क डेटा के साथ जोड़ना, जबकि मॉडल को छोटा और कुशल रखना, एक जीतने वाली रणनीति है।

संक्षेप में: PEHT आपके फोन सिग्नल के मजबूत या कमजोर होने की भविष्यवाणी करने का एक नया, कुशल तरीका है, जो AI को फोन डेटा और शहर के ट्रैफिक दोनों को देखने के लिए प्रशिक्षित करके, जबकि कंप्यूटर के कार्यभार को हल्का रखता है।

तकनीकी सारांश: नेटवर्क ट्रैफ़िक भविष्यवाणी के लिए पैरामीटर एफिशिएंट हाइब्रिड ट्रांसफॉर्मर (PEHT)

समस्या विवरण
गतिशील शहरी सेलुलर नेटवर्क में कुशल संसाधन आवंटन के लिए सटीक नेटवर्क ट्रैफ़िक भविष्यवाणी आवश्यक है। हालाँकि, मौजूदा मॉडल जटिल शहरी ट्रैफ़िक के कारण महत्वपूर्ण चुनौतियों का सामना करते हैं, जो विविध उपयोगकर्ता व्यवहारों, तेजी से बदलते पर्यावरणीय कारकों और विषम गतिशीलता पैटर्न (heterogeneous mobility patterns) द्वारा संचालित होते हैं। पारंपरिक दृष्टिकोण बाहरी डेटा स्रोतों को प्रभावी ढंग से शामिल करने में संघर्ष करते हैं। विशेष रूप से, ग्राफ न्यूरल नेटवर्क (GNNs) घने शहरी वातावरण में स्केलेबिलिटी संबंधी समस्याओं का सामना करते हैं, जबकि मानक ट्रांसफॉर्मर-आधारित मॉडल, हालांकि लॉन्ग-रेंज डिपेंडेंसी कैप्चर करने में प्रभावी होते हैं, उच्च-आयामी स्पैटियो-टेम्पोरल डेटा को संभालने के दौरान कम्प्यूटेशनल और पैरामीटर-गहन (parameter-intensive) हो जाते हैं। इसके अलावा, कई मौजूदा विधियाँ इन्फरेंस के दौरान टेम्पोरल कॉजैलिटी (temporal causality) का उल्लंघन किए बिना वास्तविक समय के शहरी मोबिलिटी और कंजेशन सिग्नल्स को पर्याप्त रूप से एकीकृत करने में विफल रहती हैं।

कार्यप्रणाली (Methodology)
लेखक पैरामीटर-एफिशिएंट हाइब्रिड ट्रांसफॉर्मर (PEHT) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जिसे एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर में शहरी मोबिलिटी और कंजेशन जानकारी को पैरामीटर दक्षता बनाए रखते हुए एकीकृत करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली चार प्रमुख चरणों में आगे बढ़ती है:

स्पैटियो-टेम्पोरल ग्रिड क्लस्टरिंग और वर्चुअल सेल निर्माण:
उच्च-रिज़ॉल्यूशन ग्रिड वर्गों में डेटा की विरलता (sparsity) को संबोधित करने के लिए (Telecom Italia Milan डेटासेट का उपयोग करते हुए), लेखक "ग्रिड-टू-वर्चुअल-सेल" मैपिंग का उपयोग करते हैं। एक ग्रीडी एल्गोरिदम का उपयोग करके आसन्न ग्रिड वर्गों को वर्चुअल बेस स्टेशनों (VBS) में क्लस्टर किया जाता है। यह एल्गोरिदम एक उपयोगिता फलन $U(g, v)$ को अधिकतम करता है जो स्थानिक निकटता (spatial proximity), टेम्पोरल सहसंबंध (पियर्सन गुणांक), और लोड समानता के बीच संतुलन बनाता है, जिससे भविष्यवाणी के लिए मजबूत सिग्नल मिलते हैं।
मल्टीमॉडल डेटा एकत्रीकरण और फीचर इंजीनियरिंग:
मॉडल विविध डेटा मोडैलिटीज को एकत्रित करता है, जिसमें ऐतिहासिक ट्रैफ़िक डेटा ( $X_{hist}$ ), टेम्पोरल फीचर्स ( $F_{temp}$ ), स्टैटिक नेटवर्क फीचर्स ( $F_{static}$ ), और डायनेमिक रियल-वैल्यूड फीचर्स ( $F_{dynamic}$ ) शामिल हैं। इन्हें एम्बेडिंग लेयर्स (निरंतर और श्रेणीबद्ध डेटा के लिए) के माध्यम से एकीकृत संख्यात्मक प्रस्तुतियों में परिवर्तित किया जाता है और अनुक्रम क्रम (sequence order) को बनाए रखने के लिए साइनुसोइडल पोजीशनल एनकोडिंग के साथ बढ़ाया जाता है।
लो-रैंक अडैप्टेशन (LoRA) के साथ कस्टमाइज्ड ट्रांसफॉर्मर:
मुख्य भविष्यवाणी इंजन एक एनकोडर-डिकोडर ट्रांसफॉर्मर है।

एनकोडर: ऐतिहासिक ट्रैफ़िक और मल्टी-मोडल फीचर्स को प्रोसेस करता है। महत्वपूर्ण रूप से, लेखक प्रारंभिक प्रशिक्षण चरण के दौरान ही एनकोडर में लो-रैंक अडैप्टेशन (LoRA) को सीधे एकीकृत करते हैं, न कि किसी प्री-ट्रेन्ड फाउंडेशन मॉडल को फाइन-ट्यून करने के लिए। वेट अपडेट $\Delta W$ को दो लो-रैंक मैट्रिसेस $A$ और $B$ के उत्पाद ( $\Delta W \approx AB^T$ ) द्वारा अनुमानित किया जाता है। यह शोर वाले डेटा (noisy data) के विरुद्ध एक रेगुलराइज़र के रूप में कार्य करता है और प्रशिक्षित पैरामीटर्स की संख्या को नाटकीय रूप से कम करता है (रिपोर्ट किए गए कॉन्फ़िगरेशन में 90% से अधिक)।
डिकोडर: भविष्य के ट्रैफ़िक मानों की भविष्यवाणी करता है। यह एनकोडर के आउटपुट को प्राप्त करता है जो बाहरी शहरी मोबिलिटी और कंजेशन फीचर्स के साथ फ्यूज (fuse) होता है।

मल्टीमॉडल फ्यूजन और कॉजैलिटी:
एक मजबूत फ्यूजन रणनीति बाहरी मोबिलिटी फीचर्स को डिकोडर में इंजेक्ट करती है। सख्त टेम्पोरल कॉजैलिटी सुनिश्चित करने के लिए, ये बाहरी फीचर्स सख्ती से ऐतिहासिक टाइम स्टेप्स के अनुरूप होते हैं या ऑटोरिग्रेसिव फोरकास्ट से प्राप्त होते हैं, जिससे इन्फरेंस के दौरान ग्राउंड-ट्रुथ फ्यूचर इंफॉर्मेशन का रिसाव (leakage) रुक जाता है।

प्रमुख योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

PEHT आर्किटेक्चर: नेटवर्क ट्रैफ़िक भविष्यवाणी के लिए एक नया फ्रेमवर्क जो विविध शहरी मोबिलिटी और कंजेशन डेटा को स्पष्ट रूप से एकीकृत करता है, जो मौजूदा विधियों के अंतराल को भरता है जो अक्सर इन बाहरी कारकों की अनदेखी करती हैं।
LoRA इंटीग्रेशन: उच्च-आयामी स्पैटियो-टेम्पोरल नेटवर्क ट्रैफ़िक डेटा को कुशलतापूर्वक संभालने के लिए ट्रांसफॉर्मर एनकोडर के भीतर LoRA का अनुप्रयोग, जो सटीकता बनाए रखते हुए पैरामीटर काउंट को काफी कम करता है।
मल्टीमॉडल फ्यूजन स्ट्रैटेजी: एक तंत्र जो ट्रांसफॉर्मर के डिकोडिंग प्रोसेस में रीयल-टाइम शहरी मोबिलिटी फीचर्स को इंजेक्ट करता है, जो टेम्पोरल बाधाओं का उल्लंघन किए बिना स्पष्ट प्रासंगिक अंतर्दृष्टि प्रदान करता है।

प्रायोगिक परिणाम
PEH मॉडल का मूल्यांकन Telecom Italia Big Data Challenge (Milan) डेटासेट और विभिन्न कंजेशन और मोबिलिटी परिदृश्यों (जैसे बेस-स्टेशन कंजेशन, सेल-एज कंजेशन, व्हीकुलर-ओनली, और पेडेस्ट्रियन-ओनली मोबिलिटी) का परीक्षण करने के लिए CARLA सिम्युलेटर के माध्यम से उत्पन्न पांच सिंथेटिक डेटासेट्स पर किया गया।

रियल डेटा पर प्रदर्शन: PEHT ने स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें HGCRN, ST-DenseNet, STCNet, ST-Tran, MVSTGN, और ST2T शामिल हैं) को पछाड़ दिया। SMS ट्रैफ़िक के लिए, PEHT ने 18.42 का RMSE प्राप्त किया, जबकि अगले सर्वश्रेष्ठ (ST2T) का 21.58 था, जो 14.6% की कमी दर्शाता है। इंटरनेट ट्रैफ़िक के लिए, इसने 138.64 के मुकाबले 122.10 का RMSE प्राप्त किया, जो 11.9% की कमी है। इसने SMS, कॉल और इंटरनेट ट्रैफ़िक श्रेणियों में MAE और $R^2$ स्कोर में भी सुधार दिखाया।
एब्लेशन स्टडीज (Ablation Studies): सिंथेटिक डेटासेट्स पर प्रयोगों ने प्रदर्शित किया कि "फुल मॉडल" (एनकोडर फ्यूजन और LoRA का संयोजन) ने RMSE, MAE, और $R^2$ मेट्रिक्स में सबसे सुसंगत प्रदर्शन प्रदान किया। हालांकि अकेले LoRA ने विशिष्ट परिदृश्यों (जैसे सेल-एज कंजेशन) में उच्च $R^2$ दिखाया, लेकिन पूर्ण आर्किटेक्चर समग्र मजबूती (robustness) में श्रेष्ठ साबित हुआ।
पैरामीटर दक्षता: अध्ययन ने पैरामीटर रिडक्शन को मापा, जिससे पता चला कि 4,372 के इनपुट/आउटपुट डायमेंशन के लिए, एक फुल वेट मैट्रिक्स को ~19.1 मिलियन पैरामीटर्स की आवश्यकता होती है। $r=8$ रैंक के साथ LoRA का उपयोग करने पर, यह घटकर लगभग 69,952 ट्रेन करने योग्य पैरामीटर्स रह गया, जिससे मॉडल बड़े पैमाने पर शहरी तैनाती के लिए व्यवहार्य हो गया।

महत्व और दावे
पेपर दावा करता है कि PEHT सफलतापूर्वक पैरामीटर दक्षता और बाहरी शहरी डेटा के एकीकरण के बीच के अंतर को पाटता है। LoRA का उपयोग करके, मॉडल प्रभावी रूप से ट्रैफ़िक डेटा में हाई-फ्रीक्वेंसी नॉइज़ को संभालने के लिए बिना ओवरफिटिंग के, एक रेगुलराइज़र के रूप में कार्य करता है, जबकि मल्टीमॉडल फ्यूजन स्ट्रैटेजी डिकोडर को शहरी डायनेमिक्स से स्पष्ट अंतर्दृष्टि का लाभ उठाने की अनुमति देती है। लेखक का तर्क है कि यह दृष्टिकोण गतिशील सेलुलर वातावरण में प्रोएक्टिव ऑप्टिमाइजेशन और रिसोर्स मैनेजमेंट को सक्षम बनाता है, जो पैरामीटर-हैवी ट्रांसफॉर्मर मॉडल और कम लचीले GNN दृष्टिकोणों के लिए एक स्केलेबल विकल्प प्रदान करता है। कार्यान्वयन को GitHub रिपॉजिटरी के माध्यम से उपलब्ध कराया गया है।

1. "स्मार्ट मैप" (ग्रिड क्लस्टरिंग)

2. "दो-ट्रैक मस्तिष्क" (हाइब्रिड आर्किटेक्चर)

3. "हल्का मस्तिष्क" (LoRA)

4. "टाइम ट्रैवलर" (ट्रांसफॉर्मर)

उन्होंने क्या पाया?

इसी तरह के और पेपर