⚡ electrical engineering

Adaptive traffic signal control optimization using a novel road partition and multi-channel state representation method

यह अध्ययन एक अनुकूलनशील यातायात संकेत नियंत्रण पद्धति प्रस्तावित करता है जो डीप क्यू-नेटवर्क और प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क के भीतर एक नवीन परिवर्तनीय सेल लंबाई सड़क विभाजन सूत्र को मल्टी-चैनल अवस्था प्रतिनिधित्व के साथ एकीकृत करता है ताकि यातायात प्रवाह, प्रतीक्षा समय, गति और ईंधन खपत को अनुकूलित करने में निश्चित सेल लंबाई दृष्टिकोणों की तुलना में महत्वपूर्ण रूप से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Maojiang Deng, Shoufeng Lu, Jiazhao Shi, Wen Zhang

प्रकाशित 2026-02-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maojiang Deng, Shoufeng Lu, Jiazhao Shi, Wen Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक व्यस्त शहर के चौराहे की कल्पना करें जो डिनर रश ऑवर के दौरान एक विशाल, अराजक रसोई (kitchen) की तरह है। ट्रैफिक लाइट मुख्य शेफ (head chef) है, जो यह तय करने की कोशिश कर रही है कि अगली बार चूल्हा (चौराहा) इस्तेमाल करने का हक किसे मिलेगा।

लंबे समय से, शेफ (ट्रैफिक इंजीनियरों) ने एक कठोर, "एक ही आकार के लिए उपयुक्त" (one-size-fits-all) रेसिपी का उपयोग किया है। वे लाइटों को हर 60 सेकंड में बदलने के लिए सेट करते हैं, चाहे रसोई खाली हो या ऑर्डर्स से फट रही हो। इससे खाना जल जाता है (ट्रैफिक जाम) और ऊर्जा भी बर्बाद होती है।

यह पेपर एक सुपर-स्मार्ट, AI-संचालित sous-chef (सहायक शेफ) को पेश करता है जो वास्तविक समय में रसोई को प्रबंधित करना सीखता है। लेकिन केवल रसोई को देखने के बजाय, यह ट्रैफिक को "देखने" का एक बिल्कुल नया तरीका उपयोग करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "ज़ूम लेंस" की समस्या: ट्रैफिक को कैसे देखें

पारंपरिक ट्रैफिक सेंसर एक फिक्स्ड ज़ूम वाली सुरक्षा कैमरे की तरह होते हैं।

पुराना तरीका: वे सड़क को समान आकार के ब्लॉकों में विभाजित करते हैं (जैसे शतरंज का बोर्ड)। यदि एक कार 10 मीटर दूर है, तो वह "ब्लॉक 1" में है। यदि वह 20 मीटर दूर है, तो वह "ब्लॉक 2" में है।
समस्या: वास्तविक दुनिया के सेंसरों की अलग-अलग रेंज होती है। कुछ 150 मीटर देख सकते हैं; अन्य 500 मीटर। यदि आप अपने AI को 150 मीटर के दृश्य पर प्रशिक्षित करते हैं और फिर उसे 500 मीटर की सड़क पर उपयोग करने की कोशिश करते हैं, तो "शतरंज का बोर्ड" फिट नहीं बैठता। AI भ्रमित हो जाता है क्योंकि ब्लॉक्स का आकार गलत होता है।

नया समाधान: "स्मार्ट रूलर" (Smart Ruler)
लेखकों ने सड़क को विभाजित करने का एक नया तरीका बनाया है, जिसे वे वेरिएबल सेल लेंथ (Variable Cell Length) कहते हैं।

उपमा (Analogy): एक ऐसे रूलर की कल्पना करें जो खिंचता और सिकुड़ता है।
- स्टॉप लाइन (रसोई के दरवाजे) के पास: रूलर में बहुत बारीक, सटीक निशान होते हैं (मिलीमीटर की तरह)। यह महत्वपूर्ण है क्योंकि लाइट के ठीक पास कार का आगे बढ़ना बहुत मायने रखता है।
- दूर: निशान बड़े होते जाते हैं (इंच या फीट की तरह)। 400 मीटर दूर एक कार बस "दूरी पर" है, इसलिए हमें उसकी स्थिति को इंच तक जानने की आवश्यकता नहीं है।
यह जादुई क्यों है: चाहे आपका सेंसर 150 मीटर देखे या 500 मीटर, यह "स्मार्ट रूलर" स्वचालित रूप से ब्लॉक्स के आकार को समायोजित करता है ताकि आपके पास हमेशा समान संख्या में ब्लॉक्स हों। इसका मतलब है कि जिस AI को छोटी सड़क पर प्रशिक्षित किया गया है, वह बिना दोबारा प्रशिक्षण के तुरंत लंबी सड़क पर काम कर सकता है। यह शतरंज के छोटे बोर्ड पर खेलने सीखने और फिर तुरंत उसी नियमों का उपयोग करके एक विशाल बोर्ड पर खेलने में सक्षम होने जैसा है।

2. "थ्री-लेयर सैंडविच" व्यू (मल्टी-चैनल स्टेट)

AI ट्रैफिक को कैसे समझता है? केवल कारों को गिनने के बजाय, यह सड़क को एक तीन-परत वाले सैंडविच की तरह देखता है:

लेयर 1 (भीड़): प्रत्येक ब्लॉक में कितनी कारें हैं?
लेयर 2 (गति): वे कितनी तेजी से चल रही हैं? (क्या वे रेंग रही हैं या तेजी से दौड़ रही हैं?)
लेयर 3 (स्थान): सड़क का कितना हिस्सा वास्तव में धातु (गाड़ियों) से भरा है? (क्या ब्लॉक पूरी तरह भरा हुआ है, या सांस लेने के लिए जगह है?)

इन तीनों लेयर्स को एक साथ देखकर, AI को ट्रैफिक की "3D" समझ मिलती है, न कि केवल एक सपाट गिनती। वह कारों की संख्या समान होने पर भी, धीमी गति से चलती कारों की लाइन और तेज गति से चलती कारों की लाइन के बीच अंतर जानता है।

3. "शेफ का स्कोरकार्ड" (रिवॉर्ड फंक्शन)

AI चीज़ों को आज़माने और स्कोर प्राप्त करके सीखता है।

खराब स्कोर: यदि कारें बहुत देर तक प्रतीक्षा करती हैं, धीरे चलती हैं, या बहुत अधिक गैस (प्रदूषण) जलाती हैं, तो स्कोर कम हो जाता है।
अच्छा स्कोर: यदि कारें तेजी से चलती हैं और प्रतीक्षा कम करती हैं, तो स्कोर बढ़ जाता है।
AI का लक्ष्य इस स्कोर को अधिकतम करना है। यह एक वीडियो गेम की तरह है जहाँ लक्ष्य ट्रैफिक को सुचारू रूप से चलाना है।

4. दो प्रकार के "दिमाग" (DQN बनाम PPO)

शोधकर्ताओं ने यह देखने के लिए AI के दो अलग-अलग प्रकार के "दिमागों" का परीक्षण किया कि कौन सा सबसे अच्छा सीखता है:

DQN (याद करने वाला - The Memorizer): यह दिमाग हर विशिष्ट स्थिति के लिए सबसे अच्छे मूव को याद करने की कोशिश करता है। यह अच्छा है, लेकिन कभी-कभी यह एक ही ढर्रे में फंस जाता है।
PPO (रणनीतिकार - The Strategist): यह दिमाग अधिक लचीला है। यह केवल याद नहीं करता; यह एक सामान्य रणनीति सीखता है। यह एक ग्रैंडमास्टर शतरंज खिलाड़ी की तरह है जो केवल चालों को याद करने के बजाय सिद्धांतों को समझता है।
परिणाम: PPO दिमाग जीत गया। यह अधिक स्थिर था, तेजी से सीखा, और DQN दिमाग की तुलना में अराजक ट्रैफिक को बेहतर तरीके से संभाल सका।

5. "मैजिक ट्रांसफर" (क्रॉस-रेंज ट्रांसफ़रेबिलिटी)

यह इस पेपर का सबसे बड़ा "वाओ" मोमेंट है।

परीक्षण: उन्होंने AI को एक ऐसी सड़क पर प्रशिक्षित किया जहाँ सेंसर केवल 300 मीटर देख सकता था।
चुनौती: फिर वे उसी प्रशिक्षित AI को एक अलग सड़क पर ले गए जहाँ सेंसर 500 मीटर देख सकता था।
परिणाम: आमतौर पर, एक छोटे मैप पर प्रशिक्षित AI बड़े मैप पर विफल हो जाता है। लेकिन "स्मार्ट रूलर" (Variable Cell Length) के कारण, वह AI पूरी तरह से काम कर गया! इसे किसी पुन: प्रशिक्षण की आवश्यकता नहीं थी। इसने समझा कि भले ही वह क्षेत्र अब भौतिक रूप से बड़ा है, फिर भी "ब्लॉक 1" अभी भी लाइट के ठीक बगल वाला क्षेत्र है।

सारांश

यह पेपर ट्रैफिक लाइट को स्मार्ट, अधिक लचीला और अधिक अनुकूलन योग्य बनाने के बारे में है।

पुराना तरीका: कठोर नियम, निश्चित सड़क विभाजन, और ऐसा AI जिसे हर नई सड़क के लिए फिर से प्रशिक्षित करने की आवश्यकता होती है।
नया तरीका: एक लचीला "स्मार्ट रूलर" जो किसी भी सेंसर के अनुकूल होता है, ट्रैफिक का "3D सैंडविच" व्यू, और एक लचीला "रणनीतिकार" AI (PPO) जिसे एक बार प्रशिक्षित किया जा सकता है और फिर तुरंत काम करने के लिए विभिन्न शहरों और विभिन्न सड़क लंबाई में डाला जा सकता है।

यह एक ऐसे शेफ के बीच का अंतर है जो केवल 4 लोगों के लिए खाना बनाना जानता है, और एक ऐसे शेफ के बीच जो रेसिपी बदले बिना तुरंत 400 लोगों के लिए खाना बनाने के स्तर तक बढ़ सकता है।

यहाँ शोध पत्र "एक नवीन सड़क विभाजन और बहु-चैनल अवस्था प्रतिनिधित्व विधि का उपयोग करके अनुकूलित यातायात सिग्नल नियंत्रण" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

चौराहों पर शहरी यातायात जाम के कारण यात्रा दक्षता में कमी, कार्बन उत्सर्जन में वृद्धि और ऊर्जा की खपत अधिक होती है। जबकि डीप रीइन्फोर्समेंट लर्निंग (DRL) एक आशाजनक समाधान प्रदान करता है, मौजूदा विधियाँ दो महत्वपूर्ण सीमाओं का सामना करती हैं:

कठोर सड़क विभाजन (Rigid Road Partitioning): पारंपरिक विधियाँ सड़क खंडों को विविक्त (discretize) करने के लिए अक्सर निश्चित लंबाई वाले सेल का उपयोग करती हैं। यह प्रशिक्षण वातावरण (जहाँ सेंसर रेंज लचीली होती है) और वास्तविक दुनिया के अनुप्रयोगों (जहाँ सेंसर की विशिष्ट, परिवर्तनशील पहचान सीमाएँ होती हैं) के बीच एक बेमेल स्थिति पैदा करता है। फलस्वरूप, एक चौराहे पर प्रशिक्षित मॉडल अक्सर उन अन्य चौराहों पर विफल हो जाते हैं जिनकी सेंसर कॉन्फ़िगरेशन अलग है।
अपर्याप्त अवस्था प्रतिनिधित्व (Insufficient State Representation): कई दृष्टिकोण संचित मेट्रिक्स (जैसे कुल कतार लंबाई) या सिंगल-चैनल डेटा पर निर्भर करते हैं, जो वाहनों के सूक्ष्म स्थानिक वितरण और गतिशील व्यवहार (जैसे स्थिति-निर्भर गति और अधिभोग) को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन रूपरेखा प्रस्तावित करते हैं जो वेरिएबल सेल लेंथ (VCL) विभाजन को मल्टी-चैनल स्टेट रिप्रेजेंटेशन के साथ एकीकृत करती है, जिसका परीक्षण डीप क्यू-नेटवर्क्स (DQN) और प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके किया गया है।

A. नवीन सड़क विभाजन विधि (वेरिएबल सेल लेंथ)

निश्चित लंबाई वाले सेल के बजाय, यह शोध पत्र सेंसर की पहचान सीमा ( $d$ ) और सेल की एक निश्चित संख्या ( $n$ ) के आधार पर सेल की लंबाई को गतिशील रूप से समायोजित करने के लिए एक गणितीय सूत्र पेश करता है।

सूत्र: $x$ -वें सेल की लंबाई, $f(x)$ , को एक लॉगरिदमिक और एक लीनियर फंक्शन के योग के रूप में परिभाषित किया गया है:
$f(x) = a \ln(x + 1) + bx$
तर्क: स्टॉप लाइन के करीब वाले सेल छोटे (बारीक ग्रैनुलैरिटी) होते हैं क्योंकि चौराहे के पास स्थित वाहनों का सिग्नल टाइमिंग पर अधिक प्रभाव पड़ता है। दूर स्थित सेल उत्तरोत्तर लंबे होते जाते हैं।
अनुकूलन क्षमता: गुणांक $a$ और $b$ को पहले सेल की लंबाई ( $l_1$ ) और कुल पहचान सीमा ( $d$ ) के आधार पर समीकरणों के एक सिस्टम को हल करके गणना किया जाता है। यह सुनिश्चित करता है कि चाहे सेंसर 300 मीटर का पता लगाए या 500 मीटर का, सड़क को हमेशा सेल की समान संख्या ( $n$ ) में विभाजित किया जाएगा, जिससे क्रॉस-रेंज ट्रांसफर क्षमता (cross-range transferability) सक्षम होती है।

B. मल्टी-चैनल स्टेट रिप्रेजेंटेशन

यातायात की अवस्था को एक 3D टेंसर (लेन $\times$ सेल $\times$ चैनल) में संक्षिप्त किया गया है, जो इमेज प्रोसेसिंग (ऊंचाई $\times$ चौड़ाई $\times$ चैनल) के समान है।

तीन चैनल: प्रत्येक सेल के लिए, स्टेट वेक्टर में शामिल हैं:
1. वाहनों की संख्या (Count)
2. औसत गति (Average speed)
3. स्थानिक अधिभोग (Space occupancy - सेल की लंबाई के अनुपात में वाहन की लंबाई का योग)
नॉर्मलाइजेशन: विभिन्न यातायात प्रवाहों के बीच मॉडल के अभिसरण (convergence) को सुनिश्चित करने के लिए ऐतिहासिक अधिकतम मानों का उपयोग करके डेटा को नॉर्मलाइज़ किया गया है।

C. एक्शन और रिवॉर्ड स्पेस (Action and Reward Space)

एक्शन स्पेस: 8 असतत सिग्नल चरण (जैसे पूर्व-पश्चिम सीधा, उत्तर-दक्षिण बायां मोड़, आदि)। चयनित चरणों को एक निश्चित ग्रीन टाइम (अध्ययन में 15 सेकंड) के साथ निष्पादित किया जाता है।
रिवॉर्ड फंक्शन: नॉर्मलाइज्ड प्रमुख मेट्रिक्स का एक भारित योग (weighted sum):
$r(t) = -0.7 \times \text{waiting\_penalty} + 0.2 \times \text{speed\_reward} - 0.1 \times \text{fuel\_penalty}$
- प्रतीक्षा समय और ईंधन की खपत को दंडित (ऋणात्मक भार) किया जाता है।
- गति को पुरस्कृत (धनात्मक भार) किया जाता है।
- आउटलेर्स को हावी होने से रोकने के लिए मेट्रिक्स को विशिष्ट अधिकतम मानों (200s प्रतीक्षा, 20 m/s गति, 100mL ईंधन) पर सीमित किया गया है।

D. एल्गोरिदम (Algorithms)

दो एल्गोरिदम लागू किए गए और उनकी तुलना की गई:

DQN: यह स्टेट टेंसर से विशेषताओं को निकालने के लिए एक कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) का उपयोग करता है, जिसके बाद Q-वैल्यू का अनुमान लगाने के लिए फुली कनेक्टेड लेयर्स का उपयोग किया जाता है।
PPO: यह एक समान CNN आर्किटेक्चर का उपयोग करता है लेकिन स्थिर अपडेट सुनिश्चित करने के लिए एक क्लिप्ड सरोगेट ऑब्जेक्टिव फंक्शन का उपयोग करके सीधे पैरामीटराइज्ड पॉलिसी को अनुकूलित करता है।

3. मुख्य योगदान (Key Contributions)

अनुकूलन योग्य विभाजन सूत्र: एक लॉगरिदमिक-लीनियर फंक्शन का परिचय जो एक प्रशिक्षित AI मॉडल को बिना पुन: प्रशिक्षण के, अलग-अलग सेंसर डिटेक्शन रेंज वाले चौराहों (जैसे 300 मीटर से 500 मीटर) पर सीधे स्थानांतरित करने की अनुमति देता है, बशर्ते सेल की संख्या समान रहे।
मल्टी-चैनल स्टेट एनकोडिंग: केवल कतार की लंबाई से आगे बढ़कर, 3-चैनल प्रतिनिधित्व (काउंट, स्पीड, अधिभोग) का उपयोग करना जो न्यूरल नेटवर्क के लिए यातायात की गतिशीलता का एक व्यापक दृश्य प्रदान करता है।
क्रॉस-रेंज ट्रांसफर क्षमता: यह प्रदर्शित किया गया कि एक विशिष्ट डिटेक्शन रेंज पर प्रशिक्षित मॉडल प्रभावी रूप से एक अलग रेंज वाले चौराहे को नियंत्रित कर सकता है, जो वर्तमान DRL ट्रैफिक कंट्रोल रिसर्च में एक बड़े सामान्यीकरण अंतराल (generalization gap) को हल करता है।
ट्रैजेक्टरी जनरेशन एल्गोरिदम: प्रशिक्षण के लिए यथार्थवादी और विविध यातायात प्रवाह को सिम्युलेट करने के लिए सोर्स से सिंक तक स्टोकेस्टिक वाहन ट्रैजेक्टरी उत्पन्न करने की एक नवीन विधि।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन में SUMO माइक्रोस्कोपिक ट्रैफिक सिम्युलेटर को TensorFlow और Python के साथ उपयोग किया गया।

प्रदर्शन तुलना:
- VCL-PPO (वेरिएबल सेल लेंथ + PPO) ने विभिन्न यातायात मात्राओं (500–3000 veh/h) में संचयी कतार लंबाई और प्रतीक्षा समय को कम करने में सर्वश्रेष्ठ प्रदर्शन किया।
- VCL-DQN प्रस्तावित विधियों में सबसे खराब प्रदर्शन करता है, जो संभवतः सिग्नल नियंत्रण की क्रमिक प्रकृति और शोर वाले रिवॉर्ड सिग्नल को संभालने में PPO की बेहतर स्थिरता के कारण है।
- दोनों VCL विधियों ने फिक्स्ड सेल लेंथ (FCL) मॉडलों और सेल विविक्तीकरण (cell discretization) के बिना वाले मॉडलों से बेहतर प्रदर्शन किया।
स्थानांतरण मूल्यांकन (Transferability Evaluation):
- 300 मीटर डिटेक्शन रेंज पर प्रशिक्षित मॉडल को सीधे 500 मीटर डिटेक्शन रेंज वाले परिदृश्य में लागू किया गया।
- स्थानांतरित मॉडल ने फिक्स्ड-टाइम कंट्रोल की तुलना में बेहतर प्रदर्शन बनाए रखा और 500 मीटर रेंज के लिए विशेष रूप से प्रशिक्षित मॉडल के तुलनीय प्रदर्शन किया, जो वेरिएबल सेल पार्टीशनिंग की प्रभावशीलता की पुष्टि करता है।
अभिसरण (Convergence): स्टोकेस्टिक ट्रैफिक फ्लो स्थितियों के तहत, PPO एजेंट ने महत्वपूर्ण उतार-चढ़ाव दिखाया और फिक्स्ड फ्लो परिदृश्यों की तुलना में अधिक एपिसोड (~1000) लेकर अभिसरण किया, जो वास्तविक दुनिया के यातायात की जटिलता को उजागर करता है।

5. महत्व (Significance)

यह शोध सैद्धांतिक DRL ट्रैफिक कंट्रोल और व्यावहारिक तैनाती के बीच के अंतर को पाटता है। वेरिएबल सेल पार्टीशनिंग के माध्यम से सीखा गया नीति (policy) को भौतिक पैमानों से अलग करके, यह अध्ययन स्मार्ट सिटी इंफ्रास्ट्रक्चर के लिए एक स्केलेबल और हस्तांतरणीय समाधान प्रदान करता है। यह सुझाव देता है कि यातायात सिग्नल नियंत्रण प्रणालियों को अलग-अलग सेंसर क्षमताओं वाले विविध चौराहों पर बिना किसी महंगे, चौराहे-विशिष्ट पुन: प्रशिक्षण के तैनात किया जा सकता है, जिससे AI-संचालित यातायात प्रबंधन के लिए प्रवेश की बाधा काफी कम हो जाती है।