Smart Transportation Without Neurons -- Fair Metro Network Expansion with Tabular Reinforcement Learning

तकनीकी सारांश: न्यूरॉन्स के बिना स्मार्ट परिवहन – टेबुलर सुदृढीकरण शिक्षण (Reinforcement Learning) के साथ निष्पक्ष मेट्रो नेटवर्क विस्तार

समस्या की परिभाषा
यह शोध पत्र मेट्रो नेटवर्क एक्सपेंशन प्रॉब्लम (MNEP) को संबोधित करता है, जो ट्रांसपोर्ट नेटवर्क डिज़ाइन प्रॉब्लम (TNDP) का एक विशिष्ट उपसमुच्चय है। इसका उद्देश्य मौजूदा शहरी नेटवर्क के भीतर एक नया मेट्रो लाइन डिजाइन करना है ताकि निर्माण बजट ($B$) और स्टेशनों की अधिकतम संख्या ($T$) के प्रतिबंधों के अधीन, कैप्चर की गई यात्रा मांग (travel demand) को अधिकतम किया जा सके। पारंपरिक रूप से, MNEP को एक कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्या के रूप में मॉडल किया जाता है जहाँ शहर को एक ग्रिड के रूप में दर्शाया जाता है, और लक्ष्य एक आसन्न सेल (adjacent cells) का अनुक्रम खोजना होता है जो कुल संतुष्ट ओरिजिन-डेस्टिनेशन (OD) मांग को अधिकतम करता है।

साहित्य में पहचाना गया एक महत्वपूर्ण अंतराल इन समस्याओं के लिए डीप सुदृढीकरण शिक्षण (Deep RL) पर निर्भरता है। जबकि Deep RL ने जटिल अनुक्रमिक निर्णय लेने में सफलता दिखाई है, यह गणनात्मक रूप से महंगा, पर्यावरणीय रूप से लागतपूर्ण और अक्सर एक "ब्लैक बॉक्स" की तरह कार्य करता है, जिसमें व्याख्यात्मकता (interpretability) का अभाव होता है। लेखक तर्क देते हैं कि MNEP मौलिक रूप से एक स्थिर अनुकूलन समस्या है जिसमें इनपुट फीचर्स सीमित हैं और अंतर्निहित स्केलेबिलिटी बाधाएं (जैसे, निश्चित स्टेशन अंतराल) हैं, जो यह सुझाव देती हैं कि जटिल न्यूरल नेटवर्क अनावश्यक हो सकते हैं। इसके अलावा, मौजूदा दृष्टिकोण अक्सर सामाजिक समानता के बजाय दक्षता (उपयोगितावाद) को प्राथमिकता देते हैं, जिससे विभिन्न सामाजिक-आर्थिक समूहों के बीच परिवहन लाभों के न्यायसंगत वितरण को संबोधित करने में विफलता होती है।

कार्यप्रणाली (Methodology)
लेखक एक नया ढांचा प्रस्तावित करते है जो समस्या के पुनर्गठन (reformulation) को एक टेबुलर सुदृढीकरण शिक्षण (Tabular RL) दृष्टिकोण के साथ जोड़ता है, जिसमें सामाजिक समानता मानदंडों को स्पष्ट रूप से शामिल किया गया है।

1. समस्या का पुनर्गठन (NMRDP):
   MNEP को एक नॉन-मार्कोवियन रिवॉर्ड डिसीजन प्रोसेस (NMRDP) के रूप में पुनर्गठित किया गया है। पिछले Deep RL दृष्टिकोणों के विपरीत, जो प्रत्येक ग्रिड सेल को एक संभावित एक्शन के रूप में देखते हैं (जिसके परिणामस्वरूप एक्शन स्पेस ग्रिड के आकार के साथ रैखिक रूप से $O(n \times m)$ बढ़ता है), प्रस्तावित विधि प्रक्रिया को दो चरणों में विभाजित करती है:

• प्रारंभिक अवस्था चयन (Initial State Selection): एजेंट मेट्रो लाइन के लिए एक शुरुआती सेल चुनता है।
• अनुक्रमिक नेविगेशन (Sequential Navigation): एजेंट आठ अलग-अलग दिशाओं (N, S, E, W, और चार विकर्ण/diagonals) को चुनकर ग्रिड के माध्यम से आगे बढ़ता है।
  यह प्रारंभिक चयन के बाद के सभी चरणों के लिए एक्शन स्पेस को एक स्थिर आकार 8 में कम कर देता है, जिससे प्रति चरण समय जटिलता (time complexity) $O(1)$ हो जाती है। अवस्था (state) को एजेंट के वर्तमान स्थान तक सरल बनाया गया है। चूंकि रिवॉर्ड विज़िट किए गए स्टेशनों के इतिहास (डायरेक्ट और ट्रांसफर डिमांड की गणना करने के लिए) पर निर्भर करता है, इसलिए यह प्रक्रिया सख्त मार्कोव गुण का उल्लंघन करती है, जिससे NMRDP फॉर्मूलेशन बनता है।

2. एल्गोरिदम (मोंटे कार्लो टेबुलर RL):
   लेखक एक मोंटे कार्लो-आधारित टेबुलर RL एल्गोरिदम का उपयोग करते हैं। एजेंट दो टेबल बनाए रखता है:

• $V_{start}(S_0)$: एक विशिष्ट सेल को शुरुआती बिंदु के रूप में चुनने के अपेक्षित रिटर्न का अनुमान लगाता है।
• $Q(S, A)$: एक वर्तमान अवस्था से एक विशिष्ट दिशात्मक एक्शन लेने के मूल्य का अनुमान लगाता है।
  एजेंट अन्वेषण (exploration) और दोहन (exploitation) के लिए $\epsilon$-greedy रणनीति का उपयोग करता है। अपडेट प्रत्येक एपिसोड के अंत में कुल रिटर्न $J$ के मोंटे कार्लो अनुमान का उपयोग करके किया जाता है, जो अनुमानित और वास्तविक रिटर्न के बीच के अंतर के आधार पर $V$ और $Q$ मानों को समायोजित करता है।

3. सामाजिक समानता एकीकरण:
   रिवॉर्ड फंक्शन को केवल मांग के अधिकतमकरण से आगे बढ़ाकर सामाजिक समानता को शामिल किया गया है। लेखक तीन रिवॉर्ड फॉर्मूलेशन का परीक्षण करते हैं:

• उपयोगितावादी (अधिकतम दक्षता): कुल संतुष्ट मांग को अधिकतम करता है।
• समान साझाकरण (क्षैतिज समानता): समूहों के बीच लाभों के अंतर को कम करने के लिए जनरलाइज्ड गिनी इंडेक्स (GGI) का उपयोग करता है।
• रॉल्सियन जस्टिस (लंबवत समानता): सबसे वंचित समूह (सबसे कम हाउस प्राइस क्विंटाइल) के लिए लाभ को अधिकतम करता है।

प्रमुख योगदान

• समस्या का पुनर्गठन: शोध पत्र प्रदर्शित करता है कि MNEP को एक NMRDP के रूप में पुनर्गठित करने और एक्शन स्पेस को कम करने से सरल टेबुलर विधियों का उपयोग करना संभव हो जाता है, जो समाधान स्थान को प्रतिबंधित किए बिना खोज स्थान की जटिलता को काफी कम कर देता है।
• एल्गोरिदम दक्षता: एक मोंटे कार्लो टेबुलर RL एल्गोरिदम का प्रस्ताव जो Deep RL की तुलना में काफी कम प्रशिक्षण एपिसोड के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
• इक्विटी-अवेयर फ्रेमवर्क: दक्षता और निष्पक्षता के बीच संतुलन बनाने के लिए RL फ्रेमवर्क में विविध सामाजिक कल्याण उद्देश्यों (उपयोगितावादी, समानतावादी और रॉल्सियन) के एकीकरण को प्रदान करता है।
• व्याख्यात्मकता (Interpretability): टेबुलर विधियों का उपयोग अंतर्निहित व्याख्यात्मकता प्रदान करता है, जिससे निर्णय लेने वाले Deep RL के गुप्त प्रतिनिधित्व (latent representations) के विपरीत, इष्टतम नीतियों, रिवॉर्ड वितरण और Q-वैल्यू को सीधे देख सकते हैं।

प्रायोगिक परिणाम
इस पद्धति का मूल्यांकन दो वास्तविक दुनिया के वातावरणों में किया गया: शीआन, चीन और एम्स्टर्डम, नीदरलैंड।

• प्रदर्शन: TabularMNEP ने सभी रिवॉर्ड फंक्शन (दक्षता, GGI(2), GGI(4), और रॉल्स) के तहत स्टेट-ऑफ-द-आर्ट Deep RL विधियों के तुलनीय प्रदर्शन हासिल किया। कुछ मामलों में, यह Deep RL से थोड़ा कम प्रदर्शन करता है लेकिन कॉन्फिडेंस इंटरवल के भीतर रहता है, जबकि जेनेटिक एल्गोरिदम और ग्रीडी सर्च बेसलाइन से काफी बेहतर प्रदर्शन करता है।
• दक्षता: टेबुलर दृष्टिकोण को केवल 25,000 प्रशिक्षण एपिसोड की आवश्यकता थी, जो Deep RL बेसलाइन द्वारा आवश्यक 448,000 एपिसोड की तुलना में 18 गुना कम है।
• पर्यावरणीय प्रभाव: कम प्रशिक्षण समय और GPU निर्भरता की कमी के कारण (हालांकि तुलना की निष्पक्षता के लिए GPU नोड्स पर परीक्षण किया गया था), टेबुलर विधि ने औसतन कार्बन उत्सर्जन को 12 के कारक से कम कर दिया।
• इक्विटी परिणाम: प्रयोगों ने पुष्टि की कि विभिन्न रिवॉर्ड फंक्शन ने नेटवर्क डिजाइन को सफलतापूर्वक बदला। 'मैक्स एफिशिएंसी' उच्च-मांग वाले क्षेत्रों (अक्सर धनी क्षेत्रों) का पक्ष लेता है, जबकि GGI और रॉल्सियन रिवॉर्ड्स ने समग्र दक्षता की कीमत पर, विभिन्न स्तरों पर निम्न-आय समूहों को लाभों को पुनर्वितरित करने में सफलता प्राप्त की।

महत्व और दावे
शोध पत्र दावा करता है कि MNEP जैसी कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्याओं के लिए जटिल, ब्लैक-बॉक्स डीप लर्निंग मॉडल हमेशा आवश्यक नहीं होते हैं। एक्शन स्पेस को कम करने के लिए समस्या को सावधानीपूर्वक पुनर्गठित करके, सरल, संसाधन-कुशल और व्याख्या योग्य टेबुलर विधियां अत्याधुनिक परिणाम दे सकती हैं। लेखक इस दृष्टिकोण को एक "प्रतिलिपि योग्य (replicable), मॉड्यूलर, व्याख्या योग्य और संसाधन-कुशल समाधान" के रूप में रेखांकित करते हैं।

यह कार्य स्वचालित परिवहन नियोजन में सामाजिक समानता पर विचार करने के महत्व पर प्रकाश डालता है, यह प्रदर्शित करते हुए कि RL को दक्षता का बहुत अधिक त्याग किए बिना निष्पक्षता के लिए ट्यून किया जा सकता है। हालांकि, लेखक स्केलेबिलिटी के संबंध में एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि जबकि टेबुलर विधियां सीमित स्टेट रिप्रेजेंटेशन के कारण MNEP में अच्छी तरह से काम करती हैं, वे स्वाभाविक रूप से विशाल स्टेट रिप्रेजेंटेशन वाली समस्याओं के लिए सामान्यीकृत (generalize) नहीं हो सकती हैं। वे यह भी चेतावनी देते हैं कि सावधानीपूर्वक रिवॉर्ड डिजाइन और मानवीय निरीक्षण के बिना, शहरी नियोजन में स्वचालित निर्णय लेना मौजूदा पूर्वाग्रहों को मजबूत करने का जोखिम उठाता है।