Balancing Progress and Safety: A Novel Risk-Aware Objective for RL in Autonomous Driving

यहाँ शोध पत्र "Balancing Progress and Safety: A Novel Risk-Aware Objective for RL in Autonomous Driving" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एन्ड्र-टू-एंड (E2E) स्वायत्त ड्राइविंग (Autonomous Driving) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक आशाजनक दृष्टिकोण है, फिर भी इसकी वास्तविक दुनिया में प्रयोज्यता खराब तरीके से डिज़ाइन किए गए रिवॉर्ड फंक्शन (Reward Functions) के कारण बाधित है। वर्तमान साहित्य अक्सर निम्नलिखित समस्याओं से ग्रस्त रहता है:

• स्पार्स सेफ्टी पेनल्टी (Sparse Safety Penalties): सुरक्षा को आमतौर पर केवल टक्कर (Collision) होने पर एक बाइनरी दंड के रूप में माना जाता है। यह उन कार्यों के जोखिमों को संबोधित करने में विफल रहता है जो टक्कर की ओर ले जाते हैं, जिससे एजेंट खतरनाक शॉर्टकट लेने लगते हैं।
• उद्देश्यों के बीच संघर्ष (Conflict Between Objectives): प्रगति (गंतव्य तक पहुँचना) और सुरक्षा के बीच एक मौलिक संघर्ष है। अपर्याप्त रिवॉर्ड डिज़ाइन से तर्कहीन व्यवहार हो सकता है, जैसे कि एक एजेंट प्रतीक्षा करने के बजाय बाधा से टकराना चुन सकता है, क्योंकि "प्रतीक्षा करने" (प्रगति की कमी) के लिए संचित दंड टक्कर के दंड से अधिक हो जाता है।
• नॉर्मलाइजेशन और संरचना का अभाव (Lack of Normalization and Structure): मौजूदा रिवॉर्ड फंक्शन अक्सर बिना किसी संरचित पदानुक्रम या नॉर्मलाइज्ड स्केल के मैनुअल वेट ट्यूनिंग पर निर्भर करते हैं, जिससे परस्पर विरोधी लक्ष्यों को पारदर्शी रूप से संतुलित करना कठिन हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक पदानुक्रमित (Hierarchical), जोखिम-जागरूक रिवॉर्ड फंक्शन प्रस्तावित करते हैं जिसे ड्राइविंग उद्देश्यों को व्यवस्थित करने और जोखिम को स्पष्ट रूप से मॉडल करने के लिए डिज़ाइन किया गया है।

A. पदानुक्रमित रिवॉर्ड संरचना (Hierarchical Reward Structure)

रिवॉर्ड को प्राथमिकता स्तरों ($L$) द्वारा व्यवस्थित उद्देश्यों के एक निर्देशित ग्राफ में विभाजित किया गया है, जो "रूलबुक्स" (Rulebooks) से प्रेरित है। यह सुनिश्चित करता है कि उच्च-प्राथमिकता वाले उद्देश्य (सुरक्षा) निम्न-प्राथमिकता वाले उद्देश्यों (सुविधा/Comfort) पर हावी रहें।

• टर्मिनल स्थितियाँ ($L_{term}$): टक्कर, ऑफ-रोड ड्राइविंग, या सफलता (लक्ष्य तक पहुँचना) के लिए तत्काल समाप्ति और भारी दंड।
• स्तर $L_0$ (यातायात नियम): गति सीमा और रेड लाइट के लिए सॉफ्ट कंस्ट्रेंट्स।
• स्तर $L_1$ (प्रगति): लक्ष्य की ओर तय की गई दूरी।
• स्तर $L_1^*$ (जोखिम जागरूकता): एक नया उद्देश्य स्तर जिसे टक्कर होने से पहले जोखिम भरी निकटता को दंडित करने के लिए पेश किया गया है।
• लेवल $L_2$ (ड्राइविंग स्टाइल): लेन बनाए रखना और वेग (Velocity) बनाए रखना।
• लेवल $L_3$ (सुविधा/Comfort): जर्क (Jerk), त्वरण (Acceleration), और स्टीयरिंग रेट के लिए दंड।

कुल रिवॉर्ड इन स्तरों के भारित योग (Weighted Sum) के रूप में गणना किया जाता है, जहाँ भार प्राथमिकता के आधार पर तेजी से घटता है ($w_{L_i} = \beta^{i-1}$)।

B. नवीन जोखिम-जागरूक उद्देश्य ($L_1^*$)

मुख्य नवाचार एक दो-आयामी दीर्घवृत्त-आधारित (Two-dimensional Ellipsoid-based) रिस्क फील्ड है जो रिस्पॉन्सिबिलिटी-सेंसिटिव सेफ्टी (RSS) अवधारणाओं का विस्तार करता है। साधारण टाइम-टू-कोलिजन (TTC) मेट्रिक्स के विपरीत, यह उद्देश्य निम्नलिखित के आधार पर जोखिम को मॉडल करता है:

1. ज्यामितीय जोखिम ($P_{risk}^{geom}$): ईगो वाहन और बाधाओं के स्थिर आयामों (Static Dimensions) पर आधारित।
2. गतिशील जोखिम ($P_{risk}^{dyn}$): वेग, त्वरण और सबसे खराब स्थिति वाले ब्रेकिंग परिदृश्यों पर आधारित।

प्रमुख तंत्र:

• दीर्घवृत्त (Ellipsoid) फंक्शन: एक गैर-रेखीय फंक्शन एजेंटों के बीच की दूरी को दंड मान (Penalty Value) में मैप करता है। दीर्घवृत्त का आकार इंटरैक्शन के प्रकार के अनुसार अनुकूलित होता है:
  • एक ही दिशा: अनुदैर्ध्य स्पष्टता (Longitudinal Clearance) को प्राथमिकता देता है।
  • विपरीत दिशा/इंटरसेक्टिंग: पार्श्व स्पष्टता (Lateral Clearance) या दोनों अक्षों में समान स्पष्टता को प्राथमिकता देता है।
• सबसे खराब स्थिति का विश्लेषण (Worst-Case Analysis): गतिशील स्पष्टता त्रिज्या ($r_x, r_y$) को यह मानते हुए गणना की जाती है कि सबसे खराब स्थिति में (जैसे, प्रतिक्रिया समय $\rho$ के दौरान अग्रणी वाहन अधिकतम ब्रेक लगाता है जबकि ईगो वाहन त्वरित होता है)।
• इंटरसेक्शन हैंडलिंग: इंटरसेक्टिंग वाहनों के लिए, विधि TTC की गणना करने के लिए सर्कल-आधारित एल्गोरिदम का उपयोग करती है, जो इसे लॉगरिदमिक रिस्क स्केल में बदल देती है।

C. प्रयोगात्मक सेटअप (Experimental Setup)

• एजेंट: एक मल्टीमॉडल RL एजेंट (TransFuser बैकबोन) जो DQN का उपयोग करता है। इनपुट में RGB कैमरा इमेज और LiDAR पॉइंट क्लाउड शामिल हैं।
• पर्यावरण: CARLA सिम्युलेटर (Town04) में अनसिग्नलइज्ड इंटरसेक्शन, जिसमें यातायात घनत्व (0.5 से 1.0 तक) भिन्न होता है।
• बेसलाइन्स: प्रस्तावित रिवॉर्ड ($L_{complete}$) की तुलना निम्नलिखित से की गई है:
  • $L_{0-1}$: केवल यातायात नियम और प्रगति।
  • $L_{0-3}$: नियम, प्रगति, स्टाइल और सुविधा (लेकिन इसमें स्पष्ट रिस्क लेयर नहीं है)।

3. मुख्य योगदान (Key Contributions)

1. पदानुक्रमित रिवॉर्ड ग्राफ: परस्पर विरोधी ड्राइविंग उद्देश्यों को व्यवस्थित करने के लिए एक संरचित दृष्टिकोण, जो यह सुनिश्चित करता है कि सुरक्षा, मैनुअल वेट ट्यूनिंग के बिना प्रगति पर हावी रहे।
2. नॉर्मलाइज्ड उद्देश्य: सभी रिवॉर्ड घटकों को [0, 1] स्केल पर नॉर्मलाइज किया गया है, जिससे पारदर्शिता और तुलनात्मकता में सुधार होता है।
3. जोखिम-जागरूक उद्देश्य: 2D दीर्घवृत्त फंक्शन और RSS विस्तार का उपयोग करके एक नवीन फॉर्मूलेशन, जो केवल वास्तविक टक्करों के बजाय संभावित टक्करों (जोखिम) को दंडित करता है। यह सुरक्षा और प्रगति के बीच के अंतर को पाटता है।
4. अनुकूली जोखिम मॉडलिंग (Adaptive Risk Modeling): सिस्टम इंटरैक्शन प्रकारों (एक ही दिशा, विपरीत, इंटरसेक्टिंग, स्थिर बाधाएं) के आधार पर जोखिम मापदंडों को गतिशील रूप से समायोजित करता है।

4. परिणाम (Results)

प्रस्तावित $L_{complete}$ रिवॉर्ड फंक्शन का विभिन्न यातायात घनत्वों में मूल्यांकन किया गया। मुख्य निष्कर्ष इस प्रकार हैं:

• टक्कर में कमी (Collision Reduction):
  • कम घनत्व (0.5) पर, टक्करें 42.5% ($L_{0-1}$) से घटकर 19.6% ($L_{complete}$) हो गईं।
  • उच्च घनत्व (1.0) पर, टक्करें 61.9% ($L_{0-1}$) से घटकर 38.8% ($L_{complete}$) हो गईं।
  • औसत कमी: बेसलाइन्स की तुलना में 21% कम टक्करें।
• प्रगति और दक्षता (Progress and Efficiency):
  • सुरक्षा को प्राथमिकता देने के बावजूद, एजेंट ने उच्च रूट प्रोग्रेस (कम घनत्व पर 0.79 बनाम बेसलाइन के लिए 0.57) बनाए रखा।
  • औसत वेग प्रतिस्पर्धी बना रहा, जो यह सिद्ध करता है कि एजेंट केवल जोखिम से बचने के लिए "फ्रीज" नहीं होता है।
• संचयी रिवॉर्ड (Cumulative Reward): प्रस्तावित पद्धति ने सभी घनत्वों में उच्चतम संचयी रिवॉर्ड प्राप्त किया, जो सुरक्षा और कार्य पूरा करने के बीच बेहतर संतुलन को दर्शाता है।
• ऑफ-रोड व्यवहार: रिस्क-अवेयर मॉडल ने प्रोग्रेस-ओनली बेसलाइन की तुलना में ऑफ-रोड विचलन को काफी कम कर दिया, हालांकि उच्च-घनत्व वाले परिदृश्यों में एक मामूली ट्रेड-ऑफ देखा गया जहाँ सुरक्षित दूरी बनाए रखने के कारण कभी-कभी लेन विचलन हुआ।

5. महत्व (Significance)

यह शोध पत्र स्वायत्त ड्राइविंग के लिए RL में एक महत्वपूर्ण बाधा को संबोधित करता है: रिवॉर्ड डिज़ाइन गैप। स्पार्स कोलिजन पेनल्टी से आगे बढ़कर, एक निरंतर, जोखिम-जागरूक फॉर्मूलेशन का उपयोग करके, लेखक प्रदर्शित करते हैं कि RL एजेंट केवल प्रतिक्रिया देने के बजाय खतरे का अनुमान लगाना सीख सकते हैं।

इसका महत्व यहाँ निहित है:

• ठहराव के बिना सुरक्षा (Safety without Stagnation): यह सिद्ध करना कि स्पष्ट जोखिम मॉडलिंग एजेंटों को अपने गंतव्य तक पहुँचने की क्षमता से समझौता किए बिना जटिल, अनसिग्नलइज्ड इंटरसेक्शन को सुरक्षित रूप से नेविगेट करने की अनुमति देती है।
• स्केलेबिलिटी (Scalability): पदानुक्रमित और नॉर्मलाइज्ड संरचना एक ढांचा प्रदान करती है जिसे अन्य ड्राइविंग परिदृश्यों और उद्देश्यों के लिए विस्तारित किया जा सकता है।
• वास्तविक दुनिया में प्रयोज्यता: घने ट्रैफिक परिदृश्यों में टक्कर दरों में ~21% की कमी यह सुझाव देती है कि यह दृष्टिकोण वास्तविक दुनिया के शहरी वातावरणों में सुरक्षित, अधिक विश्वसनीय स्वायत्त वाहनों को तैनात करने की दिशा में एक व्यवहार्य कदम है।