Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

तकनीकी सारांश: बाधित पैदल यात्री क्रॉसिंग में स्वायत्त आपातकालीन ब्रेकिंग के लिए मानव-संरेखित रिवॉर्ड लेबलिंग का उपयोग करके ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning)

समस्या का निरूपण

यह शोध पत्र स्वायत्त ड्राइविंग (AD) प्रणालियों की तैनाती में एक महत्वपूर्ण बाधा को संबोधित करता है: ऑफलाइन सुदृढीकरण शिक्षण (Offline RL) के लिए आवश्यक वास्तविक दुनिया के डेटासेट में सार्थक रिवॉर्ड लेबल की कमी। जबकि वास्तविक दुनिया के डेटासेट (जैसे, Waymo, nuScenes, A2D2) समृद्ध, उच्च-निष्ठा वाला डेटा प्रदान करते हैं, उनमें आमतौर पर उन रिवॉर्ड संकेतों की कमी होती है जो एजेंटों को वांछनीय और अवांछनीय व्यवहारों के बीच अंतर करने के लिए प्रशिक्षित करने हेतु आवश्यक होते हैं। मौजूदा समाधान अक्सर सिमुलेशन पर निर्भर करते हैं, जो "सिम-टू-रियल" अंतराल (sim-to-real gap) से ग्रस्त होते हैं, या वे लो-डायमेंशनल स्टेट रिप्रेजेंटेशन का उपयोग करते हैं जो इमेज-आधारित अवलोकनों की संवेदी समृद्धि को अनदेखा कर देते हैं।

जांच की गई विशिष्ट कार्यप्रणाली वाहन अनुदैर्ध्य नियंत्रण (vehicle longitudinal control) है, जो एक बाधित पैदल यात्री क्रॉसिंग (occluded pedestrian crossing) परिदृश्य के भीतर संचालित होती है। इस उच्च-जोखिम वाले वातावरण में, एक स्वायत्त वाहन (AV) को एक जेब्रा क्रॉसिंग पर नेविगेट करना होता है जहाँ पैदल यात्रियों के अन्य वाहनों द्वारा छिपे होने (बाधा/occlusion) की संभावना होती है और वे अचानक सामने आ सकते हैं। चुनौती ऐसे रिवॉर्ड लेबल उत्पन्न करने की है जो मानव सुरक्षा मूल्यों (टकराव की संभावित स्थितियों में दक्षता के ऊपर सुरक्षा को प्राथमिकता देना) के साथ संरेखित हों, बिना प्रत्येक फ्रेम के प्रत्यक्ष मानव एनोटेशन के, जिससे इमेज-आधारित ऑफलाइन RL एजेंटों को सीधे स्थिर डेटासेट से प्रशिक्षित करना संभव हो सके।

कार्यप्रणाली

प्रस्तावित समाधान एक अभिनव रिवॉर्ड लेबलिंग पाइपलाइन पेश करता है जो अनलेबल AD डेटासेट को ऑफलाइन RL के लिए प्रशिक्षण-तैयार डेटा में बदल देता है। कार्यप्रणाली के तीन प्राथमिक चरण हैं:

1. सिमेंटिक सेगमेंटेशन और जोखिम मूल्यांकन:

   • सिमेंटिक मैपिंग: कच्चे कैमरा छवियों को एक ResNet18 UNet मॉडल के माध्यम से प्रोसेस किया जाता है ताकि पिक्सेल-स्तरीय सिमेंटिक सेगमेंटेशन मैप जनरेट किए जा सकें। ये मैप्स 28 क्लासों की पहचान करते हैं, जिनमें पैदल यात्री, वाहन, जेब्रा क्रॉसिंग और रोड मार्किंग शामिल हैं।
   • अनुकूली सुरक्षा घटक ($c_t$): सिस्टम सिमेंटिक मैप के विशिष्ट परतों का विश्लेषण करके एक अनुकूली सुरक्षा फ्लैग ($c_t$) की गणना करता है। यह फ्लैग तीन जोखिम कारकों द्वारा निर्धारित किया जाता है:
     • पैदल यात्री उपस्थिति ($F_p$): यह पता लगाता है कि पैदल यात्री सड़क पर है या फुटपाथ पर।
     • जेब्रा क्रॉसिंग बाधा ($F_c$): आकलन करता है कि क्या जेब्रा क्रॉसिंग ट्रैफिक द्वारा आंशिक रूप से बाधित है, जिससे अनिश्चितता पैदा होती है।
     • पैदल यात्री इतिहास ($F_h$): उन पैदल यात्रियों को ट्रैक करने के लिए एक मेमोरी बैंक का उपयोग करता है जो दिखाई देते हैं और फिर गायब हो जाते हैं (जो बाधा का संकेत है), उन्हें मध्यम जोखिम के रूप में फ्लैग करता है।
   • निर्णय तर्क (Decision Logic): इन कारकों को जोड़ा जाता है और एक स्केल्ड सिग्मॉइड फंक्शन के माध्यम से पास किया जाता है। यदि परिणामी प्रायिकता एक थ्रेशोल्ड ($\psi = 0.75$) से अधिक हो जाती है, तो $c_t$ को 1 सेट किया जाता है, जो सुरक्षा रिवॉर्ड घटक को सक्रिय करता है और दक्षता घटक को निष्क्रिय करता है।

2. रिवॉर्ड फंक्शन का निर्माण:
   अंतिम रिवॉर्ड सिग्नल ($R_{final}$) तीन घटकों का एक भारित योग (weighted sum) है, जो $c_t$ के आधार पर गतिशील रूप से स्विच होता है:

   • सुरक्षा ($g_{safe}$): पैदल यात्रियों के पास उच्च गति और टकराव को दंडित करता है। यह तब सक्रिय होता है जब $c_t=1$ हो।
   • दक्षता ($g_{efficient}$): जब कोई टकराव आसन्न न हो, तो उच्च गति को प्रोत्साहित करता है। यह तब सक्रिय होता है जब $c_t=0$ हो।
   • सुगमता ($g_{smooth}$): झटकेदार त्वरण (jerky acceleration) को दंडित करता है, यह हमेशा सक्रिय रहता है।
   • सेंसर एकीकरण: वास्तविक दुनिया के डेटा के लिए, पिनहोल कैमरा मॉडल और सिमेंटिक सेगमेंटेशन का उपयोग करके पैदल यात्रियों की दूरी का अनुमान लगाया जाता है, जबकि गति और त्वरण को वाहन CAN बस और IMU डेटा से प्राप्त किया जाता है।

3. स्थानिक ध्यान (Spatial Attention) के साथ ऑफलाइन RL प्रशिक्षण:
   एजेंट को प्रशिक्षित करने के लिए, यह पेपर एक धारणा-आधारित पाइपलाइन का प्रस्ताव करता है जो फीचर एक्सट्रैक्शन को निर्देशित करने के लिए सिमेंटिक मैप्स का लाभ उठाता है:

   • फीचर एक्सट्रैक्शन: कैमरा छवियों को एक ResNet18 ऑटोएन्कोडर के माध्यम से गुजारा जाता है ताकि लेटेंट फीचर एम्बेडिंग्स बनाई जा सकें।
   • स्थानिक ध्यान (Spatial Attention): कार्य-प्रासंगिक सिमेंटिक परतों (पैदल यात्री, जेब्रा क्रॉसिंग, वाहन) को अलग किया जाता है और इमेज ऑब्जर्वेशन के भीतर विभिन्न ऑब्जेक्ट क्लासों को अलग-अलग स्तर का स्थानिक ध्यान प्रदान करने के लिए उपयोग किया जाता है। यह भारित क्रॉस-वाइज मल्टीप्लिकेशन (weighted cross-wise multiplication) के माध्यम से प्राप्त किया जाता है, जहाँ पैदल यात्री फीचर्स को उच्चतम भार ($\omega_{ped}=1.0$), उसके बाद जेब्रा क्रॉसिंग ($\omega_{cross}=0.75$) और वाहनों ($\omega_{veh}=0.50$) को दिया जाता है। यह तंत्र एजेंट को टक्कर से बचने के लिए महत्वपूर्ण वस्तुओं पर ध्यान केंद्रित करने के लिए मजबूर करता है।

मुख्य योगदान

यह पेपर तीन मुख्य योगदानों को रेखांकित करता है:

1. मानव-संरेखित रिवॉर्ड लेबलिंग: मौजूदा AD डेटासेट के लिए रिवॉर्ड लेबल उत्पन्न करने का एक अभिनव दृष्टिकोण, जो नए डेटा संग्रह की आवश्यकता के बिना एंड-टू-एंड ऑफलाइन RL में उनके उपयोग को सक्षम बनाता है।
2. अनुकूली सुरक्षा तंत्र: एक रिवॉर्ड फंक्शन जिसमें सिमेंटिक सेगमेंटेशन मैप्स से प्राप्त एक अनुवर्ती सुरक्षा घटक शामिल है। यह एजेंट को वास्तविक समय के जोखिम कारकों जैसे पैदल यात्री स्थान और बाधा के आधार पर दक्षता के ऊपर सुरक्षा को गतिशील रूप से प्राथमिकता देने की अनुमति देता है।
3. सिमेंटिक मैप्स के माध्यम से स्थानिक ध्यान: इमेज ऑब्जर्वेशन के भीतर विभिन्न ऑब्जेक्ट क्लासों को स्थानिक ध्यान प्रदान करने के लिए सिमेंटिक सेगमेंटेशन परतों का उपयोग करने की एक विधि, जो महत्वपूर्ण दृश्य तत्वों पर ध्यान केंद्रित करके एजेंट के निर्णय लेने की क्षमता में सुधार करती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो सेटिंग्स में किया गया: एक CARLA सिमुलेशन और वास्तविक दुनिया के Audi Autonomous Driving Dataset (A2D2) का एक उपसमुच्चय।

• सिमुलेशन (CARLA):

  • परीक्षण किए गए एल्गोरिदम: लेबल किए गए डेटा का उपयोग CQL, IQL, और BPPO को प्रशिक्षित करने के लिए किया गया था।
  • बेसलाइन्स: प्रस्तावित विधि ("Gen") की तुलना अनलेबल डेटा शेयरिंग (UDS) (शून्य रिवॉर्ड असाइन करना) और एक विज़न लैंग्वेज मॉडल (VLM) दृष्टिकोण से की गई।
  • प्रदर्शन: IQL (Gen) सेटअप ने उच्चतम प्रदर्शन प्राप्त किया, जिसमें आंशिक बाधा वाले परिदृश्यों में सफलता दर 98-100% रही। प्रस्तावित विधि ने UDS या VLM बेसलाइन्स की तुलना में सामान्य रूप से अधिक स्थिर और विश्वसनीय व्यवहार प्रदर्शित किया।
  • सीमाएँ: अत्यधिक भीड़भाड़ वाले, पूर्णतः बाधित परिदृश्यों में प्रदर्शन में गिरावट आई, विशेष रूप से CQL और BPPO के लिए, जो यह सुझाव देता है कि फ्रंट-फेसिंग कैमरा व्यू के सीमित प्रभाव हैं।

• वास्तविक दुनिया (A2D2):

  • तुलना: जनरेट किए गए रिवॉर्ड लेबल की तुलना मानव द्वारा मैन्युअल रूप से एनोटेट किए गए लेबल से की गई।
  • निष्कर्ष: हालांकि रिवॉर्ड का समग्र वितरण समान था, लेकिन विशिष्ट सुरक्षा वर्गीकरणों में एक मध्यम अंतर देखा गया। विशेष रूप से, विधि ने कुछ असुरक्षित अवस्थाओं (जैसे, अत्यधिक बाधित पैदल यात्री) को चिह्नित किया जिन्हें मानव एनोटेटर ने मिस कर दिया था। इसके विपरीत, विधि विशिष्ट जोखिम कारकों (जैसे, रोड मार्किंग और रोड सरफेस के बीच भ्रम) की सीमाओं के कारण स्पष्ट रूप से दिखने वाले पैदल यात्रियों को पहचानने में विफल रही।

महत्व और दावे

यह पेपर दावा करता है कि इसका प्राथमिक महत्व बड़े पैमाने के, अनलेबल वास्तविक दुनिया के AD डेटासेट और ऑफलाइन RL की आवश्यकताओं के बीच के अंतर को पाटने में निहित है। मानव-संरेखित रिवॉर्ड लेबल को स्वचालित रूप से उत्पन्न करके, यह विधि मैन्युअल एनोटेशन की अत्यधिक लागत या सिमुलेशन के फिडेलिटी मुद्दों के बिना धारणा-आधारित एजेंटों को प्रशिक्षित करना सक्षम बनाती है।

लेखक इस बात पर जोर देते हैं कि जबकि यह विधि सिमुलेशन में सार्थक रिवॉर्ड सिग्नल सफलतापूर्वक उत्पन्न करती है और पॉलिसी प्रदर्शन में सुधार करती है, यह मानव निर्णय का पूर्ण प्रतिस्थापन नहीं है। A2D2 के परिणाम बताते हैं कि विधि उन खतरों का पता लगा सकती है जिन्हें मनुष्य मिस कर देते हैं (सिमेंटिक मैप्स के व्यवस्थित विश्लेषण के कारण), लेकिन इसमें मानव ड्राइवरों जैसा सूक्ष्म प्रासंगिक तर्क (nuanced contextual reasoning) भी नहीं है। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण जटिल परिदृश्यों में ऑफलाइन RL के लिए एक व्यवहार्य शुरुआती बिंदु प्रदान करता है, हालांकि भविष्य के कार्यों को घने ट्रैफिक वातावरण को अधिक मजबूती से संभालने के लिए टेम्पोरल रीजनिंग और मल्टी-व्यू इंटीग्रेशन को संबोधित करना होगा।