🤖 machine learning

Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

यह शोधपत्र स्वायत्त आपातकालीन ब्रेकिंग के लिए एक न्यूरो-सिम्बोलिक सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो नीति की मजबूती को बढ़ाने और निर्णय लेने को मानवीय सुरक्षा मूल्यों के साथ संरेखित करने के लिए दृश्य संदर्भ के वेक्टर सिमेंटिक निरूपणों को एक सॉफ्ट फर्स्ट-ऑर्डर लॉजिक रिवॉर्ड फंक्शन के साथ एकीकृत करता है।

मूल लेखक: Vinal Asodia, Iman Sharifi, Saber Fallah

प्रकाशित 2026-02-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vinal Asodia, Iman Sharifi, Saber Fallah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को पैदल यात्रियों के लिए ब्रेक लगाना सिखा रहे हैं। इसे करने का पुराना तरीका एक बच्चे को ड्राइविंग सिखाने जैसा है, जिसमें उसे लाखों कच्ची तस्वीरें दिखाकर यह कहना है, "अगर तुम्हें कुछ लाल दिखे, तो रुको; अगर कुछ नीला दिखे, तो जाओ।" समस्या यह है कि कार लाखों पिक्सेल देखती है, न कि "पैदल यात्री" या "जेब्रा क्रॉसिंग"। इसे दृश्य की कहानी समझने में संघर्ष करना पड़ता है, और यह एक कठोर नियम पुस्तिका (रिवॉर्ड फंक्शन) पर निर्भर करती है जो यह नहीं जानती कि सुरक्षा और गंतव्य तक समय पर पहुँचने के बीच संतुलन कैसे बनाया जाए।

यह शोध पत्र इस कार को सिखाने का एक नया तरीका प्रस्तावित करता है, जो सुव्यवस्थित स्मृति (Super-organized memory) और सामान्य ज्ञान वाले तर्क (Common-sense logic) के मिश्रण का उपयोग करता है। यह कैसे काम करता है, यहाँ इसके सरल भाग दिए गए हैं:

1. "सुव्यवस्थित स्मृति" (वेक्टर सिमेंटिक रिप्रेजेंटेशन)

केवल एक धुंधली फोटो देखने के बजाय, कार का मस्तिष्क दृश्य का एक विशेष "मानसिक स्नैपशॉट" बनाता है।

पुराना तरीका: यह पिक्सेल को देखता है।
नया तरीका: यह दृश्य को पात्रों और उनके संबंधों की एक सूची में तोड़ देता है, जैसे किसी नाटक की पटकथा। यह पहचान करता है: "वहाँ एक पैदल यात्री (पात्र A) है जो एक जेब्रा क्रॉसिंग (स्थान B) पर खड़ा है।"
जादू: यह हाइपरडायमेंशनल कंप्यूटिंग (Hyperdimensional Computing) नामक तकनीक का उपयोग करता है। इसे एक विशाल फाइलिंग कैबिनेट के रूप में सोचें जहाँ प्रत्येक वस्तु (पैदल यात्री, ट्रक, सड़क) का अपना अनूठा, हाई-टेक आईडी कार्ड होता है। कार केवल आईडी ही नहीं स्टोर करती; यह यह भी स्टोर करती है कि वस्तु कहाँ है और वह कैसी दिखती है, और यह सब एक अत्यंत कुशल "मेमोरी वेक्टर" में समाहित होता है।
सुरक्षा फिल्टर: सिस्टम इतना स्मार्ट है कि वह जानता है कि एक ट्रक की तुलना में एक पैदल यात्री अधिक नाजुक होता है। इसलिए, यह पैदल यात्री के आईडी कार्ड को एक "लाउडनेस" सेटिंग (वेट) देता है जो ट्रक की तुलना में बहुत अधिक होती है, जिससे यह सुनिश्चित होता है कि कार संवेदनशील लोगों पर अतिरिक्त ध्यान दे।

2. "सामान्य ज्ञान वाला न्यायाधीश" (सॉफ्ट फर्स्ट-ऑर्डर लॉजिक रिवॉर्ड)

रीइन्फोर्समेंट लर्निंग में, कार अच्छे व्यवहार के लिए अंक (रिवॉर्ड) प्राप्त करके और बुरे व्यवहार के लिए अंक खोकर सीखती है।

पुराना तरीका: नियम पुस्तिका कठोर थी। "यदि आप किसी पैदल यात्री से टकराते हैं, तो -1000 अंक। यदि आप तेज़ गाड़ी चलाते हैं, तो +10 अंक।" यह बहुत सरल है। क्या होगा यदि आप तेज़ गाड़ी चला रहे हैं लेकिन एक खड़ी कार के पीछे कोई पैदल यात्री छिपा हुआ है? पुराने नियम शायद इसे पकड़ नहीं पाते।
नया तरीका: शोध पत्र एक सॉफ्ट फर्स्ट-ऑर्डर लॉजिक (SFOL) न्यायाधीश पेश करता है। एक कठोर नियम पुस्तिका के बजाय, यह एक बुद्धिमान न्यायाधीश की तरह है जो संदर्भ को देखता है।
- न्यायाधीश "मानसिक स्नैपशॉट" के आधार पर प्रश्न पूछता है: "क्या वहाँ जेब्रा क्रॉसिंग है? क्या यह साफ़ है? क्या कोई कार जेब्रा क्रॉसिंग के दृश्य को रोक रही है?"
- उत्तरों के आधार पर, न्यायाधीश तय करता है कि कार को सुरक्षा बनाम दक्षता (Efficiency) पर कितना ध्यान देना चाहिए।
- यदि न्यायाधीश जेब्रा क्रॉसिंग पर एक पैदल यात्री को देखता है, तो वह कहता है, "अभी सुरक्षा 100% महत्वपूर्ण है; दक्षता का कोई महत्व नहीं है।"
- यदि सड़क खाली है, तो वह कहता है, "सुरक्षा अभी भी महत्वपूर्ण है, लेकिन आइए गंतव्य तक जल्दी भी पहुँचें।"
- "सॉफ्ट" का अर्थ है कि न्यायाधीश बाइनरी (हाँ/ना) नहीं है; वह अनिश्चितता को समझता है। यदि दृश्य बाधित है, तो न्यायाधीश कहता है, "मैं 100% निश्चित नहीं हूँ, लेकिन मुझे 80% यकीन है कि वहाँ एक पैदल यात्री हो सकता है, इसलिए चलिए सावधान रहते हैं।"

3. प्रशिक्षण का मैदान (प्रयोग)

शोधकर्ताओं ने इसे एक वर्चुअल शहर (CARLA सिम्युलेटर) में एक विशिष्ट, कठिन परिदृश्य के साथ परखा: छिपा हुआ पैदल यात्री।

सेटअप: एक कार सड़क पर चल रही है। एक बड़ी वैन खड़ी है, जो जेब्रा क्रॉसिंग को छिपा रही है। एक पैदल यात्री वैन के पीछे से बाहर निकलता है।
परीक्षण: उन्होंने कार का हल्के, मध्यम और भारी ट्रैफिक में परीक्षण किया, जिसमें पैदल यात्री कभी पूरी तरह से छिपा हुआ था और कभी आंशिक रूप से दिखाई दे रहा था।

4. परिणाम: क्या सबसे अच्छा काम कर गया?

शोध पत्र ने पाया कि "सुव्यवस्थित स्मृति" और "सामान्य ज्ञान वाला न्यायाधीश" तब सबसे अच्छा काम करते हैं जब वे एक साथ उपयोग किए जाते हैं, लेकिन केवल तभी जब उन्हें एक विशिष्ट तरीके से जोड़ा जाए:

केवल स्मृति (बिना तर्क के): कार बहुत आक्रामक थी और अक्सर दुर्घटनाग्रस्त हो जाती थी। वह जानती थी कि वहाँ क्या है लेकिन उसे यह नहीं पता था कि कैसे प्रतिक्रिया देनी है।
केवल तर्क (बिना स्मृति के): कार हल्के ट्रैफिक में ठीक थी लेकिन भारी ट्रैफिक में भ्रमित हो गई और दुर्घटनाग्रस्त हो गई क्योंकि वह विवरणों को अच्छी तरह से "देख" नहीं पा रही थी।
विजेता (स्मृति + तर्क + जोड़): जब उन्होंने दृश्य की स्मृति को एक सरल "जोड़" (addition) विधि का उपयोग करके तार्किक तर्क के साथ जोड़ा, तो कार सबसे मजबूत साबित हुई। उसने सफलतापूर्वक छिपे हुए पैदल यात्रियों के लिए ब्रेक लगाया, भारी ट्रैफिक में दुर्घटनाओं से बचा, और बहुत अधिक रूढ़िवादी होकर (ट्रैफिक को रोककर) नहीं चली।

निष्कर्ष

यह शोध पत्र दिखाता है कि सेल्फ-ड्राइविंग कारों को सुरक्षित बनाने के लिए, हमें केवल उन्हें अधिक फोटो खिलाने की आवश्यकता नहीं है। हमें उन्हें दृश्य को समझने (कौन कहाँ है) और एक लचीले मस्तिष्क (यह तय करने के लिए कि कब सुरक्षित रहना है और कब कुशल होना है) की आवश्यकता है। सड़क की एक संरचित स्मृति के साथ तर्क-आधारित न्यायाधीश को जोड़कर, कार ऐसे निर्णय लेना सीखती है जो सुरक्षित हैं और मानवीय मूल्यों के अनुरूप हैं, भले ही दृश्य बाधित हो।

तकनीकी सारांश: मानव-केंद्रित स्वायत्त आपातकालीन ब्रेकिंग के लिए वेक्टर सिमेंटिक रिप्रजेंटेशन और सिम्बोलिक रीजनिंग का उपयोग करके सुदृढीकरण शिक्षण (Reinforcement Learning) में सुधार

समस्या विवरण

स्वायत्त ड्राइविंग (AD) के लिए मौजूदा कैमरा-आधारित डीप रिइन्फोर्समेंट लर्निंग (DRL) दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

विशेषता प्रतिनिधित्व (Feature Representation): वे फीचर रिप्रजेंटेशन में उच्च-स्तरीय दृश्य संदर्भ (scene context) को एकीकृत करने में दुर्लभ हैं, और इसके बजाय कच्चे चित्रों या अटेंशन मैकेनिज्म पर निर्भर रहते हैं जो वस्तुओं के संबंधों (जैसे, क्रॉसवॉक के पास पैदल यात्री की निकटता) की स्पष्ट सिमेंटिक समझ के बिना केवल क्षेत्रों को हाइलाइट करते हैं।
रिवॉर्ड फंक्शन डिज़ाइन: वे आमतौर पर कठोर, निश्चित रिवॉर्ड फंक्शन्स (दंड और प्रोत्साहन के भारित योग) पर निर्भर करते हैं। ये जटिल, गतिशील परिदृश्यों में प्रतिस्पर्धी मानवीय मूल्यों (सुरक्षा, दक्षता, आराम) के बीच सूक्ष्म ट्रेड-ऑफ को पकड़ने में विफल रहते हैं। अनुकूलन योग्य रिवॉर्ड फंक्शन मौजूद हैं लेकिन वे अक्सर उद्देश्यों के बीच "हार्ड स्विचिंग" का उपयोग करते हैं, जिससे व्यवहार भंगुर (brittle) हो जाता है।

कार्यप्रणाली

यह शोध पत्र एक न्यूरो-सिम्बोलिक पाइपलाइन का प्रस्ताव करता है जो स्टेट एनकोडिंग के लिए वेक्टर सिमेंटिक रिप्रजेंटेशन (VSR) और रिवॉर्ड शेपिंग के लिए सॉफ्ट फर्स्ट-ऑर्डर लॉजिक (SFOL) को जोड़ता है।

1. वेक्टर सिमेंटिक रिप्रजेंटेशन (VSR)

लेखक हाइपरडायमेंशनल कंप्यूटिंग (HDC), विशेष रूप से होलोग्राफिक रिड्यूस्ड रिप्रजेंटेशन (HRR) का उपयोग करके स्थिर और गतिशील संस्थाओं (entities) को एनकोड करने के लिए VSR ढांचे का विस्तार करते हैं।

इनपुट प्रोसेसिंग: कैमरा छवियों को सिमेंटिक सेगमेंटेशन मैप्स उत्पन्न करने के लिए ResNet18-आधारित UNet और लेटेंट फीचर एम्बेडिंग्स उत्पन्न करने के लिए ResNet18 ऑटोएनकोडर के माध्यम से प्रोसेस किया जाता है।
एंटिटी एनकोडिंग: प्रत्येक गतिशील संस्था ( $E_i$ $E_{i}$ ) को एक हाइपरवेक्टर के रूप में दर्शाया जाता है जो निम्नलिखित को जोड़ता है:
- स्पेशियल सिमेंटिक इंफॉर्मेशन (SSI): यह सिमेंटिक क्लास (जैसे, पैदल यात्री, वाहन), पड़ोसियों के साथ स्थानिक संबंध (जैसे, "क्रॉसवॉक के नीचे पैदल यात्री"), और ग्रिड के भीतर आकार/स्थान को एनकोड करता है। इसे सिमेंटिक क्लास, दिशात्मक और आकार हाइपरवेक्टर्स को बाइंड करके बनाया जाता है।
- स्पेशियल फीचर्स (SF): सिमेंटिक मैप द्वारा भारित, लेटेंट फीचर्स से प्राप्त स्पेशियली अटेंडेड फीचर एम्बेडिंग्स।
फ्यूजन (Fusion): अंतिम VSR वेक्टर सभी एंटिटी हाइपरवेक्टर्स का भारित योग है। महत्वपूर्ण रूप से, वेटिंग स्कीम्स कमजोर सड़क उपयोगकर्ताओं (जैसे, सड़क/क्रॉसवॉक पर पैदल यात्रियों को फुटपाथ या वाहनों की तुलना में अधिक भार दिया जाता है) को प्राथमिकता देती हैं।
एकीकरण: SSI हाइपरवेक्टर और SF एम्बेडिंग्स को एक कॉम्पैक्ट, संदर्भ-समृद्ध डिस्क्रिप्टर बनाने के लिए एलिमेंट-वाइज एडिशन ( $\oplus$ ) या मल्टीप्लिकेशन ( $\otimes$ ) के माध्यम से फ्यूज किया जाता है, जिसे प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) एजेंट में फीड किया जाता है।

2. सॉफ्ट फर्स्ट-ऑर्डर लॉजिक (SFOL) रिवॉर्ड फंक्शन

निश्चित रिवॉर्ड्स की कठोरता को संबोधित करने के लिए, लेखक PyReason का उपयोग करके एक सिम्बोलिक रीजनिंग मॉड्यूल को एकीकृत करते हैं।

प्रेडिकेट एक्सट्रैक्शन: सिमेंटिक और स्पेशियल प्रेडिकेट्स (जैसे, Pedestrian(X), OnCrosswalk(X), Occludes(X,Y)) को सेगमेंटेशन मैप्स और स्पेशियल विश्लेषण से निकाला जाता है। अनिश्चितता को $[0, 1]$ में सॉफ्ट ट्रुथ वैल्यूज असाइन करके संभाला जाता है।
रूल बेस: हॉर्न क्लॉजेस (Horn clauses) का एक सेट सुरक्षा (जैसे, यदि कोई पैदल यात्री सड़क पर है या क्रॉसवॉक बाधित है तो सुरक्षा को प्राथमिकता देना) और दक्षता (जैसे, यदि लेन खाली है तो गति को प्राथमिकता देना) के लिए नियम परिभाषित करता है।
डायनेमिक वेटिंग: सिस्टम इन नियमों के लिए कॉन्फिडेंस लेवल का अनुमान लगाता है। इन कॉन्फिडेंस का उपयोग आधार रिवॉर्ड घटकों (सुरक्षा, दक्षता और सुगमता) के लिए डायनेमिक रूप से वेट ( $\bar{w}_{saf}$ , $\bar{w}_{eff}$ ) की गणना करने के लिए किया जाता है। यह सिस्टम को ड्राइविंग सीन के विशिष्ट संदर्भ के आधार पर मानवीय मूल्यों को संतुलित करने की अनुमति देता है, न कि हार्ड स्विचिंग के माध्यम से।

मुख्य योगदान

विस्तारित VSR: कमजोर सड़क उपयोगकर्ताओं पर जोर देने वाली वेटिंग स्कीम्स के साथ गतिशील संस्थाओं को एनकोड करने के लिए VSR को अनुकूलित करना, जिसे स्पेशियली अटेंडेड फीचर्स के साथ फ्यूज किया गया है।
न्यूरो-सिम्बोलिक फ्यूजन: सिम्बोलिक हाइपरवेक्टर्स (SSI) को डीप लर्निंग फीचर एम्बेडिंग्स (SF) के साथ फ्यूज करके एक कॉम्पैक्ट सीन डिस्क्रिप्टर बनाना।
SFOL रिवॉर्ड फंक्शन: एक ऐसा रिवॉर्ड फंक्शन प्रस्तावित करना जो सुरक्षा, दक्षता और आराम को डायनेमिक रूप से संतुलित करने के लिए सिम्बोलिक रीजनिंग का उपयोग करता है, जो निश्चित या हार्ड-स्विचिंग रिवॉर्ड फॉर्मुलेशन से आगे जाता है।

प्रयोगात्मक परिणाम

पाइपलाइन का मूल्यांकन CARLA सिम्युलेटर में विभिन्न ट्रैफिक घनत्वों (Low, Medium, High) और ऑक्लूजन स्तरों (Partial, Full) के साथ एक ऑक्लूडेड पेडेस्ट्रियन क्रॉसिंग परिदृश्य में किया गया।

VSR एकीकरण:
- केवल SSI: खराब प्रदर्शन किया, जो दर्शाता है कि केवल सिम्बोलिक जानकारी पॉलिसी लर्निंग के लिए अपर्याप्त है।
- केवल SF: तेजी से कन्वर्ज हुआ लेकिन उच्च-घनत्व वाले ट्रैफिक में काफी गिरावट आई, जिससे टक्कर की दर बढ़ गई।
- SSI $\oplus$ SF (एलिमेंट-वाइज एडिशन): सबसे मजबूत प्रदर्शन हासिल किया, जिसने सभी घनत्वों में उच्च सफलता दर, कम टक्कर दर और स्थिर स्टॉपिंग डिस्टेंस को संतुलित किया। इसने स्थिरता में मल्टीप्लिकेशन वेरिएंट ( $\otimes$ ) की तुलना में बेहतर प्रदर्शन किया।
SFOL रिवॉर्ड एब्लेशन:
- पूर्ण नियम सेट (CE & CS): उच्च-घनत्व वाले परिदृश्यों में सबसे कम गिरावट के साथ सबसे मजबूत समग्र प्रदर्शन प्रदान किया।
- आंशिक नियम सेट: सूक्ष्म सुरक्षा नियमों (CE & PS) को हटाने से आक्रामक ड्राइविंग और देरी से प्रतिक्रिया हुई। सूक्ष्म दक्षता नियमों (PE & CS) को हटाने से अत्यधिक रूढ़िवादी व्यवहार और उच्च टाइमआउट दरें देखी गईं।
- बेसलाइन तुलना: प्रस्तावित SFOL दृष्टिकोण ने एक मानक रिस्क-फैक्टर एडैप्टिव बेसलाइन की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से उच्च-घनत्व, ऑक्लूडेड परिदृश्यों में जहाँ बेसलाइन भंगुरता (brittleness) प्रदर्शित करती है।

महत्व और दावे

यह पेपर दावा करता है कि सुदृढीकरण लर्निंग में समग्र न्यूरो-सिम्बोलिक रिप्रजेंटेशन और सॉफ्ट रीजनिंग को एकीकृत करने से अधिक संदर्भ-जागरूक (context-aware) और मूल्य-संरेखित (value-aligned) निर्णय लेने में सक्षम बनाया जा सकता है।

मजबूती (Robustness): सिम्बोलिक संदर्भ (VSR) और स्पेशियल फीचर्स का संयोजन एजेंट को केवल विजुअल फीचर्स या सिम्बोलिक डेटा पर निर्भर तरीकों की तुलना में जटिल, ऑक्लूडेड परिदृश्यों को बेहतर ढंग से संभालने की अनुमति देता है।
मानवीय संरेखण (Human Alignment): SFOL रिवॉर्ड फंक्शन सफलतापूर्वक प्रतिस्पर्धी मानवीय मूल्यों (सुरक्षा बनाम दक्षता) को डायनेमिक रूप से संतुलित करता है, जिससे हार्ड-स्विचिंग लॉजिक की भंगुरता से बचा जा सकता है।
सीमाएं: लेखकों ने विनम्रतापूर्वक नोट किया है कि किसी भी कॉन्फ़िगरेशन ने 100% सफलता दर प्राप्त नहीं की। उन्होंने भारी भीड़भाड़ के दौरान रीजनिंग प्रक्रिया में अस्थिरता (रिवॉर्ड वेट्स में उतार-चढ़ाव) की पहचान की है, जो भविष्य के शोध के लिए एक क्षेत्र है, जो छिपे हुए खतरों को संभालने के लिए टेम्पोरल सिम्बोलिक इंफॉर्मेशन या एबडक्टिव रीजनिंग की आवश्यकता का सुझाव देता है।