💻 computer science

Trust Through Transparency: Explainable Social Navigation for Autonomous Mobile Robots via Vision-Language Models

यह शोध पत्र एक मल्टीमॉडल व्याख्यात्मकता मॉड्यूल प्रस्तुत करता है जो विजन-लैंग्वेज मॉडल्स और हीट मैप्स को एकीकृत करता है ताकि स्वायत्त मोबाइल रोबोट गतिशील सामाजिक वातावरण में प्राकृतिक भाषा में अपने नेविगेशन निर्णयों को स्पष्ट कर सकें, जिससे उपयोगकर्ता के विश्वास और समझ में वृद्धि हो सके।

मूल लेखक: Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

प्रकाशित 2026-04-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त गलियारे में चल रहे हैं, और एक रोबोट आपके पास से गुजरने की कोशिश कर रहा है। पुराने दिनों में, रोबोट या तो अचानक रुक जाता या बिना कुछ कहे आपके बगल से निकल जाता। आप सोच में पड़ जाते, "यह क्यों रुका? क्या यह खराब हो गया है? क्या यह मुझसे टकरा जाएगा?" यह चुप्पी भ्रम और भरोसे की कमी पैदा करती है।

यह शोध पत्र रोबोट को वापस बात करना (एक दोस्ताना, मददगार तरीके से) सिखाने के बारे में है ताकि आपको पता चल सके कि वे वास्तव में क्या सोच रहे हैं।

यहाँ उनके विचार का विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "ब्लैक बॉक्स" रोबोट

एक पारंपरिक रोबोट को एक मैजिक 8-बॉल (Magic 8-ball) की तरह समझें। आप उसे हिलाते हैं, वह आपको एक जवाब देता है (वह चलता है), लेकिन आपको यह पता नहीं होता कि उसने वह निर्णय कैसे लिया। यदि रोबोट आपके सामने अचानक रुक जाता है, तो आपको नहीं पता कि वह इसलिए रुका क्योंकि उसने किसी व्यक्ति को देखा, किसी कुत्ते को देखा, या कोई तकनीकी खराबी आई। यह अनिश्चितता लोगों को घबराहट और हिचकिचाहट महसूस कराती है।

2. समाधान: "चैटी नेविगेटर" (बातूनी मार्गदर्शक)

लेखकों ने अपने रोबोट के लिए एक विशेष "ब्रेन एड-ऑन" बनाया है जो एक कैमरे वाले टूर गाइड की तरह काम करता है। केवल चुपचाप चलने के बजाय, अब रोबोट:

देखता है कि क्या हो रहा है (कैमरे का उपयोग करके)।
सोचता है कि वह क्या देख रहा है (लोगों या बाधाओं को पहचानने के लिए AI का उपयोग करके)।
अपने विचारों को जोर से समझाता है (प्राकृतिक भाषा का उपयोग करके)।

उदाहरण: एक सेल्फ-ड्राइविंग कार की कल्पना करें जो केवल ब्रेक नहीं लगाती, बल्कि कहती है, "मैं धीमा हो रही हूँ क्योंकि सड़क के किनारे एक कुत्ता खेल रहा है, और मैं सुनिश्चित करना चाहती हूँ कि यह सुरक्षित हो।" यह रोबोट बिल्कुल वैसा ही करता है।

3. यह कैसे काम करता है (तीन-चरणीय नृत्य)

रोबोट तीन उपकरणों का उपयोग करता है जो विशेषज्ञों की एक टीम की तरह मिलकर काम करते हैं:

आंखें (कैमरा और हीटमैप्स): रोबोट दुनिया को देखता है और "हॉट स्पॉट्स" (जैसे कि कोई व्यक्ति कहाँ खड़ा है) को एक लाल हीट मैप का उपयोग करके हाइलाइट करता है, ठीक वैसे ही जैसे जासूसी फिल्मों में थर्मल कैमरा होता है।
अनुवादक (BLIP): यह हिस्सा तस्वीर को देखता है और एक सरल कैप्शन लिखता है, जैसे "एक व्यक्ति मेरी ओर बढ़ रहा है।"
कहानीकार (LLM): यह रोब कल की आवाज़ है। यह तस्वीर और कैप्शन को लेता है और उन्हें एक दोस्ताना वाक्य में बदल देता है।
- इनपुट: "2 मीटर पर व्यक्ति का पता चला।"
- आउटपुट: "मैं देख रहा हूँ कि एक व्यक्ति मेरी ओर आ रहा है, इसलिए मैं उन्हें जगह देने के लिए थोड़ा रास्ता बदल रहा हूँ।"

4. प्रयोग: विश्वास का परीक्षण

शोधकर्ताओं ने इस रोबोट का परीक्षण एक गलियारे में 30 वास्तविक लोगों के साथ किया। उन्होंने दो परिदृश्य चलाए:

शांत रोबोट: यह इधर-उधर घूमता था, लेकिन कुछ भी नहीं कहता था।
बातूनी रोबोट: यह घूमता था और वास्तविक समय में अपने निर्णयों को समझाता था।

परिणाम:

भरोसा आसमान छू गया: जब रोबोट ने खुद को समझाया, तो लोगों ने उस पर बहुत अधिक भरोसा किया। यह एक डरावनी मशीन के बजाय एक मददगार सहयोगी जैसा लगा।
कम भ्रम: लोग अधिक नियंत्रण में महसूस कर रहे थे और समझ पा रहे थे कि रोबोट जो कर रहा था वह क्यों कर रहा था।
बेहतर व्यवहार: रोबोट ने "बोलकर सोचने" के दौरान वास्तव में कम अचानक, झटकेदार रुकावटें लीं, क्योंकि सिस्टम को अधिक सुचारू और सामाजिक रूप से जागरूक बनाने के लिए डिज़ाइन किया गया था।

5. चुनौती: "सोचने का समय"

एक छोटी सी बाधा है। क्योंकि रोबोट को एक तस्वीर लेनी होती है, उसका विश्लेषण करना होता है, और एक वाक्य लिखना होता है, इसलिए इसमें थोड़ा समय लगता है (उनके परीक्षण में औसतन लगभग 20 सेकंड)।

उदाहरण: यह किसी दोस्त से रास्ता पूछने जैसा है। यदि वे सोचने में 20 सेकंड लेते हैं, तो आप अधीर हो सकते हैं। शोधकर्ता स्वीकार करते हैं कि उन्हें रोबोट को तेज़ "सोचने" की आवश्यकता है ताकि स्पष्टीकरण तब मिले जब रोबोट अभी भी चल रहा हो, न कि उसके रुकने के बाद।

मुख्य निष्कर्ष

यह शोध पत्र सिद्ध करता है कि रोबोट्स को केवल स्मार्ट होने की ज़रूरत नहीं है; उन्हें पारदर्शी होने की भी ज़रूरत है।

रोबोट को उनके निर्णयों को समझाने के लिए एक आवाज़ देकर, हम उन्हें रहस्यमय, अप्रत्याशित मशीनों से विश्वसनीय भागीदारों में बदल देते हैं। यह एक अजनबी के अचानक आपका हाथ पकड़ लेने और एक दोस्त के कहने के बीच का अंतर है, "हे, चलो इस तरफ चलते हैं ताकि हम उस मेज से न टकराएं।"

भविष्य में, अस्पतालों, कार्यालयों और घरों में हमारे साथ रहने और काम करने के लिए, रोबोट्स को न केवल सुरक्षित होने की आवश्यकता होगी; उन्हें इस बारे में भी ईमानदार होने की आवश्यकता होगी कि वे सुरक्षित क्यों हैं।

यहाँ शोध पत्र "Trust Through Transparency: Explainable Social Navigation for Autonomous Mobile Robots via Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे स्वायत्त मोबाइल रोबोट (AMRs) गतिशील सामाजिक वातावरण (जैसे अस्पताल, कार्यालय, घर) में तैनात किए जा रहे हैं, मानव-रोबोट संपर्क (HRI) में एक महत्वपूर्ण अंतर दिखाई देता है। पारंपरिक AMR अक्सर "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जो बिना अपने तर्क को संप्रेषित किए निर्णय लेते हैं। इस पारदर्शिता की कमी के कारण निम्नलिखित समस्याएं होती हैं:

विश्वास में कमी: उपयोगकर्ता रोबोट के व्यवहार का पूर्वानुमान नहीं लगा पाते, जिससे हिचकिचाहट या बचाव की स्थिति उत्पन्न होती है।
सामाजिक घर्षण (Social Friction): रोबोट सामाजिक मानदंडों का उल्लंघन कर सकते हैं (जैसे बातचीत में बाधा डालना, व्यक्तिगत स्थान का अतिक्रमण करना) क्योंकि उनमें उच्च-स्तरीय सामाजिक तर्क की कमी होती है।
सीमित व्याख्यात्मकता (Limited Explainability): रोबोटिक्स में मौजूदा व्याख्यात्मक AI (XAI) दृष्टिकोण अक्सर आंतरिक तर्क या स्थिर पोस्ट-हॉक विश्लेषण पर ध्यान केंद्रित करते हैं, जो दृश्य संदर्भ (visual context) को प्राकृतिक भाषा के साथ जोड़ने वाले वास्तविक समय के, मानव-पठनीय, बहुविध स्पष्टीकरण (multimodal explanations) प्रदान करने में विफल रहते हैं।

मुख्य चुनौती एक ऐसी प्रणाली विकसित करना है जो न केवल सुरक्षित रूप से नेविगेट करने में सक्षम हो, बल्कि मानवीय अपेक्षाओं और सामाजिक मानदंडों के अनुरूप अपने निर्णय लेने की प्रक्रिया को स्पष्ट रूप से व्यक्त (articulate) भी कर सके।

2. कार्यप्रणाली (Methodology)

लेखक एक ROS2-आधारित नेविगेशन स्टैक में एकीकृत एक बहुविध व्याख्यात्मक मॉड्यूल (multimodal explainability module) का प्रस्ताव करते हैं। यह प्रणाली परिवेश को समझने, सामाजिक संघर्षों का विश्लेषण करने और दृश्य हीटमैप के साथ प्राकृतिक भाषा के औचित्य उत्पन्न करने के लिए डिज़ाइन की गई है।

A. सिस्टम आर्किटेक्चर

मॉड्यूल में चार परस्पर जुड़े हुए ROS2 नोड्स शामिल हैं:

कैमरा नोड (Camera Node): वास्तविक समय का दृश्य इनपुट कैप्चर करता है।
BLIP नोड (Bootstrapping Language-Image Pretraining): दृश्य डेटा को सिमेंटिक संदर्भ प्रदान करने के लिए इमेज कैप्शन उत्पन्न करता है।
हीटमैप नोड (Heatmap Node): दृश्य सालिएन्सी मैप (visual saliency maps) बनाने के लिए Grad-CAM का उपयोग करता है, जो रोबोट के निर्णय को प्रभावित करने वाले विशिष्ट छवि क्षेत्रों (जैसे लोगों का समूह) को उजागर करता है।
LLM नोड (Large Language Model): इमेज कैप्शन और हीटमैप सारांश को एक सुसंगत, प्राकृतिक भाषा के स्पष्टीकरण में संश्लेषित करता है।

B. गणितीय सूत्रीकरण (Mathematical Formulation)

नेविगेशन कार्य को एक टुपल $T_{nav} = (S, G, P, E, \varepsilon)$ के रूप में परिभाषित किया गया है, जहाँ:

$S$ : अवस्था (रोबोट पोज़, वेग, मनुष्यों की स्थिति)।
$G$ : लक्ष्य विन्यास (Goal configuration)।
$P$ : नियोजित प्रक्षेपवक्र (Planned trajectory)।
$E$ : समय $t$ पर उत्पन्न बहुविध स्पष्टीकरणों का सेट।
$\varepsilon$ : व्याख्यात्मकता स्कोर (Explainability Score) ( $0 \le \varepsilon \le 1$ ), जो यह मापता है कि रोबोट के व्यवहार को मनुष्यों द्वारा कितनी अच्छी तरह समझा गया है।

सिस्टम सामाजिक बाधाओं (Social Constraints) ( $\Omega_{norm}$ ) को लागू करता है जिन्हें वर्गीकृत किया गया है:

मानव सुरक्षा: सुरक्षित दूरी बनाए रखना ( $d_{human} \ge \max\{d_{social}, d_{safe}\}$ )।
सामाजिक रूप से स्वीकार्य गति: अचानक रुकने या गति परिवर्तन को सीमित करना ( $|\dot{v}| \le \alpha_{social}$ ), जब तक कि टक्कर से बचने के लिए आवश्यक न हो।
सामाजिक नेविगेशन: मानव समूहों और चल रही अंतःक्रियाओं का सम्मान करना ( $h(P, q_{human}) \ge 0$ )।

C. व्याख्यात्मक पाइपलाइन (The Explainability Pipeline)

जब एक संभावित सामाजिक संघर्ष का पता चलता है:

सिस्टम एक छवि ( $X$ ) कैप्चर करता है।
Grad-CAM प्रमुख क्षेत्रों को उजागर करने वाला एक हीटमैप ( $H$ ) उत्पन्न करता है।
BLIP दृश्य का एक टेक्स्ट कैप्शन ( $L$ ) उत्पन्न करता है।
एक प्रॉम्प्ट इंजीनियरिंग (Prompt Engineering) रणनीति LLM (जैसे, GPT-3.5 Turbo) को इन इनपुट्स को एक वाक्य के स्पष्टीकरण में संश्लेषित करने के लिए निर्देशित करती है जो "I see..." (मैं देख रहा हूँ...) से शुरू होता है और एक रीरूटिंग वाक्यांश के साथ समाप्त होता है।
आउटपुट को हीटमैप ओवरले के रूप में प्रदर्शित किया जाता है और स्पीकर के माध्यम से बोलकर सुनाया जाता है।

D. विलंबता अनुकूलन (Latency Optimization)

कुल विलंबता ( $T_{total}$ ), कैमरा, BLIP, हीटमैप और LLM प्रोसेसिंग समय का योग है। शोध पत्र स्वीकार करता है कि LLM इन्फरेंस (जो अक्सर क्लाउड-आधारित होता है) महत्वपूर्ण विलंबता ( $T_{LLM}$ ) पेश करता है, जो कंप्यूटिंग पावर के व्युत्क्रमानुपाती है। लेखक वास्तविक समय की प्रासंगिकता सुनिश्चित करने के लिए एक अधिकतम अनुमेय सीमा ( $T_{max}$ ) के भीतर $T_{total}$ को न्यूनतम करने के लिए एक अनुकूलन समस्या को सूत्रबद्ध करते हैं।

3. मुख्य योगदान (Key Contributions)

बहुविध व्याख्यात्मक ढांचा (Multimodal Explainability Framework): वास्तविक समय के, संदर्भ-जागरूक स्पष्टीकरण उत्पन्न करने के लिए विजन-लैंग्वेज मॉडल्स (VLMs), Grad-CAM हीटमैप्स और LLMs का एक अभिनव एकीकरण।
सामाजिक रूप से जागरूक नेविगेशन (Socially Aware Navigation): नेविगेशन स्टैक के भीतर गणितीय बाधाओं के रूप में सामाजिक मानदंडों (सुरक्षा, गति की सुगमता, समूह सम्मान) का औपचारिककरण।
वास्तविक समय कार्यान्वयन (Real-Time Implementation): एक रोबोट के साथ Raspberry Pi 4B पर सिस्टम का परिनियोजन, जो गतिशील वातावरण में जटिल VLM पाइपलाइनों को चलाने की व्यवहार्यता को प्रदर्शित करता है।
मात्रात्मक सत्यापन (Quantitative Validation): रोबोट के कथित "कारणों" और मानवीय अपेक्षाओं के बीच संरेखण को मापने के लिए एक कन्फ्यूजन मैट्रिक्स (Confusion Matrix) दृष्टिकोण का परिचय, साथ ही विश्वास को मापने के लिए एक उपयोगकर्ता अध्ययन।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का परीक्षण MYAGV रोबोट पर 14-मीटर डिलीवरी कार्य के दौरान दो मोड में किया गया: मैनुअल (Manual) और स्वायत्त (Autonomous), व्याख्यात्मक मॉड्यूल के साथ और उसके बिना।

A. नेविगेशन प्रदर्शन (तालिका I)

सामाजिक संघर्ष: सिस्टम ने सामाजिक संघर्षों (मैनुअल में 2, स्वायत्त में 3) का सफलतापूर्वक पता लगाया, लेकिन केवल तभी जब मॉड्यूल सक्रिय था, जिससे पुन: नियोजन (re-planning) शुरू हुआ।
अचानक रुकना (Sudden Stops): "व्याख्या के साथ" (WE) स्थिति में अचानक रुकने की घटनाओं में उल्लेखनीय कमी आई (उदाहरण के लिए, स्वायत्त मोड में 21 से 18), जो अधिक सुचारू और सामाजिक रूप से अनुपालन करने वाले प्रक्षेपवक्र का संकेत देता है।
दक्षता: कुल प्रक्षेपवक्र लंबाई लगभग समान रही, लेकिन स्पष्टीकरणों के साथ कुल समय थोड़ा कम हो गया, जो अधिक कुशल निर्णय लेने का सुझाव देता है।

B. उपयोगकर्ता अध्ययन (n=30)

प्रतिभागियों (छात्रों और संकाय) ने रोबोट को विश्वास, स्पष्टता और नियंत्रण के आधार पर रेट किया।

वरीयता स्कोर (Preference Score): 76.7% उपयोगकर्ताओं ने स्पष्टीकरण के साथ वाले रोबोट को प्राथमिकता दी।
विश्वास में वृद्धि: स्पष्टीकरण प्रदान करने पर विश्वास के स्तर में 16.7% की वृद्धि हुई।
समझ: रोबोट के निर्णयों के प्रति उपयोगकर्ता की समझ में 23.3% की वृद्धि हुई।
नियंत्रण: 70% उपयोगकर्ताओं को लगा कि स्पष्टीकरण दिए जाने पर उनका नियंत्रण अधिक है।

C. तकनीकी मेट्रिक्स

सटीकता (Accuracy): स्पष्टीकरण मॉड्यूल के कन्फ्यूजन मैट्रिक्स विश्लेषण ने मानवीय अपेक्षाओं के साथ संरेखण में 82.14% की सटीकता (TP=82, TN=79, FP=20, FN=15) प्राप्त की।
विलंबता (Latency): हार्डवेयर सीमाओं (Raspberry Pi) और LLM इन्फरेंस के लिए नेटवर्क ट्रांसमिशन के कारण औसत विलंबता ~20 सेकंड (5.9s से 50.6s के बीच) थी। लेखक नोट करते हैं कि एज कंप्यूटिंग अपग्रेड के साथ सब-5s विलंबता प्राप्त करना संभव है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र प्रदर्शित करता है कि पारदर्शिता, मानव-रोबोट सहयोग के लिए एक उत्प्रेरक है। बहुविध, प्राकृतिक भाषा के स्पष्टीकरण प्रदान करके, प्रस्तावित प्रणाली रोबोटिक निर्णय लेने और मानवीय सामाजिक सहजता के बीच के अंतर को पाटती है।

HRI पर प्रभाव: अध्ययन यह प्रमाणित करता है कि जो रोबोट "अपने विचार बोलकर" बताते हैं (टेक्स्ट और विजुअल हीटमैप के माध्यम से), उन्हें अधिक पूर्वानुमानित, विश्वसनीय और सामाजिक रूप से स्वीकार्य माना जाता है।
भविष्य की दिशाएं: लेखक वास्तविक समय में स्पष्टीकरणों को वास्तव में प्रभावी बनाने के लिए विलंबता अनुकूलन (जैसे, एज कंप्यूटिंग, मॉडल डिस्टिलेशन) की आवश्यकता पर जोर देते हैं। भविष्य का कार्य सामाजिक बाधा मॉडल को परिष्कृत करने और अधिक जटिल, असंरचित वातावरण में सिस्टम को तैनात करने पर केंद्रित होगा।

संक्षेप में, यह शोध व्याख्यात्मक सामाजिक नेविगेशन (Explainable Social Navigation) के लिए एक आधारभूत ढांचा स्थापित करता है, यह सिद्ध करता है कि AMRs में VLMs और XAI को एकीकृत करने से मानव-केंद्रित स्थानों में उनकी स्वीकृति और सुरक्षा में उल्लेखनीय वृद्धि होती है।