💻 computer science

LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments

यह शोध पत्र LEGS-POMDP को प्रस्तुत करता है, जो एक मॉड्यूलर फ्रेमवर्क है जो रोबोटिक ओपन-वर्ल्ड सर्च के लिए वस्तु की पहचान और स्थान की अनिश्चितता को प्रभावी ढंग से संभालने हेतु एक पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (Partially Observable Markov Decision Process) के भीतर भाषा, जेस्चर और विजुअल अवलोकनों को एकीकृत करता है।

मूल लेखक: Ivy Xiao He, Stefanie Tellex, Jason Xinyu Liu

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivy Xiao He, Stefanie Tellex, Jason Xinyu Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले गोदाम में हैं जो सैकड़ों एक जैसे दिखने वाले बक्सों से भरा हुआ है। आपका दोस्त, काफी दूर खड़ा होकर, चिल्लाता है, "मुझे लाल वाला दे दो!" और आपकी दिशा में अस्पष्ट रूप से इशारा करता है।

यहाँ समस्या है:

धुंध: आप सब कुछ स्पष्ट रूप से नहीं देख सकते (आंशिक दृश्यता/Partial Observability)।
अस्पष्ट आवाज़: "लाल वाला" उन 50 लाल बक्सों में से कोई भी हो सकता है।
लड़खड़ाता इशारा: आपके दोस्त का हाथ हिल रहा है, या शायद वह उस लाल बॉक्स की ओर इशारा कर रहा है जो वह लाल बॉक्स नहीं है जिसे वह चाहता है।

यदि आप केवल अनुमान लगाते हैं, तो आप गलत चीज़ उठा सकते हैं। यदि आप केवल स्पष्टीकरण मांगते हैं, तो इसमें बहुत समय लगता है। आपको आवाज़, हाथ के इशारे और अपनी आँखों को मिलाने का एक तरीका चाहिए ताकि आप यह पता लगा सकें कि ठीक कौन सा बॉक्स उठाना है, भले ही आप 100% निश्चित न हों।

यह बिल्कुल LEGS-POMDP पेपर के बारे में है। यह रोबोटों के लिए एक नया "दिमाग" है जो उन्हें मानव भाषा को सुनते हुए और मानव इशारों को देखते हुए एक साथ, अव्यवस्थित और अनिश्चित दुनिया में वस्तुओं को खोजने में मदद करता है।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. रोबोट की "अंतरात्मा की भावना" (The POMDP)

आज के अधिकांश रोबोट उन छात्रों की तरह हैं जो उत्तर रट लेते हैं। यदि वे एक विशिष्ट पैटर्न देखते हैं, तो वे एक विशिष्ट कार्य करते हैं। लेकिन एक अव्यवस्थित दुनिया में, पैटर्न बदलते रहते हैं।

LEGS-POMDP रोबोट एक जासूस की तरह है। तुरंत उत्तर जानने के बजाय, यह एक "विश्वास मानचित्र" (belief map) बनाए रखता है।

कल्पना कीजिए कि गोदाम का एक नक्शा है जहाँ हर बॉक्स पर एक छोटा प्रतिशत लिखा है (जैसे, "बॉक्स A: इस बात की 10% संभावना है कि यह वही है," "बॉक्स B: 80% संभावना")।
इसे POMDP (पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस) कहा जाता है। यह यह कहने का एक गणितीय तरीका है कि, "मैं पक्के तौर पर नहीं जानता, लेकिन जो मैंने देखा है उसके आधार पर मेरा सबसे अच्छा अनुमान यह है।"

2. तीन सुराग (Multimodal Fusion)

रोबोट को तीन स्रोतों से सुराग मिलते हैं, और यह उन्हें एक पहेली के टुकड़ों की तरह मानता है:

आवाज़ (भाषा): इंसान कहता है, "नीली पट्टी वाला कप।"
हाथ (इशारा): इंसान एक कोने की ओर इशारा करता है।
आँखें (दृष्टि): रोबोट कई वस्तुओं को देखता है।

जादुई ट्रिक:
पुराने रोबोट शायद केवल आवाज़ या केवल हाथ का उपयोग करने की कोशिश करेंगे। यदि आवाज़ अस्पष्ट है ("कप") और हाथ हिल रहा है, तो रोबोट भ्रमित हो जाता है।
LEGS-POMDP इन्हें जोड़ता है। यह एक कमरे में तीन विशेषज्ञों की एक टीम होने जैसा है:

आवाज़ विशेषज्ञ कहता है, "मुझे लगता है कि यह नीली पट्टी वाला कप है, लेकिन मैं केवल 60% निश्चित हूँ।"
हाथ विशेषज्ञ कहता है, "मैं बाईं ओर इशारा कर रहा हूँ, लेकिन मेरा हाथ हिल रहा है, इसलिए यह इस शंकु (cone) आकार में कहीं भी हो सकता है। मैं 70% निश्चित हूँ कि यह उस शंकु के भीतर है।"
आँख विशेषज्ञ कहता है, "मैं उस शंकु के भीतर एक नीली पट्टी वाला कप देख रहा हूँ।"

रोबोट इन संभावनाओं को आपस में गुणा करता है। अचानक, "बाएं शंकु में नीला पट्टी वाला कप" 10% के अनुमान से बढ़कर 90% की निश्चितता में बदल जाता है। इसे मल्टीमॉडल फ्यूजन कहा जाता है।

3. "पंख" और "शंकु" (The Fan and the Cone)

यह पेपर मानवीय अनिश्चितता को मॉडल करने के दो चतुर तरीके पेश करता है:

विज़न फैन (Vision Fan): रोबोट जानता है कि उसका कैमरा एक टॉर्च की तरह है। वह केंद्र में चीजों को स्पष्ट रूप से देखता है लेकिन किनारों और दूर जाने पर धुंधला हो जाता है। यह एक "पंख" (fan) आकार के रूप में मॉडल किया जाता है जहाँ बीच का हिस्सा उज्ज्वल (उच्च विश्वास) है और किनारे मंद (कम विश्वास) हैं।
जेस्चर कोन (Gesture Cone): जब कोई इंसान इशारा करता है, तो वे लेजर जैसी सटीकता से इशारा नहीं करते। वे अपने पूरे हाथ, आँखों और कंधे का उपयोग करते हैं। रोबोट इसे इंसान की कलाई से निकलने वाले एक शंकु (जैसे आइसक्रीम कोन) के रूप में मॉडल करता है। शंकु का सिरा सबसे संभावित स्थान है, लेकिन चौड़ा खुला हिस्सा यह स्वीकार करता है कि इंसान थोड़ा गलत हो सकता है।

4. निर्णय लेने वाला (The Solver)

एक बार जब रोबोट इन नए सुरागों के साथ अपने "विश्वास मानचित्र" को अपडेट कर लेता है, तो उसे निर्णय लेना होता है कि आगे क्या करना है। क्या उसे आगे बढ़ना चाहिए? क्या उसे करीब से देखना चाहिए? क्या उसे वस्तु उठानी चाहिए?

पेपर एक स्मार्ट एल्गोरिदम का उपयोग करता है जिसे PO-UCT कहा जाता है। इसे एक सुपर-फास्ट सिम्युलेटर समझें।

वास्तव में चलने से पहले, यह अपने दिमाग में एक सेकंड के भीतर हजारों "क्या होगा अगर" वाले परिदृश्य चलाता है।
परिदृश्य A: "यदि मैं बाईं ओर चलता हूँ, तो मुझे लक्ष्य मिल सकता है।"
परिदृश्य B: "यदि मैं करीब से देखता हूँ, तो मैं नीली पट्टी की पुष्टि कर सकता हूँ।"
यह उस पथ को चुनता है जो कम ऊर्जा बर्बाद किए बिना सफलता की उच्चतम संभावना देता है।

5. परिणाम: यह क्यों मायने रखता है

शोधकर्ताओं ने इसे एक वास्तविक रोबोट (एक चार पैरों वाला कुत्ता जैसा रोबोट जिसे "स्पॉट" कहा जाता है) और सिमुलेशन पर परखा।

परिणाम: जब रोबोट ने आवाज़ और इशारों दोनों का उपयोग किया, तो उसने 89% बार वस्तु को ढूँढ लिया।
तुलना: यदि इसने केवल आवाज़ का उपयोग किया, या केवल इशारों का उपयोग किया, तो यह बहुत अधिक बार विफल हुआ।
"गलत" सुराग: यहाँ तक कि जब इंसान ने गलत जानकारी दी (जैसे, लाल कप की ओर इशारा करते हुए "नीला कप" कहना), रोबोट का गणित इतना स्मार्ट था कि वह पहचान सका कि सुराग आपस में टकरा रहे हैं और वह केवल गलत चीज़ का आँख मूंदकर पीछा नहीं करता। वह शांत रहा और खोज जारी रखी।

बड़ी तस्वीर

अतीत में, रोबोट तोते की तरह थे: वे जो उन्हें बताया जाता था उसे दोहराते थे या सख्त नियमों का पालन करते थे। यदि नियम अव्यवस्थित वास्तविक दुनिया में फिट नहीं बैठते थे, तो वे क्रैश हो जाते थे।

LEGS-POMDP रोबोट को एक मानवीय साथी की तरह बनाता है। यह समझता है कि इंसान अव्यवस्थित होते हैं, भाषा अस्पष्ट होती है, और इशारे सटीक नहीं होते। इन अपूर्ण सुरागों को गणितीय रूप से जोड़कर, यह एक अराजक दुनिया में नेविगेट कर सकता है, यह पता लगा सकता है कि आप वास्तव में क्या चाहते हैं, और बिना किसी पूर्ण निर्देश पुस्तिका की आवश्यकता के इसे आपके लिए ला सकता है।

यह उस रोबोट के बीच का अंतर है जो कहता है, "मुझे समझ नहीं आया, कृपया दोहराएं," और उस रोबोट के बीच है जो कहता है, "आपने बाईं ओर इशारा किया और 'लाल कप' कहा, इसलिए मुझे पूरा यकीन है कि आप उस लाल कप की बात कर रहे हैं जो वहाँ है। चलिए मैं इसे लेकर आता हूँ।"

यहाँ पेपर "LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र असंरचित, ओपन-वर्ल्ड वातावरण में मानव-निर्देशित वस्तु खोज (human-instructed object search) की चुनौती को संबोधित करता है। रोबोट को अस्पष्ट मानव निर्देशों के आधार पर एक लक्षित वस्तु का पता लगाना होता है, जिसमें अक्सर शामिल होता है:

अपूर्ण भाषा (Underspecified Language): प्राकृतिक भाषा अस्पष्ट हो सकती है (जैसे, जब कई कप मौजूद हों तो "कप" कहना)।
अस्पष्ट संकेत (Imprecise Gestures): इशारा करने वाले संकेत ऐसे क्षेत्र का संकेत दे सकते हैं जिसमें कई संभावित वस्तुएं हों या सेंसर शोर (sensor noise) के कारण त्रुटिपूर्ण हो सकते हैं।
आंशिक दृश्यता (Partial Observability): रोबोट एक बार में पूरे वातावरण को नहीं देख सकता, और लक्ष्य का स्थान छिपा हुआ होता है।

मौजूदा दृष्टिकोणों की अपनी सीमाएँ हैं:

फाउंडेशन मॉडल-आधारित विधियाँ (Foundation Model-based methods): ये मल्टीमॉडल ग्राउंडिंग में उत्कृष्ट हैं लेकिन लॉन्ग-होरिजन कार्यों में अनिश्चितता को मॉडल करने के लिए सिद्धांतों वाले तंत्र की कमी रखती हैं और सीमित व्याख्यात्मकता (interpretability) प्रदान करती हैं।
पारंपरिक POMDPs: ये अनिश्चितता के तहत योजना बनाने के लिए एक ढांचा प्रदान करते हैं, लेकिन अक्सर टेबलटॉप सेटिंग्स तक सीमित होते हैं, केवल भाषा पर निर्भर करते हैं, या कठोर पर्यावरणीय धारणाएँ बनाते हैं।

मुख्य समस्या यह है कि कैसे मानव इरादे की अनिश्चितता (कौन सी वस्तु लक्ष्य है?) और पर्यावरण की अनिश्चितता (वस्तु कहाँ स्थित है?) पर एक एकीकृत ढांचे का उपयोग करके संयुक्त रूप से तर्क किया जाए जो भाषा, संकेत और दृष्टि (vision) को एकीकृत करता है।

2. कार्यप्रणाली: LEGS-POMDP (Methodology: LEGS-POMDP)

लेखक LEGS-POMDP (Language and Gesture-Guided Object Search in Partially Observable Environments) प्रस्तावित करते हैं, जो एक मॉड्यूलर फ्रेमवर्क है और इस कार्य को पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप में तैयार करता है।

A. POMDP फॉर्मूलेशन

सिस्टम को टुपल $(S, A, T, O, Z, R, \gamma)$ द्वारा परिभाषित किया गया है:

स्टेट स्पेस ( $S$ ): $s = (s_r, s_o)$ के रूप में परिभाषित है, जहाँ $s_r$ रोबोट की स्थिति (pose) है और $s_o$ लेटेंट टारगेट लोकेशन है। यह फ्रेमवर्क अनिश्चितता तर्क पर ध्यान केंद्रित करने के लिए विशिष्ट श्रेणियों के बजाय एक ऑब्जेक्ट-स्वतंत्र प्रतिनिधित्व (Target vs. Distractor) का उपयोग करता है।
एक्शन स्पेस ( $A$ ): इसमें मूवमेंट प्रिमिटिव्स ( $a_{move}$ ), ऑब्जर्वेशन इकट्ठा करना ( $a_{look}$ ), और टर्मिनेशन ( $a_{find}$ ) शामिल हैं।
ऑब्जर्वेशन स्पेस ( $O$ ): विजन, जेस्चर और लैंग्वेज से प्राप्त मल्टीमॉडल सिग्नल $(o_v, o_g, o_l)$ ।
ऑब्जर्वेशन मॉडल ( $Z$ ): यह मुख्य नवाचार है। यह तीन मोडालिटीज को लॉग-स्पेस में फ्यूज करके स्टेट के दिए गए ऑब्जर्वेशन की संभावना (likelihood) को मॉडल करता है:
$\log Z(o|s) = w_v \log P_v(o_v|s) + w_g \log P_g(o_g|s) + w_l \log P_l(o_l|s)$
यह विभिन्न स्रोतों से प्रोबेबिलिस्टिक लाइकलीहुड के भारित एकीकरण (weighted integration) की अनुमति देता है।
रिवॉर्ड ( $R$ ): सही पहचान के लिए सकारात्मक रिवॉर्ड, और मूवमेंट तथा ऑब्जर्वेशन स्टेप्स के लिए नकारात्मक लागत, ताकि दक्षता को बढ़ावा मिले।

B. मल्टीमॉडल ऑब्जर्वेशन मॉडल्स

विजुअल ( $P_v$ ): इसे एक घटते हुए फैन-शेप्ड सेंसर के रूप में मॉडल किया गया है। डिटेक्शन की संभावना कैमरा एक्सिस से कोणीय विचलन और रोबोट से दूरी के आधार पर कम होती जाती है।
लैंग्वेज ( $P_l$ ): यह निर्देश और परिकल्पित लक्ष्य अवस्था के बीच एक समानता फलन $\kappa$ का उपयोग करता है। इसे बाइनरी मैचिंग के बजाय ग्रेडेड कॉन्फिडेंस को संभालने के लिए फॉल्स-पॉजिटिव ( $\epsilon^-$ ) और ट्रू-पॉजिटिव ( $\epsilon^+$ ) दरों का उपयोग करके लाइकलीहुड में बदला जाता है।
जेस्चर ( $P_g$ ): एक सिंगल वेक्टर के बजाय, सिस्टम पॉइंटिंग को एक प्रोबेबिलिस्टिक कोन (probabilistic cone) के रूप में मॉडल करता है। कोन का एक्सिस कई एनाटॉमिकल वेक्टर्स (जैसे आँख-से-कलाई, कंधे-से-कलाई आदि) का माध्य है, और इसका ओपनिंग एंगल इन वेक्टर्स के फैलाव को दर्शाता है। यह मानवीय परिवर्तनशीलता और शोर को ध्यान में रखता है।

C. प्लानिंग सॉल्वर

सिस्टम पार्शियली ऑब्जर्वेबल UCT (PO-UCT) का उपयोग करता है, जो एक मोंटे कार्लो ट्री सर्च एल्गोरिदम है। यह वर्तमान बिलीफ स्टेट से ट्राजेक्टरीज को सिम्युलेट करके एक्सप्लोरेशन और एक्सप्लॉइटेशन के बीच संतुलन बनाता है, जिससे रोबोट को ऐसे एक्शन सीक्वेंस की योजना बनाने की अनुमति मिलती है जो कदमों को कम करते हुए लक्ष्य खोजने की संभावना को अधिकतम करते हैं।

3. मुख्य योगदान (Key Contributions)

डुअल-अनिश्चितता POMDP फॉर्मूलेशन: दो अलग-अलग स्रोतों से होने वाली पार्शियल ऑब्जर्वेबिलिटी को एक साथ मॉडल करने वाला पहला फ्रेमवर्क: टारगेट आइडेंटिटी (मानव इरादा) और स्पेशियल लोकेशन (पर्यावरण अवस्था) पर अनिश्चितता।
मॉड्यूलर मल्टीमॉडल ऑब्जर्वेशन मॉडल: एक सिद्धांत आधारित बेयसियन दृष्टिकोण जो भाषा, जेस्चर और विजन को प्रोबेबिलिस्टिक लाइकलीहुड्स के रूप में एकीकृत करता है। यह डिजाइन दृढ़ विश्वास अपडेट (belief updates) बनाए रखते हुए विभिन्न धारणा मॉड्यूल (जैसे डिटेक्टर बदलना) को लचीले ढंग से बदलने की अनुमति देता है।
व्यापक मूल्यांकन: विभिन्न जटिलताओं वाले मॉड्यूलर बेंचमार्क, विविध ग्रिड वर्ल्ड सिमुलेशन और बोस्टन डायनेमिक्स स्पॉट (Boston Dynamics Spot) क्वाड्रुपेड मोबाइल मैनिपुलेटर पर वास्तविक दुनिया के परिनियोजन के माध्यम से व्यापक सत्यापन।

4. परिणाम (Results)

मूल्यांकन मल्टीमॉडल दृष्टिकोण की यूनिमॉडल बेसलाइन्स पर श्रेष्ठता प्रदर्शित करता है।

मॉड्यूलर ग्राउंडिंग:
- जेस्चर: एक प्रोबेबिलिस्टिक कोन रिप्रेजेंटेशन (एवरेजिंग मल्टीपल स्केलेटल वेक्टर्स) ने सिंगल-वेक्टर बेसलाइन्स की तुलना में बेहतर प्रदर्शन किया, जिसने 89.0% कवरेज और 14.4° कोणीय त्रुटि हासिल की (जबकि बेस्ट सिंगल वेक्टर के लिए यह 86.5% और 17.0° था)।
- विजुअल ग्राउंडिंग: एक सेट-ऑफ-मार्क्स (SoM) पाइपलाइन (SAM2 सेगमेंटेशन + GPT-4o रीजनिंग) ने डिटेक्टर-आधारित विधियों (62.4%) की तुलना में उच्च ग्राउंडिंग सटीकता (91.4%) प्राप्त की, विशेष रूप से अस्पष्ट स्थानिक या एट्रिब्यूट क्वेरी को हल करने में, हालांकि इसमें इन्फरेंस टाइम अधिक लगा।
सिस्टम परफॉरमेंस (सिमुलेशन):
- सॉल्वर तुलना: हिस्टोग्राम बिलीफ रिप्रेजेंटेशन के साथ PO-UCT ने 96% सफलता दर प्राप्त की, जो ग्रीडी (63%) और ह्यूरिस्टिक (68%) बेसलाइन्स से काफी बेहतर है।
- मोडैलिटी फ्यूजन: मल्टीमॉडल इनपुट (जेस्चर + लैंग्वेज) ने सबसे कम स्टेप्स (76.8) और सबसे कम समय (16.7s) के साथ 88.8% सफलता दर प्राप्त की। इसके विपरीत, "कॉन्फ्लिक्टेड" मल्टीमॉडल इनपुट (विरोधाभासी संकेत) के कारण सफलता दर गिरकर लगभग शून्य (2.4%) हो गई, जो शोर के प्रति सिस्टम की संवेदनशीलता को उजागर करती है।
- जटिलता: जैसे-जैसे वातावरण का आकार और अस्पष्टता बढ़ी, सिंगल-मोडैलिटी का प्रदर्शन तेजी से गिरा, जबकि मल्टीमॉडल फ्यूजन ने उच्च सफलता दर बनाए रखी।
रियल-वर्ल्ड डिप्लॉयमेंट:
- 10x10 ग्रिड में एक क्वाड्रूपेड रोबोट पर परीक्षण किया गया।
- एंट्रॉपी रिडक्शन: मल्टीमॉडल इनपुट ने बिलीफ एंट्रॉपी को 60.8% कम कर दिया, जो जेस्चर-ओनली (40.6%) और लैंग्वेज-ओनली (34.2%) इनपुट की तुलना में काफी बेहतर था, जो भौतिक सेटिंग्स में तेज़ डिसएम्बिग्यूएशन को सिद्ध करता है।

5. महत्व (Significance)

ओपन वर्ल्ड्स में मजबूती: LEGS-POMDP यह प्रदर्शित करता है कि रोबोट प्रभावी ढंग से बड़े, असंरचित वातावरण में काम कर सकते हैं जहाँ निर्देश स्वाभाविक रूप से अस्पष्ट होते हैं, एक ऐसी स्थिति जहाँ एंड-टू-एंड लर्निंग डेटा की कमी और स्पष्ट अनिश्चितता मॉडलिंग के अभाव के कारण विफल हो जाती है।
व्याख्यात्मकता (Interpretability): एक मॉड्यूलर, प्रोबेबिलिस्टिक फ्रेमवर्क का उपयोग करके, सिस्टम व्याख्या योग्य निर्णय लेने की क्षमता प्रदान करता है। उपयोगकर्ता समझ सकते हैं कि रोबोट ने एक पथ क्यों चुना (जैसे, "मैं यहाँ जा रहा हूँ क्योंकि जेस्चर कोन और लैंग्वेज डिस्क्रिप्शन दोनों ही यहाँ लक्ष्य होने की संभावना बढ़ाते हैं")।
मोडालिटीज की पूरकता: यह कार्य अनुभवजन्य रूप से प्रमाणित करता है कि भाषा और जेस्चर एक-दूसरे के पूरक हैं; जेस्चर अस्पष्ट भाषा को स्पष्ट करते हैं, और भाषा अपूर्ण जेस्चर को स्पष्ट करती है।
स्केलेबिलिटी: इसका मॉड्यूलर डिज़ाइन पूरे प्लानिंग पाइपलाइन को फिर से प्रशिक्षित किए बिना नए सेंसर्स या धारणा मॉडलों को अपनाने की अनुमति देता है, जिससे सिमुलेशन से वास्तविक हार्डवेयर पर स्थानांतरण आसान हो जाता है।

निष्कर्षतः, LEGS-POMDP मानव-रोबोट सहयोग के लिए एक कठोर, व्याख्यात्मक और अत्यधिक प्रभावी समाधान प्रदान करता है, जो फाउंडेशन मॉडल्स के लचीलेपन और प्रोबेबिलिस्टिक प्लानिंग की विश्वसनीयता के बीच के अंतर को पाटता है।