🤖 AI

Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

यह शोध पत्र CoCo-TAMP प्रस्तुत करता है, जो एक पदानुक्रमित अवस्था अनुमान (hierarchical state estimation) ढांचा है जो वस्तुओं के स्थान और सह-अस्तित्व (co-occurrence) के बारे में सामान्य-ज्ञान (common-sense knowledge) को शामिल करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे आंशिक रूप से दृश्यमान (partially observable) वातावरण में कार्य करने वाले रोबोटों के लिए नियोजन और निष्पादन समय में काफी कमी आती है।

मूल लेखक: Yoonwoo Kim, Raghav Arora, Roberto Martín-Martín, Peter Stone, Ben Abbatematteo, Yoonchang Sung

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yoonwoo Kim, Raghav Arora, Roberto Martín-Martín, Peter Stone, Ben Abbatematteo, Yoonchang Sung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट हैं जिसे किसी विशिष्ट वस्तु, जैसे कि एक टोस्टर, को खोजने का काम सौंपा गया है, जो एक ऐसे घर में है जिसे आपने पहले कभी नहीं देखा है। पेच यह है कि आप पूरे घर को एक साथ नहीं देख सकते। आप केवल वही देख सकते हैं जो आपकी आँखों के ठीक सामने है, और कई चीजें दरवाजों के पीछे, कैबिनेट के अंदर, या फ्रेम से बाहर छिपी हुई हैं।

यह पार्शियली ऑब्जर्वेबल टास्क एंड मोशन प्लानिंग (PO-TAMP) की समस्या है। यह लुका-छिपी के खेल जैसा है जहाँ आपको अपना पूरा रास्ता पहले ही तय करना होता है, भले ही आपको यह न पता हो कि सब कहाँ छिपे हैं। यदि आपका अनुमान गलत निकलता है, तो आप गलत कमरे में जाने में समय बर्बाद करते हैं, फंस जाते हैं, और अपना प्लान फिर से शुरू करने के लिए मजबूर होते हैं।

यह पेपर एक नया सिस्टम पेश करता है जिसे CoCo-TAMP (को-लोकेशन टास्क एंड मोशन प्लानिंग) कहा जाता है, जो एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करके रोबोट को "कॉमन सेंस" (सामान्य ज्ञान) वाला दिमाग देने के जरिए इस समस्या को हल करता है—यही वह AI है जो चैटबॉट्स (जैसे कि मैं) को शक्ति देता है।

CoCo-TAMP कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:

1. "अंतर्ज्ञान" (प्रारंभिक विश्वास/Initial Beliefs)

बिना मदद के, एक रोबोट यह सोच सकता है कि टोस्टर बाथरूम में होने की उतनी ही संभावना रखता है जितनी कि किचन में। यह एक खाली स्लेट (blank slate) से शुरुआत करता है।

CoCo-TAMP LLM से पूछता है: "टोस्टर सबसे अधिक संभावना कहाँ होने की है?"
LLM अपने मानव भाषा और संस्कृति पर आधारित प्रशिक्षण का उपयोग करके कहता है, "लगभग निश्चित रूप से किचन में, शायद डाइनिंग रूम में, लेकिन बाथरूम में बिल्कुल नहीं।"

उपमा: कल्पना कीजिए कि आप अपनी खोई हुई चाबियाँ ढूँढ रहे हैं। बिना कॉमन सेंस वाला रोबोट घर की हर दराज को समान संभावना के साथ चेक करेगा। CoCo-TAMP एक ऐसे दोस्त की तरह है जो कहता है, "तुम हमेशा अपनी चाबियाँ किचन काउंटर पर या सामने वाले दरवाजे के पास छोड़ देते हो। चलो पहले वहीं देखते हैं।" यह "अंतर्ज्ञान" रोबोट को बेकार की खोजों को तुरंत छोड़ने में मदद करता है।

2. "सामाजिक दायरा" (को-लोकेशन/Co-Location)

यह सिस्टम एक दूसरे प्रकार के कॉमन सेंस का भी उपयोग करता है: समानता (Similarity)।
यदि रोबोट को किचन काउंटर पर एक कॉफी मग मिलता है, तो वह अनुमान लगा सकता है कि एक कॉफी पॉट पास में ही होने की संभावना है। यदि उसे एक पेचकश (screwdriver) मिलता है, तो वह अनुमान लगा सकता है कि हथौड़ा उसी टूलबॉक्स में होगा। इसके विपरीत, यदि उसे एक टूथब्रश मिलता है, तो वह जानता है कि टोस्टर उसी स्थान पर होने की संभावना नहीं है।

उपमा: इसे हाई स्कूल कैफेटेरिया की तरह समझें। यदि आप फुटबॉल खिलाड़ियों के एक समूह को एक मेज पर बैठे देखते हैं, तो आप अनुमान लगा सकते हैं कि अन्य फुटबॉल खिलाड़ी भी उसी मेज पर होंगे, जबकि चेस क्लब के सदस्य शायद किसी दूसरी मेज पर होंगे। CoCo-TAMP वस्तुओं के "सामाजिक दायरे" का उपयोग करके अपने मानचित्र (map) को अपडेट करता है। एक वस्तु का मिलना तुरंत रोबोट के इस विश्वास को अपडेट कर देता है कि अन्य समान वस्तुएँ कहाँ छिपी हो सकती हैं।

3. "स्मार्ट जासूस" (हाइरार्किकल स्टेट एस्टिमेशन)

रोबोट केवल अनुमान नहीं लगाता; वह चीजों के होने की जगह का एक रनिंग स्कोर ("विश्वास") रखता है।

चरण 1: यह कमरे और सतह (जैसे, "किचन, काउंटर") के बारे में एक शिक्षित अनुमान लगाने के लिए LLM का उपयोग करता है।
चरण 2: यह देखने के लिए आगे बढ़ता है। यदि उसे वस्तु दिख जाती है, तो बहुत अच्छा!
चरण 3: यदि उसे वस्तु नहीं मिलती, तो वह हार नहीं मानता। वह पूछता है: "क्या मैंने ठीक से देखा? क्या दृश्य बाधित था?"
चरण 4: यदि उसे कोई दूसरी वस्तु (जैसे कि टोस्टर) मिलती है, तो वह मूल वस्तु (जैसे कॉफी पॉट) के बारे में अपने अनुमान को अपडेट करने के लिए "सामाजिक दायरे" के नियम का उपयोग करता है।
उपमा: यह एक रहस्य सुलझाने वाले जासूस की तरह है।
- खराब जासूस: "मैंने किचन में संदिग्ध को नहीं देखा, इसलिए वह गैरेज में होगा।" (जल्दी हार मान लेना)।
- CoCo-TAMP जासूस: "मैंने किचन में संदिग्ध को नहीं देखा, लेकिन किचन अंधेरा था और मैंने केवल काउंटर को देखा था। साथ ही, मुझे लिविंग रूम में उसकी पसंदीदा टोपी मिली। चूंकि वह अपनी टोपी से प्यार करता है, इसलिए वह शायद लिविंग रूम में ही है। चलो वहीं चलते हैं।"

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने इसका परीक्षण एक वास्तविक रोबोट (टोयोटा HSR) पर और विशाल कंप्यूटर सिमुलेशन में किया।

CoCo-TAMP के बिना: रोबोट बिना किसी दिशा के भटकता रहता है, गलत कमरों की जांच करता है, भ्रमित होता है, और कई बार अपना प्लान फिर से शुरू करने के लिए मजबूर होता है। यह धीमा और निराशाजनक है।
CoCo-TAMP के साथ: रोबोट एक अनुभवी इंसान की तरह व्यवहार करता है। उसे पता है कि पहले कहाँ देखना है और वह एक वस्तु से मिले सुरागों का उपयोग दूसरी वस्तु को खोजने के लिए करता है।

परिणाम:

सिमुलेशन में, यह 62% तेज़ था।
वास्तविक दुनिया में, यह 72% तेज़ था।

निचोड़ (The Bottom Line)

CoCo-TAMP रोबोट्स को केवल अंधे मशीनों की तरह सोचने के बजाय इंसानों की तरह सोचने के लिए सिखाता है, जो दुनिया को समझते हैं। रोबोट की चलने-फिरने की क्षमता को AI की दुनिया को "जानने" की क्षमता (चीजें कहाँ होती हैं और क्या चीज़ किसके साथ जाती है) के साथ जोड़कर, रोबोट जटिल कार्यों को बहुत तेज़ी से और कम गलतियों के साथ हल कर सकते हैं।

यह एक ऐसे रोबोट के बीच का अंतर है जो अंधे होकर घर की हर अलमारी को टटोलता है, और एक ऐसे रोबोट के बीच जो सीधे किचन की ओर जाता है क्योंकि उसे पता है कि टोस्टर वहीं रहता है।

यहाँ पेपर "Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning" (COCO-TAMP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह पेपर पार्शियली ऑब्जर्वेबल टास्क एंड मोशन प्लानिंग (PO-TAMP) को संबोधित करता है। वास्तविक रोबोटिक वातावरण में, रोबोट अक्सर वस्तुओं की स्थिति (poses), अवरोधों (occlusions), और उन वस्तुओं की उपस्थिति के संबंध में अनिश्चितता का सामना करते हैं जो सीधे दिखाई नहीं दे रहे हैं।

चुनौती: पारंपरिक TAMP सॉल्वर अक्सर पूर्ण दृश्यता (full observability) मानते हैं या नियत (deterministic) योजनाओं पर निर्भर रहते हैं। जब एक रोबोट आंशिक रूप से दृश्य वातावरण में एक योजना को निष्पादित करता है, तो उसे अप्रत्याशित कार्य-अप्रासंगिक वस्तुओं का सामना करना पड़ सकता है या वह कार्य-प्रासंगिक वस्तुओं को खोजने में विफल हो सकता है क्योंकि उनके स्थान अज्ञात होते हैं।
लक्ष्य: आंशिक दृश्यता के तहत सटीक बलीफ स्टेट्स (वस्तुओं के स्थान और पोज के संभाव्य अनुमान) बनाए रखते हुए, सामान्य ज्ञान (common-sense knowledge) का लाभ उठाकर, रोबोट को लंबी अवधि के हेरफेर कार्यों (long-horizon manipulation tasks) को कुशलतापूर्वक नियोजित और निष्पादित करने में सक्षम बनाना।

2. कार्यप्रणाली: COCO-TAMP (Methodology: COCO-TAMP)

लेखक COCO-TAMP का प्रस्ताव करते हैं, जो एक पदानुक्रमित (hierarchical) नियोजन और निष्पादन ढांचा है जो कॉमन-सेंस प्रायर (common-sense priors) और को-लोकेशन संकेतों के स्रोत के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) को एकीकृत करता है। यह प्रणाली एक पदानुक्रमित बायेसियन फ़िल्टर (hierarchical Bayesian filter) के भीतर कार्य करती है और अंतर्निहित TAMP प्लानर के रूप में PDDLStream का उपयोग करती है।

A. मुख्य घटक (Core Components)

LLM-निर्देशित प्रारंभिक बलीफ जनरेशन (LLM-Guided Initial Belief Generation):
- वस्तुओं के संभावित स्थानों पर यूनिफॉर्म डिस्ट्रीब्यूशन मानने के बजाय, COCO-TAMP यह निर्धारित करने के लिए कि कोई वस्तु किस कमरे या सतह पर होने की संभावना है, एक LLM का उपयोग करके प्रायर बलीफ ( $bel(x_{r,0}, x_{s,0})$ ) उत्पन्न करता है।
- तंत्र: LLM को मल्टीपल-चॉइस क्वेश्चन आंसरिंग (MCQA) के माध्यम से क्वेरी किया जाता है। रोबोट LLM से विकल्पों की एक सूची में से सबसे संभावित स्थान चुनने के लिए पूछता है (जैसे, "टोस्टर कहाँ होने की संभावना है? A: किचन, B: बाथरूम...")।
- संभाव्यता व्युत्पन्न (Probability Derivation): उत्तर विकल्पों के लिए LLM के नेक्स्ट-टोकन प्रेडिक्शन लॉजिट्स (logits) को एक सॉफ्टमैक्स फंक्शन का उपयोग करके वैध संभाव्यता वितरणों में परिवर्तित किया जाता है।
पदानुक्रमित अवस्था अनुमान (Hierarchical State Estimation - Belief Update):
- सिस्टम तीन स्तरों पर बलीफ बनाए रखता है: कमरा ( $x_r$ ), सतह ( $x_s$ ), और पोज ( $x_p$ )।
- विजिबिलिटी-अवेयर ऑब्जर्वेशन मॉडल: सिस्टम आंशिक दृश्यता (अवरोध/सीमित दृश्य क्षेत्र) को ध्यान में रखता है। यह एक "विजिबिलिटी" मीट्रिक ( $v \in [0,1]$ ) की गणना करता है जो उन कणों (particles) के अंश पर आधारित है (जो संभावित वस्तु पोज का प्रतिनिधित्व करते हैं) जो वास्तव में दिखाई दे रहे हैं। यदि क्षेत्र पूरी तरह से दिखाई नहीं दे रहा था, तो एक असफल अवलोकन (failed observation) वस्तु की उपस्थिति को निश्चित रूप से खारिज नहीं करता है।
- को-लोकेशन मॉडल (Co-Location Model): यह निष्पादन के दौरान बलीफ अपडेट करने के लिए एक नवीन योगदान है।
  - अवधारणा: समान वस्तुएं अक्सर एक ही स्थान पर होती हैं (जैसे, चम्मच और कांटा), जबकि असमान वस्तुएं नहीं होती हैं।
  - कार्यान्वयन: सिस्टम LLM का उपयोग करके वस्तुओं के टेक्स्ट विवरण उत्पन्न करता है, एम्बेडिंग्स (embeddings) बनाता है, और कोसाइन सिमिलरिटी ($sim(j, k)$) की गणना करता है।
  - अपडेट लॉजिक: यदि वस्तु $j$ एक विशिष्ट कमरे में देखी जाती है, तो यह विश्वास बढ़ जाता है कि एक समान वस्तु $k$ भी उसी कमरे में है। यदि वे असमान हैं, तो विश्वास कम हो जाता है।
  - को-लोकेशन टॉगलर (Co-Location Toggler): उन वस्तुओं को संभालने के लिए जो स्वाभाविक रूप से बिखरी हुई होती हैं (जैसे, हर कमरे में लाइट स्विच), एक LLM क्वेरी यह निर्धारित करती है कि किसी विशिष्ट वस्तु प्रकार के लिए को-लोकेशन मॉडल को सक्रिय करना है या नहीं।
नियोजन और निष्पादन लूप (Planning and Execution Loop):
- सिस्टम एक "जेनरेट एंड वेरीफाई" लूप का उपयोग करता है। LLM प्रायर प्रदान करता है, लेकिन एक बलीफ-स्पेस प्लानर (PDDLStream) इष्टतम पथ की गणना करता है।
- लागत फलन (Cost Function): detect क्रिया की लागत वर्तमान बलीफ मास और विजिबिलिटी के व्युत्क्रमानुपाती होती है। यह प्लानर को "इंफॉर्मेटिव व्यूज़" (ऐसे स्थान जहाँ रोबोट द्वारा वस्तु मिलने की सबसे अधिक संभावना है) की ओर निर्देशित करता है।
- रीप्लानिंग (Replanning): यदि निष्पादन विफल हो जाता है (उदाहरण के लिए, यदि वस्तु वहां नहीं मिलती जहां भविष्यवाणी की गई थी), तो सिस्टम ऑब्जर्वेशन मॉडल का उपयोग करके बलीफ स्टेट को अपडेट करता है और रीप्लानिंग को ट्रिगर करता है।

3. प्रमुख योगदान (Key Contributions)

इंटरलीव्ड फ्रेमवर्क: एक PO-TAMP फ्रेमवर्क प्रस्तावित करता है जो नियोजन और निष्पादन को आपस में जोड़ता है, जिसमें LLMs का उपयोग सूचनात्मक प्रायर प्रदान करने और बलीफ अपडेट को निर्देशित करने के लिए किया जाता है, जिससे अनिश्चितता के तहत लंबी अवधि का नियोजन व्यावहारिक हो जाता है।
को-लोकेशन मॉडलिंग: LLM एम्बेडिंग्स का उपयोग करके सिमेंटिक को-लोकेशन को मॉडल करने के लिए एक विधि पेश करता है, जिससे रोबोट संबंधित वस्तुओं के अवलोकन के आधार पर अनदेखी वस्तुओं के संभावित स्थान का अनुमान लगा सकता है।
एडवर्सरियल सेटिंग्स के प्रति मजबूती: यह प्रदर्शित करता है कि हालांकि LLM प्रायर सहायक हैं, लेकिन (बायेसियन फ़िल्टरिंग के बिना) बलीफ अपडेट के लिए केवल LLM पर निर्भर रहना मजबूती के लिए अपर्याप्त है। हाइब्रिड दृष्टिकोण (LLM प्रायर + बायेसियन अपडेट) प्रदर्शन को बनाए रखता है भले ही कॉमन-सेंस धारणाओं का उल्लंघन किया गया हो।
दक्षता: वस्तुओं के स्थानों के लिए खोज स्थान (search space) को प्रक्रिया के प्रारंभ में ही सीमित करके PO-TAMP के कम्प्यूटेशनल बोझ को काफी कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बड़े पैमाने के सिमुलेशन (Housekeep डेटासेट का उपयोग करके) और वास्तविक दुनिया के प्रयोगों (Toyota HSR रोबोट का उपयोग करके) दोनों में COCO-TAMP का मूल्यांकन किया।

मीट्रिक्स: संचयी नियोजन/निष्पादन समय और रीप्लैंडिंग पुनरावृत्तियों (replanning iterations) की संख्या।
सिमुलेशन परिणाम:
- कॉमन-सेंस ज्ञान के बिना बेसलाइन की तुलना में, COCO-TAMP ने नियोजन और निष्पादन समय में औसतन 62.7% की कमी हासिल की।
- इसने रीप्लैंडिंग पुनरावृत्तियों की संख्या को काफी कम कर दिया, जो कम निष्पादन विफलताओं को दर्शाता है।
- एब्लेशन स्टडी (Ablation Study): MCQA (LLM प्रायर) और को-लोकेशन मॉडल का संयोजन सबसे अच्छा प्रदर्शन करता है।
  - केवल LLM प्रायर (MCQA) का उपयोग करने से बेसलाइन की तुलना में दक्षता में सुधार हुआ।
  - केवल को-लोकेशन मॉडल का उपयोग करने से मजबूती (robustness) में सुधार हुआ।
  - LGBU (बायेसियन फ़िल्टरिंग के बिना LLM-जनित बलीफ अपडेट) का उपयोग करने पर प्रदर्शन खराब रहा, जो कॉमन-सेंस को बाधित करने के लिए रैंडमाइज्ड प्लेसमेंट वाले प्रतिकूल सेटिंग्स में 5 में से 3 बार विफल रहा।
वास्तविक दुनिया के परिणाम:
- एक मॉक अपार्टमेंट वातावरण में, बेसलाइन ने 365 सेकंड लिए।
- को-मॉडल वेरिएंट ने 112 सेकंड लिए।
- पूर्ण MCQA + को-मॉडल (COCO-TAMP) ने 100 सेकंड लिए, जो बेसलाइन की तुलना में समय में 72.6% की कमी दर्शाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य LLMs की सिमेंटिक रीजनिंग क्षमताओं और रोबोटिक प्लानिंग की कठोर संभाव्य आवश्यकताओं के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: यह प्रदर्शित करता है कि रोबोट गणितीय गारंटी (बायेसियन फ़िल्टरिंग) का पालन करते हुए भी "इंसानों की तरह सोचने" (कॉमन-सेंस का उपयोग करके) के माध्यम से अधिक कुशलता से काम कर सकते हैं।
भविष्य की दिशाएं: लेखक नोट करते हैं कि हालांकि यह सिस्टम घरेलू डोमेन के लिए अच्छी तरह से काम करता है, भविष्य के कार्य इन प्रायर को गैर-घरेलू डोमेन (कारखानों, अस्पतालों) में लागू करने और उन परिदृश्यों को संभालने की खोज करेंगे जहाँ वातावरण का सिमेंटिक लेआउट स्वयं अज्ञात है।

संक्षेप में, COCO-TAMP सिद्ध करता है कि एक सिद्धांतित बलीफ-स्पेस प्लानर में LLM-व्युत्पन्न कॉमन-सेंस को एकीकृत करने से अनिश्चितता के तहत जटिल, लंबी अवधि के रोबोटिक मैनिपुलेशन कार्यों को हल करने के लिए एक मजबूत और कुशल प्रणाली तैयार होती है।