💻 computer science

PISTO: Proximal Inference for Stochastic Trajectory Optimization

यह शोध पत्र PISTO को प्रस्तुत करता है, जो एक डेरिवेटिव-मुक्त स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन एल्गोरिदम है जो एक प्रॉक्सिमल वेरिएशनल इन्फरेंस फ्रेमवर्क के माध्यम से अपडेट को स्थिर करता है, और रोबोट आर्म एवं लोकोमोशन बेंचमार्क दोनों पर STOMP, CHOMP, CEM और MPPI जैसी मौजूदा विधियों की तुलना में बेहतर सफलता दर, पथ गुणवत्ता और गति प्राप्त करता है।

मूल लेखक: Hongzhe Yu, Zinuo Chang, Yongxin Chen

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Hongzhe Yu, Zinuo Chang, Yongxin Chen

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक हाथ को कॉफी का कप उठाने के लिए सिखाने की कोशिश कर रहे हैं, बिना उसे गिराए या फूलदान को ठोकर मारे। यह एक "मोशन प्लानिंग" (गति नियोजन) की समस्या है। रोबोट को बिखरे हुए सामान वाले कमरे के बीच से एक सटीक रास्ता तय करने की आवश्यकता है।

यहाँ एक नया तरीका पेश किया गया है जिसे PISTO (प्रॉक्सिमल इन्फरेंस फॉर स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन) कहा जाता है, जो इस पहेली को सुलझाने में मदद करता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

समस्या: "अंधा" रोबोट

पुराने मोशन प्लानिंग तरीके अंधे कमरे में दीवारों को छूते हुए चलने की कोशिश करने जैसे हैं।

ग्रेडिएंट-आधारित तरीके (जैसे CHOMP): ये उस पर्वतारोही की तरह हैं जो केवल अपने पैरों के नीचे जमीन के ढलान को महसूस कर सकता है। यदि वे किसी छोटे गड्ढे (लोकल मिनिमम) में फंस जाते हैं, तो वे वहीं रुक जाते हैं और सोचते हैं कि वे सबसे निचले बिंदु पर पहुँच गए हैं, भले ही पास में कोई गहरा गड्ढा मौजूद हो। वे तब भी भ्रमित हो जाते हैं जब जमीन ऊबड़-खाबड़ या टूटी हुई (नॉन-डिफरेंशिएबल कॉस्ट) होती है।
स्टोकेस्टिक तरीके (जैसे STOMP): ये एक नक्शे पर बहुत सारे डार्ट्स (तीर) फेंकने की तरह हैं ताकि यह देखा जा सके कि वे कहाँ गिरते हैं। आप कई रैंडम रास्ते बनाते हैं, देखते हैं कि कौन से रास्ते दीवारों से बचते हैं, और फिर एक बेहतर रास्ता खोजने के लिए उन्हें औसत (average) निकालते हैं। यह "ऊबड़-खाबड़" लागतों (जैसे अचानक टक्कर) को संभालने के लिए बेहतरीन है, लेकिन यह थोड़ा अस्थिर और सही उत्तर तक पहुँचने में धीमा हो सकता है।

बड़ी खोज: STOMP एक "अनुमान लगाने वाला खेल" है

लेखकों ने महसूस किया कि मौजूदा "डार्ट-थ्रोइंग" (तीर फेंकने वाला) तरीका वास्तव में वेरिएशनल इन्फरेंस (Variational Inference) नामक एक विशिष्ट प्रकार का खेल खेल रहा है।

उपमा: कल्पना करें कि आपके पास सभी संभावित रास्तों का एक "परफेक्ट" नक्शा है, लेकिन वह छिपा हुआ है। आप केवल इतना जानते हैं कि अच्छे रास्ते "उच्च संभावना" वाले हैं और बुरे रास्ते "कम संभावना" वाले हैं। STOMP अपने वर्तमान अनुमान को देखकर इस छिपे हुए नक्शे के आकार का अनुमान लगाने की कोशिश कर रहा है।
लेखकों ने सिद्ध किया कि STOMP अप्रत्यक्ष रूप से यह कोशिश कर रहा है कि उसका वर्तमान अनुमान उस "परफेक्ट" नक्शे जैसा दिखे, जिसके लिए वह KL डाइवर्जेंस नामक एक गणितीय पैमाने का उपयोग करता है।

समाधान: PISTO (एक "ट्रस्ट-रीजन" कोच)

लेखकों ने इस खोज के आधार पर PISTO बनाया है। उन्होंने रोबोट को बेतरतीब और अस्थिर अनुमान लगाने से रोकने के लिए एक "कोच" जोड़ा है।

"प्रॉक्सिमल" ट्रिक: कल्पना करें कि आप अपने गोल्फ के स्विंग में सुधार करने की कोशिश कर रहे हैं। यदि आप एक साथ अपना पूरा रुख बदलने की कोशिश करते हैं, तो आप गिर सकते हैं। इसके बजाय, आप छोटे, नियंत्रित बदलाव करते हैं, यह सुनिश्चित करते हुए कि आप अपनी वर्तमान स्थिर स्थिति से बहुत दूर न हटें।
PISTO में, इसे प्रॉक्सिमल टर्म या ट्रस्ट रीजन कहा जाता है। यह रोबोट को बताता है: "आप नए रास्तों की खोज कर सकते हैं, लेकिन जहाँ आप अभी हैं, उससे बहुत दूर न भटकें।"
यह एक सुरक्षा जाल की तरह काम करता है। यह रोबोट को बड़े, जोखिम भरे कदम उठाने से रोकता है जो उसे दीवार से टकरा सकते हैं, और उसे लक्ष्य की ओर स्थिर, विश्वसनीय कदम उठाने के लिए मजबूर करता है।

यह व्यवहार में कैसे काम करता है

डार्ट्स फेंकना: रोबोट अपने वर्तमान सबसे अच्छे अनुमान के आसपास कई रैंडम रास्ते बनाता है।
स्कोर देना: यह जाँचता है कि कौन से रास्ते बाधाओं से टकराते हैं (बुरा) और कौन से सुचारू (smooth) हैं (अच्छा)।
"प्रॉक्सिमल" फ़िल्टर: केवल अच्छे रास्तों का औसत निकालने के बजाय, PISTO इम्पॉर्टेंस वेटिंग (महत्व भारण) नामक एक विशेष गणितीय सूत्र का उपयोग करता है जो उन रास्तों को अत्यधिक प्राथमिकता देता है जो अच्छे भी हैं और वर्तमान अनुमान के करीब भी हैं।
अपडेट: यह एक भारित औसत (weighted average) के आधार पर एक नया, बेहतर रास्ता निकालता है।

परिणाम: तेज़ और स्मार्ट

लेखकों ने दो प्रकार की चुनौतियों पर PISTO का परीक्षण किया:

रोबोट आर्म प्लानिंग: रसोई या बुकशेल्फ़ जैसे बिखरे हुए कमरों में रोबोटिक हाथ को चलाने के परीक्षण में, PISTO 89% बार सफल रहा।
- पुराने तरीकों से तुलना करें: CHOMP 63% बार और STOMP 68% बार सफल रहा।
- PISTO अन्य रैंडम-पाथ तरीकों की तुलना में दोगुना तेज़ भी था।
जटिल मूवमेंट (MuJoCo): उन्होंने एक डिजिटल मानव (Humanoid) का परीक्षण किया जो चलने, दौड़ने और खड़े होने की कोशिश कर रहा था। ये कार्य कठिन हैं क्योंकि मानव के पैर जमीन के संपर्क में आने वाले जटिल तरीकों से चलते हैं।
- PISTO ने CEM और MPPI जैसे अन्य शीर्ष तरीकों की तुलना में लगातार उच्च रिवॉर्ड (बेहतर प्रदर्शन) प्राप्त किया।
- इसने एक ऐसे कार्य को भी सफलता में बदल दिया जहाँ अन्य तरीके विफल रहे थे (PushT)।

सारांश

PISTO को एक स्मार्ट, सतर्क खोजकर्ता के रूप में समझें।

पुराने तरीके या तो बहुत कठोर थे (छोटे गड्ढों में फंस जाते थे) या बहुत लापरवाह (बिना सोचे-समझे भटकते थे)।
PISTO "खेल के नियमों" (वेरिएशनल इन्फरेंस) को समझता है और कुशलतापूर्वक वातावरण की खोज करने के लिए "सुरक्षा पट्टे" (प्रॉक्सिमल इन्फरेंस) का उपयोग करता है।
परिणाम एक ऐसा रोबोट है जो बेहतर रास्ते खोजता है, दुर्घटनाओं से अधिक बचता है, और आधे समय में काम पूरा कर लेता है।

तकनीकी सारांश: PISTO – प्रॉक्सिमल इन्फरेंस फॉर स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन

समस्या विवरण

स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन विधियाँ, जैसे कि STOMP (स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन फॉर मोशन प्लानिंग), ग्रेडिएंट-आधारित दृष्टिकोणों की तुलना में महत्वपूर्ण लचीलापन प्रदान करती हैं क्योंकि वे नॉन-डिफरेंशिएबल और विच्छिन्न (discontinuous) कॉस्ट फंक्शन्स (जैसे कि कोलिजन पेनल्टी) को संभाल सकती हैं। हालाँकि, STOMP के अपडेट नियमों के सैद्धांतिक आधार कुछ हद तक अस्पष्ट रहे हैं, और एल्गोरिदम अस्थिर ऑप्टिमाइज़ेशन डायनेमिक्स से ग्रस्त हो सकता है। जबकि STOMP सैंपलिंग के माध्यम से कॉस्ट लैंडस्केप को प्रभावी ढंग से स्मूथ करता है, एक निहित ऑब्जेक्टिव को समझने और जटिल, नॉन-कॉन्वेक्स वातावरण में इटरैटिव अपडेट्स को स्थिर करने वाले तंत्रों को पेश करने की आवश्यकता है।

कार्यप्रणाली

सैद्धांतिक आधार: वेरिएशनल इन्फरेंस के रूप में STOMP

लेखक पहले STOMP और वेरिएशनल इन्फरेंस (VI) के बीच एक सैद्धांतिक संबंध स्थापित करते हैं। वे प्रदर्शित करते हैं कि STOMP स्पष्ट रूप से एक प्रपोजल गॉसियन डिस्ट्रीब्यूशन, $N(Y, \Sigma)$ , और एक टार्गेट बोल्ट्ज़मैन ट्रैजेक्टरी डिस्ट्रीब्यूशन, $Y^\star \propto \exp(-S(\tilde{Y}))N(0, R^{-1})$ , के बीच रिवर्स कुलबैक-लीलर (KL) डाइवर्जेंस को मिनिमाइज करता है। यहाँ, $Y^\star \propto \exp(-S(\tilde{Y}))N(0, R^{-1})$ है, जहाँ $S(\tilde{Y})$ संचित स्टेट-डिपेंडेंट कॉस्ट (जैसे बाधा बचाव) को दर्शाता है, और $N(0, R^{-1})$ एक गॉसियन स्मूथनेस प्रायर के रूप में कार्य करता है। यह पुनर्गठन प्रकट करता है कि STOMP का कॉस्ट-वेटेड एवरेजिंग एक VI फ्रेमवर्क के भीतर मोमेंट-मैचिंग समाधान के समान है।

PISTO एल्गोरिदम

इस VI व्याख्या पर निर्माण करते हुए, पेपर PISTL (प्रॉक्सिमल इन्फरेंस फॉर स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन) का प्रस्ताव करता है। मुख्य नवाचार VI ऑब्जेक्टिव में एक प्रॉक्सिमल रेगुलराइजेशन टर्म को जोड़ना है।

प्रॉक्सिमल फॉर्मूलेशन: सीधे टार्गेट के KL डाइवर्जेंस को मिनिमाइज करने के बजाय, PISTO एक प्रॉक्सिमल अपडेट समस्या को हल करता है:
$Y_{k+1} = \arg \min_Y \left[ D_{KL}(N(Y, \Sigma) \parallel Y^\star) + \frac{1}{\eta} D_{KL}(N(Y, \Sigma) \parallel N(Y_k, \Sigma)) \right]$
जहाँ $\eta$ एक स्टेप-साइज़ पैरामीटर है। यह फॉर्मूलेशन एक ट्रस्ट-रीजन इंटरप्रिटेशन प्रदान करता है, जो वर्तमान इटरेट $Y_k$ से बड़े विचलन को दंडित करता है ताकि स्थिर अभिसरण (convergence) सुनिश्चित किया जा सके।
सरोगेट डिस्ट्रीब्यूशन: यह दिखाया गया है कि प्रॉक्सिमल अपडेट एक सरोगेट डिस्ट्रीब्यूशन $Y^\star_k$ के KL डाइवर्जेंस को मिनिमाइज करने के समान है। यह सरोगेट, वास्तविक बोल्ट्ज़मैन टार्गेट और वर्तमान गॉसियन एप्रोक्सिमेशन के बीच एक ज्योमेट्रिक इंटरपोलेशन है।
इम्पॉर्टेंस सैंपलिंग के माध्यम से क्लोज्ड-फॉर्म अपडेट्स: प्रॉक्सिमल समस्या का समाधान एक मोमेंट-मैचिंग अपडेट है जहाँ नया मीन $Y_{k+1}$ , सरोगेट डिस्ट्रीब्यूशन का एक्सपेक्टेशन है। चूंकि सरोगेट को सीधे सैंपल करना सामान्यतः कठिन होता है, PISTO इम्पॉर्टेंस-वेटेड मोंटे कार्लो सैंपलिंग का उपयोग करता है।
- वर्तमान इटरेट के केंद्र में स्थित एक गॉसियन प्रपोजल से सैंपल लिए जाते हैं।
- वेट्स (weights) की गणना कॉस्ट फंक्शन और प्रॉक्सिमल टर्म के आधार पर की जाती है।
- अपडेट इन सैंपल्स का एक वेटेड एवरेज है।
डेरिवेटिव-फ्री प्रकृति: महत्वपूर्ण रूप से, इस एल्गोरिदम को केवल कॉस्ट फंक्शन $S(\cdot)$ के मूल्यांकन की आवश्यकता होती है, जिससे यह डेरिवेटिव-फ्री हो जाता है। यह बिना किसी संशोधन के नॉन-डिफरेंशिएबल और विच्छिन्न कॉस्ट को संभालने की STOMP की क्षमता को विरासत में प्राप्त करता है।
विस्तार (Extensions):
- कॉन्टैक्ट-रिच टास्क: इस फ्रेमवर्क को जटिल डायनेमिक्स (जैसे MuJoCo) वाले सिस्टम के लिए एक्शन स्पेस में पॉलिसी ऑप्टिमाइज़ेशन के लिए विस्तारित किया गया है, जहाँ स्टेट ट्रैजेक्टरी कंट्रोल सीक्वेंस से रोलआउट करके निर्धारित की जाती है।
- एनीलिंग: विधि एक्सप्लोरेशन और एक्सप्लोइटेशन को संतुलित करने के लिए एडेप्टिव कोवेरिएंस शेड्यूलिंग (कोसाइन एनीलिंग) और एक प्रॉक्सिमल स्टेप-साइज़ एनीलिंग स्कीम का उपयोग करती है। लो-कॉस्ट सैंपल्स पर ध्यान केंद्रित करके वेरिएंस को कम करने के लिए एक एलीट-सेट सिलेक्शन मैकेनिज्म का भी उपयोग किया जाता है।

मुख्य योगदान

सैद्धांतिक अंतर्दृष्टि: पेपर प्रकट करता है कि STOMP स्पष्ट रूप से एक बोल्ट्ज़मैन ट्रैजेक्टरी डिस्ट्रीब्यूशन से रिवर्स KL डाइवर्जेंस को मिनिमाइज करता है, जिससे एल्गोरिदम के लिए एक स्पष्ट वेरिएशनल इन्फरेंस संरचना स्थापित होती है।
PISTO एल्गोरिदम: लेखक PISTO का प्रस्ताव करते हैं, जो क्रमिक गॉसियन प्रपोजल्स के बीच एक प्रॉक्सिमल पेनल्टी (KL रेगुलराइजेशन) पेश करता है। यह एक ट्रस्ट-रीजन इंटरप्रिटेशन प्रदान करता है जो ऑप्टिमाइज़ेशन डायनेमिक्स को स्थिर करता है।
क्लोज्ड-फॉर्म डेरिवेटिव-फ्री अपडेट्स: प्रॉक्सिमल फॉर्मूलेशन क्लोज्ड-फॉर्म मीन अपडेट्स प्रदान करता है जिन्हें इम्पॉर्टेंस-वेटेड मोंटे कार्लो सैंपलिंग के माध्यम से कंप्यूट किया जा सकता है। इसके परिणामस्वरूप एक सरल, डेरिवेटिव-फ्री एल्गोरिदम प्राप्त होता है जो लचीलापन बनाए रखते हुए सिद्धांततः स्थिरता गारंटी प्रदान करता है।

प्रायोगिक परिणाम

मोशन प्लानिंग बेंचमार्क्स

PISTO का मूल्यांकन मूवइट (MoveIt) फ्रेमवर्क का उपयोग करके सात मैनिपुलेशन वातावरणों (जैसे किचन, बुकशेल्फ़, बॉक्स) में रोबोट आर्म मोशन प्लानिंग बेंचमार्क्स पर किया गया।

सफलता दर (Success Rate): PISTO ने 89% सफलता दर प्राप्त की, जो CHOMP (63%), STOMP (68%), और नेचुरल ग्रेडिएंट डिसेंट (76%) को काफी पीछे छोड़ देती है।
दक्षता (Efficiency):ity: PISTO प्रतिस्पर्धी स्टोकेस्टिक विधियों की तुलना में लगभग दोगुनी तेजी से चला जबकि इसने अधिक छोटे और स्मूथ पाथ बनाए।
मैट्रिक्स: इसने बेसलाइन्स की तुलना में पाथ क्लीयरेंस और प्लानिंग समय में बेहतर प्रदर्शन किया।

कॉन्टैक्ट-रिच लोकोमोशन और मैनिपुलेशन

एल्गोरिदम का परीक्षण जटिल कॉन्टैक्ट डायनेमिक्स (जैसे PushT, Humanoid Running, Humanoid Standing Up) वाले MuJoCo टास्क पर किया गया।

रिवॉर्ड प्रदर्शन: PISTO ने सभी परीक्षण किए गए कार्यों में क्रॉस-एंट्रॉपी मेथड (CEM) और मॉडल प्रिडिक्टिव पाथ इंटीग्रल (MPPI) बेसलाइन्स की तुलना में लगातार रिवॉर्ड में बेहतर प्रदर्शन किया। विशेष रूप से, इसने PushT कार्य पर MPPI के नेगेटिव रिवॉर्ड (−0.17) को पॉजिटिव रिवॉर्ड (0.46) में बदल दिया।
गति: PISTO ने अधिकांश कार्यों पर बेसलाइन्स की तुलना में महत्वपूर्ण स्पीडअप दिखाया, जैसे कि ह्यूमनॉइड रनिंग के लिए 36.5s बनाम ~115s।
मजबूती (Robustness): विधि ने मिनटों के भीतर उच्च-आयामी (17-DOF) ह्यूमनॉइड कार्यों को सफलतापूर्वक हल किया, जो विच्छिन्न कॉन्टैक्ट वाले हाइब्रिड डायनेमिकल सिस्टम में इसकी मजबूती की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि PISTO प्रॉक्सिमल इन्फरेंस के माध्यम से सैंपलिंग-आधारित विधियों के लचीलेपन को स्थिरता के साथ एकीकृत करके स्टोकेस्टिक ट्रैजेक्टरी ऑप्टिमाइज़ेशन में एक सिद्धांतगत प्रगति का प्रतिनिधित्व करता है। STOMP की वेरिएशनल संरचना को उजागर करके, लेखक एल्गोरिदम में सुधार के लिए एक सैद्धांतिक आधार प्रदान करते हैं। परिणामी एल्गोरिदम को निम्नलिखित के लिए हाइलाइट किया गया है:

सरल और डेरिवेटिव-फ्री: बिना किसी संशोधन के नॉन-डिफरेंशिएबल कॉस्ट को संभालने में सक्षम।
स्थिर (Stable): प्रॉक्सिमल फॉर्मूलेशन अत्यधिक आक्रामक स्टेप्स को रोकता है, जिससे नॉन-कॉन्वेक्स लैंडस्केप में विश्वसनीय अभिसरण सुनिश्चित होता है।
कुशल (Efficient): यह मानक मोशन प्लानिंग बेंचमार्क्स और चुनौतीपूर्ण कॉन्टैक्ट-रिच कंट्रोल टास्क दोनों पर स्टेट-ऑफ-द-आर्ट सफलता दर और गति प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि PISTO जटिल रोबोटिक सिस्टम के लिए एक मजबूत समाधान प्रदान करता है, जिसमें उपलब्ध होने पर ग्रेडिएंट्स को शामिल करने और रिसीडिंग-होरिज़न मॉडल प्रिडिक्टिव कंट्रोल (MPC) तक विस्तार करने के लिए भविष्य के कार्य का सुझाव दिया गया है।