🤖 AI

Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

यह शोध पत्र एक ऐसे ढांचे को प्रस्तुत करता है जो सिग्नल टेम्पोरल लॉजिक (STL) का उपयोग करके पैरामीटराइज्ड गेट बाधाओं (gait constraints) को परिभाषित करता है और सुदृढीकरण सीखने (reinforcement learning) के लिए सघन रिवॉर्ड फंक्शन (dense reward functions) व्युत्पन्न करता है, जिससे चतुष्पाद रोबोटों को पारंपरिक हस्तनिर्मित रिवॉर्ड बेसलाइन की तुलना में विभिन्न गेट्स में अधिक स्थिर प्रशिक्षण और सटीक वेग ट्रैकिंग प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Merve Atasever, Cagan Bakirci, Alfredo Reina Corona, Keyan Azbijari, Jyotirmoy V. Deshmukh

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Merve Atasever, Cagan Bakirci, Alfredo Reina Corona, Keyan Azbijari, Jyotirmoy V. Deshmukh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक चार पैरों वाले रोबोट कुत्ते को एक मैदान में दौड़ना, चलना और उछलना (bound) सिखा रहे हैं। अतीत में, इंजीनियर इन रोबोटों को पुरस्कारों के एक "स्कोरकार्ड" को हाथ से बनाकर सिखाते थे। यह कुछ ऐसा था जैसे रोबोट को कहना, "अगर तुम आगे बढ़ो तो अच्छा काम, अगर तुम गिर जाओ तो बुरा काम," लेकिन निर्देश अस्पष्ट थे, जैसे एक माता-पिता का यह कहना कि "बस अच्छे बने रहो," बिना यह समझाए कि कैसे। रोबोट अक्सर चलना तो अच्छी तरह सीख जाता था लेकिन दौड़ने में विफल रहता था, या वह दौड़ना तो सीख जाता था लेकिन लड़खड़ा जाता था क्योंकि निर्देशों ने स्पष्ट रूप से यह परिभाषित नहीं किया था कि "दौड़ना" वास्तव में कैसा दिखता है।

यह शोध पत्र सिग्नल टेम्पोरल लॉजिक (Signal Temporal Logic - STL) नामक एक प्रणाली का उपयोग करके रोबोट को सिखाने का एक स्मार्ट तरीका पेश करता है। इसे एक अस्पष्ट स्कोरकार्ड के रूप में नहीं, बल्कि एक सख्त, तार्किक नियम पुस्तिका (logical rulebook) के रूप में समझें जिसे रोबोट आपकी भाषा में पूरी तरह से समझ सकता है।

यहाँ लेखक का दृष्टिकोण सरल अवधारणाओं में विभाजित है:

1. गति के लिए "ट्रैफिक लाइट" प्रणाली

रोबोट के पास चलने का केवल एक तरीका नहीं है। उसे पता होना चाहिए कि कब चलना है, कब ट्रॉट करना है (एक उछाल वाली दो-ताल की चाल) और कब बाउंड (एक उच्च-गति वाली छलांग जहाँ चारों पैर जोड़ों में चलते हैं) करना है।

पुराना तरीका: रोबलेट को सभी गतियों के लिए नियमों का एक ही सेट दिया जाता था, जिससे जब वह धीमी चाल से तेज़ दौड़ की ओर बढ़ने की कोशिश करता था, तो वह भ्रमित हो जाता था।
नया तरीका: लेखकों ने एक "ट्रैफिक लाइट" प्रणाली बनाई है।
- हरी बत्ती (धीमी): यदि रोबोट को धीरे चलने के लिए कहा जाता है, तो वह "चलने" (Walking) की नियम पुस्तिका का पालन करता है।
- पीली बत्ती (मध्यम): यदि इसकी गति बढ़ती है, तो यह "ट्रॉटिंग" (Trotting) की नियम पुस्तिका पर स्विच करता है।
- लाल बत्ती (तेज़): यदि इसे दौड़ने (Sprint) की आवश्यकता होती है, तो यह "बाउंडिंग" (Bounding) की नियम पुस्तिका पर स्विच करता है।
- जादू: रोबोट केवल यह अनुमान नहीं लगाता कि कौन सी नियम पुस्तिका का उपयोग करना है; सिस्टम स्वचालित रूप से यह चुन लेता है कि उसे कितनी तेज़ गति से चलना चाहिए।

2. नियम पुस्तिका (STL)

अस्पष्ट पुरस्कारों के बजाय, रोबोट को प्रत्येक गति के लिए विशिष्ट, तार्किक बाधाएं (constraints) दी जाती हैं।

सुरक्षा नियम: "तुम्हारे पैर कभी भी बहुत अधिक मुड़ नहीं जाने चाहिए," और "तुम्हारा शरीर सीधा रहना चाहिए।"
चाल के नियम (Gait Rules):
- चलने के लिए: "हमेशा कम से कम तीन पैर जमीन पर रखें।"
- ट्रॉटिंग के लिए: "सुनिश्चित करें कि आपके विकर्ण पैर (सामने का बायां और पीछे का दायां) एक डांस पार्टनर की तरह एक साथ चलें।"
- बाउंडिंग के लिए: "सुनिश्चित करें कि आपके पास हवा में एक क्षण हो जब कोई भी पैर जमीन को न छुए, और आपके सामने के पैर एक साथ उतरें, फिर आपके पिछले पैर एक साथ उतरें।"
उपमा: कल्पना कीजिए कि किसी इंसान को नृत्य सिखाना। "अच्छा नाचें" कहने के बजाय, आप उन्हें एक संगीत पत्र देते हैं जिसमें लिखा होता है, "ताल 1 पर बाएं कदम रखें, ताल 2 पर कूदें।" रोबोट इस "संगीत पत्र" (तर्क) का पालन करता है ताकि उसे पता चल सके कि एक आदर्श कदम कैसा दिखता है।

3. उस्तादों से सीखना (डेटा-संचालित)

लेखकों ने केवल यह अनुमान नहीं लगाया कि ये नियम क्या होने चाहिए। उन्होंने विशेषज्ञ रोबोटों (या उनके सिमुलेशन) को इन चालों को पूरी तरह से करते हुए देखा।

उन्होंने इन आदर्श प्रदर्शनों के वीडियो लिए और उनका उपयोग नियम पुस्तिका को कैलिब्रेट (calibrate) करने के लिए किया।
यदि विशेषज्ञ रोबोट के पैर ट्रॉट के दौरान 0.4 सेकंड के लिए जमीन को छूते हैं, तो नियम पुस्तिका 0.4 सेकंड की अपेक्षा करने के लिए सेट की जाती है।
यह सुनिश्चित करता है कि रोबोट किसी इंसान के अनुमान से नहीं, बल्कि वास्तविक डेटा से सीख रहा है कि क्या काम करता है।

4. "कोच" (रिवॉर्ड शेपिंग)

एक बार जब रोबोट हिलना-डुलना शुरू करता है, तो सिस्टम नियम पुस्तिका के विरुद्ध उसके प्रदर्शन की जाँच करता है।

यदि रोबोट नियमों का पालन करता है, तो उसे एक "अच्छा काम" का संकेत (पुरस्कार) मिलता है।
यदि वह कोई नियम तोड़ता है (जैसे, वह बाउंड करने की कोशिश करता है लेकिन चारों पैर जमीन पर रखता है), तो उसे "फिर से प्रयास करें" का संकेत मिलता है।
मुख्य नवाचार: क्योंकि नियम इतने स्पष्ट हैं, रोबोट को निरंतर, सुचारू फीडबैक मिलता है। यह एक कोच की तरह है जो केवल "अच्छा!" या "बुरा!" चिल्लाता नहीं है, बल्कि फुसफुसाता है, "आप उस कदम पर 90% सही थे, अगली बार बस अपना घुटना थोड़ा ऊपर उठाएं।" यह रोबोट को बहुत तेज़ी से और स्थिरता से सीखने में मदद करता है।

5. परिणाम: एक बेहतर धावक

लेखकों ने अपने नए तरीके का परीक्षण एक वास्तविक दुनिया के रोबोट सिमुलेशन (Google का Barkour रोबोट) का उपयोग करके पुराने "अस्पष्ट स्कोरकार्ड" तरीके के मुकाबले किया।

पुराना तरीका: रोबोट चलने में ठीक था लेकिन तेज़ दौड़ने में संघर्ष करता था। वह अक्सर गिर जाता था या गति के निर्देशों के साथ तालमेल नहीं बिठा पाता था।
नया तरीका: रोबोट सहजता से चलने, ट्रॉट करने और बाउंड करने के बीच स्विच करना सीख गया। वह उच्च गति पर भी सीधा खड़ा रहा और गति कमांड का बहुत सटीक रूप से पालन किया।
बोनस: यदि रोबोट विफल होता है, तो सिस्टम आपको बिल्कुल सटीक बता सकता है कि क्यों। केवल यह कहने के बजाय कि "यह विफल रहा," यह कह सकता है, "यह विफल हुआ क्योंकि चलने के चरण के दौरान इसके पास पर्याप्त पैर जमीन पर नहीं थे।" यह इंजीनियरों के लिए समस्या को ठीक करना (debug) आसान बनाता है।

सारांश

संक्षेप में, यह शोध पत्र रोबोट कुत्तों के प्रशिक्षण के भ्रमित करने वाले, अनुमान-आधारित प्रशिक्षण को एक सटीक, तार्किक निर्देश पुस्तिका से बदल देता है जो स्वचालित रूप से बदलती है कि रोबोट को कितनी तेज़ गति से चलना चाहिए। इन नियमों को लिखने के लिए डेटा का उपयोग करके, रोबोट एक वास्तविक जानवर की स्थिरता और चपलता के साथ दौड़ना, ट्रॉट करना और चलना सीखता है, जिसमें किसी इंसान को लगातार सेटिंग्स बदलने की आवश्यकता नहीं होती।

तकनीकी सारांश: टेम्पोरल लॉजिक स्पेसिफिकेशन के साथ लर्निंग गेट-अवेयर क्वाड्रुपेड लोकमोशन

समस्या विवरण
क्वाड्रुपेड लोकमोशन (quadruped locomotion) के लिए सुदृढीकरण शिक्षण (reinforcement learning - RL) वर्तमान में काफी हद तक निश्चित, हस्तनिर्मित, मार्कोवियन रिवॉर्ड फंक्शनों पर निर्भर करता है। हालांकि ये एकल प्रमुख गेट्स (जैसे कि ट्रॉटिंग) सीखने के लिए प्रभावी हैं, लेकिन इन दृष्टिकोणों में दो प्राथमिक सीमाएं हैं:

व्याख्यात्मकता का अभाव (Lack of Interpretability): सीखे गए नीतियां अक्सर "ब्लैक बॉक्स" होती हैं जहाँ रिवॉर्ड टर्म्स और विशिष्ट व्यवहार संबंधी विफलताओं के बीच का संबंध अस्पष्ट होता है।
सीमित गेट नियंत्रण (Limited Gait Control): स्थिर रिवॉर्ड फंक्शन विभिन्न गेट व्यवस्थाओं (walking-trot, trot, bound) या गति के आधार पर उनके बीच सुचारू संक्रमण (smooth transitions) को प्रेरित करने के लिए संघर्ष करते हैं। वे अक्सर विभिन्न गतियों के लिए आवश्यक संपर्क पैटर्न (contact patterns) के टेम्पोरल स्ट्रक्चर को स्पष्ट रूप से लागू करने में विफल रहते हैं, जिससे उच्च वेगों पर अस्थिर प्रशिक्षण या खराब कमांड ट्रैकिंग होती है।

लेखक एक ऐसी एकल नीति (single policy) सीखने की चुनौती का समाधान करते हैं जो सुरक्षा, स्थिरता और सटीक वेग ट्रैकिंग बनाए रखते हुए कई गति व्यवस्थाओं (speed regimes) में अपने गेट स्ट्रक्चर को अनुकूलित कर सके।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचा वांछित व्यवहारों को एनकोड करने के लिए हीयुरिस्टिक रिवॉर्ड्स के स्थान पर सिग्नल टेम्पोरल लॉजिक (Signal Temporal Logic - STL) स्पेसिफिकेशन का उपयोग करता है। मुख्य कार्यप्रणाली में शामिल है:

मोड-डिपेंडेंट गेट चयन (Mode-Dependent Gait Selection):
सिस्टम कमांड किए गए फॉरवर्ड वेलोसिटी ( $v_{cmd}$ ) के आधार पर तीन लोकमोशन मोड को परिभाषित करता है, जो ट्रांजिशन थ्रेशोल्ड निर्धारित करने के लिए फ्रौडे नंबर (Froude number) का उपयोग करता है:
- वॉकिंग-ट्रॉट (W): $0 \le v_{cmd} \le 0.7$ m/s।
- ट्रॉट (T): $0.7 < v_{cmd} \le 1.7$ m/s।
- बाउंड (B): $v_{cmd} > 1.7$ m/s।
  ट्रांजिशन बाउंड्री के पास मोड चैटरिंग (mode chattering) को रोकने के लिए हिस्टेरेसिस (Hysteresis) लागू किया गया है।
डेटा-ड्रिवन STL स्पेसिफिकेशन माइनिंग (Data-Driven STL Specification Mining):
लॉजिक पैरामीटर्स को मैन्युअल रूप से ट्यून करने के बजाय, लेखक विशेषज्ञ डेटा का उपयोग करते हैं:
- एक्सपर्ट ट्राजेक्टरीज (Expert Trajectories): वे विशेष मॉडलों से प्रत्येक शासन (regime) के लिए 50 विशेषज्ञ रोलआउट एकत्र करते हैं (walk-trot, trot, bound)।
- पैरामेट्रिक STL (PSTL) टेम्पलेट्स: वे सुरक्षा (टॉर्क लिमिट, रोल/पिच बाउंड्स, CoM हाइट), वेलोसिटी ट्रैकिंग, और गेट स्ट्रक्चर (कॉन्टैक्ट पैटर्न, ड्यूटी फैक्टर्स, फेज सिंक्रोनाइज़ेशन) के लिए पैरामेट्रिक टेम्पलेट्स को परिभाषित करते हैं।
- पैरामीटर कैलिब्रेशन: STL प्रेडिकेट्स के थ्रेशोल्ड को विशेषज्ञ डेटा के एम्पिरिकल क्वांटाइल्स (जैसे कि एरर मैग्नीट्यूड के लिए 99वां पर्सेंटाइल) का उपयोग करके फिट किया जाता है ताकि यह सुनिश्चित हो सके कि स्पेसिफिकेशन्स सफल व्यवहारों को संतुष्ट करते हैं और क्षणिक शोर (transient noise) को अत्यधिक दंडित नहीं करते हैं।
रोबस्टनेस के माध्यम से रिवॉर्ड शेपिंग (Reward Shaping via Robustness):
STL स्पेसिफिकेशन्स को क्वांटिटेटिव रोबस्टनेस सेमेंटिक्स (quantitative robustness semantics) का उपयोग करके एक सघन (dense), निरंतर रिवॉर्ड सिग्नल में परिवर्तित किया जाता है।
- प्रेडिकेट्स (Predicates): प्रत्येक मोड के लिए विशिष्ट प्रेडिकेट्स परिभाषित किए गए हैं (जैसे कि ट्रॉट के लिए डायगोनल फेज एरर, बाउंड के लिए एरियल फेज ऑक्यूपेंसी, और बाउंड के लिए डायगोनल पैटर्न का दमन)।
- एग्रीगेशन (Aggregation): सुरक्षा, ट्रैकिंग और पैटर्न बाधाओं के लिए रोबस्टनेस वैल्यू ( $\rho$ ) को एक साइन-प्रिजर्विंग सॉफ्ट-मिन फंक्शन का उपयोग करके एकत्रित किया जाता है और $[-1, 1]$ में मैप करने के लिए $\tanh(\rho)$ के माध्यम से सामान्यीकृत किया जाता है।
- फाइनल रिवॉर्ड: अंतिम रिवॉर्ड $\tanh(\rho)$ द्वारा सामान्यीकृत रोबस्टनेस टर्म्स का एक भारित योग (weighted sum) है, जिसमें से ऊर्जा-दक्षता दंड (टॉर्क एफर्ट) घटाया जाता है।
प्रशिक्षण पाइपलाइन (Training Pipeline):
इस दृष्टिकोण को Google के Barkour vb क्वाड्रुपेड रोबोट पर MuJoCo XLA (MJX) सिम्युलेटर के भीतर कार्यान्वित किया गया है।
- एल्गोरिदम: प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग किया जाता है।
- ऑप्टिमाइज़ेशन: प्रशिक्षण की गति और नीति की मजबूती (robustness) में सुधार के लिए GPU पर समानांतरकरण (parallelization) और डोमेन रैंडमाइजेशन का उपयोग किया जाता है।
- करिकुलम (Curriculum): प्रशिक्षण कम वेलोसिटी रेंज से शुरू होता है और धीरे-धीरे "बाउंड" शासन को शामिल करने के लिए विस्तारित होता है।

प्रमुख योगदान (Key Contributions)

मोड-अवेयर लॉजिक-बेस्ड रिवॉर्ड्स: एक ऐसा ढांचा जहाँ अलग-अलग कमांड की गई गतियाँ अलग-अलग STL स्पेसिफिकेशन्स को सक्रिय करती हैं, जिससे एक एकल नीति को कई गेट स्ट्रक्चर सीखने में सक्षम बनाया जाता है।
डेटा-ड्रिवन पैरामीटर लर्निंग: एक पाइपलाइन जो विशेषज्ञ ट्राजेक्टरीज से सीधे पैरामेट्रिक गेट टेम्पलेट्स को फिट करती है, जिससे हीयुरिस्टिक अनुमानों के बजाय वास्तविक गेट सांख्यिकी के अनुरूप व्याख्या योग्य स्पेसिफिकेशन्स प्राप्त होते हैं।
एकीकृत मल्टी-गेट पॉलिसी: एक एकल नीति जो वॉकिंग, ट्रॉटिंग और बाउंडिंग व्यवस्थाओं में वेलोसिटी कमांड को सफलतापूर्वक ट्रैक करती है, और हीयुरिस्टिक बेसलाइन्स की तुलना में कम कमांड-फॉलोइंग एरर प्राप्त करती है।
व्याख्यात्मक डायग्नोस्टिक्स (Interpretable Diagnostics): STL रोबस्टनेस सिग्नल्स का उपयोग नीतिगत विफलताओं के कारणों को बताने (failure attribution) की अनुमति देता है। यदि कोई रोलआउट विफल होता है, तो विशिष्ट उल्लंघन किए गए प्रेडिकेट्स (जैसे अपर्याप्त सपोर्ट, एक्चुएटर लिमिट्स) की पहचान की जा सकती है, जो डिबगिंग के लिए एक व्यावहारिक उपकरण प्रदान करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने Barkour रोबोट पर हीयुरिस्टिक रिवॉर्ड्स (हीयुरिस्टिक-बेस्ट और हीयुरिस्टिक-डिफ़ॉल्ट) का उपयोग करने वाले दो बेसलाइन्स के विरुद्ध STL-शेप्ड पॉलिसी का मूल्यांकन किया।

मेट्रिक्स: कॉस्ट ऑफ ट्रांसपोर्टेशन (CoT), सर्वाइवल रेट, और सक्सेस रेट (सफलता दर को $\pm 15\%$ के भीतर औसत फॉरवर्ड स्पीड के रूप में परिभाषित किया गया है)।
प्रदर्शन: STL-आधारित नीति ने टाइट वेलोसिटी ट्रैकिंग और अधिक स्थिर प्रशिक्षण प्रदर्शित किया।
हाई-स्पीड रोबस्टनेस: महत्वपूर्ण रूप से, STL पॉलिसी ने पूरे परीक्षण किए गए वेलोसिटी रेंज में पूर्ण सर्वाइवल और सफलता दर बनाए रखी, जिसमें उच्च-गति कमांड ($1.9 - 2.1$ m/s) भी शामिल हैं, जहाँ हीयुरिस्टिक बेसलाइन्स का प्रदर्शन कम होने लगा था।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि इसका ढांचा ब्लैक-बॉक्स लेटेंट-रिप्रेजेंटेशन विधियों और शुद्ध हीयुरिस्टिक रिवॉर्ड शेपिंग दोनों के लिए एक संरचित, विश्लेषण योग्य और स्पेसिफिकेशन-ड्रिवन विकल्प प्रदान करता है। गेट व्यवहार और संपर्क अनुक्रमों (contact sequences) पर स्पष्ट नियंत्रण प्रदान करके, यह दृष्टिकोण:

गेट व्यवहारों और संपर्क अनुक्रमों पर स्पष्ट नियंत्रण प्रदान करता है।
नीति विफलताओं को विशिष्ट तार्किक उल्लंघनों से जोड़कर व्याख्यात्मकता को बढ़ाता है।
एक एकीकृत नीति सीखने की इंजीनियरिंग चुनौती को हल करता है जो अलग कंट्रोलर या जटिल पदानुक्रमित स्विचिंग तंत्र की आवश्यकता के बिना विभिन्न गति व्यवस्थाओं में अपने गेट स्ट्रक्चर को अनुकूलित करती है।

यह कार्य प्रदर्शित करता है कि लेग्ड लोकोमोशन नीतियों के प्रदर्शन और डिबगेबिलिटी (debuggability) में सुधार के लिए औपचारिक स्पेसिफिकेशन्स को डीप RL पाइपलाइनों में प्रभावी ढंग से एकीकृत किया जा सकता है।