💻 computer science

Combined Constrained Sampling and Reinforcement Learning for Robotic Manipulation

यह शोध पत्र एक नवीन दृष्टिकोण प्रस्तावित करता है जो जटिल, संपर्क-समृद्ध (contact-rich) वातावरणों में सार्वभौमिक, गैर-पकड़ (non-prehensile) रोबोटिक हेरफेर नीतियों को प्रभावी ढंग से प्रशिक्षित करने के लिए संरचित रीसेट रणनीतियों और अन्वेषण को बढ़ाने के लिए पाठ्यक्रम शिक्षण (curriculum learning) का लाभ उठाते हुए, संकुचित अवस्था नमूनाकरण (constrained state sampling) को सुदृढीकरण शिक्षण (reinforcement learning) के साथ जोड़ता है।

मूल लेखक: Marc Toussaint, Cornelius V. Braun, Armand Jordana, Sayantan Auddy, Eckart Cobo-Briesewitz, Denis Shcherba, Tilman Burghoff, Justin Carpentier

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marc Toussaint, Cornelius V. Braun, Armand Jordana, Sayantan Auddy, Eckart Cobo-Briesewitz, Denis Shcherba, Tilman Burghoff, Justin Carpentier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक आर्म को मेज पर एक गेंद या घन (cube) को उठाने के बिना, उसे धकेलने, खिसकाने और संतुलित करने के बारे में सिखाने की कोशिश कर रहे हैं। इसे "नॉन-प्रीहेन्साइल मैनिपुलेशन" (non-prehensile manipulation) कहा जाता है। यह अविश्वसनीय रूप से कठिन है क्योंकि फिसलने और उछलने का भौतिक विज्ञान (physics) अव्यवस्थित, अप्रत्याशित और अचानक होने वाले परिवर्तनों से भरा होता है (जैसे जब एक गेंद दीवार से टकराती है और वापस उछलती है)।

यह शोध पत्र इस कार्य के लिए रोबोट को प्रशिक्षित करने के दो मुख्य विचारों को जोड़कर एक नया तरीका पेश करता है: सुदृढीकरण लर्निंग (Reinforcement Learning - RL) और प्रतिबंधित नमूनाकरण (Constrained Sampling)। यहाँ इसका विवरण सरल उपमाओं के साथ दिया गया है।

समस्या: रोबोट एक अंधेरे जंगल में खो गया है

सुदृढीकरण लर्निंग (RL) को 'गलतियों से सीखने' के रूप में समझें। इसमें रोबोट यादृच्छिक (random) चालें चलता है, यदि वह सफल होता है तो उसे इनाम मिलता है, और वह अपनी गलतियों से सीखता है।

समस्या: जटिल कार्यों में (जैसे एक घन को उसके कोने पर संतुलित करना), रोबोट को सफलता के लिए बहुत ही विशिष्ट और दुर्लभ चालों के क्रम को खोजना होता है। यदि रोबोट हर बार एक यादृच्छिक स्थिति से शुरू होता है, तो वह किसी भी "जादुई स्थान" तक पहुँचने से पहले वर्षों तक दीवारों से टकराते हुए बिता सकता है जहाँ घन संतुलित हो सके। यह घास के ढेर में सुई खोजने जैसा है, जहाँ आप आँख बंद करके तीर फेंक रहे हों।

समाधान: एक स्मार्ट मैप और एक निर्देशित दौरा

लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे CSRF (Combined Constrained Sampling and Reinforcement Learning) कहा जाता है। वे "जंगल में खो जाने" की समस्या को तीन तरकीबों से हल करते हैं:

1. "भौतिकी-आधारित" मानचित्र (Constrained Sampling)

रोबोट को पूरी तरह से यादृच्छिक और अराजक स्थिति में छोड़ने के बजाय, लेखकों ने एक विशेष "सैंपलर" बनाया है।

उपमा: कल्पना कीजिए कि आप एक छात्र को अपने हाथ पर झाड़ू संतुलित करना सिखाना चाहते हैं। आप झाड़ू को हवा में उछालकर यह उम्मीद नहीं करेंगे कि वह उनके हाथ में गिर जाए। इसके बजाय, आप झाड़ू को सावधानीपूर्वक ऐसी स्थिति में रखेंगे जहाँ वह संतुलित हो सके, भले ही वह अभी पूरी तरह से स्थिर न हो।
यह कैसे काम करता है: यह सैंपलर भौतिकी के नियमों (जैसे घर्षण और गुरुत्वाकर्षण) को समझने के लिए गणित का उपयोग करता है। यह ऐसे शुरुआती और लक्ष्य स्थान उत्पन्न करता है जो भौतिक रूप से संभव हैं (उदाहरण के लिए, गेंद मेज को छू रही है, हवा में तैर नहीं रही है) और विभिन्न प्रकार के दिलचस्प संपर्क परिदृश्यों को कवर करता है (जैसे गेंद दीवार, फर्श, या रोबोट के हाथ को छू रही है)। यह सुनिश्चित करता है कि रोबोट हमेशा एक "सिखाने योग्य" क्षण में शुरू करे।

2. "ट्रेनिंग व्हील्स" दृष्टिकोण (Curriculum Learning)

एक बार जब रोबोट के पास वैध शुरुआती स्थितियों की एक सूची आ जाती है, तो लेखक उसे तुरंत गहरे पानी में नहीं झोंक देते।

उपमा: तैरना सीखने के बारे में सोचें। आप समुद्र के गहरे हिस्से में कूदकर शुरुआत नहीं करते। आप उथले पानी से शुरू करते हैं, फिर बीच में, और फिर गहरे पानी में जाते हैं।
यह कैसे काम करता है: सिस्टम रोबोट को उन लक्ष्यों तक पहुँचने के लिए प्रशिक्षित करना शुरू करता है जो उसके शुरुआती स्थान के बहुत करीब हैं। जैसे-जैसे रोबoret बेहतर होता जाता है, सिस्टम धीरे-धीरे शुरुआत और लक्ष्य के बीच की दूरी बढ़ाता जाता है। इसे "करिकुलम" (पाठ्यक्रम) कहा जाता है। यह रोबोट को आसान कार्यों से कठिन कार्यों की ओर ले जाता है, जिससे उसे हताशा या फंसने से बचाया जा सके।

3. "पुल बनाने वाला" (Projected Interpolation)

कभी-कभी, एक अच्छे मानचित्र के बावजूद, "शुरुआत" से "लक्ष्य" तक की छलांग बहुत बड़ी होती है।

उपमा: यदि आप एक चौड़ी नदी के पार अपने घर से अपने दोस्त के घर तक जाना चाहते हैं, तो आप बस कूद नहीं सकते। आपको एक पुल की आवश्यकता है।
यह कैसे काम करता है: सिस्टम रोबोट के दिमाग में "शुरुआत" और "लक्ष्य" के बीच एक सीधी रेखा खींचता है। हालाँकि, चूंकि एक सीधी रेखा दीवार के माध्यम से जा सकती है (जो असंभव है), सिस्टम उस रेखा को निकटतम वैध, भौतिक पथ पर "प्रोजेक्ट" (परिवर्तित) करता है। यह मध्यवर्ती लक्ष्यों (stepping stones) की एक श्रृंखला बनाता है जिन पर रोबोट वास्तव में चल सकता है, जिससे यात्रा सीखना बहुत आसान हो जाता है।

उन्होंने क्या परीक्षण किया?

टीम ने इस पद्धति का चार अलग-अलग परिदृश्यों पर परीक्षण किया, जो सरल से लेकर बहुत कठिन तक हैं:

डबल-स्फीयर (Double-Sphere): एक रोबोट एक गेंद को दीवार के विरुद्ध धकेल रहा है।
पांडा-स्फीयर (Panda-Sphere): एक जटिल रोबोटिक आर्म (जैसे पांडा रोबोट) पूरे शरीर का उपयोग करके गेंद को उठाने और पकड़ने का काम कर रहा है।
स्फीयर-क्यूब (Sphere-Cube): एक घन को उसके किनारे या कोने पर संतुलित करना।
पांडा-क्यूब (Panda-Cube): एक जटिल रोबोटिक आर्म द्वारा घन को संतुलित करना।

परिणाम

यादृच्छिक बनाम स्मार्ट: जब उन्होंने रोबोट को यादृच्छिक रूप से शुरू होने दिया, तो वह कठिन कार्यों में लगभग पूरी तरह से विफल रहा। जब उन्होंने अपने "स्मार्ट मैप" (Constrained Sampling) का उपयोग किया, तो रोबोट सफलतापूर्वक सीख गया।
गति: "ट्रेनिंग व्हील्स" (Curriculum) और "पुल बनाने वाले" (Interpolation) तरीकों के साथ रोबोट ने बहुत तेज़ी से सीखा।
वास्तविक दुनिया: उन्होंने सिमुलेशन में सीखी गई कौशलों को वास्तविक दुनिया में स्थानांतरित करने के लिए एक वास्तविक रोबोट (गेंद को ट्रैक करने के लिए कैमरे का उपयोग करते हुए) पर भी इसका परीक्षण किया।

निष्कर्ष

यह शोध पत्र तर्क देता है कि रोबोट को जटिल भौतिक कौशल सिखाने के लिए, हमें उन्हें केवल "अनुमान" लगाने के लिए नहीं छोड़ना चाहिए। इसके बजाय, हमें स्मार्ट, भौतिक रूप से वैध शुरुआती बिंदु उत्पन्न करने के लिए गणित का उपयोग करना चाहिए और रोबोट को चरण-दर-चरण सीखने के मार्ग के माध्यम से निर्देशित करना चाहिए। यह संयोजन रोबोट को संतुलन और धकेलने जैसे कठिन कार्यों में महारत हासिल करने की अनुमति देता है जो पहले मानक AI विधियों के लिए बहुत कठिन थे।

तकनीकी सारांश: रोबोटिक मैनिपुलेशन के लिए संयुक्त बाधित नमूनाकरण और सुदृढीकरण शिक्षण (Combined Constrained Sampling and Reinforcement Learning)

समस्या विवरण

संपर्क-समृद्ध (contact-rich) वातावरणों में गैर-पकड़ वाले (non-prehensile) मैनिपुलेशन नीतियों को प्रशिक्षित करना रोबोटिक्स में एक मुख्य चुनौती बनी हुई है। जबकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने अंतर्निहित विच्छिन्नताओं (discontinuities) को सहज बनाने में अपनी शक्ति प्रदर्शित की है, यह गंभीर अन्वेषण (exploration) समस्याओं से जूझता है। प्रासंगिक संपर्क मोड के लिए अक्सर सूचनात्मक पुरस्कार प्राप्त करने से पहले दुर्लभ संपर्क अवस्थाओं तक पहुँचने की आवश्यकता होती है।

एक महत्वपूर्ण बाधा रीसेट और लक्ष्य वितरण ( $p(s_0)$ और $p(g)$ ) के डिज़ाइन में निहित है। मौजूदा रणनीतियाँ अक्सर ह्यूरिस्टिक्स, यादृच्छिक दृश्य निर्माण, या कार्य-विशिष्ट सैंपलर (जैसे, ग्रैस्प-विशिष्ट) पर निर्भर करती हैं। ये विधियाँ गैर-पकड़ वाले कार्यों (जैसे, वस्तुओं को संतुलित करना) के लिए विविध संपर्क विन्यास निर्दिष्ट करने हेतु एक सामान्य तंत्र प्रदान करने में विफल रहती हैं, जहाँ अवस्था स्थान (state space) जटिल संपर्क गतिकी और पूरकता संरचनाओं द्वारा बाधित होता है।

कार्यप्रणाली (Methodology)

लेखक CSRL (Combined Constrained Sampling and Reinforcement Learning) का प्रस्ताव करते हैं, जो एक भौतिकी-सूचित अवस्था सैंपलर (physics-informed state sampler) को लक्ष्य-सशर्त RL के साथ एकीकृत करता है। यह दृष्टिकोण तीन मुख्य घटकों से बना है:

1. बाधित अवस्था सैंपलर (Constrained State Sampler)

मानक भौतिकी सिम्युलेटर के विपरीत, जो गतिकी को आगे की ओर (forward) सैंपल करते हैं, यह सैंपलर एक गैर-रेखीय बाधा समस्या को हल करके वैध स्टार्ट और गोल अवस्थाएँ उत्पन्न करता है। यह संपर्क मोड के विविध कवरेज को सुनिश्चित करने के लिए संपर्क की संरचना को स्पष्ट रूप से मॉडल करता है।

फॉर्मूलेशन: सैंपलर रिजिड-बॉडी डायनेमिक्स, कोलिजन बाधाओं और संपर्क बल बाधाओं (Coulomb friction cones) का उपयोग करके एक बाधा स्थान $S_c$ को परिभाषित करता है। यह मानता है कि लक्ष्यों को अर्ध-स्थैतिक संतुलन (quasi-static equilibrium) में रखा जा सकता है।
चर (Variables): निर्णय चर में असतत संपर्क मोड ( $c_{ij} \in \{0, 1\}$ ) और निरंतर अवस्था चर ( $s$ ) के साथ-साथ हमले के बिंदु (points of attack) और सक्रिय संपर्कों के लिए रैखिक बल शामिल हैं।
नमूनाकरण रणनीति (Sampling Strategy): एक पदानुक्रमित (hierarchical) दृष्टिकोण का उपयोग किया जाता है। पहले, एक संपर्क मोड विन्यास को सैंपल किया जाता है (उदाहरण के लिए, 1, 2, या 3 सपोर्ट संपर्कों का चयन करना)। फिर, एक ऑगमेंटेड लैग्रेंजियन विधि एक प्रॉक्सिमल ऑप्टिमाइज़ेशन समस्या को हल करती है ताकि एक यादृच्छिक बॉक्स-बाधित नमूने $\bar{s}$ को व्यवहार्य मैनिफोल्ड $S_c$ पर प्रोजेक्ट किया जा सके। यह प्रक्रिया तब तक दोहराई जाती है जब तक कि एक व्यवहार्य अवस्थाओं का डेटासेट $D$ उत्पन्न नहीं हो जाता।

2. रीसेट और पाठ्यक्रम रणनीतियाँ (Reset and Curriculum Strategies)

उच्च-आयामी स्थानों में अन्वेषण की चुनौती को संबोधित करने के लिए, जहाँ यादृच्छिक स्टार्ट और गोल्स दूर होने की संभावना है, CSRL दो अतिरिक्त रणनीतियों का उपयोग करता है:

प्रोजेक्टेड इंटरपोलेशन (Projected Interpolation): यादृच्छिक अवस्थाओं पर रीसेट करने के बजाय, सिस्टम एक बाधित डेटासेट $D$ से एक स्टार्ट $a$ और गोल $g$ सैंपल करता है। यह एक एम्बेडेड स्टेट स्पेस $\phi$ में उनके बीच एक कॉनवेक्स इंटरपोलेशन की गणना करता, फिर इस इंटरपोलेटेड बिंदु को बाधित मैनिफोल्ड $S_c$ पर वापस प्रोजेक्ट करता है (निकटतम पड़ोसी $D$ में खोजने द्वारा)। यह सुनिश्चित करता है कि मध्यवर्ती अवस्थाएँ भौतिक रूप से वैध रहें।
करिकुलम लर्निंग (Curriculum Learning): एक चरण चर (phase variable) $\alpha$ को 0 के करीब से 1 तक शेड्यूल किया जाता है। शुरुआत में, इंटरपोलेशन $t \sim U[0, \alpha]$ का उपयोग करता है, जिससे एजेंट को लक्ष्य के करीब रीसेट किया जाता है। MDP ट्रंकेशन समय को भी $\alpha$ के साथ स्केल किया जाता है, जिससे एजेंट को लंबी, अधिक जटिल ट्रैजेक्टरीज़ को संभालने से पहले लक्ष्य के पास छोटी रोलआउट्स एकत्र करने की अनुमति मिलती है।

3. RL के साथ एकीकरण

बाधित सैंपलर लक्ष्य-सशर्त MDP के लिए वितरण $p_0$ प्रदान करता है। RL एजेंट (TD7 का उपयोग करते हुए, जिसमें TD3 और HER वेरिएंट का मूल्यांकन किया गया है) किसी भी स्टार्ट स्टेट को किसी भी गोल स्टेट से जोड़ने के लिए एक यूनिवर्सल पॉलिसी $\pi: s, g \mapsto a$ सीखता है।

प्रमुख योगदान (Key Contributions)

नवीन बाधित अवस्था सैंपलर: एक विधि जो संपर्क संरचना को स्पष्ट रूप से ध्यान में रखते हुए संपर्क-समृद्ध मैनिपुलेशन के लिए रीसेट और गोल वितरण उत्पन्न करती है, जो विशिष्ट इंटरेक्शन प्रिमिटिव्स के लिए प्रतिबद्ध हुए बिना विविध संपर्क मोड का समृद्ध कवरेज प्रदान करती है।
प्रोजेक्टेड इंटरपोलेशन और करिकुलम: बाधा-प्रोजेक्टेड इंटरपोलेशन का उपयोग करके सैंपल किए गए राज्यों के बीच के अंतर को पाटने और कठिनाई को धीरे-धीरे बढ़ाने वाले करिकुलम का उपयोग करके एक रणनीति, जो स्पार्स रिवॉर्ड चुनौतियों को कम करती है।
प्रायोगिक सत्यापन: चार बढ़ते कठिनाई स्तर वाले डोमेन में मानक RL (रैंडम रीसेट के साथ) और वैकल्पिक रीसेट विधियों के मुकाबले इस दृष्टिकोण की श्रेष्ठता का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार डोमेन पर CSRL का मूल्यांकन किया:

Double-sphere: अर्ध-स्थैतिक अवस्थाओं के बीच यूनिवर्सल मैनिपुलेशन के लिए एक बुनियादी परीक्षण।
Panda-sphere: Panda आर्म का उपयोग करके होल-बॉडी कॉन्टैक्ट स्किल्स का परीक्षण।
Sphere-cube: रोटेशन और ओरिएंटेशन कंट्रोल का परीक्षण, जिसमें किनारों/कोनों पर संतुलन शामिल है।
Panda-cube: एंड-इफेक्टर और फिंगर कॉन्टैक्ट्स के साथ क्यूब को नियंत्रित करने का परीक्षण।

मुख्य निष्कर्ष:

बाधित नमूनाकरण की श्रेष्ठता: डबल-स्फीयर और पांडा-स्फीयर डोमेन पर, स्टार्ट और गोल दोनों के लिए बाधित नमूनाकरण का उपयोग करने से रैंडम सैंपलिंग की तुलना में काफी बेहतर प्रदर्शन हुआ। रैंडम सैंपलिंग विशेष रूप से पांडा-स्फीयर कार्य पर खराब प्रदर्शन करती है, क्योंकि यह वैध स्टैटिक होल्डिंग स्टेट्स उत्पन्न करने में विफल रही।
इंटरपोलेशन और करिकुलम का प्रभाव: प्रोजेक्टेड इंटरपोलेशन और करिकुलम लर्निंग को जोड़ने से सभी डोमेन और RL एल्गोरिदम (HER वेरिएंट सहित) में सफलता दर और अभिसरण (convergence) की गति में सुधार हुआ।
रिवर्स करिकुलम के साथ तुलना: प्रस्तावित इंटरपोलेशन रणनीति ने रिवर्स करिकुलम जनरेशन (जो लक्ष्यों से पीछे की ओर सिमुलेट करता है) की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से कम्प्यूटेशनल दक्षता और सफलता दर के मामले में।
वास्तविक दुनिया में स्थानांतरण (Real-World Transfer): सिमुलेशन में प्रशिक्षित स्फीयर-क्यूब पॉलिसी को एंड-इफेक्टर-अटैच्ड बॉल और OptiTrack ट्रैकिंग का उपयोग करके वास्तविक दुनिया के सेटअप में सफलतापूर्वक स्थानांतरित किया गया, जो मौलिक मैनिपुलेशन कौशल के सिम-टू-रियल ट्रांसफर की क्षमता को दर्शाता है।

महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि भौतिकी-आधारित डायनेमिक्स सैपिंग को भौतिकी-सूचित बाधित अवस्था सैंपलर के साथ पूरक करके, संपर्क-समृद्ध सेटिंग्स में यूनिवर्सल, गैर-पकड़ वाले और डायनेमिक मैनिपुलेशन नीतियां प्रशिक्षित करना संभव है। यह दृष्टिकोण एजेंट को शुरुआत से ही विविध, भौतिक रूप से वैध संपर्क विन्यासों के संपर्क में रखकर RL में अन्वेषण की बाधा को प्रभावी ढंग से संबोधित करता है।

लेखक इस कार्य को जनरलिस्ट नॉन-प्रेनसाइल मैनिपुलेशन की दिशा में एक कदम के रूप में देखते हैं। वे नोट करते हैं कि वर्तमान दृष्टिकोण "प्रिविलेज्ड ट्रेनिंग" (जहाँ नीति के पास पूर्ण अवस्था पहुंच होती है) को लक्षित करता है, लेकिन यह भविष्य के टीचर-स्टूडेंट प्रतिमानों के लिए आधार तैयार करता है। शोध जटिल वस्तुओं के लिए कम्प्यूटेशनल लागत (सिंगल-CPU NLP सॉल्वर के उपयोग के कारण) और सेंसर-आधारित ट्रांसफर की चुनौतियों को स्वीकार करता है, जो समानांतरकरण (parallelization) और समर्पित सॉल्वर में भविष्य के कार्य का सुझाव देते हैं।