🤖 machine learning

Trajectory First: A Curriculum for Discovering Diverse Policies

यह शोध पत्र "ट्रैजेक्टरी फर्स्ट" (Trajectory First) प्रस्तावित करता है, जो एक दो-चरणीय करिकुलम लर्निंग फ्रेमवर्क है जो विविध, उच्च-पुरस्कार वाले व्यवहार उत्पन्न करने के लिए एक स्प्लाइन-आधारित ट्रैजेक्टरी प्रायर (spline-based trajectory prior) का लाभ उठाता है और तत्पश्चात उन्हें रिएक्टिव पॉलिसियों में संकुचित (distill) करता है, जिससे रोबोटिक मैनिपुलेशन जैसे जटिल कार्यों के लिए मौजूदा कंस्ट्रेंड-डाइवर्सिटी सुदृढीकरण शिक्षण (constrained-diversity reinforcement learning) विधियों में पाई जाने वाली सीमित अन्वेषण और व्यवहार संबंधी विविधता की समस्याओं को दूर किया जा सके।

मूल लेखक: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे में एक भारी बॉक्स को धकेलना सिखा रहे हैं। अधिकांश मानक रोबोट ट्रेनर रोबोट को इसे करने का एक सटीक तरीका खोजने के लिए सिखाते हैं: "बाएं से धक्का दो, आगे की ओर खिसकाओ, काम हो गया।" यदि फर्श फिसलन भरा हो जाए या बॉक्स अपनी जगह से हिल जाए, तो वह एकल रणनीति विफल हो सकती है, और रोबोट फंस सकता है।

यह शोध पत्र तर्क देता है कि एक स्मार्ट रोबोट को एक ही समस्या को हल करने के कई अलग-अलग तरीके सीखने चाहिए। शायद एक रणनीति बाईं ओर से धक्का देने की हो, दूसरी दाईं ओर से, और तीसरी उसे उठाकर ले जाने की। विविध रणनीतियों का एक "टूलबॉक्स" होना रोबोट को बहुत अधिक सक्षम (robust) बनाता है।

हालाँकि, एक रोबोट को विविध होना सिखाना अविश्वसनीय रूप से कठिन है। यदि आप बस रोबोट को कहते हैं, "अलग बनो," तो वह अक्सर भ्रमित हो जाता है। वह अलग होने के प्रयास में अपने हाथ हवा में लहराने लग सकता है (जो अलग तो है पर बेकार है) या वह किसी नए तरीके को खोजने के चक्कर में फंसकर चीजों से टकरा सकता है।

लेखक एक नई प्रशिक्षण विधि प्रस्तावित करते हैं जिसे "ट्रैजेक्टरी फर्स्ट" (Trajectory First) कहा जाता है। इसे एक दो-चरणीय पाठ्यक्रम की तरह समझें, जैसे एक मास्टर शेफ अपने नए प्रशिक्षु को प्रशिक्षित करता है।

चरण 1: "फ्लाइट सिम्युलेटर" चरण (एक्सप्लोरेशन/अन्वेषण)

रोबोट को तुरंत कदम-दर-कदम प्रतिक्रिया देना सिखाने के बजाय, लेखक पहले रोबोट को "वास्तविक दुनिया" से बाहर निकालकर एक फ्लाइट सिम्युलेटर में ले जाते हैं जहाँ वह एक साथ पूरी गतिविधियों की योजना बना सके।

उपमा: कल्पना कीजिए कि आप एक विशाल, धुंधली भूलभुलैया के माध्यम से सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। यदि आप केवल एक समय में एक कदम उठाते हैं और चारों ओर देखते हैं (सामान्य तरीका), तो आप एक डेड एंड (बंद रास्ते) में फंस सकते हैं।
पेपर की ट्रिक: लेखक एक गणितीय उपकरण का उपयोग करते हैं जिसे B-spline कहा जाता है। इसे एक भूलभुलैया के माध्यम से एक चिकनी, लचीली तार (wire) खींचने के रूप में सोचें। रोबोट कदम-दर-कदम नहीं चलता; वह बस उस तार के आकार को समायोजित करता है।
लक्ष्य: वे इन तारों को इधर-उधर हिलाने के लिए एक "सर्च इंजन" (इवोल्यूशनरी स्ट्रैटेजी) का उपयोग करते हैं जब तक कि वे कई अलग-अलग पथ न खोज लें जो रोबोट को लक्ष्य तक पहुँचाते हैं। वे अभी परफेक्ट पथ की तलाश नहीं कर रहे हैं; वे बस सफल पथों का एक बड़ा ढेर चाहते हैं।
यह क्यों काम करता है: क्योंकि वे एक साथ पूरे "तार" को हिला रहे हैं, रोबोट तुरंत भूलभुलैया के एक तरफ से दूसरी तरफ कूद सकता है, जिससे वह ऐसे रास्ते खोज पाता है जिन्हें एक स्टेप-बाय-स्टेप रोबोट कभी नहीं खोज पाएगा क्योंकि वह पहला कदम उठाने से डरता।

चरण 2: "वास्तविक दुनिया" चरण (डिस्टिलेशन/निचोड़)

अब जब रोबोट के पास सफल, विविध "तारों" (ट्रैजेक्टरीज) का एक पुस्तकालय है, तो उसे वास्तविक जीवन में गाड़ी चलाना सिखाने का समय आ गया है।

उपमा: आप उन सभी परफेक्ट फ्लाइट सिम्युलेटर मार्गों को लेते हैं और प्रशिक्षु को वास्तविक दुनिया में प्रतिक्रियात्मक रूप से कार चलाना सिखाते हैं। प्रशिक्षु सीखता है: "यदि मैं बाईं ओर दीवार देखता हूँ, तो मैं दाईं ओर मुड़ता हूँ। यदि मैं दाईं ओर दीवार देखता हूँ, तो मैं बाईं ओर मुड़ता हूँ।"
चुनौती: आमतौर पर, जब आप सिम्युलेटर से वास्तविक दुनिया में स्विच करते हैं, तो रोबोट अपनी विविधता भूल जाता है और केवल एक सुरक्षित, उबाऊ तरीके पर वापस आ जाता है।
पेपर का समाधान: वे रोबोट को विविध बनाए रखने के लिए तीन "स्टेबलाइजर्स" पेश करते हैं:
1. सिमेट्रिक सैंपलिंग (Symmetric Sampling): वे पुराने सिम्युलेटर डेटा को नए वास्तविक दुनिया के डेटा के साथ 50/50 मिलाते हैं। यह प्रशिक्षु को यह बताने जैसा है, "सिम्युलेटर में हमने जो शानदार रास्ते खोजे थे, उन्हें याद रखो। नए रास्ते सीखते समय उनका अभ्यास जारी रखो।"
2. "बेस्ट सो फार" (Best So Far) ट्रिक: वे लगातार "सफलता" की परिभाषा को अपडेट करते रहते हैं। यह कहने के बजाय कि "आपको परफेक्ट होना चाहिए," वे कहते हैं, "आपको अब तक देखे गए सर्वश्रेष्ठ से कम से कम बेहतर होना चाहिए।" यह रोबिड को बहुत जल्दी लालची होने और अपनी विविधता को नष्ट करने से रोकता है।
3. फास्ट अपडेट्स: वे रोबोट को अपनी गलतियों से सामान्य से कहीं अधिक तेजी से सीखना सिखाते हैं। चूंकि "विविधता" की परिभाषा जैसे-जैसे रोबोट सीखता है वैसे बदलती है, इसलिए रोबोट को बढ़ते लक्ष्यों के साथ तालमेल बिठाने के लिए अपने मस्तिष्क को तेजी से अपडेट करने की आवश्यकता होती है।

परिणाम

लेखकों ने इसका परीक्षण उन रोबोटों पर किया जिन्हें क्यूब्स धकेलने, बटन दबाने और भूलभुलैया में नेविगेट करने के लिए कहा गया था।

पुराना तरीका: रोबोटों ने कार्य को करने के एक या दो तरीके खोजे, और अक्सर एक ही "लोकल ऑप्टिमम" (एक ही सुरक्षित, उबाऊ समाधान) में फंस गए।
नया तरीका: रोबोटों ने रचनात्मक समाधानों की एक विस्तृत श्रृंखला खोजी। बटन दबाने के कार्य के लिए, कुछ रोबोटों ने अपनी कोहनी का उपयोग किया, कुछ ने अपनी कलाई का, और अन्य ने बटन दबाने के लिए अपने पूरे शरीर का उपयोग किया। वे सभी काम पूरा करने में सफल रहे, लेकिन उन्होंने इसे बिल्कुल अलग तरीकों से किया।

सारांश में

यह शोध पत्र दावा करता है कि रोबोट को वास्तव में विविध और सक्षम बनाने के लिए, आप केवल उसे स्टेप-बाय-स्टेप सीखते समय "अलग होने" के लिए नहीं कह सकते। पहले आपको उसे एक सुरक्षित, लचीले स्थान ( "ट्रैजेक्टरी फर्स्ट" चरण) में कई सफल योजनाओं की कल्पना करने देना होगा, और फिर उसे उन योजनाओं को वास्तविक दुनिया में बिना अपनी रचनात्मकता खोए निष्पादित करना सिखाना होगा।

यह दृष्टिकोण रोबोटों के स्थानीय लूप में फंसने की समस्या को हल करता है और यह सुनिश्चित करता है कि उनके पास unexpected बदलावों को संभालने के लिए रणनीतियों का एक समृद्ध "टूलबॉक्स" हो।

तकनीकी सारांश: ट्रेजेक्टरी फर्स्ट: विविध नीतियों की खोज के लिए एक करिकुलम

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) विधियाँ अक्सर यूनिमोडल एक्शन डिस्ट्रीब्यूशन मानती हैं, जो एक एकल नीति (policy) उत्पन्न करती हैं जो पर्यावरणीय व्यवधानों के प्रति भंगुर (brittle) हो सकती है और स्थानीय इष्टतम (local optima) में फंसने के प्रति संवेदनशील होती है। जबकि विविध नीतियों का एक सेट खोजना मजबूती (robustness) को अधिकतम करता है, मौजूदा बाधित विविधता अनुकूलन (constrained diversity optimization) विधियाँ अक्सर रोबोट मैनिपुलेशन जैसे जटिल, कॉन्टैक्ट-रिच कार्यों में विफल रहती हैं।

पहला मुख्य चुनौती अल्प-अन्वेषण (under-exploration) है। रोबोट मैनिपुलेशन जैसे डोमेन में, ऑब्जेक्ट स्टेट्स इंटरमिटेंट कॉन्टैक्ट्स (intermittent contacts) द्वारा मध्यस्थ होते हैं, जिससे एक्शन और स्टेट के बीच नॉन-स्मूथ मैपिंग बनती है जो कॉन्टैक्ट डिस्कंटीन्यूटी द्वारा हावी होती है। फलस्वरूप, विविधता-खोजने वाले उद्देश्य कुछ ही मोड में सिमट जाते हैं क्योंकि वैकल्पिक रणनीतियों को इतनी कम बार खोजा जाता है कि उन्हें सुदृढ़ (reinforce) किया जा सके। मानक स्थानीय अन्वेषण विधियाँ (जैसे पॉलिसी स्पेस में गॉसियन नॉइज़) इन वातावरणों में विच्छेदित (disconnected) उच्च-पुरस्कार वाले मैनिफोल्ड्स को जोड़ने के लिए अपर्याप्त हैं।

कार्यप्रणाली: एक दो-चरणीय करिकुलम

लेखक "ट्रेजेक्टरी फर्स्ट" का प्रस्ताव करते हैं, जो ग्लोबल ट्रेजेक्टरी अन्वेषण को रिएक्टिव पॉलिसी लर्निंग से अलग करके अन्वेषण बाधाओं को दूर करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण दो विशिष्ट चरणों में विभाजित है:

चरण 1: ट्रेजेक्टरी स्पेस में बाधित नवीनता खोज (CNS)

डायरेक्टली न्यूरल नेटवर्क पैरामीटर्स को ऑप्टिमाइज़ करने के बजाय, पहला चरण एक इवोल्यूशनरी स्ट्रैटेजी (ES) का उपयोग करके ओपन-लूप ट्रेजेक्टरीज के स्थान का अन्वेषण करता है।

स्प्लाइन-आधारित पैरामीट्राइजेशन: ट्रेजेक्टरीज $\tau$ को कंट्रोल पॉइंट्स $\omega$ द्वारा परिभाषित B-स्प्लाइन्स के रूप में पैरामीट्राइज किया जाता है। यह एक स्मूथ इंडक्टिव बायस प्रदान करता है और रॉ एक्शन सीक्वेंस की तुलना में सर्च स्पेस के आयाम (dimensionality) को कम करता है।
अनुकूलन उद्देश्य (Optimization Objective): लक्ष्य $\Omega_n$ जैसे ट्रेजेक्टरी पैरामीटर्स खोजना है जो एक निकट-इष्टतम बाधा ( $v_{\omega_i} \geq \alpha v^*$ ) के अधीन विविधता को अधिकतम करता है।
बाधित नवीनता खोज (Constrained Novelty Search): लेखक एक लैग्रेंजियन ऑब्जेक्टिव पेश करते हैं जो एक आंतरिक नवीनता पुरस्कार (ट्रेजेक्टरी सेट की एंट्रॉपी पर आधारित, जिसे k-NN दूरी के माध्यम से अनुमानित किया जाता है) और एक्सट्रिंसिक टास्क रिवॉर्ड के बीच संतुलन बनाता है।
अनुकूलन एल्गोरिदम: कंट्रोल पॉइंट्स $\omega$ को CMA-ES का उपयोग करके ऑप्टिमाइज़ किया जाता है, जो B-स्प्लाइन्स के मध्यम आकार के पैरामीटर स्पेस के लिए अत्यधिक कुशल है। यह एल्गोरिदम को विभिन्न मोड के बीच "जंप" करने और उन विविध, उच्च-पुरस्कार वाले एंकर्स को खोजने की अनुमति देता है जिन्हें स्थानीय पॉलिसी-स्पेस सर्च मिस कर देता है।

चरण 2: रिएक्टिव पॉलिसियों में डिस्टिलेशन

चरण 1 में खोजी गई विविध ट्रेजेक्टरीज को बाधित ऑफ-पॉलिसी लर्निंग का उपयोग करके $n$ रिएक्टिव, स्किल-कंडीशन्ड पॉलिसियों $\Pi_n$ में डिस्टिल किया जाता है।

फ्रेमवर्क: लेखक डोमिनो (Domino) फ्रेमवर्क को अपनाते हैं, जिसमें विविधता के ग्रेडिएंट को एक आंतरिक पुरस्कार के रूप में माना जाता है।
स्थिरीकरण तकनीकें (Stabilization Techniques): कॉन्टैक्ट-रिच कार्यों में ऑफलाइन ट्रेजेक्टरी डेटा से ऑनलाइन रिएक्टिव पॉलिसियों में स्थिर डिस्टिलेशन सुनिश्चित करने के लिए, तीन महत्वपूर्ण संशोधन पेश किए गए हैं:
1. सिमेट्रिक सैंपलिंग (Symmetric Sampling): ट्रेनिंग बैचों को 50% ऑनलाइन डेटा और 50% फिल्टर की गई CNS ट्रेजेक्टरीज (रिटर्न्स के शीर्ष 25% से चुनी गई) से बनाया जाता है। यह ट्रांजिशन के दौरान विविधता के पतन (diversity collapse) को रोकता है।
2. $v_{max}$ -ट्रिक: एक एकल एक्सपर्ट पॉलिसी पर $v^*$ का अनुमान लगाने के बजाय, लेखक $v^*$ को सभी स्किल्स और पूरे ट्रेनिंग इतिहास में प्राप्त अधिकतम प्रदर्शन के रूप में अपडेट करते हैं ( $v^* \leftarrow \max\{v^*, \max_i v_i\}$ )। यह सब-ऑप्टिमैलिटी बाधा के लिए एक मोनोटोनिकली बढ़ता हुआ, स्थिर लक्ष्य प्रदान करता है, जिससे विविधता उद्देश्य को समयपूर्व इष्टतम दबाव से दबने से रोका जा सकता है।
3. उच्च पॉलिसी अपडेट-टू-डेटा (UTD): स्टैंडर्ड ऑफलाइन-टू-ऑनलाइन RL के विपरीत, जहाँ क्रिटिक को बार-बार और पॉलिसी को कम बार अपडेट किया जाता है, यह विधि पॉलिसी अपडेट फ्रीक्वेंसी को बढ़ा देती है (उदाहरण के लिए, प्रति एनवायरनमेंट स्टेप 4 अपडेट)। यह आवश्यक है क्योंकि आंतरिक पुरस्कार वर्तमान पॉलिसी सेट के स्टेट ऑक्यूपेंसी पर निर्भर करता है; बार-बार पॉलिसी अपडेट करने से एजेंट बदलते हुए इंट्रिंसिक लैंडस्स्केप के साथ तालमेल बनाए रख पाता है।

प्रमुख योगदान

अन्वेषण बाधाओं की अनुभवजन्य पहचान: यह कार्य प्रदर्शित करता है कि रोबोट मैनिपुलेशन कार्यों में मौजूदा बाधित विविधता अनुकूलन विधियाँ (जैसे डोमिनो) स्थानीय अन्वेषण की अक्षमता के कारण विविध पॉलिसियों को खोजने में विफल रहती हैं।
ट्रेजेक्टरी-फर्स्ट करिकुलम: एक नया दो-चरणीय दृष्टिकोण जो स्प्लाइन-आधारित ट्रेजेक्टरीज पर इवोल्यूशनरी सर्च का उपयोग करके विविध उच्च-पुरस्कार एंकर्स उत्पन्न करता है, जिन्हें बाद में रिएक्टिव पॉलिसियों में डिस्टिल किया जाता है।
स्टेबिलाइजेशन रेसिपी: तकनीकों का एक सेट (सिमेट्रिक सैंपलिंग, $v_{max}$ -ट्रिक, हाई पॉलिसी UTD) जो बाधाओं वाले परिवेश में विविधता उद्देश्यों के लिए स्थिर ऑफलाइन-टू-ऑनलाइन लर्निंग को सक्षम बनाता है, जो बाधित सेटिंग्स में इंट्रिंसिक रिवार्ड्स की नॉन-स्टेशनैरिटी को संबोधित करता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन चार रोबोटिक कार्यों पर किया गया: मेज़ नेविगेशन, क्यूब पुशिंग, बटन प्रेसिंग और क्यूब फ्लिपिंग।

विविधता बनाम प्रदर्शन: प्रस्तावित करिकुलम ने तुलनीय कार्य प्रदर्शन बनाए रखते हुए सबसे मजबूत बेसलाइन (डोमिनो) की तुलना में 1.5 गुना अधिक व्यवहारिक विविधता हासिल की।
कार्य-विशिष्ट निष्कर्ष:
- मेज़ नेविगेशन में, विधि ने सबसे अधिक विशिष्ट पथों की खोज की, जबकि बेसलाइन अक्सर सुरक्षित, टकराव-मुक्त मार्गों के आसपास क्लस्टर होने की प्रवृत्ति रखती थी।
- बटन प्रेसिंग में, बेसलाइन अक्सर सभी स्किल्स के लिए एक ही रोबोट लिंक का उपयोग करने के कारण सिमट जाती थीं। प्रस्तावित विधि ने विभिन्न रोबोट लिंक्स का उपयोग करके होल-बॉडी मैनिपुलेशन रणनीतियों को सफलतापूर्वक खोजा।
- क्यूब फ्लिपिंग में, विधि ने विविध कॉन्टैक्ट मोड और फोर्स प्रोफाइल पाए, जबकि नॉइज़-आधारित अन्वेषण बेसलाइन बार-बार होने वाले टकरावों और नकारात्मक पुरस्कारों के कारण विफल रहीं।
मजबूती (Robustness): विधि प्रतिकूल रिवॉर्ड स्पेसिफिकेशन (जैसे, उच्च कोलिजन पेनल्टी) के तहत भी मजबूत रही जहाँ बेसलाइन पूरी तरह से ऑब्जेक्ट्स के साथ इंटरैक्ट करने में विफल रहे, क्योंकि CNS चरण ने उच्च-रिवॉर्ड क्षेत्रों के भीतर एक वार्मस्टार्ट प्रदान किया।

महत्व और दावे

यह पेपर दावा करता है कि रोबोटिक्स के लिए बाधित विविधता अनुकूलन में प्राथमिक बाधा स्वयं लर्निंग ऑब्जेक्टिव नहीं है, बल्कि स्थानीय अन्वेषण पर निर्भरता है। स्प्लाइन-आधारित ट्रेजेक्टरी प्रायर्स के माध्यम से एक इंडक्टिव बायस पेश करके, लेखक विविध कॉन्टैक्ट मोड की खोज को सक्षम करते हैं जो मानक पॉलिसी-स्पेस सर्च के लिए दुर्गम हैं।

लेखक इस कार्य को विविधता अनुकूलन में "एक्सप्लोरेशन-एक्सप्लोइटेशन" ट्रेड-ऑफ के समाधान के रूप में प्रस्तुत करते हैं। वे तर्क देते हैं कि जबकि पूर्ववर्ती कार्य मानते हैं कि विविध उच्च-पुरस्कार वाले व्यवहार ऑनलाइन पॉलिसी ऑप्टिमाइजेशन के तहत आसानी से सुलभ होते हैं, यह धारणा जटिल मैनिपुलेशन कार्यों में विफल हो जाती है। प्रस्तावित करिकुलम ग्लोबल ट्रेजेक्टरी-लेवल अन्वेषण और रिएक्टिव कंट्रोल के बीच के अंतर को पाटता है, जो विविध और मजबूत एजेंटों को प्रशिक्षित करने के लिए एक व्यावहारिक रेसिपी प्रदान करता है। लेखक विनम्रता से सीमाओं को भी नोट करते हैं, जैसे कि विविधता मापन के लिए मैन्युअल रूप से परिभाषित स्टेट फीचर्स पर निर्भरता और चरणों के बीच फिक्स्ड ट्रांजिशन, जो भविष्य के कार्य के लिए सुझाव देते हैं कि कैसे एडैप्टिव स्विचिंग और रॉ ऑब्जर्वेशन से रिप्रेजेंटेशन लर्निंग का पता लगाया जा सकता है।