← नवीनतम पेपर
💻 computer science

Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer

यह शोध पत्र RepMT-SAC का प्रस्ताव करता है, जो एक मल्टी-टास्क रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो टास्क-अग्नोस्टिक डायनेमिक्स को टास्क-स्पेसिफिक एडजस्टमेंट्स से अलग करने के लिए स्पेक्ट्रल MDP डिकंपोजिशन का लाभ उठाता है, जिससे मौजूदा बेसलाइन्स की तुलना में क्वाडकॉप्टर ट्रैजेक्टरी-फॉलोइंग कार्यों में बेहतर ज़ीरो-शॉट प्रदर्शन और तीव्र फ्यू-शॉट अनुकूलन प्राप्त होता है।

मूल लेखक: Aryan Naveen, Haitong Ma, Haldun Balim, Na Li

प्रकाशित 2026-06-12
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Aryan Naveen, Haitong Ma, Haldun Balim, Na Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ड्रोन को उड़ना सिखा रहे हैं। पुराने तरीके में (स्टैंडर्ड रिइन्फोर्समेंट लर्निंग), यदि आप चाहते थे कि ड्रोन एक विशिष्ट पथ (path) पर उड़े, तो आपको इसे शुरू से सिखाना पड़ता। यदि फिर आप उससे थोड़ा अलग पथ पर उड़ने के लिए कहते, तो आपको फिर से शुरू से सिखाना पड़ता। यह ऐसा है जैसे हर गणित के सवाल के लिए एक नया ट्यूटर नियुक्त करना; छात्र वास्तव में गणित की अवधारणा (concept) कभी नहीं सीखता, वह केवल विशिष्ट प्रश्नों के उत्तरों को रट लेता है। यह धीमा, बर्बादी भरा है और नया मामला सामने आने पर ड्रोन भ्रमित हो जाता है।

यह पेपर एक नई विधि पेश करता है जिसे RepMT-SAC कहा जाता है, जो ड्रोन को पहले उड़ने का "व्याकरण" (grammar) सीखने के लिए सिखाता है, ताकि वह बिना दोबारा सीखने के नए वाक्यों (कार्यों) को तुरंत समझ सके।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. मुख्य विचार: "इंजन" को "गंतव्य" से अलग करना

सोचिए कि ड्रोन के भौतिक विज्ञान (physics) को (कि वह कैसे चलता है, हवा उसे कैसे प्रभावित करती है, वह कितना भारी है) एक इंजन के रूप में देखें। अब उस विशिष्ट पथ को जिसे उसे उड़ना है, एक गंतव्य (destination) के रूप में सोचें।

  • पुराना तरीका: ड्रोन इंजन और गंतव्य दोनों को एक साथ सीखने की कोशिश करता है। यदि गंतव्य बदल जाता है, तो पूरी सीखने की प्रक्रिया अस्त-व्यस्त हो जाती है।
  • RepMT-SAC का तरीका: यह सिस्टम सीखने को दो अलग-अलग भागों में विभाजित करता है:
    1. टास्क-एग्नोस्टिक कोर (द इंजन): यह हिस्सा ड्रोन के चलने के सार्वभौमिक नियमों को सीखता है। इसे इस बात से फर्क नहीं पड़ता कि ड्रोन कहाँ जा रहा है, केवल इस बात से कि वह कैसे चलता है। यह एक कार चलाने के सीखने जैसा है, चाहे आप किराने की दुकान जा रहे हों या समुद्र तट पर।
    2. टास्क-स्पेसिफिक एडजस्टमेंट (द डेस्टिनेशन): यह एक छोटा, लचीला "नॉब" (knob) है जो इंजन को बताता है कि कहाँ जाना है। यह एक GPS कोऑर्डिनेट की तरह है।

इन दोनों को अलग करके, ड्रोन कठिन काम (कैसे उड़ना है) एक बार सीख लेता है, और फिर हर नए पथ के लिए बस "GPS नॉब" को थोड़ा सा ट्यून करता है।

2. दो-चरणीय प्रशिक्षण प्रक्रिया (Two-Phase Training Process)

पेपर ड्रोन के लिए दो-चरणीय प्रशिक्षण शिविर का वर्णन करता है:

चरण 1: "अपस्ट्रीम" बूट कैंप (बुनियादी बातें सीखना)
ड्रोन को कुछ बुनियादी उड़ान पथों (Source Tasks) पर प्रशिक्षित किया जाता है। इस दौरान, यह "सार्वभौमिक इंजन" (साझा डायनेमिक्स) और विभिन्न "GPS कोऑर्डिनेट्स" (टास्क एनकोडिंग) को पढ़ने का तरीका सीखता है।

  • उपमा (Analogy): कल्पना कीजिए कि एक पायलट छात्र सिम्युलेटर में उड़ रहा है। वे विभिन्न मौसम स्थितियों में टेकऑफ, लैंडिंग और टर्न का अभ्यास करते हैं। वे विशिष्ट रूट रट नहीं रहे हैं; वे विमान के अहसास (feel) में महारत हासिल कर रहे हैं। पेपर "स्पेक्ट्रल डिकंपोजिशन" नामक एक गणितीय ट्रिक का उपयोग करता है ताकि यह सुनिश्चित हो सके कि छात्र विशिष्ट रूट से अलग होकर विमान के अहसास को सीखता है।

चरण 2: "डाउनस्ट्रीम" त्वरित अनुकूलन (असली परीक्षा)
एक बार जब पायलट प्रशिक्षित हो जाता है, तो आप उन्हें एक बिल्कुल नया, जटिल उड़ान पथ देते हैं जिसे उन्होंने पहले कभी नहीं देखा (Out-of-Distribution task)।

  • जादू: क्योंकि पायलट पहले से ही विमान उड़ाना पूरी तरह से जानता है, इसलिए उन्हें सब कुछ फिर से सीखने की आवश्यकता नहीं है। उन्हें बस अपने "GPS नॉब" को नए रूट से मेल खाने के लिए थोड़ा सा एडजस्ट करने की आवश्यकता है।
  • परिणाम: ड्रोन इन नए, कठिन पथों के लिए बहुत कम अतिरिक्त अभ्यास (मूल प्रशिक्षण समय का केवल 10%) के साथ अनुकूलित हो सकता है।

3. परिणाम: यह क्यों बेहतर है

शोधकर्ताओं ने इसका परीक्षण एक क्वाडकॉप्टर (एक छोटा ड्रोन) पर किया जो विभिन्न 3D पथों का अनुसरण करने की कोशिश कर रहा था। उन्होंने इसकी तुलना मानक AI विधियों (SAC) और अन्य उन्नत विधियों (CTRL) से की।

  • ज्ञात पथों पर (In-Distribution): नया तरीका एकदम सटीक था। इसने 100% सफलता दर प्राप्त की, जबकि मानक विधि केवल लगभग 60% समय सफल हुई और बहुत कम स्थिर थी।
  • नए, अजीब पथों पर (Out-of-Distribution): जब इसे एक ऐसा पथ दिया गया जिसे इसने पहले कभी नहीं देखा था, तो यह नए तरीके ने बहुत तेज़ी से अनुकूलन किया और थोड़े से अतिरिक्त अभ्यास के बाद भी 100% सफलता दर तक पहुँच गया। मानक विधियाँ संघर्ष करती रहीं, अक्सर पूरी तरह विफल हो गईं या अनियंत्रित रूप से उड़ने लगीं।

4. निष्कर्ष (The Takeaway)

पेपर का दावा है कि गणितीय रूप से "दुनिया कैसे काम करती है" (डायनेमिक्स) को "हम क्या हासिल करना चाहते हैं" (रिवॉर्ड्स/टास्क) से अलग करके, रोबोट बहुत तेज़ी से सीख सकते हैं और बेहतर सामान्यीकरण (generalize) कर सकते हैं।

ड्रोन को लाखों अलग-अलग उड़ान पथों को रटने के बजाय, यह उड़ान की संरचना (structure) को सीखता है। यह इसे एक पूरी तरह से नए, जटिल पथ को देखने और यह कहने की अनुमति देता है, "मुझे पता है कि कैसे उड़ना है; मुझे बस अपने लक्ष्य को थोड़ा समायोजित करने की आवश्यकता है," बजाय इसके कि वह कहे, "मुझे समझ नहीं आ रहा कि क्या करना है।"

संक्षेप में: यह एक ऐसे रोबोट को जो उत्तर रटता है, एक ऐसे रोबोट में बदल देता है जो विषय को समझता है, जिससे वह किसी भी टेस्ट में उत्कृष्ट प्रदर्शन कर सकता है, भले ही उसने वे टेस्ट पहले न देखे हों।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →