DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning
DADiff एक डिफ्यूजन-संचालित ढांचा है जो ऑनलाइन क्रॉस-डोमेन पॉलिसी अनुकूलन के लिए जनरेटिव ट्रेजेक्टरी विसंगतियों के माध्यम से डायनेमिक्स मिसमैच का अनुमान लगाता है ताकि प्रभावी रिवॉर्ड संशोधन या डेटा चयन को सक्षम बनाया जा सके, जिससे यह महत्वपूर्ण डोमेन शिफ्ट वाले वातावरणों में मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट कुत्ते को मैराथन दौड़ना सिखाने की कोशिश कर रहे हैं। आप उसे सीधे वास्तविक दुनिया में नहीं फेंक सकते; वह लड़खड़ा सकता है, चोट खा सकता है, या कोई महंगी चीज़ तोड़ सकता है। इसलिए, आप एक वीडियो गेम सिम्युलेटर बनाते हैं जहाँ रोबोट कुत्ता बिना किसी डर के लाखों बार अभ्यास कर सकता है। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एजेंट निर्णय लेने के लिए प्रयास और त्रुटि (trial and error) से सीखते हैं। लक्ष्य एजेंट को इस सुरक्षित "सोर्स" दुनिया (सिम्युलेटर) में प्रशिक्षित करना है और फिर उसके कौशल को "टारगेट" दुनिया (वास्तविक चीज़) में स्थानांतरित करना है।
लेकिन यहाँ एक पेंच है: सिम्युलेटर कभी भी पूर्ण नहीं होते। गेम में, ज़मीन थोड़ी फिसलन भरी हो सकती है, या रोबोट के पैर वास्तविकता की तुलना में थोड़े लंबे हो सकते हैं। इन छोटी भिन्नताओं को डायनामिक्स मिसमैच (dynamics mismatches) कहा जाता है। यदि आप एक ऐसे रोबोट को ले जाते हैं जिसे आदर्श बर्फ पर प्रशिक्षित किया गया है और उसे गीली घास पर छोड़ देते हैं, तो वह फिसल सकता है और बुरी तरह विफल हो सकता है। बड़ा सवाल इस क्षेत्र में यह है: हम रोबोट के दिमाग को वास्तविक दुनिया की इन बारीकियों के अनुकूल होने के लिए कैसे ठीक कर सकते हैं, बिना लाखों नए अभ्यास दौरों की आवश्यकता के? यह पेपर ठीक इसी समस्या को हल करता है, जो यह मापने का एक चतुर नया तरीका प्रस्तावित करता है कि वास्तविक दुनिया सिम्युलेशन से कितनी अलग है और इस जानकारी का उपयोग करके रोबोट को अधिक स्मार्ट बनाना सिखाता है।
समस्या: भौतिकी का "अनकैनी वैली" (Uncanny Valley)
एक बच्चे को साइकिल चलाना सिखाने की कल्पना करें। आप उन्हें एक शांत, समतल पार्किंग लॉट (सोर्स डोमेन) में सिखा सकते हैं। लेकिन जब वे अंततः एक ऊबड़-खाबड़, हवादार सड़क (टारगेट डोमेन) पर चलाने की कोशिश करते हैं, तो भौतिकी अलग होती है। हवा उन्हें धकेलती है, ऊबड़-खाबड़ रास्ते उन्हें हिलाते हैं, और टायर ज़मीन पर अलग तरह से पकड़ बनाते हैं। यदि बच्चा उसी संतुलन का उपयोग करने की कोशिश करता है जो उसने पार्किंग लॉट में सीखा था, तो वह गिर जाएगा।
AI की दुनिया में, शोधकर्ताओं ने "डोमेन क्लासिफायर" (जो एक रेफरी की तरह चिल्लाते हैं, "हे, आप गलत दुनिया में हैं!") का उपयोग करके या खराब अभ्यास डेटा को फ़िल्टर करके इसे हल करने की कोशिश की है। लेकिन इस पेपर के लेखक, हान्यांग चेन और उनके सहयोगियों को लगा कि ये तरीके थोड़े बहुत अस्पष्ट थे। वे गलती की पूरी यात्रा को देखना चाहते थे, न कि केवल उस क्षण को जब वह हुई। उन्होंने पूछा: क्या होगा यदि हम उस "घोस्ट पाथ" (भूतिया पथ) को देख सकें जो एक रोबोट वास्तविक दुनिया में लेता होता, बनाम वह पथ जो उसने वास्तव में सिम्युलेटर में लिया, और उन्हें चरण-दर-चरण तुलना कर सकें?
समाधान: DADIFF और "डिफ्यूजन" जासूस
यहाँ DADIFF (डिफ्यूजन-ड्रिवन क्रॉस-डोमेन पॉलिसी अडैप्टेशन) का प्रवेश होता है। इसे समझने के लिए, एक जादुई कैमरे की कल्पना करें जो एक रोबोट की भविष्य की गति की फोटो ले सकता है और फिर उस फोटो को धीरे-धीरे स्टैटिक शोर (static noise) में बदल सकता है, जैसे एक पुराना टीवी सिग्नल खो रहा हो। इसे डिफ्यूजन मॉडल (diffusion model) कहा जाता है। आमतौर पर, इन मॉडलों का उपयोग कला बनाने के लिए किया जाता है, लेकिन यहाँ, शोधकर्ता इनका उपयोग "क्या-होता" (what-if) परिदृश्यों को उत्पन्न करने के लिए करते हैं।
मूल विचार यह है कि जब एक रोबोट बिंदु A से बिंदु B तक जाता है, तो वह केवल कूदता नहीं है; वह एक छिपे हुए, चरण-दर-चरण प्रक्षेपवक्र (trajectory) का अनुसरण करता है। सिम्युलेटर में, यह पथ एक चीज़ है। वास्तविक दुनिया में, यह दूसरी चीज़ है। DADIFF इन छिपे हुए पथों को पुनर्गठित करने के लिए डिफ्यूजन मॉडल का उपयोग करता है। यह पूछता है: "यदि रोबोट ने सिम्युलेटर में यह क्रिया की होती, तो हर छोटे कदम पर वास्तविक दुनिया कैसी दिखती?"
"सिम्युलेटर घोस्ट पाथ" की तुलना "रियल वर्ल्ड घोस्ट पाथ" से करके, DADIFF जेनरेटिव ट्राजेक्टरी डेविएशन (generative trajectory deviation) को माप सकता है। यह GPS पर दो अलग-अलग रास्तों की तुलना करने जैसा है। एक रास्ता एक सुगम हाईवे (सिम्युलेटर) से जाता है, और दूसरा गड्ढों से भरी बैकरोड (वास्तविक दुनिया) से जाता है। DADIFF केवल यह नहीं कहता कि "ये अलग हैं।" यह सटीक रूप से गणना करता है कि सड़कें कहाँ और कितनी अलग होती हैं।
रोबोट को ठीक करने के दो तरीके
एक बार जब DADIFF जान जाता है कि दुनियाएँ कितनी अलग हैं, तो यह रोबोट के दिमाग को ठीक करने के दो रचनात्मक तरीके प्रदान करता है:
"फाइन" दृष्टिकोण (DADIFF-modify): कल्पना कीजिए कि रोबोट एक वीडियो गेम खेल रहा है जहाँ उसे दौड़ने के लिए अंक मिलते हैं। यदि रोबोट एक ऐसा कदम उठाता है जिससे वास्तविक दुनिया में दुर्घटना हो सकती है (भले ही वह सिम्युलेटर में ठीक हो), तो DADIFF-modify "पेनल्टी बटन" दबा देता है। यह उस क्रिया से अंक काट लेता है। यह एक सख्त कोच की तरह है जो कहता है, "वह चाल मत चलो; वास्तविक दुनिया में, तुम गिर जाओगे, इसलिए उस प्रयास के लिए तुम्हारे अंक कटेंगे।" यह रोबोट की प्रेरणा को बदल देता है, उसे उन कार्यों से बचने के लिए सिखाता है जो सिम्युलेटर में अच्छे दिखते हैं लेकिन वास्तविकता में खतरनाक हैं।
"क्यूरेटर" दृष्टिकोण (DADIFF-select): कभी-कभी, रोबोट को दंडित करना पर्याप्त नहीं होता है। इसके बजाय, DADIFF-select एक सख्त संपादक की तरह कार्य करता है। यह सिम्युलेटर में रोबोट द्वारा एकत्र किए गए सभी अभ्यास डेटा को देखता है और "खराब" उदाहरणों को हटा देता है—विशेष रूप से, वे जहाँ सिम्युलेटर और वास्तविक दुनिया बहुत अलग पथ लेते। यह केवल उन "अच्छे" डेटा को रखता है जहाँ सिम्युलेटर वास्तविकता की एक वफादार प्रति थी। रोबोट फिर केवल इन उच्च-गुणवत्ता वाले, भरोसेमंद उदाहरणों से सीखता है।
उन्होंने क्या पाया: एक नया चैंपियन
लेखकों ने एक वर्चुअल जिम में चार अलग-अलग रोबोट जानवरों के साथ अपने तरीके का परीक्षण किया: एक चींटी (ant), एक हॉपर (hopper), एक हाफ-चीता (half-cheetah), और एक वॉकर (walker)। उन्होंने भौतिकी के साथ जंगली तरीके से छेड़छाड़ की—गुरुत्वाकर्षण को बदला, रोबोट के पैरों को छोटा किया, या फर्श को अत्यधिक फिसलन भरा बनाया।
परिणाम प्रभावशाली थे। अधिकांश कठिन परिदृश्यों में, DADIFF ने अन्य सभी तरीकों को पछाड़ दिया। जबकि अन्य तकनीकें कभी-कभी एक विशिष्ट कार्य पर अच्छा काम करती हैं लेकिन दूसरे पर बुरी तरह विफल हो जाती हैं, DADIFF मजबूत और सुसंगत बना रहा।
- "हाफ-चीता विद ब्रोकन बैक थाईज़" कार्य पर, रिवॉर्ड मॉडिफिकेशन वाले DADIFF ने बेसलाइन की तुलना में प्रदर्शन में भारी 42.3% का सुधार किया।
- परीक्षण किए गए सभी सोलह अलग-अलग कार्यों में, इस पद्धति ने औसतन 8.7% का सुधार किया।
दिलचस्प बात यह है कि DADIFF के दो संस्करणों की अलग-अलग ताकतें थीं। "फाइन" दृष्टिकोण (रिवॉर्ड मॉडिफाई करना) अधिकांश कार्यों में महान था, लेकिन "क्यूरेटर" दृष्टिकोण (डेटा चयन) उन विशिष्ट स्थितियों में चमका जहाँ रिवॉर्ड सिस्टम भ्रमित हो गया था, जैसे कि जब रोबोट के पास "कोई जांघ नहीं" थी या "बड़ा सिर" था। उन मामलों में, केवल भ्रमित करने वाले डेटा को फ़िल्टर करना, रोबोट को दंडित करने की कोशिश करने से बेहतर काम करता है।
यह क्यों मायने रखता है
पेपर सुझाव देता है कि "जेनरेटिव ट्राजेक्टरीज" के लेंस के माध्यम से समस्या को देखने से—यानी गति के केवल शुरुआत और अंत को देखने के बजाय पूरी छिपी हुई यात्रा को देखने से—हमें अनुकूलन के लिए बहुत अधिक सटीक उपकरण मिलता है। जबकि पिछले तरीकों ने दुनियाओं के बीच के अंतर का अनुमान लगाने की कोशिश की, DADIFF पूरी यात्रा के विचलन को मापता है।
लेखकों ने यह भी दिखाया कि उनका तरीका तब भी मजबूत है जब वास्तविक दुनिया शोर-शराबे वाली और अप्रत्याशित होती है, एक ऐसी जगह जहाँ अन्य तरीके अक्सर लड़खड़ा जाते हैं। उन्होंने यह दावा नहीं किया कि उन्होंने रोबोट लर्निंग की समस्या को हमेशा के लिए हल कर दिया है, लेकिन उन्होंने यह दिखाया है कि डिफ्यूजन मॉडल का उपयोग करके भौतिकी के पर्दे के पीछे झांकने से रोबोटों को सिम्युलेटर से वास्तविक दुनिया में जाने के लिए बेहतर मौका मिल सकता है। यह हमारे डिजिटल प्रशिक्षण मैदानों को वास्तविक दुनिया की मशीनें बनाने के लिए वास्तव में उपयोगी बनाने की दिशा में एक कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।