Noise-Guided Transport for Imitation Learning

यहाँ शोध पत्र "Noise-Guided Transport" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

समस्या: बहुत कम डेटा के साथ सीखना

कल्पना कीजिए कि आप एक रोबोट को इंसान की तरह चलना सिखाना चाहते हैं। आमतौर पर, आप उसे लोगों के चलने के हजारों वीडियो दिखाएंगे ताकि वह नकल करके सीख सके। इसे Behavioral Cloning कहा जाता है।

लेकिन क्या होगा अगर आपके पास किसी के चलने के केवल 20 छोटे क्लिप्स हों? शायद वह व्यक्ति अस्पताल में एक मरीज है जो ज्यादा चल नहीं सकता, या शायद उच्च-गुणवत्ता वाला डेटा रिकॉर्ड करना बहुत महंगा है। इतने कम डेटा के साथ, रोबोट भ्रमित हो जाता है। वह उन क्लिप्स की हुबहू नकल करने की कोशिश करता है, लेकिन जब वह किसी नई स्थिति का सामना करता है (जैसे फर्श पर कोई मामूली उभार), तो वह विफल हो जाता है क्योंकि उसने यह समझने के लिए पर्याप्त विविधता नहीं देखी कि कैसे चलना है, बल्कि उसने केवल वही देखा जो उन विशिष्ट क्लिप्स में था।

यह "लो-डेटा रिजीम" (low-data regime) है। लेखक एक ऐसा तरीका बनाना चाहते थे जो प्रभावी ढंग से सीख सके, भले ही विशेषज्ञ के प्रदर्शन (expert demonstrations) कम हों।

समाधान: नॉइज़-गाइडेड ट्रांसपोर्ट (NGT)

लेखकों ने एक विधि बनाई जिसे Noise-Guided Transport (NGT) कहा जाता है। विशेषज्ञ की गतिविधियों की नकल करने के बजाय, रोबोट रैंडम नॉइज़ (random noise) के एक चतुर प्रयोग का उपयोग करके यह पहचानना सीखता है कि "विशेषज्ञ का व्यवहार" (Expert Behavior) और "मेरा वर्तमान व्यवहार" (My Current Behavior) में क्या अंतर है।

यह कैसे काम करता है, यहाँ तीन सरल भागों में दिया गया है:

1. "रैंडम टारगेट" का तरीका (नॉइज़ से सीखना)

कल्पना कीजिए कि आप एक छिपी हुई वस्तु के आकार को सीखने की कोशिश कर रहे हैं। आप उस वस्तु को सीधे नहीं देख सकते। इसके बजाय, आपको एक रैंडम, स्थिर मानचित्र (यह "रैंडम प्रायर" है) दिया जाता है। आप नहीं जानते कि उस मानचित्र का क्या अर्थ है, लेकिन वह स्थिर है।

• विशेषज्ञ का काम: विशेषज्ञ आपको इस रैंडम मानचित्र पर अपनी स्थिति दिखाता है। आप मानचित्र पर विशेषज्ञ की स्थिति का अनुमान लगाने की कोशिश करते हैं।
• रोबोट का काम: रोबोट उसी रैंडम मानचित्र पर अपनी स्थिति का अनुमान लगाने की कोशिश करता है।

मुख्य अंतर्दृष्टि यह है: यदि रोबोट इस रैंडम मानचित्र पर विशेषज्ञ की स्थिति का अनुमान लगाने में अच्छा है, तो इसका मतलब है कि रोबोट विशेषज्ञ की तरह व्यवहार कर रहा है। यदि रोबोट विशेषज्ञ की स्थिति का अनुमान लगाने में खराब है (लेकिन अपने स्वयं के स्थान का अनुमान लगाने में अच्छा है), तो इसका मतलब है कि वह अभी भी एक नौसिखिया की तरह काम कर रहा है।

"नॉइज़" केवल मानचित्र के रैंडम शुरुआती बिंदु के रूप में है। यह कोई सार्थक डेटा नहीं है; यह केवल एक सुसंगत संदर्भ बिंदु (reference point) है। इस रैंडम संदर्भ से मेल बिठाने की कोशिश करके, रोबोट विशेषज्ञ व्यवहार के सूक्ष्म "एहसास" को सीखता है।

2. "ट्रांसपोर्ट" वाला हिस्सा (विशेषज्ञ के करीब पहुँचना)

यह विधि गणित की एक अवधारणा का उपयोग करती है जिसे Optimal Transport कहा जाता है। इसे रेत के ढेर को हिलाने जैसा समझें।

• आपके पास विशेषज्ञ के व्यवहार का प्रतिनिधित्व करने वाला एक रेत का ढेर है।
• आपके पास रोबोट के व्यवहार का प्रतिनिधित्व करने वाला दूसरा ढेर है।

लक्ष्य रोबोट के रेत के ढेर को इस तरह से हिलाना है कि वह विशेषज्ञ के रेत के ढेर से पूरी तरह मेल खा जाए। रेत को हिलाने की "लागत" (cost) उनके बीच की दूरी है।

NGT इस दूरी के आधार पर एक "रिवॉर्ड सिस्टम" बनाता है।

• यदि रोबोट का व्यवहार विशेषज्ञ से दूर है, तो रिवॉर्ड कम होता है।
• यदि रोबोट का व्यवहार विशेषज्ञ के करीब है, तो रिवॉर्ड अधिक होता है।

रोबोट फिर इस रिवॉर्ड का उपयोग अपने कार्यों को समायोजित करने के लिए करता है, प्रभावी रूप से अपने व्यवहार को विशेषज्ञ के करीब "ट्रांसपोर्ट" (स्थानांतरित) करता है।

3. यह पुराने तरीकों से बेहतर क्यों है?

पुराने तरीके (जैसे GAIL या DAC) एक "जज" (डिस्क्रिमिनेटर) का उपयोग करने की कोशिश करते थे जो यह कह सके कि "यह विशेषज्ञ है, यह नहीं है।" लेकिन बहुत कम डेटा के साथ, जज भ्रमित हो जाता है और सीखना बंद कर देता है (जिसे "मोड कोलैप्स" कहा जाता है)।

NGT अलग है क्योंकि:

• यह स्थिर है: इसे प्रशिक्षण को स्थिर रखने के लिए जटिल ट्रिक्स की आवश्यकता नहीं है। यह भारी दंड (penalties) के बजाय "स्पेक्ट्रल नॉर्मलाइजेशन" (जो गणित को अनियंत्रित होने से रोकता है) नामक तकनीक का उपयोग करता है।
• यह हल्का है: इसे भारी प्री-ट्रेनिंग या विशाल कंप्यूटर पावर की आवश्यकता नहीं है।
• यह अनिश्चितता को संभालता है: रैंडम नॉइज़ का उपयोग करके, यह स्वाभाविक रूप से समझ जाता है कि वह कहाँ अनिश्चित है, जो इसे बेहतर सामान्यीकरण (generalization) करने में मदद करता है।

परिणाम: यह बहुत कम डेटा के साथ भी काम करता है

लेखकों ने कठिन कार्यों पर NGT का परीक्षण किया, जिसमें एक सिम्युलेटेड मानव रोबोट को चलाना (Humanoid-v4) शामिल है। यह एक बहुत कठिन कार्य है क्योंकि रोबोट के कई जोड़ और जटिल भौतिकी (physics) होती है।

• अल्ट्रा-लो डेटा: उन्होंने रोबोट को केवल 20 ट्रांजिशन (गति के बहुत छोटे अंश) का उपयोग करके प्रशिक्षित किया।
• स्टेट-ओनली लर्निंग: कुछ परीक्षणों में, उन्होंने रोबोट को यह भी नहीं बताया कि विशेषज्ञ ने क्या क्रियाएं (actions) कीं। उन्होंने केवल रोबोट को दिखाया कि विशेषज्ञ कहाँ था (स्टेट)। NGT फिर भी वहाँ पहुँचने के लिए कैसे हिलना है, यह पता लगा सका।
• विकल्पों से बेहतर: NGT ने डिफ्यूजन मॉडल (जो आमतौर पर बहुत शक्तिशाली लेकिन गणनात्मक रूप से भारी होते हैं) सहित अन्य अत्याधुनिक तरीकों को भी पीछे छोड़ दिया।

उपमा सारांश (Analogy Summary)

चलना सीखने को एक पोर्ट्रेट पेंट करने सीखने जैसा समझें।

• पुराना तरीका (Behavioral Cloning): आपको किसी व्यक्ति के 20 फोटो दिए जाते हैं। आप पिक्सेल की हुबहू नकल करने की कोशिश करते हैं। यदि आप किसी अलग कोण से उस व्यक्ति को चित्रित करने की कोशिश करते हैं, तो आप विफल हो जाते हैं क्योंकि आपने केवल पिक्सेल को याद किया है, चेहरे को नहीं।
• NGT तरीका: आपको एक रैंडम एब्स्ट्रैक्ट पेंटिंग (नॉइज़) दी जाती है। विशेषज्ञ इस एब्स्ट्रैक्ट पेंटिंग पर उन बिंदुओं की ओर इशारा करता है जो उनकी चेहरे की विशेषताओं के अनुरूप हैं। आप उन रैंडम बिंदुओं के साथ विशेषज्ञ के चेहरे को जोड़ने के लिए सीखते हैं। फिर, आप अपना संस्करण पेंट करने की कोशिश करते हैं। यदि आपकी पेंटिंग एब्स्ट्रैक्ट कैनवास पर विशेषज्ञ के बिंदुओं से मेल खाती है, तो आपको रिवॉर्ड मिलता है। आप अपनी पेंटिंग को तब तक समायोजित करते रहते हैं जब तक कि वह एब्स्ट्रैक्ट कैनवास पर विशेषज्ञ के "मैप" के साथ संरेखित न हो जाए।

चूंकि आप एब्स्ट्रैक्ट मैप और चेहरे के बीच के संबंध को सीख रहे हैं, इसलिए आप चेहरे की संरचना को बेहतर समझते हैं, भले ही आपने केवल 20 फोटो देखे हों।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह शोध पत्र इस बात पर जोर देता है कि यह विधि स्वास्थ्य सेवा (healthcare) और बायोरोबोटिक्स (biorobotics) जैसे क्षेत्रों के लिए विशेष रूप से उपयोगी है, जहाँ उच्च-गुणवत्ता वाले प्रदर्शन डेटा प्राप्त करना कठिन है (जैसे, अक्षम रोगियों की चाल का विश्लेषण करना)। यह रोबोट को बहुत सीमित उदाहरणों से जटिल गतिविधियाँ सीखने की अनुमति देता है, जिससे इमिटेशन लर्निंग (imitation learning) वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक व्यावहारिक हो जाती है जहाँ डेटा की कमी होती है।