World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
यह शोध पत्र रिकरेंट जेनरेटिव रिप्ले (REGEN) का परिचय देता है, जो एक निरंतर इमिटेशन लर्निंग फ्रेमवर्क है जो पिछले कार्यों के निर्देशों से छद्म-रिप्ले प्रक्षेप पथ (pseudo-replay trajectories) को संश्लेषित करने के लिए वर्ल्ड एक्शन मॉडल्स का लाभ उठाता है, जिससे मूल मानवीय प्रदर्शनों को संग्रहीत करने की आवश्यकता के बिना रोबोटों में कैटास्ट्रोफिक फॉरगेटिंग को महत्वपूर्ण रूप से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे रोबोट की कल्पना करें जो इंसानों को काम करते हुए देखकर सीखता है, जैसे कि एक कटोरे को कैबिनेट में रखना या एक प्लेट को धकेलना। इसे "इमिटेशन लर्निंग" (imitation learning) कहा जाता है। समस्या यह है कि यदि आप इस रोबोट को आज एक नया करतब सिखाते हैं, तो वह अक्सर कल सीखे हुए करतबों को भूल जाता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा के लिए पढ़ाई करता है और फिर नए विषय पर इतना ध्यान केंद्रित करने के कारण तुरंत पढ़ना भूल जाता है।
आमतौर पर, इस भूलने की प्रक्रिया को रोकने के लिए, वैज्ञानिक पुराने वीडियो का एक "नोटबुक" रखते हैं जो रोबोट को पुराने कार्यों को करना सिखाते हैं। वे रोबोट को नई चीजें सिखाते समय इन वीडियो को दिखाते हैं। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर वे पुराने वीडियो नहीं होते। शायद डेटा निजी था, या रोबोट को किसी ऐसी कंपनी द्वारा प्रशिक्षित किया गया था जो अपना डेटा साझा नहीं करती है।
बड़ा विचार: रोबोट की "कल्पना"
यह पेपर एक नई विधि पेश करता है जिसे REGEN (रिकरेंट जेनेरेटिव रिप्ले) कहा जाता है। पुराने वीडियो की भौतिक नोटबुक की आवश्यकता होने के बजाय, REGEN रोबोट को अपने अतीत की कल्पना करने की क्षमता देता है।
सोचिए कि रोबोट का मस्तिष्क एक शक्तिशाली फिल्म निर्देशक (जिसे वर्ल्ड एक्शन मॉडल या WAM कहा जाता है) है। यह निर्देशक न केवल यह जानता है कि क्या करना है (क्रियाएं); बल्कि यह भी जानता है कि भविष्य में दृश्य कैसा दिखेगा।
यहाँ REGEN कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
- द प्रॉम्प्ट (The Prompt): आप रोबोट को बताते हैं, "याद है जब तुमने गाजर को कटोरे में रखा था?" (यह पुराना निर्देश है)।
- द सीड (The Seed): आप रोबोट को वर्तमान दृश्य की एक वास्तविक फोटो देते हैं (शायद रोबोट अब एक किचन में है जहाँ एक गाजर रखी है)।
- द ड्रीम (The Dream): रोबोट का "निर्देशक" मस्तिष्क मतिभ्रम (hallucinate/generate) करना शुरू कर देता है। वह भविष्यवाणी करता है: "ठीक है, मैं गाजर को पकड़ता हूँ... अब मैं गाजर को अपने हाथ में देखता हूँ... अब मैं इसे हिलाता हूँ... अब मैं कटोरे को देखता हूँ..."
- द लूप (The Loop): यह अपनी ही भविष्यवाणियों को कदम-दर-कदम, खुद में वापस फीड करता रहता है, जिससे शुरुआत से अंत तक पुराने कार्य का एक पूरा, नकली वीडियो बन जाता है।
- द प्रैक्टिस (The Practice): रोबोट फिर इस "कल्पित" पुराने कार्य के वीडियो के साथ-साथ इस नए कार्य का अभ्यास करता है। अपने अतीत के कार्य का अपनी कल्पना में अभ्यास करके, वह मूल वास्तविक वीडियो की आवश्यकता के बिना उसे याद रखता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इसे दो जगहों पर परखा: एक कंप्यूटर सिमुलेशन में और एक लैब में एक वास्तविक रोबोटिक आर्म (हाथ) पर।
- परिणाम: REGEN का उपयोग करने वाले रोबोट ने बिना किसी मदद के एक के बाद एक नई चीजें सीखने वाले रोबोटों की तुलना में लगभग 50% कम भूलने की दर दिखाई।
- तुलना: यह उन रोबोटों के लगभग समान रूप से काम कर गया जिनके पास मूल वास्तविक वीडियो मौजूद थे, भले ही REGEN के पास उन तक कोई पहुंच नहीं थी।
- चुनौती (The Catch): "कल्पित" वीडियो एकदम सटीक नहीं होते हैं। एक लंबी श्रृंखला के दौरान, चित्र थोड़े धुंधले हो जाते हैं (जैसे "टेलीफोन" खेल में संदेश विकृत हो जाता है), और कभी-कभी रोबोट एक सफल परिणाम की कल्पना करता है लेकिन उसके द्वारा अनुमानित वास्तविक गति वास्तव में काम नहीं कर पाती।
यह क्यों महत्वपूर्ण है
पेपर यह निष्कर्ष निकालता है कि हालांकि रोबोट की कल्पना अभी भी पूर्ण नहीं है, लेकिन यह एक बहुत बड़ा कदम है। इसका अर्थ है कि रोबोट बिना पुराने वीडियो के विशाल, बढ़ते पुस्तकालय की आवश्यकता के, हमेशा नए कौशल सीख सकते हैं। जब तक रोबोट अतीत का एक बेहतर संस्करण "सपना" देख सकता है, वह अपने कौशल को ताजा रख सकता है।
संक्षेप में: एक रोबोट जो अपने अतीत की कल्पना कर सकता है, वह अपने भविष्य को सीखना जारी रख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।