LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models
यह शोध पत्र LAWM-3D का प्रस्ताव करता है, जो एक नवीन ढांचा है जो मल्टी-व्यू इनवेरिएंट टोकनाइजेशन, ज्योमेट्रिक अलाइनमेंट कंस्ट्रेंट्स और नॉन-इन्जेक्टिव RGB-D रिकंस्ट्रक्शन को पेश करके 2D-आधारित लेटेंट एक्शन मॉडल्स की सीमाओं को दूर करता है, ताकि मानव वीडियो से 3D-अवेयर लेटेंट एक्शन्स सीखे जा सकें, जिससे रोबोट वर्ल्ड मॉडल्स की सामान्यीकरण क्षमता और भौतिक निरंतरता में महत्वपूर्ण वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कैच खेलना सिखाने की कोशिश कर रहे हैं, लेकिन आप रोबोट के हर थ्रो को रिकॉर्ड करने और सेंसरों को तार से जोड़ने में सालों नहीं बिताना चाहते। इसके बजाय, आप चाहते हैं कि रोबोट बस यूट्यूब वीडियो के घंटों देख ले और खुद ही खेल के नियम समझ जाए। यही "एम्बोडीड इंटेलिजेंस" (embodied intelligence) का सपना है: ऐसे रोबोट बनाना जो हमारी तरह दुनिया को देखकर सीख सकें। इसे करने के लिए, वैज्ञानिक "वर्ल्ड मॉडल" (world model) नामक चीज़ का उपयोग करते हैं। वर्ल्ड मॉडल को एक रोबोट के आंतरिक दिवास्वप्न या मानसिक सिम्युलेटर के रूप में समझें। यह एक ऐसा मस्तिष्क है जो कल्पना कर सकता है कि, "यदि मैं गेंद को इस तरह से फेंकता हूँ, तो यह वहाँ गिरेगी," बिना वास्तव में उसे फेंकने या खिड़की तोड़ने के जोखिम के। चुनौती यह है कि अधिकांश रोबोट इस दिवास्वप्न देखने में बहुत खराब होते हैं क्योंकि वे दुनिया को केवल सपाट, 2D तस्वीरों (जैसे एक फोटो) के रूप में देखते हैं, जबकि वास्तविक दुनिया एक गहरा, 3D स्थान है जहाँ वस्तुओं का आयतन, गहराई और भौतिकी होती है। यदि रोबोट का दिवास्वप्न सपाट है, तो वह 3D वस्तु के साथ बातचीत करने की कोशिश करते समय विफल हो जाएगा।
हाल ही में, शोधकर्ताओं ने "लेटेंट एक्शन्स" (latent actions) नामक एक चतुर तरकीब खोजी। रोबोट को फेंकने की जटिल भौतिकी सिखाने के बजाय, उन्होंने इसे बिना लेबल वाले वीडियो से सीधे गति के लिए एक सरल, छिपे हुए "कोड" को सीखने दिया। यह वैसा ही है जैसे किसी रोबोट को इंसानों को नाचते हुए दिखाकर गति की एक गुप्त भाषा बोलना सिखाना, बिना यह जाने कि उन डांस मूव्स के नाम क्या हैं। हालाँकि, एक नया अध्ययन बताता है कि केवल अलग-अलग कोणों से रोबोट को अधिक वीडियो खिलाने से वे स्वचालित रूप से 3D स्थान को नहीं समझ पाते। वास्तव में, बिना एक विशेष प्रकार के प्रशिक्षण के, रोबोट केवल यह याद रख सकता है कि रोशनी कैसे बदली या कैमरा कैसे हिला, बजाय इसके कि वह वास्तव में अंतरिक्ष में वस्तु के कैसे हिली। यही वह पहेली है जिसे नानकाई यूनिवर्सिटी, सिंघुआ यूनिवर्सिटी और अन्य के शोधकर्ताओं की एक टीम ने हल करने का प्रयास किया।
यह पेपर LAWM-3D (ह्यूमन वीडियो से लर्निंग 3D-अवेयर लेटेंट एक्शन्स) नामक एक नई प्रणाली पेश करता है। शोधकर्ताओं ने पाया कि केवल रोबोट को कई कैमरों (मल्टी-व्यू) से वीडियो दिखाना उसे 3D जागरूकता सिखाने के लिए पर्याप्त नहीं है। वास्तव में, उन्होंने पाया कि सावधानीपूर्वक मार्गदर्शन के बिना, रोबोट भ्रमित हो जाता है। वह यह अनुमान लगाने के लिए वीडियो के "भविष्य" के फ्रेम पर निर्भर हो सकता है कि आगे क्या होगा, या वह इस बात से विचलित हो सकता है कि एक लाल शर्ट साइड एंगल से सामने के एंगल की तुलना में अलग दिखती है। रोबोट अंततः क्रिया का एक सपाट, 2D संस्करण सीख जाता है न कि वास्तविक 3D गति।
इसे ठीक करने के लिए, टीम ने तीन-भागों वाली प्रशिक्षण प्रणाली बनाई है जो एक सख्त लेकिन सहायक कोच की तरह काम करती है:
- क्रियाओं के लिए "यूनिवर्सल ट्रांसलेटर": रोबोट को एक साथ कई कोणों से वीडियो पर प्रशिक्षित किया जाता है। लक्ष्य यह सिखाना है कि एक "थ्रो" (फेंकना) वही क्रिया है चाहे आप इसे सामने से देखें, बगल से देखें, या ऊपर से। उन्होंने इन विभिन्न दृश्यों को एक एकल, एकीकृत "एक्शन टोकन" (मूव के लिए एक डिजिटल कोड) में बदलने का एक विशेष तरीका बनाया जो कैमरा एंगल को अनदेखा करता है और केवल गति पर ध्यान केंद्रित करता है।
- "जियोमेट्री जीपीएस" (Geometry GPS): यह सुनिश्चित करने के लिए कि रोबोट केवल अनुमान नहीं लगा रहा है, उन्होंने इसके मस्तिष्क को एक पूर्व-प्रशिक्षित "3D फाउंडेशन मॉडल" (एक सुपर-स्मार्ट AI जो पहले से जानता है कि 3D आकार कैसे काम करते हैं) से जोड़ा। यह एक GPS की तरह कार्य करता है, लगातार रोबोट के आंतरिक मानचित्र की जाँच करता है ताकि यह सुनिश्चित हो सके कि उसके द्वारा कल्पना की गई 3D संरचनाएं दुनिया की ज्यामितीय वास्तविकता से मेल खाती हैं। यह रोबोट को यह समझने के लिए मजबूर करता है कि एक गेंद एक गोला है, न कि केवल एक सपाट वृत्त जो कैमरा हिलने पर अपना आकार बदल लेता है।
- "नो-चीटिंग" (धोखाधड़ी न करने का) नियम: शोधकर्ताओं ने एक विशेष नियम जोड़ा ताकि रोबotong शॉर्टकट पर निर्भर न हो। सामान्य प्रशिक्षण में, एक रोबोट वीडियो के अगले फ्रेम को देखकर यह देख सकता है कि क्या होता है और बस उसकी नकल कर सकता है। इसे रोकने के लिए, उन्होंने रोबोट को न केवल अगली तस्वीर, बल्कि उस तस्वीर की गहराई (चीजें कितनी दूर हैं) की भविष्यवाणी करने के लिए भी बनाया। चूंकि रोबोट भविष्य की गहराई नहीं देख सकता, इसलिए उसे गति की भौतिकी को वास्तव में समझने के लिए मजबूर होना पड़ता है ताकि एक अच्छा अनुमान लगाया जा सके। यह उसे केवल पिक्सेल की नकल करने के बजाय वास्तविक गति पर ध्यान केंद्रित करने के लिए मजबूर करता है।
इस नए तरीके के परिणाम प्रभावशाली हैं। जब उन्होंने LAWM-3D का परीक्षण किया, तो रोबोट के "दिवास्वपनों" के बहुत अधिक यथार्थवादी हो गए। सिमुलेशन में, रोबोट पिछले तरीकों की तुलना में वस्तुओं के कैसे हिलने, उछलने और भौतिकी के साथ बातचीत करने की भविष्यवाणी बहुत बेहतर तरीके से कर सका। उदाहरण के लिए, केला उठाने या ब्लॉक को एक के ऊपर एक रखने का सिमुलेशन करते समय, पुराने तरीके अक्सर वस्तुओं को तैरते हुए या एक-दूसरे के आर-पार जाते हुए दिखाते थे, जबकि LAWM-3D ने वस्तुओं को 3D स्थान में ठोस और जमीन से जुड़ा हुआ रखा। पेपर दिखाता है कि यह दृष्टिकोण रोबोट की सामान्यीकरण (generalize) करने की क्षमता में काफी सुधार करता है, जिसका अर्थ है कि यह उन नए कार्यों और वातावरण को संभाल सकता है जिन्हें उसने पहले नहीं देखा है, केवल इसलिए क्योंकि यह दुनिया के 3D नियमों को समझता है न कि केवल 2D चित्रों को याद रखता है।
संक्षेप में, यह पेपर तर्क देता है कि रोबोट को दुनिया को समझने के लिए सिखाने के लिए, आप उसे केवल अधिक कैमरे नहीं दे सकते; आपको उसे 3D में सोचना सिखाना होगा। मल्टी-व्यू वीडियो को सख्त ज्यामितीय नियमों और एक "नो-चीटिंग" प्रशिक्षण पद्धति के साथ जोड़कर, LAWM-3D एक ऐसा रोबोट बनाता है जो केवल दुनिया को देखता नहीं है—वह वास्तव में इसके भीतर घूमना और कार्य करना समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।