From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
पेगासस (Pegasus) एक कम-संसाधन वाला फ्रेमवर्क है जो एक संरचित, ग्राफ-आधारित ज्ञान हस्तांतरण पाइपलाइन के माध्यम से, जिसे एक भौतिक सत्यापनकर्ता (physics verifier) द्वारा उन्नत किया गया है, मानव प्रदर्शन वीडियो को रोबोट-सक्षम डेटा में अनुवादित करके मानव और रोबोट हेरफेर के बीच के एम्बॉडिमेंट अंतराल (embodiment gap) को पाटता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द रोबोट्स डिलेमा: क्यों केवल इंसानों को देखना काफी नहीं है
कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखाने की कोशिश कर रहे हैं। आपके पास लाखों वीडियो का एक पुस्तकालय है जो इंसानों को ठीक यही करते हुए दिखाते हैं। यह एक आदर्श समाधान लगता है: बस रोबोट को वीडियो दिखाएं, और वह सीख जाएगा, है ना? खैर, बिल्कुल ऐसा नहीं है। यह एम्बोडेड एआई (embodied AI) के क्षेत्र में केंद्रीय पहेली है, जो रोबकों को एक भौतिक शरीर देने का अध्ययन है ताकि वे वास्तविक दुनिया के साथ बातचीत कर सकें।
समस्या कुछ हद तक मछली को साइकिल चलाना सिखाने जैसा है। इंसान और रोबोट बहुत अलग दिखते हैं। हमारे दो पैर, लचीली भुजाएं और ऐसी उंगलियां हैं जो हजारों तरीकों से पकड़ या थाम सकती हैं। एक रोबोट के पास एक क्लॉ (पंजे) के साथ एक एकल कठोर हाथ हो सकता, या पैरों के बजाय पहिए हो सकते हैं। यदि कोई रोबोट केवल मानव गति के चित्रों की नकल करता है, तो वह शायद एक ऐसे क्लॉ से सैंडविच पकड़ने की कोशिश करेगा जो बहुत बड़ा है, या एक ऐसे जोड़ को घुमाने की कोशिश करेगा जो मौजूद ही नहीं है। मानव शरीर और रोबोट शरीर के बीच इस बेमेल होने को "एम्बॉडमेंट गैप" (embodiment gap) कहा जाता है।
लंबे समय तक, वैज्ञानिकों ने सोचा कि इसे ठीक करने का एकमात्र तरीका रोबोटों को स्वयं कार्य करते हुए रिकॉर्ड करना है, लेकिन यह धीमा, महंगा और खतरनाक है। अन्य लोगों ने रोबोट को प्रशिक्षित करने के लिए पूर्ण वीडियो गेम (सिमुलेशन) बनाने की कोशिश की, लेकिन रोबोट अक्सर गेम से वास्तविक दुनिया में जाने पर भ्रमित हो जाते हैं। यह पेपर, पेगासस (Pegasus), एक नया सवाल पूछता है: क्या हम मानव वीडियो से विचारों को ले सकते हैं और उन्हें ऐसे निर्देशों में अनुवादित कर सकते हैं जिनका एक रोबोट वास्तव में पालन कर सके, बिना रोबोट को पहले फिल्माने की आवश्यकता के?
"मुझे देखो" से "यह करो" तक
पेगासस (हुआझोंग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी में विकसित एक फ्रेमवर्क) के पीछे के शोधकर्ताओं का तर्क है कि हमें रोबोट को पिक्सेल मिलाने या सीधे मानव गतिविधियों की नकल करने से नहीं सिखाना चाहिए। इसके बजाय, वे एक चतुर अनुवाद प्रणाली का प्रस्ताव करते हैं जो मानव वीडियो को एक "रोबोट-सीखने योग्य" अनुभव में बदल देती है। इसे एक किताब को अंग्रेजी से उस भाषा में अनुवाद करने की तरह समझें जिसे रोबोट बोलता है, लेकिन केवल शब्दों को बदलने के बजाय, वे रोबोट की शारीरिक सीमाओं के अनुकूल पूरी कहानी को फिर से लिखते हैं।
यहाँ उनका "मैजिक ट्रांसलेटर" चरण-दर-चरण कैसे काम करता है:
1. स्टोरीबोर्ड (टास्क ग्राफ)
सबसे पहले, पेगासस एक मानव वीडियो देखता है और व्यक्ति की शर्ट का रंग या रसोई की लाइटिंग जैसे अव्यवस्थित विवरणों को अनदेखा कर देता है। इसके बजाय, यह एक टास्क ग्राफ (Task Graph) बनाता है। इसे एक स्टोरीबोर्ड या फ्लोचार्ट के रूप में कल्पना करें। यह वीडियो को तार्किक चरणों में तोड़ता है: "कप उठाएं," "सिंक की ओर बढ़ें," "पानी डालें।" यह घटनाओं के क्रम और वस्तुओं के एक-दूसरे से संबंध को मैप करता है, एक साफ, संरचित योजना बनाता है जिसे इस बात से फर्क नहीं पड़ता कि कार्य कौन कर रहा है, बल्कि इस बात से कि क्या हो रहा है।
2. "सुपरपावर" डिक्शनरी (अफोर्डेंस लेटेंट)
इसके बाद, सिस्टम एक विशेष "डिक्शनरी" का उपयोग करता है जिसे हाइरार्किकल अफोर्डेंस लेटेंट (Hierarchical Affordance Latent) कहा जाता है। यह सबसे बुद्धिमान हिस्सा है। यह याद रखने के बजाय कि "यह विशिष्ट लाल कप भारी है," सिस्टम वस्तुओं के गुणों को सीखता है, जिन्हें अफोर्डेंस (affordances) कहा जाता है।
- अफोर्डेंस एक फैंसी शब्द है जिसका अर्थ है "कोई वस्तु आपको क्या करने की अनुमति देती है।"
- एक कप में "तरल पदार्थ धारण करने" और "पकड़ने योग्य होने" का अफोर्डेंस होता है।
- एक तरबूज में "भारी होने," "पकड़ने योग्य होने," और "नाजुक होने" का अफोर्डेंस होता है।
सिस्टम सीखता है कि यदि कोई वस्तु "भारी और नाजुक" है, तो रोबोट को धीरे-धीरे चलना होगा और मजबूती से पकड़ना होगा। यह रोबोट को उन वस्तुओं को संभालने की अनुमति देता है जिन्हें उसने पहले कभी नहीं देखा है। अपने परीक्षणों में, सिस्टम ने केवल उनके गुणों को समझकर एक तरबूज और एक पेचकश (screwdriver) को सफलतापूर्वक संभालने का तरीका निकाल लिया, भले ही उसे उन विशिष्ट वस्तुओं पर प्रशिक्षित नहीं किया गया था।
3. रोबोट का ब्लूप्रिंट (रोबोट प्लानिंग ग्राफ)
एक बार जब सिस्टम लक्ष्य और वस्तु के गुणों को समझ लेता है, तो वह उस योजना को रोबोट प्लानिंग ग्राफ (Robot Planning Graph) में अनुवादित करता है। यहीं पर "एम्बॉडमेंट गैप" को पाटा जाता है। सिस्टम पूछता है: "ठीक है, इंसान ने चम्मच को पकड़ने के लिए अपनी उंगलियों का उपयोग किया। मेरे पास एक क्लॉ है। मैं समान परिणाम कैसे प्राप्त करूँ?" यह मानव क्रिया को निर्देशों के एक सेट में बदल देता है जो रोबोट के विशिष्ट शरीर, जोड़ों की सीमा और पहुंच के अनुकूल हो।
4. सुरक्षा निरीक्षक (फिजिक्स वेरीफायर)
चलने की कोशिश करने से पहले, सिस्टम एक क्लोज्ड-लूप फिजिक्स वेरीफायर (Closed-Loop Physics Verifier) चलाता है। यह एक सख्त सुरक्षा निरीक्षक की तरह है जो ब्लूप्रिंट की भौतिकी के नियमों के विरुद्ध जांच करता है। यह पूछता है: "क्या रोबोट का हाथ मेज से टकराएगा? क्या जोड़ वास्तव में इतना झुक सकते हैं? क्या पकड़ स्थिर है?"
- यदि उत्तर "नहीं" है, तो सिस्टम केवल हार नहीं मानता। यह योजना को वापस ड्राइंग बोर्ड पर भेजता है, त्रुटि को ठीक करता है, और फिर से प्रयास करता है।
- उनके प्रयोगों में, यह लूप अविश्वसनीय रूप से प्रभावी था। इसने वैध रोबोट गतिविधियों की सफलता दर को पहली कोशिश में लगभग 51.2% से बढ़ाकर केवल पांच बार जांच और सुधार के बाद 94.1% तक पहुँचा दिया।
उन्होंने क्या पाया
टीम ने हज़ारों मानव वीडियो (जिसमें EPIC-KITCHENS और GTEA Gaze+ जैसे डेटासेट शामिल हैं) के डेटा का उपयोग करके, फ्रंका एमिका पांडा (Franka Emika Panda), xArm 7, और UR5e सहित विभिन्न रोबोटों पर पेगासस का परीक्षण किया।
- केवल देखने से बेहतर: जब उन्होंने पेगास की तुलना उन तरीकों से की जो इस संरचित अनुवाद के बिना सीधे मानव वीडियो की नकल करने की कोशिश करते हैं, तो पेगासस कार्य को सही ढंग से करने में 12.3% बेहतर था और यह सुनिश्चित करने में 15.7% बेहतर था कि रोबोट शारीरिक रूप से वह चाल चल सके।
- शून्य से सीखना: उन्होंने केवल पेगासस द्वारा उत्पन्न वीडियो का उपयोग करके रोबोट नीतियों को प्रशिक्षित किया। इन रोबोटों ने वास्तविक कार्यों पर 55.2% सफलता दर हासिल की। यह प्रभावशाली है क्योंकि यह वास्तविक रोबोटों से एकत्र किए गए 50 वास्तविक दुनिया के प्रदर्शनों (जो 65.9% स्कोर करते हैं) के लगभग बराबर है।
- गुप्त सूत्र (Secret Sauce): शोधकर्ताओं ने पाया कि ग्राफ संरचना (graph structure) सबसे महत्वपूर्ण हिस्सा थी। यदि वे ग्राफ को हटा देते और केवल टेक्स्ट प्रॉम्प्ट का उपयोग करके वीडियो जेनरेट करते, तो प्रदर्शन काफी गिर जाता। संरचित "स्टोरीबोर्ड" ही अंतर पैदा करने वाला कारक था, न कि केवल वीडियो जनरेशन।
निष्कर्ष
यह पेपर सुझाव देता है कि हमें रोबोटों को सिखाने के लिए हर कार्य करने वाले रोबोटों को फिल्माने की आवश्यकता नहीं है। इसके बजाय, हम इंटरनेट पर पहले से मौजूद मानव वीडियो के विशाल भंडार का उपयोग कर सकते हैं, बशर्ते हमारे पास एक स्मार्ट सिस्टम हो जो उन कार्यों के अर्थ को उस भाषा में अनुवादित कर सके जिसे रोबोट समझ सके।
पेगासस दिखाता है कि पिक्सेल (दृश्य उपस्थिति) के बजाय संरचित अनुभव (कार्य का तर्क) पर ध्यान केंद्रित करके, हम मनुष्यों और मशीनों के बीच के अंतर को पाट सकते हैं। हालांकि इस प्रणाली की अभी भी कुछ सीमाएँ हैं—जैसे बहुत जटिल भौतिक अंतःक्रियाओं के साथ सावधान रहना या वास्तविक दुनिया में सुरक्षा सुनिश्चित करना—यह हमारे अस्त-व्यस्त रसोईघरों और कार्यशालाओं में नेविगेट करने के लिए रोबोटों को सिखाने का एक आशाजनक, कम लागत वाला मार्ग प्रदान करता है। लेखक इस दृष्टिकोण से उम्मीद करते हैं कि यह रोबोटों को उनके आसपास की दुनिया से, न कि केवल महंगी मशीनों से एकत्र किए गए डेटा से सीखने के बारे में अधिक शोध को प्रेरित करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।