Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models
यह शोध पत्र मोशन फ्रॉम विजन-लैंग्वेज रिप्रेजेंटेशन (MoVLR) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अमूर्त प्राकृतिक भाषा लक्ष्यों और अंतर्निहित शारीरिक गति रणनीतियों के बीच के अंतर को पाटकर, उच्च-आयामी मस्कुलोस्केलेटल नियंत्रण के लिए रिवॉर्ड फंक्शनों की पुनरावृत्ति से खोज और परिशोधन करने के लिए विजन-लैंग्वेज मॉडलों का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यधिक जटिल, मानव जैसे दिखने वाले रोबोट को चलना, दौड़ना या पानी का गिलास भरना सिखाने की कोशिश कर रहे हैं। रोबोट का शरीर सैकड़ों छोटे मांसपेशियों और जोड़ों से बना है, जो आपस में एक उलझे हुए जाल की तरह जुड़े हुए हैं। यदि आप उसे "आगे बढ़ो" जैसा एक सरल निर्देश देते हैं, तो रोबोट को समझ नहीं आता कि यह कैसे करना है। उसे यह नहीं पता कि कौन सी मांसपेशियां सक्रिय करनी हैं, संतुलन कैसे बनाना है, या हाथ कैसे हिलाने हैं।
अतीत में, इंजीनियरों को एक सख्त गणित के शिक्षक की तरह काम करना पड़ता था, जिसमें वे रोबोट के लिए हजारों विशिष्ट नियम (पुरस्कार/रिवॉर्ड्स) मैन्युअल रूप से लिखते थे: "अपना सिर ऊपर रखें," "बाईं ओर न झुकें," "अपना घुटना इतना मोड़ें।" यह काम अविश्वसनीय रूप से कठिन था, अक्सर इसके परिणामस्वरूप रोबोट की गति झटकेदार और अप्राकृतिक होती थी, और इसमें बहुत अधिक परीक्षण और त्रुटि (ट्रायल एंड एरर) की आवश्यकता होती थी।
नया समाधान: "कोच और क्रिटिक" की टीम
यह शोध पत्र MoVLR (मोशन फ्रॉम विजन-लैंग्वेज रिप्रेजेंटेशन) नामक एक नई प्रणाली पेश करता है। इसे एक टीम के रूप में सोचें जहाँ दो विशेषज्ञ मिलकर रोबोट को सिखा रहे हैं, न कि एक व्यक्ति जो केवल एक मैनुअल लिख रहा है।
- रोबोट (द एथलीट): यह नियमों के एक सेट के आधार पर चलने का प्रयास करता है।
- विज़न-लैंग्वेज मॉडल (द आई-कोच): यह एक AI है जो रोबोट के चलने का वीडियो "देख" सकता है और देखสิ่งที่ वह देख रहा है उसे साधारण अंग्रेजी में समझ सकता है। यह एक स्पोर्ट्स कोच की तरह कार्य करता है जो एक धावक को देखकर कह सकता है, "आप बाईं ओर बहुत अधिक झुक रहे हैं, और आपके हाथों का झूलना आपके पैरों के साथ तालमेल में नहीं है।"
- लैंग्वेज मॉडल (द रूल-राइटर): यह एक AI है जो "कोड" की भाषा बोलता है। यह कोच की सलाह सुनता है और गलतियों को सुधारने के लिए रोबोट की नियम पुस्तिका को फिर से लिखता है।
यह कैसे काम करता है: सुधार का चक्र
यह प्रक्रिया अभ्यास और फीडबैक के एक चक्र के रूप में काम करती है:
- चरण 1: प्रयास (The Try)। रोबोट अपने वर्तमान नियमों के आधार पर चलने की कोशिश करता है।
- चरण 2: वीडियो (The Video)। सिस्टम इस प्रयास का एक वीडियो रिकॉर्ड करता है।
- चरण 3: आलोचना (The Critique)। "आई-कोच" (VLM) उस वीडियो को देखता है। केवल "8/10" जैसा साधारण स्कोर देने के बजाय, यह एक विस्तृत, मानवीय आलोचना देता है: "रोबोट डगमगा रहा है। इसे अपने कूल्हों को ऊंचा रखने और अपने हाथों को अधिक स्वाभाविक रूप से हिलाने की आवश्यकता है।"
- चरण 4: पुनर्लेखन (The Rewrite)। "रूल-राइटर" (LLM) उस आलोचना को लेता है और तुरंत रोबोट का कोड फिर से लिख देता है। यह नए निर्देश जोड़ता है जैसे, "बाईं ओर झुकने पर दंड दें" या "हाथ हिलाने पर पुरस्कार दें।"
- चरण 5: दोहराव (Repeat)। रोबलेट नए नियमों के साथ फिर से प्रयास करता है। कोच फिर से देखता है, नया सुझाव देता है, और राइटर कोड को फिर से ठीक करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इसका परीक्षण एक डिजिटल मानव मॉडल पर किया जिसमें 700 मांसपेशियां थीं (एक बहुत ही जटिल प्रणाली) और यहाँ तक कि एक शुतुरमुर्ग के मॉडल पर भी। उन्होंने इसे कई कार्य करने के लिए कहा जैसे कि:
- समतल जमीन पर आगे बढ़ना।
- ऊबड़-खाबड़, पथरीले रास्ते पर चलना।
- खड़ी ढलान पर चढ़ना।
- पानी गिराए बिना बोतल से पानी डालना।
- अपने हाथों से एक घन (क्यूब) को घुमाना।
परिणाम:
- इंसानों से बेहतर: कई मामलों में, इस AI टीम ने उन नियमों को बेहतर ढंग से समझ लिया जिन्हें मानव विशेषज्ञ अपने हाथ से लिख सकते थे। रोबोट अधिक दूरी तक चला और पानी अधिक स्थिरता से डाला।
- अन्य AI से बेहतर: पिछले AI तरीके जो रिवॉर्ड्स सीखने की कोशिश करते थे, अक्सर विफल हो जाते थे या झटकेदार हरकतें पैदा करते थे। MoVLR ने सुचारू, प्राकृतिक दिखने वाली गति प्रदान की।
- अनुकूलन क्षमता: सिस्टम ने समतल जमीन पर चलना सीखा, और फिर, बिना दोबारा प्रशिक्षित किए, यह सफलतापूर्वक पथरीली पहाड़ियों पर या यहाँ तक कि एक घायल शरीर (जहाँ कुछ मांसपेशियां कमजोर थीं) पर भी चल सका। इसने क्षतिपूर्ति करना सीख लिया, ठीक वैसे ही जैसे एक इंसान करता है।
बड़ी तस्वीर
यह शोध पत्र दावा करता है कि AI का उपयोग करके जो "देख" और "बोल" सकता है, हम अंततः एक सरल मानवीय लक्ष्य ("अच्छे से चलो") और एक शरीर वास्तव में कैसे चलता है इसके अत्यंत जटिल भौतिक विज्ञान के बीच के अंतर को पाट सकते हैं। गणित का अनुमान लगाने के बजाय, हम AI को रोबोट को देखने, यह बताने कि क्या गलत दिख रहा है, और नियमों को स्वचालित रूप से ठीक करने देते हैं। यह एक ऐसे कोच की तरह है जो कभी थकता नहीं, कोई विवरण भूलता नहीं है, और एथलीट को पूर्ण बनाने के लिए प्लेबुक को तुरंत फिर से लिख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।