← नवीनतम पेपर
🤖 AI

Semantic Anchoring for Robotic Action Representations

यह शोध पत्र एक प्लग-एंड-प्ले विधि पेश करके फाइन-ट्यूनिंग के दौरान विजन-लैंग्वेज-एक्शन मॉडल्स में सिमेंटिक संरचना के क्षरण को संबोधित करता है, जो तैनात मॉडल को बदले बिना इन-डिस्ट्रीब्यूशन टास्क सफलता और आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण दोनों में महत्वपूर्ण सुधार करता है।

मूल लेखक: Yuan Xu, Youheng Shi, Chengyang Li, Wentao Zhu, Yizhou Wang

प्रकाशित 2026-07-16
📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yuan Xu, Youheng Shi, Chengyang Li, Wentao Zhu, Yizhou Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आप उसे एक व्यक्ति के प्याज काटने का वीडियो दिखाते हैं, और रोबोट हाथ की गतिविधियों की नकल करने की कोशिश करता है। लेकिन यहाँ पेचीदा बात यह है कि रोबोट को केवल यह जानने की ज़रूरत नहीं है कि अपनी उंगलियों को कैसे हिलाना है; उसे यह भी समझना होगा कि वह अपनी उंगलियां क्यों हिला रहा है। क्या वह सलाद के लिए प्याज काट रहा है, या वह सिर्फ उस गति का अभ्यास कर रहा है? रोबluğu की दुनिया में, यह एक बेजान नकलची और एक स्मार्ट सहायक के बीच का अंतर है। वैज्ञानिक वर्तमान में "विज़न-लैंग्वेज-एक्शन" (VLA) मॉडल बना रहे हैं। इन्हें ऐसे सुपर-स्मार्ट रोबोट समझें जिन्होंने पहले से ही दुनिया के बारे में लाखों किताबें पढ़ी हैं और अरबों वीडियो देखे हैं (एक "प्री-ट्रेनिंग" चरण के माध्यम से)। वे पहले से ही जानते हैं कि एक "चम्मच" खाने के लिए होती है और एक "दराज" खोलने के लिए होती है। समस्या तब उत्पन्न होती है जब हम उन्हें विशिष्ट रोबोटिक कार्य सिखाने की कोशिश करते हैं। यदि हम उन्हें केवल कुछ वीडियो दिखाते हैं जिनमें एक रोबोटिक हाथ हिल रहा है और उनसे कहते हैं कि "इसे करो," तो रोबोट अक्सर अपने बड़े-चित्र वाले ज्ञान को भूल जाता है। वह केवल पिक्सेल की सटीक गतिविधियों को याद करने लगता है, बजाय इसके कि वह लक्ष्य को समझे, ठीक वैसे ही जैसे एक छात्र जो अभ्यास परीक्षण के उत्तर तो रट लेता है लेकिन गणित को न समझने के कारण वास्तविक परीक्षा में विफल हो जाता है।

यह शोध पत्र ठीक इसी समस्या को संबोधित करता है। शोधकर्ताओं ने एक सरल लेकिन गहरा प्रश्न पूछा: "एक अच्छा रोबोट मस्तिष्क क्या बनाता है?" उन्होंने पाया कि जब रोबोट को केवल विशिष्ट मूवमेंट वीडियो पर प्रशिक्षित किया जाता है, तो वे उस "सिमेंटिक स्ट्रक्चर" (अर्थपूर्ण संरचना)—यानी चीजों के अर्थ के व्यवस्थित मानचित्र—को खो देते हैं, जो उन्हें अपने प्री-ट्रेनिंग से विरासत में मिला था। इसे ठीक करने के लिए, उन्होंने एक चतुर प्रशिक्षण तकनीक विकसित की जिसे "सिमेंटिक एंकरिंग" (Semantic Anchoring) कहा जाता है। कल्पना कीजिए कि रोबोट के मस्तिष्क में दो चैनल हैं: एक "बड़े विचार" (इरादे) के लिए और दूसरा "सूक्ष्म विवरणों" (विशिष्ट मांसपेशियों की गतिविधियों) के लिए। उनकी विधि रोबोट को मजबूर करती है कि वह अपने "बड़े विचार" वाले चैनल को मानव भाषा और अवधारणाओं के मानचित्र के साथ पूरी तरह से संरेखित रखे, जबकि "सूक्ष्म विवरण" वाला चैनल विशिष्ट कार्य के जटिल विवरणों को संभाल सके। सबसे अच्छी बात? एक बार जब रोबोट प्रशिक्षित हो जाता है, तो वे अतिरिक्त प्रशिक्षण उपकरणों को हटा देते हैं, जिससे रोबोट पहले जैसा ही आकार और गति का रहता है, लेकिन अब वह बहुत अधिक स्मार्ट होता है।

रोबोट का मेमोरी संकट

आइए देखें कि क्या होता है जब एक रोबोट सीखने की कोशिश करता है। कल्पना कीजिए कि आपके पास एक रोबोट के सिर के अंदर ज्ञान का एक पुस्तकालय है, जो इंटरनेट को पढ़ने से बना है। यह पुस्तकालय खूबसूरती से व्यवस्थित है: "खोलने" से जुड़ी सभी अवधारणाएं एक साथ समूहबद्ध हैं, और "स्टैकिंग" (एक के ऊपर एक रखना) की सभी अवधारणाएं अपने स्वयं के साफ खंडों में हैं। यह "प्री-ट्रेंड" अवस्था है। लेकिन जब आप रोबोट को एक विशिष्ट काम करने के लिए प्रशिक्षित करना शुरू करते हैं, जैसे "कपड़ा मोड़ना," तो आप उसे केवल बहुत कम उदाहरण दिखाते हैं—शायद 50 या 200 उदाहरण।

शोधकर्ताओं ने पाया कि डेटा की यह बहुत कम मात्रा एक विनाशकारी बल (wrecking ball) की तरह काम करती है। जैसे-जैसे रोबोट कपड़ा मोड़ना सीखता है, वह अपने पुस्तकालय की सुंदर व्यवस्था को अनदेखा करने लगता है। वह यह सोचना बंद कर देता है कि, "मैं एक कपड़ा मोड़ रहा हूँ," और यह सोचने लगता है कि, "मुझे अपने हाथ को स्थिति X, फिर Y पर ले जाने की आवश्यकता है।" वह "शॉर्टकट" बनाने लगता है। यह एक ऐसे छात्र की तरह है जो कहानी पढ़ना बंद कर देता है और केवल उन पृष्ठ संख्याओं को याद कर लेता है जहाँ उत्तर दिए गए हैं। शोध पत्र दिखाता है कि जैसे-जैसे रोबोट विशिष्ट कार्य में बेहतर होता जाता है (इन-डिस्ट्रीब्यूशन सफलता), कार्य के अर्थ की उसकी समझ वास्तव में खराब होती जाती है। वह देखे गए विशिष्ट वीडियो का मास्टर तो बन जाता है, लेकिन किसी भी नई चीज़ के मामले में विफल हो जाता है।

मिरर न्यूरॉन का विचार

इसे ठीक करने के लिए, लेखकों ने मानव मस्तिष्क के काम करने के तरीके को देखा। उन्होंने "मिरर न्यूरॉन्स" से प्रेरणा ली। ये विशेष मस्तिष्क कोशिकाएं हैं जो तब भी सक्रिय होती हैं जब आप कोई क्रिया करते हैं और तब भी जब आप किसी और को वह करते हुए देखते हैं। महत्वपूर्ण रूप से, ये न्यूरॉन्स केवल मांसपेशियों की गति के आधार पर नहीं, बल्कि लक्ष्य (इरादे) के आधार पर सक्रिय होते हैं। यदि आप किसी को पीने के लिए कप उठाते हुए देखते हैं, तो आपका मस्तिष्क अलग तरह से सक्रिय होता है बजाय इसके कि आप उन्हें कप को फेंकने के लिए उठाते हुए देखें, भले ही हाथ की गति बिल्कुल एक जैसी हो।

शोधकर्ताओं ने महसूस किया कि उनके रोबोटों में यह "इरादा-स्तर" (intention-level) का एनकोडिंग गायब था। उनके रोबोट केवल मांसपेशियों की गति सीख रहे थे, लक्ष्य नहीं। इसलिए, उन्होंने रोबोट के कार्यों और एक "सिमेंटिक मैनिफोल्ड" के बीच एक पुल बनाने का निर्णय लिया। सिमेंटिक मैनिफोल्ड को मानव अवधारणाओं के एक विशाल, पूरी तरह से व्यवस्थित मानचित्र के रूप में समझें। रोबोट के प्री-ट्रेंड मस्तिष्क के पास इस मानचित्र का एक मोटा संस्करण पहले से ही था, लेकिन प्रशिक्षण इसे मिटा रहा था। लक्ष्य यह था कि रोबोट के "इरादे" वाले चैनल को इस मानचित्र से चिपका कर रखा जाए, भले ही वह नए मूवमेंट्स सीख रहा हो।

दो-चैनल समाधान

यही वह जादुई तरीका है जिसे वे "सिमेंटिक एंकरिंग" कहते हैं।

कल्पना कीजिए कि रोबोट का मस्तिष्क दो डायल वाला एक रेडियो है।

  1. प्राइवेट चैनल (Private Channel): यह डायल अव्यवस्थित, विशिष्ट विवरणों को संभालता है। क्या मेज फिसलन भरी है? क्या ग्रिपर थोड़ा मुड़ा हुआ है? यह चैनल विशिष्ट रोबोट और विशिष्ट क्षण के लिए अद्वितीय है।
  2. शेयर्ड चैनल (Shared Channel): यह डायल "बड़ी तस्वीर" को संभालता है। क्या लक्ष्य "दराज खोलना" है या "सेब उठाना" है? इस चैनल को अवधारणाओं के सार्वभौमिक मानचित्र के साथ संरेखित रहना चाहिए।

शोधकर्ताओं की विधि रोबोट के मस्तिष्क को प्रशिक्षण के दौरान इन दो चैनलों में विभाजित करती है। वे एक विशेष "कॉन्ट्रास्टिव अलाइनमेंट" तकनीक का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि शेयर्ड चैनल निर्देश के अर्थ (जैसे "दराज खोलें") पर पूरी तरह से लॉक रहे। साथ ही, वे प्राइवेट चैनल को हाथ चलाने के लिए आवश्यक बाकी विवरणों को संभालने देते हैं।

इसे क्यों विभाजित किया गया? क्योंकि "शेयर्ड चैनल" को छोटे बदलावों को अनदेखा करना चाहिए (उसे इससे फर्क नहीं पड़ना चाहिए कि दराज नीली है या लाल, बस वह एक दराज होनी चाहिए), जबकि "प्राइवेट चैनल" को भौतिक दुनिया के प्रति अत्यधिक संवेदनशील होना चाहिए। यदि आप एक ही चैनल के साथ दोनों करने की कोशिश करते हैं, तो रोबोट भ्रमित हो जाता है। उन्हें अलग करके, रोबोट अपने "स्मार्ट ब्रेन" (शेयर्ड चैनल) को बरकरार रखते हुए "मसल्स मेमोरी" (प्राइवेट चैनल) सीख सकता है।

परिणाम: स्मार्ट रोबोट, समान आकार

टीम ने कंप्यूटर सिमुलेशन और लैब में एक वास्तविक, दो-हाथ वाले रोबोट पर इसका परीक्षण किया।

सिमुलेशन में:
उन्होंने LIBERO नामक एक डेटासेट पर परीक्षण किया, जिसमें प्रति कार्य 50 प्रदर्शन (demonstrations) हैं। इतने कम डेटा के बावजूद, उनकी विधि ने रोबोट की सफलता दर में सुधार किया। एक बेंचमार्क पर, उन्होंने मानक रोबोट की तुलना में 3.1% का सुधार देखा। एक अन्य, अधिक जटिल परीक्षण जिसे SimplerEnv कहा जाता है, में सुधार और भी बड़ा था, जो 7.2% तक पहुँचा। इसने साबित कर दिया कि रोबोट केवल वीडियो की नकल नहीं कर रहा था; वह वास्तव में कार्यों को बेहतर ढंग से समझ रहा था।

वास्तविक रोबोट पर:
यहीं पर यह वास्तव में रोमांचक हो गया। उन्होंने अपने तरीके को एक वास्तविक दो-हाथ वाले रोबोट (AgileX Cobot Magic V2) पर लगाया और उसे चार अलग-अलग प्रकार के कार्य दिए: फल चुनना, बर्तन सजाना, बक्से पैक करना और कैबिनेट में चीजें रखना।

  • इन-डिस्ट्रीब्यूशन (वे कार्य जो उसने प्रशिक्षण में देखे थे): रोबोट की सफलता दर में 18.7% का सुधार हुआ। वह ठीक-ठाक होने से लेकर बहुत विश्वसनीय होने तक पहुँच गया।
  • आउट-ऑफ-डिस्ट्रीब्यूशन (नई, कठिन स्थितियाँ): यह असली परीक्षा है। उन्होंने वस्तुओं का स्थान बदल दिया, फलों के नए प्रकारों का उपयोग किया, या रोबोट को अलग शब्दों में निर्देश दिए। मानक रोबोट यहाँ अक्सर विफल हो गया। लेकिन "एंकर किया हुआ" रोबोट? इसमें 21.5% का सुधार हुआ।

उदाहरण के लिए, स्ट्रॉबेरी उठाने (जिसे उसने पहले कभी नहीं देखा था) और उसे प्लेट पर रखने के लिए कहा जाने पर, मानक रोबोट अक्सर भ्रमित हो जाता या गलत चीज़ पकड़ लेता। हालाँकि, एंकर किए गए रोबोट ने "स्ट्रॉबेरी" और "प्लेट" की अवधारणा को समझा और सही कदम उठाया, भले ही उसने पहले कभी उस विशिष्ट संयोजन को नहीं देखा था।

सबसे अच्छी बात: कोई अतिरिक्त भार नहीं

आमतौर पर, जब आप किसी रोबोट को स्मार्ट बनाते हैं, तो आपको अधिक कंप्यूटर पावर या रोबोट के मस्तिष्क को बड़ा बनाना पड़ता है, जिससे वह धीमा हो जाता है। लेकिन यह विधि "प्लग-एंड-प्ले" है। चैनलों को विभाजित करने और अर्थों को संरेखित करने के लिए उपयोग किए गए सभी अतिरिक्त उपकरण प्रशिक्षण के बाद हटा दिए जाते हैं। जो रोबोट वास्तविक दुनिया में जाता है, वह मूल वाले के समान ही आकार और गति का होता है। बस उसके पास अब बेहतर समझ होती है।

इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि जो रोबोट अराजक, अप्रत्याशित वास्तविक दुनिया को संभाल सकते हैं, उन्हें बनाने का रहस्य केवल उन्हें अधिक वीडियो दिखाना नहीं है। यह उनके मस्तिष्क में "अर्थ" की रक्षा करने के बारे में है। रोबोट के "लक्ष्यों" की समझ को "मूवमेंट्स" के विवरण से अलग रखकर, हम ऐसे रोबोट बना सकते हैं जो केवल हमारी नकल नहीं करते, बल्कि हमें समझते भी हैं। वे नई वस्तुओं, नए स्थानों और नए निर्देशों के अनुकूल हो सकते हैं क्योंकि वे वास्तविकता के उसी मानचित्र से जुड़े हुए हैं जिसका उपयोग मनुष्य करते हैं।

लेखक सावधानीपूर्वक नोट करते हैं कि यह एक "ट्रेनिंग-टाइम" फिक्स है। उन्होंने रोबोट के हार्डवेयर या उसके अंतिम सॉफ्टवेयर आर्किटेक्चर को नहीं बदला। उन्होंने केवल यह बदला कि वे इसे कैसे सिखाते हैं। और परिणाम बताते हैं कि यह दृष्टिकोण में बदलाव—रोबोट के "इरादे" को संरक्षित और एंकर करने के रूप में देखना—रोबोटों को काफी अधिक सक्षम, विश्वसनीय और वास्तविक दुनिया के लिए तैयार बना सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →