An Intelligent-Cloud Edge Multimodal Interaction System for Robots

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि वह न केवल आपकी बातों को, बल्कि आपके कार्यों को भी समझे। यह ह्यूमन-रोबोट इंटरैक्शन (Human-Robot Interaction) का मूल है, एक ऐसा क्षेत्र जहाँ वैज्ञानिक ठंडे, कठोर कोड और मनुष्यों के संवाद करने के अव्यवस्थित, सहज तरीके के बीच के अंतर को पाटने की कोशिश करते हैं। आमतौर पर, रोबोट सख्त लाइब्रेरियन की तरह होते हैं जो केवल विशिष्ट कीवर्ड्स को समझते हैं; यदि आप अपना हाथ हिलाते हैं या किसी चीज़ की ओर इशारा करते हैं, तो वे शायद खाली नज़रें टिकाए रह सकते हैं क्योंकि वे उस गति के पीछे के अर्थ को "देख" नहीं पाते। इसे ठीक करने के लिए, शोधकर्ता ऐसे सिस्टम बना रहे हैं जो कंप्यूटर विज़न (मशीनों को हाथों जैसे आकार देखने और पहचानने के लिए प्रशिक्षित करना) को लार्ज लैंग्वेज मॉडल्स (सुपर-स्मार्ट AI दिमाग जो संदर्भ और जटिल निर्देशों को समझते हैं) के साथ जोड़ते हैं। सबसे बड़ी चुनौती क्या है? रोबनों के पास अक्सर उनकी पीठ पर छोटे कंप्यूटर होते हैं जो एक ही समय में "सोचने" और "देखने" का भारी काम संभालने में सक्षम नहीं होते, जबकि सब कुछ "क्लाउड" में मौजूद एक विशाल सुपरकंप्यूटर को भेजना धीमा या असुरक्षित हो सकता है। यह पेपर ठीक इसी समस्या पर प्रहार करता है: कैसे एक ऐसा रोबोट बनाया जाए जो एक जटिल जेस्चर (इशारे) को समझने के लिए पर्याप्त स्मार्ट हो और वास्तव में उस पर कुछ करने के लिए पर्याप्त तेज़ हो ताकि वह बीच में रुक न जाए।

इस पेपर के लेखक, ज़िहान गुओ और शियाओकी ली ने एक चतुर "क्लाउड-एज" (cloud-edge) सिस्टम बनाया है जो एक रोबोट और एक सुपरकंप्यूटर के बीच एक उच्च-तकनीकी रिले रेस की तरह काम करता है। वे अपने रोबोट को TonyPi कहते हैं, जो एक छोटा, सीमित संसाधनों वाला मशीन है जो अपने आप भारी गणित नहीं कर सकता। इसके बजाय, TonyPi आँख और कान के रूप में कार्य करता है, जो आपकी आवाज़ और वीडियो को कैप्चर करता है, फिर उस डेटा को तेज़ी से "क्लाउड" (एक शक्तिशाली रिमोट सर्वर) को भेज देता है ताकि वह भारी सोच-विचार कर सके।

यहाँ बताया गया है कि उनका सिस्टम चरण-दर-चरण कैसे काम करता है:

1. अत्यंत संवेदनशील आँखें (YOLO-DC)
सबसे पहले, सिस्टम को आपके हाथ के इशारों को पूरी तरह से पकड़ने की आवश्यकता है, भले ही आप दूर हों, आंशिक रूप से छिपे हों, या बैकग्राउंड अस्त-व्यस्त हो। शोधकर्ताओं ने YOLO11n नामक एक लोकप्रिय AI डिटेक्टर को अपग्रेड करके एक नया संस्करण बनाया जिसे उन्होंने YOLO-DC नाम दिया।

• अपग्रेड: उन्होंने एक विशेष "अटेंशन फ़िल्टर" जोड़ा जिसे CBAM कहा जाता है। इसे ऐसे समझें जैसे रोबोट ने चश्मा पहन लिया हो जो उसे कमरे की अव्यवस्था को अनदेखा करने और इशारा करने वाले विशिष्ट हाथ पर तीव्रता से ध्यान केंद्रित करने में मदद करता है।
• गणित: उन्होंने यह भी बदला कि रोबोट हाथ के बॉक्स के आकार की गणना कैसे करता है, जिसके लिए DIoU loss नामक एक नए फॉर्मूले का उपयोग किया गया। कल्पना कीजिए कि आप एक चलती हुई गेंद के चारों ओर एक बॉक्स बनाने की कोशिश कर रहे हैं; यह नया फॉर्मूला बॉक्स को गेंद के केंद्र में बहुत तेज़ी से और अधिक सटीकता से लाने में मदद करता है, भले ही गेंद तेज़ी से चल रही हो या आंशिक रूप से रुकी हुई हो।
• परिणाम: एक सार्वजनिक टेस्ट सेट पर, इस नए डिटेक्टर ने 98.9% प्रिसिजन (यानी यह देखने में लगभग कभी गलत नहीं था) और जेस्चर को खोजने के लिए 90.7% स्कोर प्राप्त किया। एक कस्टम सेट पर, जिसे उन्होंने वास्तविक रोबोट इंटरैक्शन जैसा दिखने के लिए बनाया था, इसने अभी भी 95.0% प्रिसिजन हासिल किया। यह पुराने संस्करणों की तुलना में एक बड़ी छलांग है, जो छोटे या छिपे हुए हाथों के साथ संघर्ष करते थे।

2. स्मार्ट दिमाग (Cloud Agents)
एक बार जब क्लाउड को वीडियो और डिटेक्ट किया गया हाथ का इशारा मिल जाता है, तो वह केवल यह नहीं कहता कि "हाथ मिला।" यह यह समझने के लिए दो अलग-अलग प्रकार के AI "एजेंट्स" का उपयोग करता है कि आप वास्तव में क्या चाहते हैं:

• विज़न एजेंट (VLM): यह हिस्सा दृश्य को देखता है और संदर्भ को समझता है। यदि आप लैपटॉप की ओर इशारा करते हैं, तो इसे पता चलता है, "ओह, डेस्क पर एक लैपटॉप है।"
• लैंग्वेज एजेंट (LLM): यह भाग आपके वॉयस कमांड (जैसे "इसे उठाओ") को सुनता है और इसे विज़न एजेंट द्वारा देखे गए दृश्य के साथ जोड़ता है। यह एक अनुवादक की तरह कार्य करता है, जो "इसे उठाओ" + "लैपटॉप" को एक विशिष्ट योजना में बदल देता है: "हाथ को लैपटॉप के निर्देशांक (coordinates) की ओर ले जाएँ।"
• सेफ्टी गार्ड: रोबोट के हिलने से पहले, एक "रूल इंजन" योजना की जाँच करता है कि क्या यह तर्कसंग योग्य है (उदाहरण के लिए, आप रोबोट को एक ही समय में "किक" और "हग" करने के लिए नहीं कह सकते)। यह रोबोट को मूर्खतापूर्ण या खतरनाक काम करने से रोकता है।

3. रिले रेस (Cloud-Edge Collaboration)
जादू श्रम विभाजन में निहित है। TonyPi रोबोट हल्का और तेज़ रहता है; यह केवल वीडियो कैप्चर करता है, उसे कंप्रेस करता है (फ़ाइल को छोटा बनाता है ताकि वह तेज़ी से भेजी जा सके), और निर्देशों की प्रतीक्षा करता है। क्लाउड सारा भारी काम करता है: जेस्चर का पता लगाना, दृश्य को समझना और गतिविधि की योजना बनाना। एक बार जब योजना तैयार हो जाती है, तो क्लाउड एक सरल, संरचित संदेश वापस भेजता है, जिसे फिर रोबोट क्रियान्वित करता है और आपसे बात करता है।

क्या यह वास्तव में काम करता है?
शोधकर्ताओं ने वास्तविक कार्यों और वास्तविक लोगों के साथ इस सिस्टम का परीक्षण किया।

• कार्य सफलता: जब उन्होंने रोबोट को सरल एकल कार्यों (जैसे "वेव" या हाथ हिलाना) के लिए कहा, तो यह 95% बार सफल रहा। अधिक जटिल, बहु-चरणीय कार्यों के लिए, यह 88% बार सफल रहा। यहाँ तक कि उन कार्यों के लिए जो दृश्य दृश्य की समझ पर बहुत अधिक निर्भर थे, इसने 82% सफलता दर हासिल की।
• मानवीय प्रतिक्रिया: उन्होंने 30 लोगों को चार अलग-अलग परिदृश्यों के साथ रोबोट का परीक्षण करने के लिए रखा: वेविंग (हाथ हिलाना), किकिंग (बॉल को किक मारना), ट्विस्टिंग (मुड़ना), और सेलिब्रेटिंग (जश्न मनाना)। प्रतिभागियों ने 1 से 5 के पैमाने पर उनके अनुभव को रेट किया। औसत स्कोर 3.69 था, जो बताता है कि इंटरैक्शन आम तौर पर सकारात्मक और आनंददायक था, हालांकि सुधार की अभी भी गुंजाइश है।
• गति: क्लाउड ने विजुअल विवरण के साथ प्रतिक्रिया देने में लगभग 210 मिलीसेकंड का समय लिया, जो एक स्वाभाविक बातचीत के लिए पर्याप्त तेज़ है।

आगे क्या?
पेपर इस निष्कर्ष पर पहुँचता है कि यह "क्लाउड-एज" दृष्टिकोण छोटे रोबोटों को उनके छोटे शरीर में महंगे कंप्यूटरों को भरे बिना बड़ा दिमाग देने का एक व्यवहार्य तरीका है। हालाँकि, लेखक नोट करते हैं कि यह अभी तक एक पूर्ण, अंतिम उत्पाद नहीं है। वे सुझाव देते हैं कि भविष्य के कार्य में AI मॉडल्स को छोटा बनाने पर ध्यान केंद्रित किया जाना चाहिए ताकि रोबोट अपने दम पर अधिक सोच सके (क्लाउड की आवश्यकता को कम करने के लिए) और स्पर्श या गहराई जैसी अन्य इंद्रियों को जोड़ना चाहिए, ताकि कठिन स्थितियों में रोबोट को और भी मजबूत बनाया जा सके। वे अस्पतालों या कारखानों जैसे वास्तविक दुनिया के परिवेश में भी इसका परीक्षण करने की योजना बना रहे हैं ताकि यह लंबे समय तक कैसा प्रदर्शन करता है, यह देखा जा सके।

संक्षेप में, यह पेपर दिखाता है कि स्थानीय रोबोट और एक रिमोट सुपरकंप्यूटर के बीच काम को विभाजित करके, और रोबोट की "आँखों" को एक विशेष अटेंशन बूस्ट देकर, हम पहले की तुलना में हमारे इशारों और इरादों को बहुत बेहतर समझने वाले रोबोट बना सकते हैं।