← नवीनतम पेपर
💻 computer science

HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

यह शोध पत्र HUI360 को प्रस्तुत करता है, जो मानव-रोबोट संपर्क पूर्वानुमान के लिए सबसे बड़ा इन-द-वाइल्ड 360-डिग्री एगोसेंट्रिक डेटासेट है, जिसमें 10 लाख से अधिक प्री-प्रोसेस्ड एनोटेशन, स्वचालित इंटरैक्शन लेबलिंग के लिए एक पाइपलाइन और सक्रिय रोबोटिक व्यवहारों की सामान्यीकरण क्षमता को आगे बढ़ाने के लिए बेंचमार्क बेसलाइन शामिल हैं।

मूल लेखक: Raphael Lorenzo-Louis, Fabio Amadio, Bertrand Luvison, Serena Ivaldi

प्रकाशित 2026-08-12
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Raphael Lorenzo-Louis, Fabio Amadio, Bertrand Luvison, Serena Ivaldi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त पार्क में टहल रहे हैं, और एक मिलनसार रोबोट लुढ़कता हुआ आपके पास आता है। क्या वह रुक जाता है और आपके 'नमस्ते' कहने का इंतज़ार करता है, या वह यह अंदाज़ा लगा लेता है कि आप आ रहे हैं और आपके करीब पहुँचने से पहले ही हाथ हिलाकर अभिवादन करता है? यही 'ह्यूमन-रोबोट इंटरैक्शन' (HRI) नामक क्षेत्र का मूल है। यह मशीनों को हमें समझने के लिए सिखाने का विज्ञान है, न कि केवल चलते-फिरते पिंडों के रूप में, बल्कि इरादों वाले मनुष्यों के रूप में। इसका एक प्रमुख हिस्सा "पूर्वानुमान" (anticipation) है—यह अनुमान लगाने की क्षमता कि मनुष्य आगे क्या करेगा। इसे एक ऐसे डांस पार्टनर की तरह समझें जो संगीत बदलने से पहले ही अगले कदम को जानता है। यदि एक रोबोट यह अनुमान लगा सकता है कि आप बातचीत करना चाहते हैं, तो वह अधिक सहायक और कम अजीब हो सकता है। लेकिन इस नृत्य को सीखने के लिए, रोबोट को अभ्यास करने की आवश्यकता है। और अच्छी तरह से अभ्यास करने के लिए, उसे वास्तविक जीवन के उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता है, न कि केवल स्टूडियो में रटे-रटाए दृश्यों की।

यही वह काम है जिसे करने के लिए "HUI360" पेपर के पीछे के शोधकर्ताओं ने प्रयास किया। उन्होंने वीडियो डेटा का एक विशाल, ओपन-सोर्स लाइब्रेरी बनाया, जिसे HUI360 कहा जाता है, जो वर्तमान में इस तरह का सबसे बड़ा डेटासेट है जिसका उपयोग रोबोट को यह सिखाने के लिए किया जाता है कि वे कब अनुमान लगाएं कि मनुष्य उनके साथ बातचीत करना चाहते हैं। नियंत्रित लैब में अभिनेताओं का उपयोग करने के बजाय, उन्होंने एक मोबाइल रोबोट को "जंगल" में भेजा—नौ अलग-अलग वास्तविक स्थानों जैसे कैफेटेरिया, गलियारों और सार्वजनिक चौकों में—कई महीनों तक। रोबोट ने, एक फिश-आई लेंस की तरह 360-डिग्री कैमरा पहने हुए, हजारों लोगों को पास से गुजरते हुए देखा। कुछ ने उसे अनदेखा किया; कुछ ने स्टिकर उठाने, कचरा डालने या भोजन लेने के लिए रोका। टीम ने हर व्यक्ति को ट्रैक करने, उनके शरीर की गतिविधियों को मैप करने और उस सटीक क्षण को चिह्नित करने के लिए स्मार्ट कंप्यूटर विज़न टूल्स का उपयोग किया, जब उन्होंने भौतिक रूप से रोबोट को छुआ। उन्होंने किसी भी गलती को ठीक करने के लिए डेटा को हाथ से भी साफ किया, जिससे यह सुनिश्चित हो सके कि रोबोट जो "पाठ" सीख रहा है वह सटीक है।

यह पेपर "बेसलाइन्स" (baselines) का एक सेट भी पेश करता है, जो रोबोट के पहले अभ्यास परीक्षणों की तरह हैं। उन्होंने सरल कंप्यूटर मस्तिष्क (Random Forests और LSTMs जैसी विधियों का उपयोग करके) को प्रशिक्षित किया ताकि वे एक व्यक्ति की गति को देख सकें और अनुमान लगा सकें कि क्या वे बातचीत करने वाले हैं। परिणाम बताते हैं कि ये मॉडल इस काम में काफी अच्छे हो सकते हैं, विशेष रूप से तब जब वे विस्तृत बॉडी मैप (जैसे चेहरे और हाथ के कीपॉइंट्स) का उपयोग करके अपने अनुमान लगाते हैं। हालाँकि, पेपर एक पेचीदा वास्तविकता को भी उजागर करता है: जब रोबोट का परीक्षण पूरी तरह से नए वातावरण में किया जाता है जिसे उसने पहले नहीं देखा है, या जब रोबोट स्वयं बदल जाता है (जैसे एक कचरा-पात्र वाले रोबोट को सर्विस रोबोट से बदलना), तो भविष्यवाणी थोड़ी धुंधली हो जाती है। यह एक ऐसे छात्र की तरह है जिसने एक कक्षा में गणित का टेस्ट पास कर लिया, लेकिन जब शिक्षक दूसरे कमरे में चला गया तो लड़खड़ा गया। लेखक दिखाते हैं कि हालांकि वर्तमान तरीके काम करते हैं, उन्हें वास्तव में वास्तविक दुनिया में उपयोगी होने के लिए नए स्थानों और नए रोबोट शरीरों के अनुकूल होने में बहुत बेहतर होने की आवश्यकता है।

महत्वपूर्ण रूप से, यह पेपर एक स्पष्ट रेखा खींचता है कि "इंटरैक्शन" (बातचीत/क्रिया) किसे माना जाए। शोधकर्ताओं ने पेचीदा चीजों को अनदेखा करने का निर्णय लिया, जैसे कि जब कोई केवल जिज्ञासावश रोबोट को घूरता है या उसे देखकर मुस्कुराता है। वे क्षण बहुत व्यक्तिपरक होते हैं और उन पर सहमति बनाना कठिन होता है। इसके बजाय, उन्होंने केवल भौतिक इंटरैक्शन पर ध्यान केंद्रित किया—जब कोई वास्तव में रोबोट को छूता है, उसमें कुछ फेंकता है, या उससे कोई वस्तु उठाता है। यह डेटा को वस्तुनिष्ठ और सत्यापित करने में आसान बनाता है। उनका तर्क है कि भले ही हम चाहें कि रोबट मन पढ़ सकें या सूक्ष्म इशारों को समझ सकें, लेकिन स्पष्ट, भौतिक क्रियाओं से शुरुआत करना ही सीखने के लिए एक विश्वसनीय आधार बनाने का एकमात्र तरीका है।

तो, उन्हें क्या मिला? HUI360 डेटासेट, जिसमें लोगों और उनकी गतिविधियों के 10 लाख से अधिक एनोटेशन शामिल हैं, यह सिद्ध करता है कि रोबोट भौतिक इंटरैक्शन का आश्चर्यजनक सटीकता के साथ पूर्वानुमान लगाना सीख सकते हैं। जिन मॉडलों का परीक्षण किया गया, वे इंटरैक्शन होने से एक या दो सेकंड पहले इसकी भविष्यवाणी कर सकते थे, जो एक रोबोट के लिए अपना सिर घुमाने या अभिवादन की तैयारी करने के लिए पर्याप्त समय है। लेकिन पेपर यह भी सुझाव देता है कि यह तो बस शुरुआत है। मॉडल तब संघर्ष करते हैं जब वातावरण में भारी बदलाव आता है, जो यह संकेत देता है कि भविष्य के रोबोटों को वास्तविक दुनिया की अराजकता को संभालने के लिए बहुत अधिक लचीला होना होगा। इस विशाल डेटासेट और इसे बनाने के उपकरणों को जारी करके, लेखक वैज्ञानिक समुदाय को चाबियाँ सौंप रहे हैं, उन्हें बेहतर, अधिक सामाजिक रूप से जागरूक रोबोट बनाने के लिए आमंत्रित कर रहे हैं जो अंततः हमारे साथ वास्तविक दुनिया में नृत्य करना सीख सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →