🤖 AI

Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

यह शोध पत्र EDITH को प्रस्तुत करता है, जो एक पदानुक्रमित रोबोट फ्रेमवर्क है जो स्मार्ट ग्लासेस से प्राप्त वास्तविक समय के प्रथम-व्यक्ति दृश्य (first-person view), दृष्टि (gaze) और वाक् (speech) डेटा का लाभ उठाता है ताकि मौखिक और गैर-मौखिक मानवीय संकेतों की व्याख्या की जा सके, जिससे उपयोगकर्ताओं पर संचार के बोझ को कम करके अधिक स्वाभाविक और कुशल मानव-रोबोट संपर्क सक्षम किया जा सके।

मूल लेखक: Dongjun Lee, Juheon Choi, Dong Kyu Shin, Sinjae Kang, Kimin Lee

प्रकाशित 2026-06-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Dongjun Lee, Juheon Choi, Dong Kyu Shin, Sinjae Kang, Kimin Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट से एक बिखरी हुई वर्कशॉप में आपकी मदद करने के लिए कह रहे हैं।

पुराना तरीका: "सख्त लाइब्रेरियन"
वर्तमान में, अधिकांश रोबोट एक बहुत ही सख्त लाइब्रेरियन की तरह काम करते हैं जो केवल लिखित टेक्स्ट को समझते हैं। यदि आपको एक विशिष्ट स्क्रूड्राइवर चाहिए, तो आप बस उसकी ओर इशारा करके यह नहीं कह सकते, "वह वाला।" आपको एक विस्तृत वाक्य लिखना होगा: "कृपया मेज के बाईं ओर स्थित चांदी के फिलिप्स-हेड स्क्रूड्राइवर को उठाएं, जो लाल टूलबॉक्स के बगल में है, और इसे मुझे थमा दें।"

यदि आप कोई विवरण भूल जाते हैं या उसका वर्णन थोड़ा गलत कर देते हैं, तो रोबोट भ्रमित हो जाता है या गलत उपकरण उठा लेता है। मनुष्यों के लिए इतना सटीक होना थका देने वाला है, और यह अप्राकृतिक लगता है।

नया तरीका: EDITH ("मन पढ़ने वाला साथी")
यह पेपर EDITH नामक एक नई प्रणाली पेश करता है। EDITH को एक ऐसे रोबोट के रूप में सोचें जो विशेष चश्मे (जैसे प्रोजेक्ट एरिया) पहनता है जो उसे ठीक वही देखने देता है जो आप देख रहे हैं और जहाँ आपकी नज़र है।

केवल आपके शब्दों को सुनने के बजाय, EDITH वास्तविक समय में आपकी आँखों और आपके हाथों को देखता है। यदि आप एक विशिष्ट मफिन की ओर देखते हैं और कहते हैं, "मुझे यह वाला दे दो," तो EDITH तुरंत समझ जाता है। उसे लंबे पैराग्राफ के विवरण की आवश्यकता नहीं होती; उसे बस आपकी नज़र और एक संक्षिप्त शब्द की आवश्यकता होती है।

EDITH कैसे काम करता है: "मैनेजर और वर्कर"
EDITH काम पूरा करने के लिए दो-भागों वाली एक टीम का उपयोग करता है, जो एक निर्माण स्थल (कंस्ट्रक्शन साइट) के समान है:

मैनेजर (हाई-लेवल पॉलिसी): यह "मस्तिष्क" है जो आपको देखता है। यह देखता है कि आप किसी वस्तु की ओर देख रहे हैं और आप कहते हैं, "मुझे वह पकड़ाओ।" यह आपके इरादे को समझता है और बड़े अनुरोध को छोटे, स्पष्ट चरणों में तोड़ देता है। महत्वपूर्ण रूप से, यह उस सटीक क्षण का एक "स्नैपशॉट" (कीफ्रेम) लेता है जब आपने किसी वस्तु की ओर इशारा किया या देखा था। यह बिल्कुल वैसा ही है जैसे मैनेजर वर्कर से कहता है: "इस फोटो में इंसान जिस चीज़ को देख रहा है, उसे उठाओ।"
वर्कर (लो-लेवल पॉलिसी): यह "मांसपेशी" है जो वास्तव में रोबोट के हाथों को चलाती है। इसे अनुमान लगाने की ज़रूरत नहीं है कि आपका क्या मतलब था। इसे बस मैनेजर द्वारा दिए गए स्नैपशॉट को देखना है और उस विशिष्ट वस्तु को पकड़ने के लिए निर्देशों का पालन करना है।

यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने EDITH का तीन परिदृश्यों में परीक्षण किया:

मफिन परोसना: भीड़ भरी ट्रे में से विशिष्ट मफिन मांगना।
कप सॉर्ट करना: विशिष्ट कपों को विशिष्ट टोकरियों में रखना।
टूल्स पकड़ाना: कुछ बनाते समय टूल्स थमाना।

परिणाम:

सफलता: जब रोबोटों ने केवल शब्दों का उपयोग करके यह करने की कोशिश की, तो वे लगभग हर बार विफल रहे (7% से कम सफलता)। EDITH लगभग 60% बार सफल रहा।
प्रयास: एक यूजर स्टडी में, लोगों ने बताया कि EDITH का उपयोग करना मानसिक रूप से बहुत कम थकाऊ था। उन्हें सही शब्द खोजने के लिए संघर्ष नहीं करना पड़ा; वे बस इशारा कर सकते थे और कह सकते थे "यह वाला।"

कमी (सीमाएं)
पेपर दो मुख्य सीमाओं का उल्लेख करता है:

प्रतिक्रिया समय (Reaction Time): क्योंकि "मैनेजर" को यह समझने के लिए कि आप क्या चाहते हैं, वीडियो के कुछ सेकंडों को प्रोसेस करना पड़ता है, इसलिए इसमें थोड़ी देरी होती है। यह रिफ्लेक्स की तरह तत्काल नहीं होता है।
ऊंचाई का अंतर: सिस्टम को कुछ निश्चित ऊंचाइयों के लोगों पर प्रशिक्षित किया गया था। यदि बहुत लंबा या बहुत छोटा व्यक्ति इसका उपयोग करता है, तो कैमरे के नजरिए से उनका "इशारा" अलग दिखता है, और रोबोट भ्रमित हो सकता है। यह बिल्कुल वैसा ही है जैसे यदि सिस्टम को एक बच्चे की ऊंचाई से हाथ मिलाने को पहचानने के लिए सिखाया गया हो, लेकिन फिर एक वयस्क हाथ मिलाने की कोशिश करे; कोण अलग होता है।

सारांश में
EDITH एक रोबोट फ्रेमवर्क है जो मनुष्यों को रोबोट की तरह बोलने के लिए मजबूर करना बंद करता है। इसके बजाय, यह मनुष्यों को उस तरह से संवाद करने देता है जैसे वे स्वाभाविक रूप से करते हैं: अपनी दृष्टि या इशारे के साथ कुछ शब्दों को जोड़कर। यह आपके इशारे को समझने के लिए एक "मैनेजर" और कार्य को निष्पादित करने के लिए एक "वर्कर" का उपयोग करता है, जिससे मानव-रोबोट टीम वर्क एक मशीन को प्रोग्राम करने के बजाय एक मानव साथी के साथ काम करने जैसा महसूस होता है।

यहाँ "Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

मानव-रोबोट इंटरेक्शन (HRI) के लिए वर्तमान रोबोट नीतियां मानव इरादे (intent) को संप्रेषित करने के लिए लगभग पूरी तरह से भाषाई निर्देशों पर निर्भर करती हैं। हालाँकि भाषा लचीली है, लेकिन यह अक्सर मानवीय संचार के पूर्ण स्पेक्ट्रम को पकड़ने में विफल रहती है। स्वाभाविक अंतःक्रियाओं में, मनुष्य अक्सर अपनी मौखिक अनुरोधों को पुख्ता करने के लिए गैर-मौखिक संकेतों—जैसे कि आंखों की दृष्टि (eye gaze), इशारा करने वाले जेस्चर (pointing gestures), और चल रही गतिविधियों—पर निर्भर करते हैं। केवल भाषा पर निर्भर रहने से उपयोगकर्ताओं को पूरी तरह से निर्दिष्ट, विस्तृत विवरण देने के लिए मजबूर होना पड़ता है (जैसे, "मुझे वह धातु का प्रोफाइल दें जिसका सिरा षटकोणीय है और जो हरे रंग के रिंच के बाईं ओर स्थित है"), जो संज्ञानात्मक रूप से बोझिल और अपरिभाषित है। इसके विपरीत, मौजूदा गैर-मौखिक दृष्टिकोण अक्सर मॉड्यूलर पाइपलाइनों के माध्यम से संसाधित होने पर क्षणिक या कमजोर संकेतों (जैसे, संक्षिप्त नज़र) को संभालने में संघर्ष करते हैं। मुख्य चुनौती एक ऐसा रोबोट फ्रेमवर्क विकसित करना है जो वास्तविक समय में मानव के मौखिक और गैर-मौखिक संकेतों के निरंतर प्रवाह की संयुक्त रूप से व्याख्या कर सके ताकि इरादे को समझ सके और स्वाभाविक रूप से कार्यों को निष्पादित कर सके।

कार्यप्रणाली: EDITH फ्रेमवर्क (Methodology: The EDITH Framework)

लेखक EDITH प्रस्तुत करते हैं, जो एक रोबोट फ्रेमवर्क है जिसे मानव के प्रथम-व्यक्ति दृश्य (एगोसेंट्रिक कॉन्टेक्स्ट), आंखों की दृष्टि (eye gaze), और भाषण (speech) को रोबोट की नियंत्रण नीति में एकीकृत करने के लिए डिज़ाइन किया गया है। यह प्रणाली दो मुख्य घटकों से बनी है: एक हार्डवेयर सेटअप और एक पदानुक्रमित नीति संरचना (hierarchical policy architecture)।

1. हार्डवेयर सिस्टम (Hardware System)
EDITH में मानव उपयोगकर्ता द्वारा पहने गए Project Aria glasses का उपयोग किया जाता है। ये चश्मे निम्नलिखित स्ट्रीम करते हैं:

एगोसेंट्रिक कॉन्टेक्स्ट ( $C^{ego}_t$ ): प्रथम-व्यक्ति RGB चित्र।
गेज़ कोऑर्डिनेट्स (Gaze Coordinates): वीडियो फ्रेम पर प्रोजेक्ट किया गया रियल-टाइम आई-ट्रैकिंग डेटा।
भाषण (Speech): ऑडियो जिसे एक API के माध्यम से भाषा निर्देशों ( $\ell_t$ ) में ट्रांसक्राइब किया गया है।
इन संकेतों को टाइमस्टैम्प के माध्यम से रोबोट की प्रोप्रियोसेप्टिव स्थिति और कैमरा अवलोकनों ( $o_t$ ) के साथ सिंक्रोनाइज़ किया जाता है, जिससे एक संरेखित मल्टीमॉडल स्ट्रीम बनती है।

2. पदानुक्रमित नीति संरचना (Hierarchical Policy Architecture)
मानव संकेतों की समृद्धि और शोर (noise) को संभालने के लिए, EDITH एक पदानुक्रमित नीति का उपयोग करता है जिसमें एक उच्च-स्तरीय योजनाकार ( $\pi_h$ ) और एक निम्न-स्तरीय निष्पादक ( $\pi_l$ ) शामिल है, जो एक एसिंक्रोनस टास्क क्यू ( $Q$ ) द्वारा जुड़े हुए हैं।

उच्च-स्तरीय नीति ( $\pi_h$ ): इसे एक विजन-लैंग्वेज मॉडल (VLM), विशेष रूप से Gemini-3.1-Flash-Lite का उपयोग करके लागू किया गया है।
- इनपुट: यह मानव के एगोसेंट्रिक कॉन्टेक्स्ट और भाषा निर्देशों के एक स्लाइडिंग विंडो को प्रोसेस करता है। इनपुट को एक वीडियो क्लिप के रूप में रेंडर किया जाता है जहाँ गेज़ मार्कर्स को फ्रेम पर ओवरले किया जाता है और स्पीच को समय-संरेखित कैप्शन के रूप में जोड़ा जाता है।
- कार्य: $\pi_h$ मानव इरादे का अनुमान लगाता है और उसे उप-कार्यों (subtasks) के एक अनुक्रम में विभाजित करता है।
- आउटपुट: प्रत्येक उप-कार्य एक जोड़ी है जिसमें एक सूक्ष्म निर्देश (जैसे, "लाल हैंडल वाला ड्राइवर उठाएं") और एक कीफ्रेम ( $C^{key}$ ) शामिल है। कीफ्रेम इनपुट स्ट्रीम से प्राप्त एक विशिष्ट फ्रेम है जहाँ गैर-मौखिक संकेत (जैसे, गेज़ फिक्सेशन या पॉइंटिंग जेस्चर) सबसे स्पष्ट रूप से व्यक्त किया गया है। यह इरादे को दृश्य रूप से ग्राउंड करता है, उन अस्पष्टताओं को हल करता है जिन्हें केवल भाषा अकेले नहीं सुलझा सकती।
- तंत्र: उप-कार्यों को टास्क क्यू $Q$ में जोड़ा जाता है। यदि कोई इरादा पता नहीं चलता है, तो क्यू अपरिवर्तित रहता है।
निम्न-स्तरीय नीति ( $\pi_l$ ): इसे एक पूर्व-प्रशिक्षित विजन-लैंग्वेज-एक्शन (VLA) मॉडल ( $\pi0.5$ ) को फाइन-ट्यून करके लागू किया गया है।
- इनपुट: यह रोबोट का वर्तमान अवलोकन ( $o_t$ ), क्यू के शीर्ष से प्राप्त उप-कार्य निर्देश, और संबंधित कीफ्रेम प्राप्त करता है।
- कार्य: $\pi_l$ निम्न-स्तरीय रोबोट क्रियाओं ( $a_t$ ) और एक पूर्णता की संभावना ( $p_t$ ) की भविष्यवाणी करके उप-कार्य को निष्पादित करता है।
- तंत्र: एक बार जब $p_t$ एक थ्रेशोल्ड से अधिक हो जाता है, तो उप-कार्य को क्यू से निकाल दिया जाता है, और अगले कार्य को निष्पादित किया जाता है।

3. प्रशिक्षण रणनीति (Training Strategy)

डेटा संग्रह: प्रदर्शन (demonstrations) वहां एकत्र किए जाते हैं जहां एक मानव अभिनेता (Aria glasses पहने हुए) एक रोबोट टेलीऑपरेटर के साथ बातचीत करता है। टेलीऑपरेटर मानव के मल्टीमॉडल संकेतों के आधार पर अनुरोधों को पूरा करता है। प्रक्षेपवक्र (trajectories) को उप-कार्यों में विभाजित किया जाता है और सूक्ष्म निर्देशों, कीफ्रेम और पूर्णता की संभावनाओं के साथ एनोटेट किया जाता है।
मोडालिटी ड्रॉपआउट (Modality Dropout): निम्न-स्तरीय नीति को केवल एक मोडालिटी (जैसे, कीफ्रेम को अनदेखा करना यदि टेक्स्ट पर्याप्त है) पर निर्भर होने से रोकने के लिए, लेखक प्रशिक्षण के दौरान मोडालिटी ड्रॉपआउट रणनीति का उपयोग करते हैं। समान संभावना के साथ, वे या तो: (i) दोनों मोडालिटी रखते हैं, (ii) निर्देश को एक कम-विशिष्ट संस्करण से बदलते हैं (कीफ्रेम पर निर्भरता के लिए मजबूर करना), या (iii) कीफ्रेम को एक खाली इमेज से बदलते हैं (निर्देश पर निर्भरता के लिए मजबूर करना)।

मुख्य परिणाम (Key Results)

लेखकों ने तीन चुनौतीपूर्ण HRI कार्यों पर EDITH का मूल्यांकन किया: Muffin-Serving, Tumbler-Sorting, और Tool-Passing। सभी कार्यों में, भाषा निर्देश जानबूझकर कम-विशिष्ट (underspecified) रखे गए थे, जिसके लिए रोबोट को गैर-मौखिक संकेतों की व्याख्या करने की आवश्यकता थी।

प्रदर्शन: EDITH ने औसतन 59.7% की सफलता दर (SR) और 84.7% की कार्य प्रगति (TP) प्राप्त की।
बेसलाइन तुलना:
- भाषा-मात्र बेसलाइन (एंड-टू-एंड $\pi^{lang}_l$ और पदानुक्रमित $\pi^{lang}_h + \pi^{lang}_l$ ) खराब प्रदर्शन करते रहे, जिनका औसत SR 6.5% से नीचे था।
- बिना पदानुक्रमित कीफ्रेम तंत्र के एगोसेंट्रिक कॉन्टेक्स्ट का उपयोग करने वाली एक एंड-टू-एंड नीति ( $\pi^{ego+lang}_l$ ) ने असंगत प्रदर्शन दिखाया, जो उन कार्यों में काफी विफल रही जहाँ मानवीय ध्यान रुक-रुक कर आता था (जैसे, Tool-Passing)।
एब्लेशन अध्ययन (Ablation Studies):
- कीफ्रेम को हटाने से सफलता दर में ~50% की गिरावट आई, जो विजन-लैंग्वेज मॉडल के मतिभ्रम (hallucinations) और अस्पष्ट वाक्यांशों को रोकने के लिए विजुअल ग्राउंडिंग की आवश्यकता को रेखांकित करता है।
- एगोसेंट्रिक कॉन्टेक्स को हटाने (केवल रोबोट-व्यू कीफ्रेम का उपयोग करने) से ~34% की गिरावट आई, जो पैरलैक्स (parallax) संबंधी मुद्दों के कारण हुआ, जहाँ पॉइंटिंग जेस्चर रोबोट के दृष्टिकोण से अस्पष्ट होते हैं लेकिन मानव के दृष्टिकोण से स्पष्ट होते हैं।
मजबूती (Robustness): EDITH ने तब भी प्रदर्शन बनाए रखा जब मनुष्य विचलित थे (जैसे, फोन चेक करना), जबकि एंड-टू-एंड बेसलाइन काफी गिर गए।
उपयोगकर्ता अध्ययन: 16 प्रतिभागियों के एक अध्ययन ने दिखाया कि EDITH ने भाषा-मात्र बेसलाइन की तुलना में निर्देश कार्यभार (instruction workload) (मानसिक मांग, प्रयास, हताशा) को काफी कम कर दिया ( $p < 0.001$ )। उपयोगकर्ताओं ने विस्तृत मौखिक विवरणों के बजाय संक्षिप्त कथनों और जेस्चर के माध्यम से इरादे को संप्रेषित करना बहुत आसान पाया।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि EDITH प्राकृतिक मानव-रोबोट इंटरेक्शन को सक्षम करने के लिए मौखिक निर्देशों के साथ गैर-मौखिक संकेतों का लाभ उठाने की क्षमता प्रदर्शित करता है। मुख्य योगदान निम्नलिखित हैं:

एगोसेंट्रिक संकेतों का एकीकरण: यह रोबोटिक क्रियाओं को ग्राउंड करने के लिए निरंतर प्रथम-व्यक्ति दृश्य और गेज़ का सफलतापूर्वक कैप्चर और उपयोग करता है, जो टेक्स्ट-ओनली इंटरफेस की सीमाओं से आगे बढ़ता है।
पदानुक्रमित डिज़ाइन: इरादा अनुमान (उच्च-स्तरीय) और क्रिया निष्पादन (निम्न-स्तरीय) का पृथक्करण, कीफ्रेम के उपयोग के साथ मिलकर, शोर वाले और क्षणिक गैर-मौखिक संकेतों को प्रभावी ढंग से संभालता है जिन्हें मॉड्यूलर पाइपलाइन या एंड-टू-एंड मॉडल संभालने में संघर्ष करते हैं।
कम उपयोगकर्ता बोझ: मनुष्यों को प्राकृतिक गैर-मौखिक संकेतों पर भरोसा करने की अनुमति देकर, यह प्रणाली रोबोट के साथ संवाद करने के लिए आवश्यक संज्ञानात्मक भार को काफी कम करती है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें विंडो-आधारित प्रोसेसिंग के कारण होने वाली लेटेंसी (latency) और प्रशिक्षण डेटा में मौजूद उपयोगकर्ताओं के भौतिक गुणों (जैसे, ऊंचाई) से काफी भिन्न उपयोगकर्ताओं के लिए कम सामान्यीकरण (generalization) शामिल है, जो विविध डेटा संग्रह और रियल-टाइम स्ट्रीमिंग VLMs में भविष्य के कार्य का सुझाव देते हैं।

समस्या विवरण (Problem Statement)

कार्यप्रणाली: EDITH फ्रेमवर्क (Methodology: The EDITH Framework)

मुख्य परिणाम (Key Results)

महत्व और दावे (Significance and Claims)

इसी तरह के और पेपर