Point & Grasp: Flexible Selection of Out-of-Reach Objects Through Probabilistic Cue Integration

तकनीकी सारांश: Point & Grasp

शीर्षक: Point & Grasp: संभाव्य संकेत एकीकरण (Probabilistic Cue Integration) के माध्यम से पहुँच से बाहर की वस्तुओं का लचीला चयन
लेखक: Xuejing Luo, Hee-Seung Moon, Christian Holz, और Antti Oulasvirta (CHI ’26)

---

1. समस्या विवरण (Problem Statement)

मिश्रित वास्तविकता (Mixed Reality - MR) में, उपयोगकर्ताओं को अक्सर उन वस्तुओं को चुनने की आवश्यकता होती है जो भौतिक रूप से पहुँच से बाहर हैं (जैसे, 3D वर्कस्पेस में आभासी उपकरण)। मौजूदा चयन विधियाँ आमतौर पर उपयोगकर्ता द्वारा उत्पन्न एकल प्रकार के संकेत (cue) पर निर्भर करती हैं, जिससे प्रदर्शन में गिरावट आती है जब वह संकेत अस्पष्ट हो जाता है:

• दिशात्मक संकेत (जैसे, Raycasting): जब वस्तुएं छोटी, घनी या छिपी हुई होती हैं, तो ये स्थानिक अस्पष्टता (spatial ambiguity) से ग्रस्त होते हैं।
• जेस्चरल संकेत (जैसे, Grasping/पकड़ना): जब कई वस्तुओं के आकार या कार्यात्मक उपयोग (जैसे, एक मग बनाम एक वाइनग्लास) समान होते हैं, तो ये सिमेंटिक अस्पष्टता (semantic ambiguity) से ग्रस्त होते हैं।

वर्तमान मल्टी-क्यू (multi-cue) दृष्टिकोण अक्सर निश्चयात्मक (deterministic) होते हैं (नियम-आधारित), जिसका अर्थ है कि वे संकेतों को निश्चित भूमिकाएँ सौंपते हैं (जैसे, चयन के लिए गेज़ और कमांड के लिए जेस्चर)। यह सिस्टम को तब अलग संकेत पर निर्भरता बदलने से रोकता है जब प्राथमिक संकेत अविश्वसनीय हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक Point&Grasp का प्रस्ताव करते हैं, जो एक बेयसियन फ्रेमवर्क (Bayesian framework) का उपयोग करके आउट-ऑफ-रीच चयन को एक संभाव्य इरादा अनुमान समस्या (probabilistic intent inference problem) के रूप में मानता है।

A. बेयसियन क्यू इंटीग्रेशन फ्रेमवर्क (Bayesian Cue Integration Framework)
सिस्टम देखे गए कई संकेतों $C$ (दिशा $c_D$ और जेस्चर $c_G$) के दिए गए कई संकेतों के आधार पर वस्तु $o$ के इच्छित लक्ष्य होने की पश्चवर्ती संभावना (posterior probability) को मॉडल करता है:
$$p(o|C) \propto p(o) \cdot p(c_D|o) \cdot p(c_G|o)$$

• दिशात्मक संभावना (Directional Likelihood) $p(c_D|o)$: इसे वस्तु की स्थिति पर केंद्रित एक गॉसियन वितरण (Gaussian distribution) के रूप में मॉडल किया गया है, जहाँ रे का एंडपॉइंट (कलाई की स्थिति) अवलोकन के रूप में कार्य करता है।
• जेस्चरल संभावना (Gestural Likelihood) $p(c_G|o)$: इसे एक सीखे हुए न्यूरल नेटवर्क के माध्यम से अनुमानित किया जाता है जो हाथ की विन्यास (hand configuration) और वस्तु की ज्यामिति के बीच अनुकूलता को कैप्चर करता है।

B. जेस्चर-ऑब्जेक्ट संभावना मॉडल (Gesture-Object Likelihood Model)
जेस्चरल संभावना को लागू करने के लिए, लेखकों ने एक डुअल-ब्रांच एनकोडर (dual-branch encoder) आर्किटेक्चर विकसित किया है:

• हैंड एनकोडर (Hand Encoder): कलाई के सापेक्ष 3D जॉइंट पोजीशन को एक MLP के माध्यम से प्रोसेस करता है ताकि 256-आयामी जेस्चर एम्बेडिंग बनाई जा सके।
• ऑब्जेक्ट एनकोडर (Object Encoder): ऑब्जेक्ट पॉइंट क्लाउड्स को बेसिस पॉइंट सेट (BPS) प्रतिनिधित्व में बदलता है, फिर उन्हें एक MLP के माध्यम से प्रोसेस करता है ताकि 256-आयामी ऑब्जेक्ट एम्बेडिंग बनाई जा सके।
• फ्यूजन (Fusion): एम्बेडिंग्स को संयोजित (concatenate) किया जाता है और $p(c_G|o)$ आउटपुट करने के लिए सिग्मॉइड एक्टिवेशन के साथ एक फ्यूजन MLP से गुजारा जाता है।

C. डेटा संग्रह (The ORG Dataset)
अपने मॉडल को प्रशिक्षित करने के लिए, लेखकों ने आउट-ऑफ-रीच ग्रैस्पिंग (ORG) डेटासेट पेश किया है। मौजूदा डेटासेट्स के विपरीत जो भौतिक, इन-रीच ग्रैस्पिंग पर ध्यान केंद्रित करते हैं, ORG दूरस्थ वस्तुओं की ओर किए गए मिड-एयर जेस्चर को कैप्चर करता है। इसमें शामिल हैं:

• पॉजिटिव सैंपल्स: एक विशिष्ट वस्तु के लिए इच्छित जेस्चर।
• नेगेटिव सैंपल्स: इस बारे में व्यक्तिपरक मूल्यांकन कि क्या एक जेचर "डिस्ट्रैक्टर" (विचलित करने वाली) वस्तुओं के साथ संगत है।

3. मुख्य योगदान (Key Contributions)

1. संभाव्य फ्रेमवर्क (Probabilistic Framework): इरादा अनुमान के लिए विषम (heterogeneous), पूरक संकेतों (स्थानिक बनाम सिमेंटिक) को फ्यूज करने के लिए एक सिद्धांत-आधारित बेयसियन दृष्टिकोण।
2. Point&Grasp तकनीक: एक नवीन इंटरैक्शन विधि जो दिशात्मक और सिमेंटिक दोनों जानकारी प्रदान करने के लिए सिंगल हैंड-ट्रैकिंग इनपुट का उपयोग करती है।
3. ORG डेटासेट: मिड-एयर, आउट-ऑफ-रीच ग्रैस्पिंग जेस्चर का पहला व्यवस्थित डेटासेट, जो संभाव्य मॉडलिंग के लिए आवश्यक ग्राउंड ट्रुथ प्रदान करता है।
4. पोज़-अवेयर मॉडल (Pose-Aware Model): एक डीप लर्निंग मॉडल जो विभिन्न उपयोगकर्ताओं के बीच सामान्यीकरण (generalize) करने में सक्षम है और अनदेखी वस्तु आकृतियों पर आंशिक रूप से ट्रांसफर हो सकता है।

4. परिणाम (Results)

लेखकों ने सिस्टम को मान्य करने के लिए दो उपयोगकर्ता अध्ययन किए:

• अध्ययन 1 (Single-Cue Baselines के विरुद्ध):

  • प्रदर्शन: Point&Grasp ने चयन समय (selection time) और पूर्णता दर (completion rate) दोनों में "Point-only" और "Grasp-only" विधियों की तुलना में काफी बेहतर प्रदर्शन किया।
  • मजबूती (Robustness): इसने व्यक्तिगत संकेतों की कमजोरियों को सफलतापूर्वक कम किया। जब स्थानिक अस्पष्टता अधिक थी, तो सिस्टम जेस्चर पर झुका; जब सिमेंटिक अस्पष्टता अधिक थी, तो यह दिशा पर झुका।
  • क्यू समझौता (Cue Agreement): सिस्टम दोनों संकेतों से कमजोर साक्ष्य एकत्र करके उन चयनों को भी "बचाने" (rescue) में सक्षम था, जहाँ अकेले कोई भी संकेत पर्याप्त नहीं था।

• अध्ययन 2 (State-of-the-Art के विरुद्ध):

  • BubbleRay (अनुकूली क्षेत्र) और Expand (प्रगतिशील परिशोधन) के विरुद्ध तुलना की गई।
  • निष्कर्ष: Point&Grasp कम-स्थानिक-अस्पष्टता वाले दृश्यों में (परिशोधन ओवरहेड से बचकर) Expand की तुलना में तेज़ था और उच्च-स्थानिक-अस्पष्टता वाले दृश्यों में BubbleRay की तुलना में तेज़ था। इसने सटीक पॉइंटिंग पर निर्भरता को कम करने के लिए सिमेंटिक जानकारी का उपयोग करके बेहतर मजबूती प्रदर्शित की।

5. महत्व (Significance)

यह कार्य MR इंटरैक्शन के प्रतिमान (paradigm) को निश्चयात्मक, सिंगल-क्यू ट्रिगर्स से संभाव्य, मल्टीमॉडल अनुमान (probabilistic, multimodal inference) की ओर स्थानांतरित करता है। यह पहचानकर कि मानव जेस्चर स्वाभाविक रूप से बहु-आयामी होते हैं (यह बताते हुए कि हम कहाँ देख रहे हैं और हम क्या करना चाहते हैं), लेखक जटिल, अव्यवस्थित 3D वातावरण को संभालने का एक स्केलेबल तरीका प्रदान करते हैं। यह फ्रेमवर्क वास्तविक समय के उपयोग के लिए पर्याप्त हल्का है और इसे गेज़ या स्पीच जैसे अन्य मोडैलिटीज में विस्तारित किया जा सकता है।