💻 computer science

StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

StableHand एक गुणवत्ता-जागरूक फ्लो-मैचिंग फ्रेमवर्क है जो चार-चैनल गुणवत्ता संकेत के माध्यम से प्रति-फ्रेम अवलोकन विश्वसनीयता के अनुसार गतिशील रूप से अनुकूलित होकर, एगोसेंट्रिक वीडियो से वर्ल्ड-स्पेस डुअल-हैंड मोशन एस्टीमेशन में सुधार करता है, जिससे अवरोधों (occlusions) और लुप्त डेटा को संभालने में अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने अपने सिर पर एक कैमरा पहना हुआ है, जो आपके हाथों के हिलने-डुलने, कुछ बनाने या वस्तुओं के साथ खेलने की रिकॉर्डिंग कर रहा है। इसे "एगोसेंट्रिक वीडियो" (egocentric video) कहा जाता है। अब, कल्पना कीजिए कि आप चाहते हैं कि एक रोबोट इस वीडियो को देखकर सीखे कि आपके हाथ 3D स्पेस में ठीक कैसे चलते हैं।

समस्या क्या है? आपके हाथ अक्सर गायब हो जाते हैं। कभी-कभी आप अपना सिर घुमा देते हैं और आपके हाथ कैमरे के दृश्य से बाहर चले जाते हैं। अन्य समय पर, आप किसी बर्तन या किताब को पकड़ लेते हैं, और वह वस्तु आपके हाथों को देखने से कैमरे को रोक देती है।

StableHand एक नया कंप्यूटर प्रोग्राम है जिसे इन गायब हिस्सों को भरने वाले एक "सर्वश्रेष्ठ अनुमान" लगाने वाले जासूस के रूप में डिज़ाइन किया गया है। यह केवल अंदाज़ा नहीं लगाता; यह यह तय करने के लिए एक स्मार्ट सिस्टम का उपयोग करता है कि किस पर भरोसा करना है और किसे ठीक करना है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "ट्रस्ट मीटर" (गुणवत्ता संकेत)

अधिकांश पिछले प्रोग्राम वीडियो के हर फ्रेम के साथ एक जैसा व्यवहार करते थे। यदि कैमरा आपके हाथ को देख पाता था, तो वे उसका उपयोग करते थे। यदि हाथ धुंधला था या ढका हुआ था, तब भी वे उसका उपयोग करने की कोशिश करते थे, जिससे अक्सर रोबोट की हरकतें डगमगाती हुई या गलत दिखाई देती थीं।

StableHand अलग है। इसमें आपके हाथ के हर हिस्से के लिए एक अंतर्निहित "ट्रस्ट मीटर" (Trust Meter) है।

यह आपके कलइयों (वे बड़े जोड़ जो आपके हाथ को इधर-उधर घुमाते हैं) की जाँच करता है।
यह आपकी उंगलियों (वे छोटे जोड़ जो पकड़ने का काम करते हैं) की जाँच करता है।
यह बाएं हाथ और दाएं हाथ की अलग-अलग जाँच करता है।

यह इन चार हिस्सों में से प्रत्येक को 0 से 1 तक का स्कोर देता है।

उच्च स्कोर (1.0): "मैं इसे स्पष्ट रूप से देख पा रहा हूँ! मैं इस डेटा पर पूरी तरह भरोसा करता हूँ।"
कम स्कोर (0.0): "यह धुंधला है, ढका हुआ है, या गायब है। मैं इस डेटा पर भरोसा नहीं कर सकता।"

2. "स्मार्ट एडिटर" (फ्लो मैचिंग)

एक बार जब प्रोग्राम के पास ये ट्रस्ट स्कोर आ जाते हैं, तो यह फ्लो मैचिंग (Flow Matching) नामक तकनीक का उपयोग करने वाले एक बहुत ही स्मार्ट वीडियो एडिटर की तरह कार्य करता है। इसे एक जादुई प्रक्रिया के रूप में सोचें जो एक अव्यवस्थित वीडियो को "स्मूथ" कर सकती है या एक गायब दृश्य को "पुनर्निर्मित" कर सकती है।

यहाँ जादू का तरीका है:

यदि ट्रस्ट स्कोर उच्च है: प्रोग्राम कहता है, "मैं इस हिस्से को स्पष्ट रूप से देख रहा हूँ, इसलिए मैं इसे लॉक कर दूँगा।" यह मूल वीडियो डेटा को बिल्कुल वैसा ही रखता है जैसा वह है, जिससे गति सटीक बनी रहती है।
यदि ट्रस्ट स्कोर कम है: प्रोग्राम कहता है, "मैं इस हिस्से को ठीक से नहीं देख पा रहा हूँ। मैं बुरे डेटा को अनदेखा कर दूँगा और अपनी इस याद का उपयोग करूँगा कि हाथ आमतौर पर कैसे चलते हैं ताकि इसे पुनर्निर्मित किया जा सके।"

यह प्रत्येक हाथ के हिस्से के लिए स्वतंत्र रूप से ऐसा करता है। इसलिए, यदि आपकी बाईं कलाई दिखाई दे रही है लेकिन आपकी बाईं उंगलियां कप के पीछे छिपी हुई हैं, तो यह कलाई को उसकी जगह पर लॉक कर देता है और उंगलियों को इस आधार पर "हैलुसिनेट" (पुनर्निर्मित) करता है कि हाथ स्वाभाविक रूप से कैसे चलते हैं।

3. "मेमोरी बैंक" (द प्रायर)

प्रोग्राम को यह कैसे पता चलता है कि गायब उंगलियों को कैसे पुनर्निर्मित किया जाए? इसने दोनों हाथों का उपयोग करने वाले लोगों के हजारों घंटों के वीडियो का अध्ययन किया है। इसने एक "मेमोरी बैंक" सीखा है कि हाथ आमतौर पर एक साथ कैसे चलते हैं। जब कैमरा विफल हो जाता है, तो यह खाली जगहों को भरने के लिए इस मेमोरी बैंक से जानकारी निकालता है, जिससे पुनर्निर्मित हाथ प्राकृतिक और दूसरे हाथ के अनुरूप दिखता है।

4. यह बेहतर क्यों है (परिणाम)

शोधकर्ताओं ने दो कठिन वीडियो डेटासेट पर StableHand का परीक्षण किया:

HOT3D: ऐसे वीडियो जहाँ लोग बहुत अधिक सिर हिलाते हैं, जिससे हाथ लंबे समय के लिए कैमरे के दृश्य से गायब हो जाते हैं।
ARCTIC: ऐसे वीडियो जहाँ लोग वस्तुओं के साथ जटिल कार्य करते हैं, जहाँ हाथ लगातार पकड़ी जाने वाली वस्तु द्वारा बाधित होते हैं।

परिणाम: StableHand पिछले तरीकों की तुलना में काफी अधिक सटीक था।

इसने त्रुटियों को 20-25% तक कम कर दिया।
यह सबसे कठिन हिस्सों में विशेष रूप से अच्छा था: जब हाथ पूरी तरह से छिपे हुए थे या बहुत अधिक बाधित थे।
पुराने तरीकों के विपरीत, जो "ड्रिफ्ट" (जहाँ हाथ धीरे-धीरे गलत जगह की ओर खिसक जाता है) करते थे, StableHand वास्तविक दुनिया से जुड़ा रहता है।

सारांश उपमा

कल्पना कीजिए कि आप एक जिग्सॉ पहेली (jigsaw puzzle) को पूरा करने की कोशिश कर रहे हैं, लेकिन उसके कुछ हिस्से गायब हैं और आपके पास मौजूद कुछ हिस्से दागदार और धुंधले हैं।

पुराने तरीके उन दागदार हिस्सों को जबरदस्ती फिट करने की कोशिश करते थे, जिससे तस्वीर विकृत दिखाई देती थी।
StableHand हर टुकड़े को देखता है। यदि कोई टुकड़ा साफ है, तो वह उसे पहेली में रखता है। यदि कोई टुकड़ा दागदार या गायब है, तो वह एक खराब टुकड़े को जबरदस्ती नहीं डालता। इसके बजाय, वह आसपास के साफ टुकड़ों को देखता है और चित्र के बारे में अपने ज्ञान का उपयोग करके गायब हिस्से को पूरी तरह से दोबारा पेंट (चित्रित) कर देता है।

यह रोबोटों को मानव वीडियो से बहुत अधिक विश्वसनीयता के साथ सीखने की अनुमति देता है, भले ही कैमरे का दृश्य अपूर्ण क्यों न हो।

तकनीकी सारांश: StableHand

समस्या विवरण

एगोसेंट्रिक (egocentric) वीडियो से दो परस्पर क्रिया करने वाले हाथों की वर्ल्ड-स्पेस 4D गति को रिकवर करना रोबोट पॉलिसी लर्निंग को सुपरवाइज करने के लिए एक महत्वपूर्ण क्षमता है, जहाँ रिस्ट (wrist) ट्रैजेक्टरीज एंड-इफेक्टर्स का मार्गदर्शन करती हैं और उंगलियों के आर्टिक्यूलेशन ग्रैस्प पोज़ (grasp poses) को परिभाषित करते हैं। हालाँकि, इस कार्य को एगोसेंट्रिक सेटिंग में दो प्राथमिक चुनौतियों का सामना करना पड़ता है:

विस्तारित आउट-ऑफ-व्यू स्पैन (Extended Out-of-View Spans): सिर और हाथ की संयुक्त गति अक्सर एक या दोनों हाथों को लंबे अंतराल के लिए कैमरा फ्रस्टम से बाहर कर देती है।
निरंतर ऑक्लूजन (Persistent Occlusions): डेक्सट्रस द्विपक्षीय हेरफेर (bimanual manipulation) और हाथ-वस्तु इंटरैक्शन के कारण हाथों का गंभीर, और अक्सर असममित (asymmetric) ऑक्लूजन होता है।

मौजूदा पद्धतियाँ इन परिदृश्यों में महत्वपूर्ण सीमाओं से ग्रस्त हैं। SLAM-आधारित पाइपलाइन बिना टेम्पोरल प्रायर्स (temporal priors) के प्रति-फ्रेम कैमरा-फ्रेम पोज़ को वर्ल्ड फ्रेम में ट्रांसफॉर्म करती हैं, जिससे मिसिंग-हैंड स्पैन के दौरान विनाशकारी ड्रिफ्ट (catastrophic drift) होता है। नेटिव वर्ल्ड-स्पेस पद्धतियाँ सीक्वेंस-लेवल मोशन प्रायर्स सीखती हैं, लेकिन आमतौर पर विजुअल फीचर्स पर समान रूप से निर्भर रहती हैं, जो अवलोकन की विषमता (heterogeneity of observation reliability) को समझने में विफल रहती हैं। विशेष रूप से, वे इस तथ्य को अनदेखा करती हैं कि रिस्ट ग्लोबल ड्रिफ्ट एरर्स, फिंगर आर्टिक्यूलेशन एरर्स की तुलना में काफी बड़े होते हैं और ऑक्लूजन दोनों हाथों को असममित रूप से खराब करता है।

कार्यप्रणाली (Methodology)

लेखक StableHand का प्रस्ताव करते हैं, जो एक क्वालिटी-अवेयर फ्लो-मैचिंग फ्रेमवर्क है जिसे अवलोकनों की प्रति-घटक गुणवत्ता (per-component quality) का स्पष्ट रूप से लाभ उठाकर वर्ल्ड-स्पेस डुअल-हैंड ट्रैजेक्टरीज को सिंथेसाइज करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो क्रमबद्ध तरीके से प्रशिक्षित किए गए मॉड्यूल से बना है:

1. एडेप्टिव क्वालिटी सिग्नल और नेटवर्क

मुख्य अंतर्दृष्टि यह है कि अवलोकन की गुणवत्ता घटकों (रिस्ट बनाम फिंगर्स) और हाथों (बाएं बनाम दाएं) के बीच विषम (heterogeneous) होती है।

क्वालिटी की परिभाषा: सिस्टम हैंड मोशन क्वालिटी को चार चैनलों में विभाजित करता है: बायां रिस्ट ( $L_W$ ), बाएं फिंगर्स ( $L_F$ ), दायां रिस्ट ( $R_W$ ), और दाएं फिंगर्स ( $R_F$ )। क्वालिटी $q \in [0, 1]$ को रेडियल बेसिस फंक्शन (RBF) कर्नेल का उपयोग करके देखे गए और ग्राउंड-ट्रुथ जॉइंट्स के बीच त्रुटि से प्राप्त किया जाता है: $q = \exp(-e/\sigma)$ ।
क्वालिटी नेटवर्क (QN): चूंकि इंफरेंस के समय ग्राउंड-ट्रुथ एरर्स उपलब्ध नहीं होते हैं, इसलिए एक सीखा हुआ क्वालिटी नेटवर्क सीधे प्रति-घटक त्रुटि $\hat{e}$ $\overset{e}{^}$ (मिलीमीटर में) की भविष्यवाणी करता है। नेटवर्क इनपुट लेता है:
- एक फ्रोजन ऑफ-द-शेल्फ एस्टीमेटर से वर्ल्ड-स्पेस MANO ऑब्जर्वेशन्स ( $\bar{y}$ )।
- बाइनरी हैंड-कॉन्फिडेंस फ्लैग्स ( $\delta$ )।
- प्रति-फ्रेम कैमरा पोज़ ( $g$ )।
- टेम्पोरल सेल्फ-अटेंशन के माध्यम से एग्रीगेट किया गया एक लर्न करने योग्य ट्रैजेक्टरी-लेवल कॉन्टेक्स्ट टोकन।
प्रशिक्षण: QN को आठ एगोसेंट्रिक द्विपक्षीय कॉर्पोरा (~10M फ्रेम्स) पर प्री-ट्रेन किया गया है। इसे एरर मैग्नीट्यूड को मैच करने के लिए लॉग-स्पेस MSE लॉस और प्रेडिक्टेड एरर्स के एम्पिरिकल डिस्ट्रीब्यूशन को ग्राउंड ट्रुथ के साथ अलाइन करने के लिए एक ऑक्सिलरी 1D Wasserstein-1 डिस्टेंस लॉस द्वारा सुपरवाइज किया जाता है, जिससे यह सुनिश्चित होता है कि डिप्लॉयमेंट-टाइम बैंडविड्थ $\hat{\sigma}$ ट्रेनिंग-टाइम $\sigma$ से मेल खाती है।

2. क्वालिटी-अवेयर फ्लो-मैचिंग जेनेरेटिव मॉडल

जेनेरेटिव मॉडल एक डिफ्यूजन ट्रांसफॉर्मर (DiT) है जो प्रेडिक्टेड क्वालिटी सिग्नल $\hat{q}$ पर कंडिशन किया गया है। यह हाई-क्वालिटी और लो-क्ualitas चैनलों को अलग-अलग तरीके से संभालने के लिए चार कपल्ड मैकेनिज्म का उपयोग करता है:

प्रति-चैनल फॉरवर्ड शेड्यूल: स्टैंडर्ड फ्लो मैचिंग जो स्केलर शेड्यूल का उपयोग करता है, उसके विपरीत, StableHand एक चैनल-विशिष्ट शेड्यूल $\alpha(\tau, \tilde{q})$ का उपयोग करता है। हाई-क्वालिटी चैनलों ( $q \approx 1$ ) के लिए, शेड्यूल ऑब्जर्वेशन को फ्रीज कर देता ( $\alpha \equiv 1$ ), जिससे ट्रैजेक्टरी एंकर हो जाती है। लो-क्वालिटी चैनलों ( $q \approx 0$ ) के लिए, शेड्यूल उन्हें शोर (noise) के रूप में मानता है ( $\alpha \approx 0$ ), जिससे प्रायर से पुनरुत्पादन (regeneration) की आवश्यकता होती है।
क्वालिटी-एडजस्टेड वेलोसिटी टारगेट: ट्रेनिंग ऑब्जेक्टिव एक वेलोसिटी टारगेट $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$ को रिग्र्रेस करता है। यह सुनिश्चित करता है कि मॉडल हाई-क्वालिटी चैनलों को अपरिवर्तित छोड़ना और लो-क्वालिटी चैनलों को पुनर्गठित करना सीखे।
AdaLN मॉड्यूलेशन: DiT डिनोइज़र क्वालिटी सिग्नल द्वारा संचालित एडेप्टिव लेयर नॉर्मलाइजेशन (AdaLN) का उपयोग करता है ताकि रिस्ट और फिंगर टोकन के लिए अपडेट को अलग-अलग स्केल किया जा सके, जो प्रति-चैनल क्वालिटी स्ट्रक्चर से मेल खाता है।
क्वालिटी-अवेयर इनिशियलाइजेशन: इंफरेंस के दौरान, रिवर्स ODE को $\tau=0$ पर $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$ के साथ इनिशियलाइज किया जाता है। यह सुनिश्चित करता है कि हाई-क्वालिटी चैनल ऑब्जर्वेशन के करीब से शुरू हों और लो-क्वालिटी चैनल प्योर नॉइज़ के करीब से शुरू हों, जिससे ट्रंकेटेड रिवर्स प्रोसेस (जैसे SDEdit) में पाई जाने वाली ट्रेन-टेस्ट मिसमैच की समस्या समाप्त हो जाती है।

मुख्य योगदान

प्रति-घटक क्वालिटी फॉर्मूलेशन: यह पेपर एगोसेंट्रिक वर्ल्ड-स्पेस डुअल-हैंड रिकवरी को एक प्रति-घटक, क्वालिटी-अवेयर जनरेशन समस्या के रूप में फ्रेम करता है, जो स्पष्ट रूप से अवलोकन गुणवत्ता की दो-अक्ष (घटक, हाथ) विषमता को एक स्ट्रक्चर प्रायर के रूप में पहचानता है जिसे पहले इम्प्लिसिट (implicit) छोड़ दिया गया था।
क्वालिटी-अवेयर फ्लो-मैचिंग पाथवे: एक नवीन जेनेरेटिव पाथवे जो चार-वैल्यू क्वालिटी सिग्नल द्वारा संचालित है, जिसमें प्रति-चैनल फॉरवर्ड शेड्यूल, क्वालिटी-एडजस्टेड वेलोसिटी टारगेट, AdaLN मॉड्यूलेशन और क्वालिटी-अवेयर ODE इनिशियलाइजेशन शामिल है।
कैलिब्रेटेड क्वालिटी सिग्नल: एक कॉर्पस-एडेप्टिव क्वालिटी सिग्नल का परिचय जो विजुअल स्ट्रीम से इंफरेंस के दौरान प्रेडिक्ट किया जाता है, जो रिस्ट ग्लोबल ड्रिफ्ट को फिंगर आर्टिक्यूलेशन एरर से अलग करता है और असममित ऑक्लूजन को हैंडल करता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: यह पद्धति लॉन्ग मिसिंग-हैंड स्पैन और पर्सिस्टेंट ऑक्लूजन वाले बेंचमार्क पर श्रेष्ठ परिणाम प्राप्त करती है।

प्रयोगात्मक परिणाम

लेखक HOT3D (जो लॉन्ग मिसिंग-हैंड स्पैन द्वारा चिह्नित है) और ARCTIC (जो पर्सिस्टेंट हैंड-ऑब्जेक्ट ऑक्लूजन और असममित क्वालिटी द्वारा चिह्नित है) पर StableHand का मूल्यांकन करते हैं।

HOT3D: StableHand सबसे मजबूत बेसलाइन (HaWoR) की तुलना में W-MPJPE (वर्ल्ड-स्पेस मीन पर-जॉइंट पोजीशन एरर) को 20–25% कम कर देता है, जो 71.89 mm के मुकाबले 57.83 mm का W-MPJPE प्राप्त करता है। सुधार उन क्लिप्स में सबसे अधिक स्पष्ट है जिनमें हाई मिसिंग-हैंड फ्रैक्शन है।
ARCTIC: StableHand सबसे मजबूत बेसलाइन पर W-MPJPE को ~25% कम करता है, जो 171.61 mm के मुकाबले 124.59 mm प्राप्त करता है। यह MRRPE (मीन रिलेटिव रूट पोजीशन एरर) में भी महत्वपूर्ण लाभ दिखाता है, जो दोनों हाथों की सापेक्ष स्थानिक निरंतरता (relative spatial consistency) के बारे में बेहतर जॉइंट रीजनिंग को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies): प्रति-चैनल क्वालिटी शेड्यूल को हटाने से W-MPJPE 1.6x तक खराब हो जाता है। चार-टोकन स्प्लिट (रिस्ट/फिंगर्स प्रति हाथ) को सिंगल टोकन से बदलने पर परफॉरमेंस 2.1x गिर जाता है, जो प्रति-चैनल मॉड्यूलेशन की आवश्यकता की पुष्टि करता है। एक कांस्टेंट या बाइनरी क्वालिटी सिग्नल का उपयोग करने से प्रदर्शन बेसलाइन्स के बराबर या उससे भी खराब हो जाता है।

महत्व और दावे

यह पेपर दावा करता है कि सटीक वर्ल्ड-स्पेस हैंड मोशन एस्टीमेशन प्रति-फ्रेम अवलोकनों की गुणवत्ता के साथ मजबूती से जुड़ा हुआ है। इस क्वालिटी विषमता को स्पष्ट रूप से मॉडल करके, StableHand विश्वसनीय अवलोकनों को "एंकर" (anchor) कर सकता है और एक सीखे हुए द्विपक्षीय मोशन प्रायर का उपयोग करके अविश्वसनीय अवलोकनों को "री-जेनरेट" (regenerate) कर सकता है।

लेखक इस कार्य को बड़े पैमाने पर एगोसेंट्रिक वीडियो से रोबोट पॉलिसी लर्निंग को सुपरवाइज करने के लिए एक मौलिक कदम के रूप में देखते हैं, विशेष रूप से डेक्सट्रस और द्विपक्षीय हेरफेर कार्यों के लिए जहाँ मौजूदा पद्धतियाँ ड्रिफ्ट और ऑक्लूजन के कारण विफल हो जाती हैं। फ्रेमवर्क विभिन्न अपस्ट्रीम पोज़ एस्टिमेटर्स (जैसे WiLoR बनाम HaMeR) के लिए मजबूत है, बशर्ते कि क्वालिटी नेटवर्क को री-कैलिब्रेट या री-ट्रेन किया जाए।

पेपर विनम्रतापूर्वक सीमाओं को स्वीकार करता है: क्वालिटी सिग्नल एक विशिष्ट अपस्ट्रीम एस्टीमेटर के लिए कैलिब्रेटेड है, और अत्यंत लंबे लो-क्वालिटी होराइजन्स के मामलों में जहाँ कोई हाथ दिखाई नहीं देता है, मॉडल प्लेसिबल (plausible) लेकिन सटीक रूप से ग्राउंडेड कॉन्फ़िगरेशन की ओर ड्रिफ्ट हो सकता है। भविष्य के कार्य में जॉइंट ऑब्जेक्ट-हैंड मॉडलिंग और एंड-टू-एंड ट्रेनिंग शामिल करने का सुझाव दिया गया है।