💻 computer science

GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting

GHOST एक तेज़, श्रेणी-निरपेक्ष (category-agnostic) फ्रेमवर्क है जो एकल RGB वीडियो से भौतिक रूप से सुसंगत, एनिमेटेबल हैंड-ऑब्जेक्ट इंटरैक्शन को पुनर्गठित करने के लिए 2D गॉसियन स्प्लेटिंग और नवीन ज्यामितीय एवं संरेखण नुकसानों (geometric and alignment losses) का उपयोग करता है, जो पूर्व विधियों की तुलना में अत्याधुनिक सटीकता और दक्षता प्राप्त करता है।

मूल लेखक: Ahmed Tawfik Aboukhadra, Marcel Rogge, Nadia Robertini, Abdalla Arafa, Jameel Malik, Ahmed Elhayek, Didier Stricker

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmed Tawfik Aboukhadra, Marcel Rogge, Nadia Robertini, Abdalla Arafa, Jameel Malik, Ahmed Elhayek, Didier Stricker

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दृश्य को फिर से बनाने की कोशिश कर रहे हैं जहाँ कोई कॉफी मग पकड़े हुए है, लेकिन आपके पास केवल उसका एक साधारण, सपाट वीडियो रिकॉर्डिंग है। समस्या क्या है? व्यक्ति का हाथ मग के आधे हिस्से को ढक लेता है, और जैसे ही वह हिलता है, मग उसकी उंगलियों के पीछे गायब हो जाता है।

लंबे समय तक, कंप्यूटर इस मामले में संघर्ष करते रहे। उन्हें या तो उस ठीक उसी मग का एक पहले से बना हुआ 3D मॉडल चाहिए था (जो कि अजीब या नए ऑब्जेक्ट के लिए असंभव है), या फिर उन्होंने घंटों लगाकर एक धुंधला, ग्लिच वाला 3D वर्शन तैयार किया जो बिल्कुल सही नहीं दिखता था।

पेश है GHOST।

GHOST को एक कठोर 3D प्रिंटर के रूप में नहीं, बल्कि चमकते हुए, अदृश्य धूल के कणों के एक जादुई झुंड के रूप में सोचें। यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. ठोस मॉडल के बजाय "झुंड" (The "Swarm")

पारंपरिक 3D मॉडल मिट्टी की मूर्तियों की तरह होते हैं—ठोस और स्थिर। GHOST गौसियन स्प्लेटिंग (Gaussian Splatting) नामक चीज़ का उपयोग करता है। कल्पना कीजिए कि वस्तु और हाथ लाखों छोटे, धुंधले, चमकते हुए प्रकाश के गोलों (Gaussians) से बने हैं।

ये गोले खिंच सकते हैं, सिकुड़ सकते हैं और तैर सकते हैं।
जब आप उन्हें सामने से देखते हैं, तो वे एक ठोस मग की तरह दिखने के लिए आपस में मिल जाते हैं।
जब आप चारों ओर घूमते हैं, तो वे मग का पिछला हिस्सा दिखाने के लिए अपनी स्थिति बदलते हैं।
क्योंकि वे "धुंधले" और लचीले हैं, इसलिए वे ठोस मिट्टी की तुलना में बहुत तेज़ी से गणना (calculate) किए जा सकते हैं।

2. "शरलॉक होम्स" चरण (वस्तु को खोजना)

चूंकि हाथ अक्सर वस्तु को छिपा देता है, इसलिए कंप्यूटर को यह नहीं पता होता कि छिपे हुए हिस्से का स्वरूप कैसा है।

ट्रिक: GHOST एक जासूस की तरह काम करता है। यह वीडियो पर एक त्वरित नज़र डालता है, एक स्मार्ट AI से पूछता है, "यह किस प्रकार की वस्तु है?" (जैसे, "यह एक लाल मग है")।
लाइब्रेरी: इसके बाद यह एक विशाल डिजिटल लाइब्रेरी (जिसे Objaverse कहा जाता है) में जाता है और एक ऐसा 3D मॉडल ढूंढता है जो दिखने में उस लाल मग जैसा ही हो।
ब्लूप्रिंट: यह केवल मग की नकल नहीं करता; यह उस लाइब्रेरी मॉडल का उपयोग एक ब्लूप्रिंट के रूप में करता है। भले ही वीडियो में हाथ हैंडल को ढक रहा हो, कंप्यूटर जानता है, "मेरे ब्लूप्रिंट के आधार पर, हैंडल वहाँ होना चाहिए," इसलिए वह अपने चमकते हुए धूल के कणों से उन खाली जगहों को भर देता है।

3. "हैंडशेक" चेक (पकड़ की जागरूकता)

कभी-कभी, कंप्यूटर भ्रमित हो जाते हैं और उन्हें लगता है कि हाथ वस्तु के बीच से गुजर रहा है, जैसे कि कोई भूत।

GHOST का एक विशेष नियम है: "यदि हाथ वस्तु को हिला रहा है, तो वे आपस में छू रहे होने चाहिए।"
यह लगातार वीडियो की जाँच करता है। यदि वस्तु हिलती है, तो यह हाथ को उसके साथ हिलने के लिए मजबूर करता है और सुनिश्चित करता है कि हाथ के "धुंधले गोले" और वस्तु के "धुंधले गोले" एक-दूसरे को छू रहे हों, न कि एक-दूसरे के आर-पार जा रहे हों। यह इस क्रिया को वास्तविक बनाता है।

4. "स्मार्ट इरेज़र" (छिपाव को संभालना)

अतीत में, यदि हाथ किसी हिस्से को ढक लेता था, तो कंप्यूटर भ्रमित हो जाता था और सोचता था, "ओह, वह हिस्सा वहाँ नहीं है, मैं उसे हटा देता हूँ।" इससे 3D मॉडल में छेद रह जाते थे।

GHOST एक हैंड-अवेयर बैकग्राउंड लॉस (Hand-Aware Background Loss) का उपयोग करता है। इसे एक स्मार्ट इरेज़र की तरह समझें जो यह जानता है कि "बैकग्राउंड" (मेज के पीछे की दीवार) और "छिपी हुई वस्तु" (हाथ के पीछे का मग का हिस्सा) के बीच क्या अंतर है।
यह छिपे हुए हिस्सों को हटाने से इनकार कर देता है। इसके बजाय, यह उन्हें तब तक सुरक्षित रखता है जब तक हाथ हट नहीं जाता, जिससे वस्तु पूरी बनी रहती है।

यह एक बड़ी बात क्यों है?

गति: पिछली विधियाँ हर बार शून्य से केक बनाने जैसी थीं (घंटों का समय लेती थीं)। GHOST माइक्रोवेव का उपयोग करने जैसा है (मिनटों में काम करता है)। यह सबसे अच्छी पिछली विधियों से 13 गुना तेज़ है।
बहुमुखी प्रतिभा: इसे इस बात से फर्क नहीं पड़ता कि वस्तु क्या है। चाहे वह कोई अजीब आकार वाला खिलौना हो, कॉफी कप हो, या ड्रिल, GHOST बिना किसी पहले से बने 3D मॉडल के इसे समझ सकता है।
यथार्थवाद: यह एक ऐसा वर्शन बनाता है जिसके चारों ओर आप वर्चुअल रियलिटी (VR) में घूम सकते हैं और किसी भी कोण से देख सकते हैं, जहाँ हाथ और वस्तु स्वाभाविक रूप से एक-दूसरे के साथ क्रिया करते हैं।

संक्षेप में: GHOST एक सुपर-फास्ट, स्मार्ट सिस्टम है जो एक साधारण वीडियो से यथार्थवादी हाथ-वस्तु इंटरैक्शन को फिर से बनाने के लिए डिजिटल "ग्लो-बॉल्स" के झुंड और 3D आकारों की लाइब्रेरी का उपयोग करता है, भले ही हाथ वस्तु को छिपा रहा हो। यह एक सपाट, भ्रमित करने वाले वीडियो को सेकंडों में एक ठोस, विस्तार योग्य 3D दुनिया में बदल देता है।

यहाँ पेपर "GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एक एकल मोनोकुलर RGB वीडियो से यथार्थवादी 3D हैंड-ऑब्जेक्ट इंटरैक्शन का पुनर्निर्माण करना ऑगमेंटेड/वर्चुअल रियलिटी (AR/VR), रोबोटिक्स और एम्बोडीड AI के लिए एक मौलिक चुनौती है। मौजूदा विधियाँ तीन प्राथमिक सीमाओं का सामना करती हैं:

श्रेणी-विशिष्टता (Category Specificity): टेम्पलेट-आधारित दृष्टिकोणों के लिए पूर्व-निर्धारित ऑब्जेक्ट आकृतियों की आवश्यकता होती है, जिससे वे नवीन वस्तुओं तक सामान्यीकरण करने में विफल रहते हैं।
गणना लागत (Computational Cost): श्रेणी-अज्ञेय (Category-agnostic) विधियाँ (जैसे HOLD जैसी NeRF-आधारित पाइपलाइन) अक्सर प्रति अनुक्रम घंटों के अनुकूलन (optimization) की मांग करती हैं, जो व्यावहारिक अनुप्रयोग को सीमित करती हैं।
भौतिक असंगतता (Physical Inconsistency): वर्तमान विधियाँ गंभीर अवरोधों (occlusions) (हाथों द्वारा वस्तुओं को छिपाना) से जूझती हैं, जिससे भौतिक रूप से अवास्तविक संपर्क, लुप्त ज्यामिति (geometry) और अस्थिर स्केल उत्पन्न होते हैं।

2. कार्यप्रणाली: GHOST फ्रेमवर्क (Methodology: GHOST Framework)

GHOST (Gaussian Hand-Object SplaTting) एक तीन-चरणीय पाइपलाइन है जिसे 2D Gaussian Splatting का उपयोग करके गतिशील, एनिमेटेबल हैंड-ऑब्जेक्ट इंटरैक्शन को कुशलतापूर्वक पुनर्निर्मित करने के लिए डिज़ाइन किया गया है।

चरण 1: प्रीप्रोसेसिंग और ज्यामितीय पूर्व प्राथमिकता प्राप्ति (Preprocessing & Geometric Prior Retrieval)

सेगमेंटेशन और SfM: पाइपलाइन SAM2 का उपयोग करके वस्तुओं और हाथों को सेगमेंट करती है और Structure-from-Motion (SfM) का उपयोग करके कैमरा पोज़ और स्पार्स पॉइंट क्लाउड का अनुमान लगाती है। लेखकों ने HLoc/COLMAP और वीडियो-आधारित VGGSfM दोनों का मूल्यांकन किया, जिसमें पाया गया कि कुछ डेटासेट के लिए VGGSfM बेहतर है।
ज्यामितीय पूर्व प्राथमिकता प्राप्ति (Geometric Prior Retrieval): अवरुद्ध क्षेत्रों को संभालने के लिए, GHOST Objaverse डेटाबेस से एक 3D ज्यामितीय प्रायर (prior) प्राप्त करता है।
- एक विजन-लैंग्वेज मॉडल (जैसे InternVL) वस्तु का टेक्स्ट विवरण उत्पन्न करता है।
- OpenShape का CLIP मॉडल इस टेक्स्ट को एक साझा एम्बेडिंग स्पेस में मैप करता है ताकि $k$ कैंडिडेट मेश (meshes) प्राप्त किए जा सकें।
- प्रायर-मास्क संरेखण (Prior-Mask Alignment): एक एफाइन ट्रांसफॉर्मेशन (रोटेशन $R_p$ , ट्रांसलेशन $T_p$ , स्केल $S_p$ ) को प्राप्त मेश सिलुएट को ऑब्जेक्ट के सेगमेंटेशन मास्क के साथ संरेखित करने के लिए अनुकूलित किया जाता है, जिससे Intersection-over-Union (IoU) लॉस को कम किया जा सके।

चरण 2: हैंड-ऑब्जेक्ट (HO) संरेखण (Hand-Object (HO) Alignment)

प्रारंभिक हैंड रिकंस्ट्रक्शन (HaMeR के माध्यम से) और ऑब्जेक्ट पॉइंट क्लाउड अक्सर स्केल ड्रिफ्ट और मिसअलाइनमेंट से ग्रस्त होते हैं। GHOST इन्हें ग्रैस्प-अवेयर रीजनिंग (grasp-aware reasoning) का उपयोग करके परिष्कृत करता है:

ग्रैस्प डिटेक्शन (Grasp Detection): सिस्टम मोशन ट्राजेक्टरीज का विश्लेषण करता है ताकि उन फ्रेम्स की पहचान की जा सके जहाँ हाथ वस्तु के साथ इंटरैक्ट कर रहे हैं (मोशन वेक्टर्स की कोसाइन समानता के आधार पर)।
अनुकूलन उद्देश्य (Optimization Objective): ग्रैस्पिंग फ्रेम्स के दौरान, एक संयुक्त अनुकूलन तीन लॉस को कम करता है:
1. कॉन्टैक्ट लॉस ( $L_{contact}$ ): यह सुनिश्चित करता है कि हैंड मेश ऑब्जेक्ट की सतह के करीब रहे (Chamfer Distance)।
2. 2D प्रोजेक्शन लॉस ( $L_{proj}$ ): यह सुनिश्चित करता है कि 3D हैंड जॉइंट्स 2D ऑब्जर्वेशन पर सही ढंग से रिप्रोजेक्ट हों।
3. टेम्पोरल कंसिस्टेंसी लॉस ( $L_{temp}$ ): समय के साथ हैंड ट्रांसलेशन को स्मूथ बनाता है।

चरण 3: Gaussian Splatting अनुकूलन (Gaussian Splatting Optimization)

मुख्य पुनर्निर्माण दोनों हाथों और वस्तुओं को घने, व्यू-कंसिस्टेंट Gaussian डिस्क के रूप में दर्शाने के लिए 2D Gaussian Splatting का उपयोग करता है।

ऑब्जेक्ट अनुकूलन (Object Optimization):
- हैंड-अवेयर बैकग्राउंड लॉस ( $L_{bkg,h}$ ): मानक बैकग्राउंड लॉस के विपरीत, जो ऑब्जेक्ट मास्क के बाहर के Gaussians को दंडित करता है, यह लॉस हैंड और ऑब्जेक्ट दोनों मास्क को जोड़ता है। यह सिस्टम को उंगलियों द्वारा छिपे हुए ऑब्जेक्ट क्षेत्रों को गलत तरीके से हटाने से रोकता है।
- ज्यामितीय निरंतरता लॉस ( $L_{geo}$ ): पुनर्निर्माण को गाइड करने के लिए प्राप्त ज्यामितीय प्रायर का उपयोग करता है। यह उन Gaussians को दंडित करता है जो प्रायर सतह से बहुत दूर चले जाते हैं ( $L_{out}$ ) और प्रायर सतह पर बड़े अंतराल को दंडित करता है ( $L_{fill}$ ), जो प्रभावी रूप से अवरुद्ध छेदों को "भरने" का काम करता है।
हैंड अनुकूलन (Hand Optimization):
- हाथों को एक कैनोनिकल MANO मेश से जुड़े डिफॉर्मेबल Gaussians के रूप में दर्शाया जाता है।
- रिगिंग (Rigging): Gaussians को MANO मेश के विरूपण (deformation) से प्राप्त स्थानीय एफाइन ट्रांसफॉर्मेशन ( $T_{aff}$ ) का उपयोग करके मेश फेसेस से रिग किया जाता है।
- दो-चरणीय प्रशिक्षण (Two-Stage Training): पहले ऑब्जेक्ट को ऑप्टिमाइज़ किया जाता है, उसके बाद डिफॉर्मेबल हाथों को, जिससे एक सुसंगत संयुक्त प्रतिनिधित्व सुनिश्चित होता है।

3. मुख्य योगदान (Key Contributions)

तेज़, श्रेणी-अज्ञेय ढांचा (Fast, Category-Agnostic Framework): GHOST 3D पुनर्निर्माण और 2D रेंडरिंग में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है और पिछले श्रेणी-अज्ञेय तरीकों (जैसे NeRF-आधारित दृष्टिकोण) की तुलना में >13× तेज़ चलता है।
प्रायर-अवेयर पुनर्निर्माण (Prior-Aware Reconstruction): अवरुद्ध ऑब्जेक्ट सतहों को पूरा करने के लिए बड़े डेटाबेस से 3D ज्यामितिक प्रायर प्राप्त करने और उन्हें संरेखित करने की रणनीति पेश करता है।
ग्रैस्प-अवेयर संरेखण (Grasp-Aware Alignment): एक नया संरेखण चरण जो भौतिक रूप से यथार्थवादी संपर्क सुनिश्चित करने के लिए विशेष रूप से इंटरैक्शन फ्रेम्स के दौरान ऑब्जेक्ट स्केल और हैंड ट्रांसलेशन को परिष्कृत करता है।
हैंड-अवेयर बैकग्राउंड लॉस (Hand-Aware Background Loss): एक विशेष लॉस फंक्शन जो वास्तविक बैकग्राउंड और हाथों द्वारा छिपे हुए ऑब्जेक्ट क्षेत्रों के बीच अंतर करता है, जिससे वैध ज्यामिति को हटाने से रोका जा सके।
एनिमेटेबल अवतार (Animatable Avatars): पूरी तरह से एनिमेटेबल हैंड अवतार और फोटोरियलिस्टिक नोवल-व्यू रेंडरिंग प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन ARCTIC, HO3D, और in-the-wild डेटासेट पर किया गया।

3D पुनर्निर्माण सटीकता (3D Reconstruction Accuracy):
- GHOST, HOLD और BIGS की तुलना में हैंड-ऑब्जेक्ट इंटरैक्शन ( $CD_h$ ) के लिए न्यूनतम Chamfer Distance (CD) मेट्रिक्स प्राप्त करता है।
- यह बेसलाइन की तुलना में हैंड रिकंस्ट्रक्शन एरर (MPJPE) को काफी कम कर देता है, जिसका श्रेय जिटर डिटेक्शन और HO एलाइनमेंट स्टेप्स को जाता है।
2D रेंडरिंग गुणवत्ता (2D Rendering Quality):
- HOLD और BIGS की तुलना में ARCTIC डेटासेट पर बेहतर PSNR, SSIM, और LPIPS स्कोर प्राप्त करता है।
- गुणात्मक परिणाम NeRF-आधारित विधियों की तुलना में कम आर्टिफैक्ट्स (शोर/धुंधलापन) के साथ स्वच्छ और शार्प रेंडरिंग दिखाते हैं।
दक्षता (Efficiency):
- रनटाइम: एकल NVIDIA RTX A6000 पर ~1 घंटा प्रति अनुक्रम (300 फ्रेम), जबकि HOLD और BIGS के लिए यह 13–16 घंटे है।

5. महत्व और प्रभाव (Significance and Impact)

GHOST, भौतिक संभाव्यता (physical plausibility) और गणना दक्षता के बीच के अंतर को पाटकर हैंड-ऑब्जेक्ट इंटरैक्शन मॉडलिंग में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है।

व्यावहारिकता: ऑर्डर-ऑफ-मैग्निट्यूड स्पीडअप टेलीऑपरेशन, इंटरैक्टिव AR/VR जैसे कार्यों के लिए वास्तविक समय या लगभग वास्तविक समय के अनुप्रयोगों को संभव बनाता है।
मजबूती (Robustness): ज्यामितीय प्रायर और ग्रैस्प-अवेयर रीजनिंग का लाभ उठाकर, यह उस "अवरोध समस्या" (occlusion problem) को हल करता है जिसने पिछले श्रेणी-अज्ञेय तरीकों को प्रभावित किया था, जिससे हाथों द्वारा भारी रूप से छिपे होने पर भी पूर्ण ऑब्जेक्ट सतहों का पुनर्निर्माण संभव हो पाता है।
सामान्यीकरण (Generalization): यह फ्रेमवर्क बिना किसी विशिष्ट ऑब्जेक्ट टेम्पलेट के काम करता है, जिससे यह नवीन वस्तुओं से जुड़े वास्तविक दुनिया के विविध परिदृश्यों के लिए उपयुक्त बन जाता है।

कोड सार्वजनिक रूप से उपलब्ध है, जो तेज़, यथार्थवादी और एनिमेटेबल हैंड-ऑब्जेक्ट पुनर्निर्माण के लिए एक नया बेंचमार्क स्थापित करता है।