💻 computer science

MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment

मोबाइंड (MoBind) एक पदानुक्रमित कंट्रास्टिव लर्निंग फ्रेमवर्क है जो विजुअल बैकग्राउंड को फ़िल्टर करके, गति को स्थानीय शरीर-अंगों के प्रक्षेपवक्र (trajectories) में विघटित करके और क्रॉस-मोडल रिट्रीवल, सिंक्रोनाइज़ेशन, लोकलाइज़ेशन और एक्शन रिकग्निशन में बेसलाइन से बेहतर प्रदर्शन करने के लिए एक बहु-स्तरीय संरेखण रणनीति का उपयोग करके, IMU संकेतों और वीडियो-व्युत्पन्न 2D पोज़ के बीच सूक्ष्म टेम्पोरल अलाइनमेंट प्राप्त करता है।

मूल लेखक: Duc Duy Nguyen, Tat-Jun Chin, Minh Hoai

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duc Duy Nguyen, Tat-Jun Chin, Minh Hoai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को मानव गति (human movement) को समझना सिखाने की कोशिश कर रहे हैं। आपके पास सूचना के दो बहुत अलग स्रोत हैं:

वीडियो कैमरा: यह पूरी तस्वीर देखता है, जैसे कि एक फिल्म। इसे पता है कि क्या हो रहा है (एक व्यक्ति नाच रहा है), लेकिन यह भ्रमित हो सकता है यदि कोई व्यक्ति सामने आ जाए, यदि रोशनी खराब हो, या यदि कैमरा एंगल बदल जाए। यह एक थिएटर के पीछे से नाटक देखने जैसा है; आप अभिनेताओं को देखते हैं, लेकिन आप उनकी सांसों को नहीं सुन सकते या उनके दिल की धड़कन को महसूस नहीं कर सकते।
IMU सेंसर: ये शरीर के अंगों पर बंधे छोटे मोशन ट्रैकर्स (जैसे स्मार्टवॉच या फिटनेस बैंड) हैं। ये शरीर के हिलने-डुलने के तरीके के बारे में अविश्वसनीय रूप से सटीक हैं, जो एक सेकंड में हजारों बार त्वरण (acceleration) और रोटेशन को मापते हैं। लेकिन ये "अंधे" हैं। इन्हें यह नहीं पता होता कि व्यक्ति लिविंग रूम में नाच रहा है या पार्क में दौड़ रहा है। ये केवल गति को महसूस करते हैं।

समस्या:
अभी, ये दोनों तकनीकें आपस में ठीक से बात नहीं कर पाती हैं। यदि आप एक वीडियो क्लिप को सेंसर रीडिंग के साथ मिलाने की कोशिश करते हैं, तो कंप्यूटर अक्सर खो जाता है। यह सोच सकता है कि दो अलग-अलग डांस एक ही हैं क्योंकि वे दूर से समान दिखते हैं, या यह उन्हें पूरी तरह से सिंक करने में विफल हो सकता है क्योंकि वीडियो सेंसर डेटा से थोड़ा पीछे चल रहा है।

समाधान: MoBind (मोशन बाइंडिंग)
इस पेपर के लेखकों ने MoBind नामक एक नई प्रणाली बनाई है। MoBind को एक सुपर-स्मार्ट अनुवादक और मैचमेकर के रूप में समझें जो वीडियो और सेंसर को एक बहुत गहरे स्तर पर एक-दूसरे को समझने के लिए मजबूर करता है।

यह कैसे काम करता है, यहाँ कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. बैकग्राउंड के शोर को अनदेखा करना (द "फोकस" फ़िल्टर)

कल्पना कीजिए कि आप एक ड्रमर के हाथों की रिकॉर्डिंग को एक बैंड के वीडियो के साथ मिलाने की कोशिश कर रहे हैं। यदि आप पूरे वीडियो को देखते हैं, तो कंप्यूटर गिटारवादक, गायक और भीड़ से विचलित हो जाता है।

MoBind की ट्रिक: पूरे वीडियो (रॉ पिक्सेल) को देखने के बजाय, MoBind केवल कंकाल (skeleton) (व्यक्ति की स्टिक-फिगर आउटलाइन) को देखता है। यह बैकग्राउंड, कपड़ों और दृश्यों को अनदेखा कर देता है। यह पूरी तरह से "डांस मूव्स" पर ध्यान केंद्रित करता है, ठीक वैसे ही जैसे सेंसर करते हैं।

2. "शरीर के अंग" का मिलान (लोकल कनेक्शन)

कल्पना कीजिए कि आपके पास नर्तकों का एक समूह है, और आप जानना चाहते हैं कि कौन सा नर्तता अपनी बाईं कलाई पर सेंसर पहने हुए है।

पुराना तरीका: कंप्यूटर पूरे व्यक्ति को देखता है और अनुमान लगाता है। यह भीड़ में किसी विशिष्ट व्यक्ति को उसके पूरे पहनावे से खोजने जैसा है।
MoBind की ट्रिक: MoBind शरीर को हिस्सों में तोड़ देता है। यह कहता है, "ठीक है, आइए वीडियो में केवल बाईं कलाई को देखें और इसे केवल बाईं कलाई वाले सेंसर से मिलाएं।" यह दाहिनी टांग, सिर, धड़ आदि के लिए भी ऐसा ही करता है।
उपमा: यह एक पहेली सुलझाने वाले (puzzle solver) की तरह है जो एक बार में पूरी तस्वीर को मिलाने की कोशिश नहीं करता। इसके बजाय, यह वीडियो के "बाएं हाथ के हिस्से" को सेंसर डेटा के "बाएं हाथ के हिस्से" से मिलाता है। यह संबंध को बहुत मजबूत और अधिक सटीक बनाता है।

3. "माइक्रो-सिंक" (सब-सेकंड क्लॉक)

कभी-कभी, वीडियो और सेंसर एक सेकंड के सूक्ष्म अंश के लिए आगे-पीछे होते हैं (जैसे कि एक ड्रमर और एक गायक जो थोड़े आउट ऑफ सिंक हैं)।

चुनौती: यदि आप केवल पूरे गाने को देखते हैं, तो आप इस मामूली अंतराल को नोटिस नहीं कर पाएंगे। लेकिन यदि आप यह जानना चाहते हैं कि ड्रमर ने बिल्कुल कब स्नेयर (snare) बजाया, तो आपको समय के एक छोटे से हिस्से को देखना होगा।
MoBind की ट्रिक: MoBind एक पदानुक्रमित दृष्टिकोण (hierarchical approach) का उपयोग करता है।
- स्तर 1 (माइक्रोस्कोप): यह सेंसर और विशिष्ट शरीर के अंग के बीच समय के छोटे टुकड़ों (मिलीसेकंड) को संरेखित (align) करता है।
- स्तर 2 (टेलीस्कोप): फिर यह पीछे हटता है और पूरे शरीर को एक साथ चलते हुए देखता है ताकि यह सुनिश्चित हो सके कि समग्र "वाइब" मेल खाती है।
- परिणाम: यह वीडियो और सेंसर डेटा को सब-सेकंड सटीकता के साथ सिंक कर सकता है। यह एक कंडक्टर की तरह है जो सुन सकता है कि ड्रमर 0.1 सेकंड देरी से है और तुरंत ऑर्केस्ट्रा को ठीक कर देता है।

4. "खाली जगह भरना" गेम (मेमोरी हेल्पर)

यह जोखिम है कि यदि आप बहुत अधिक सूक्ष्म विवरणों (जैसे कि पैर जमीन से टकराने का सटीक मिलीसेकंड) पर ध्यान केंद्रित करते हैं, तो कंप्यूटर बड़ी तस्वीर (जैसे, "यह एक डांस है, लड़ाई नहीं") को भूल सकता है।

MoBind की ट्रिक: उन्होंने मास्क्ड टोकन प्रेडिक्शन (Masked Token Prediction) नामक एक गेम जोड़ा है। कल्पना कीजिए कि आप एक वाक्य पढ़ रहे हैं जहाँ कुछ शब्द छिपे हुए हैं, और आपको संदर्भ के आधार पर उनका अनुमान लगाना है।
उपमा: MoBind कुछ सेंसर डेटा को छिपा देता है और खुद को यह अनुमान लगाने के लिए मजबूर करता है कि वहां क्या था। यह कंप्यूटर को क्रिया का अर्थ (जैसे, "यह एक जंप है") याद रखने के लिए मजबूर करता है जबकि वह सटीक टाइमिंग भी सीख रहा होता है। यह सूक्ष्म विवरणों को करते हुए भी "बड़ी तस्वीर" को ध्यान में रखता है।

यह क्यों मायने रखता है? (रियल-वर्ल्ड मैजिक)
क्योंकि MoBind इन दोनों दुनियाओं को जोड़ने में इतना अच्छा है, यह चार अद्भुत चीजें कर सकता है:

ऑटोमैटिक सिंकिंग: आप बिना यह बटन दबाए कि ठीक उसी समय क्या हो रहा है, एक वीडियो रिकॉर्ड कर सकते हैं और सेंसर पहन सकते हैं। MoBind टाइमिंग को स्वचालित रूप से समझ लेता है, जैसे कि एक DJ दो अलग-अलग गानों को मैच करता है।
प्राइवेसी-फ्रेंडली सर्च: आप एक सेंसर रिकॉर्डिंग का उपयोग करके वीडियो खोज सकते हैं (जैसे, "मुझे दिखाएं कि मैंने कब स्क्वाट किया") बिना पहले वीडियो देखे। यह गोपनीयता के लिए बहुत अच्छा है क्योंकि आपको डेटा खोजने के लिए वीडियो को स्टोर करने या साझा करने की आवश्यकता नहीं है।
सही व्यक्ति को पहचानना: पांच लोगों के कमरे में, MoBind आपको ठीक से बता सकता है कि कौन सा व्यक्ति अपनी बाईं टखने पर सेंसर पहने हुए है। यह एक जासूस की तरह है जो केवल आपके चलने के तरीके से संदिग्ध की पहचान कर लेता है।
बेहतर एक्शन रिकग्निशन: यह कंप्यूटर को मानव गति को बेहतर ढंग से समझने में मदद करता है, जैसे कि खेल विश्लेषण, पुनर्वास (चेक करना कि क्या रोगी व्यायाम सही से कर रहा है), और गेमिंग के लिए।

सारांश में:
MoBind एक यूनिवर्सल ट्रांसलेटर की तरह है जो एक अंधे सेंसर और एक विचलित कैमरे को एक ही भाषा बोलने के लिए सिखाता है। कंकाल पर ध्यान केंद्रित करके, व्यक्तिगत रूप से शरीर के अंगों को मिलाकर, और मिलीसेकंड तक समय को सिंक करके, यह हम कैसे चलते हैं और हमें कैसे देखा जाता है, इसके बीच एक आदर्श सेतु बनाता है।

यहाँ शोध पत्र "MoBind: Motion Binding for Fine-Grained IMU–Video Pose Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इनर्शियल मेजरमेंट यूनिट (IMU) संकेतों और वीडियो से निकाले गए 2D पोज़ अनुक्रमों (pose sequences) के बीच एक संयुक्त प्रतिनिधित्व (joint representation) सीखने की चुनौती को संबोधित करता है। मौजूदा विधियाँ क्रिया-श्रेणी (action-category) के स्तर पर (जैसे "चलना" बनाम "दौड़ना" के बीच अंतर करना) मोटे तौर पर संरेखण (align) कर सकती हैं, लेकिन वे सूक्ष्म-स्तर (fine-grained), सब-सेकंड टेम्पोरल अलाइनमेंट प्राप्त करने में विफल रहती हैं।

क्षेत्र में वर्तमान सीमाएँ निम्नलिखित हैं:

टेम्पोरल परिशुद्धता का अभाव (Lack of Temporal Precision): अधिकांश कंट्रास्टिव लर्निंग दृष्टिकोण पूरे क्लिप को एक एकल ग्लोबल एम्बेडिंग में संकुचित कर देते हैं। यह सूक्ष्म-स्तरीय टेम्पोरल संरचनाओं (जैसे फेज शिफ्ट, शॉर्ट लैग, या रिपिटिशन बाउंड्रीज़) को समाप्त कर देता है, जिससे सब-सेकंड सिंक्रोनाइज़ेशन असंभव हो जाता है।
अप्रासंगिक विजुअल नॉइज़ (Irrelevant Visual Noise): कच्चे वीडियो पिक्सेल को IMU डेटा के साथ संरेखित करने से पृष्ठभूमि के तत्वों से शोर उत्पन्न होता है जो सेंसर द्वारा कैप्चर किए गए विशिष्ट मोशन के लिए अप्रासंगिक होते हैं।
मल्टी-सेंसर जटिलता (Multi-Sensor Complexity): IMUs अक्सर मल्टी-सेंसर कॉन्फ़िगरेशन (विभिन्न शरीर के अंगों से जुड़े हुए) में तैनात किए जाते हैं। इन संकेतों को सीधे जोड़ने (concatenating) से प्रत्येक सेंसर के स्थान की स्थानिक और टेम्पोरल विशिष्टता को पकड़ने में विफलता होती है।
दोहराव वाले मोशन में अस्पष्टता (Ambiguity in Repetitive Motion): मानव गति में अक्सर अत्यधिक दोहराव वाले पैटर्न (जैसे चलने के चक्र) शामिल होते हैं, जो अस्पष्ट सिंक्रोनाइज़ेशन संकेत पैदा करते हैं जिन्हें मानक ऑडियो-विजुअल सिंक्रोनाइज़ेशन तकनीकें हल करने में संघर्ष करती हैं।

2. कार्यप्रणाली: MoBind फ्रेमवर्क (Methodology: MoBind Framework)

लेखक MoBind का प्रस्ताव करते हैं, जो एक पदानुक्रमित कंट्रास्टिव लर्निंग (hierarchical contrastive learning) फ्रेमवर्क है जिसे कच्चे पिक्सेल के बजाय स्केलेटल मोशन सीक्वेंस के साथ संरेखित करने के लिए डिज़ाइन किया गया है। आर्किटेक्चर के तीन मुख्य घटक हैं:

A. मोडैलिटी-विशिष्ट एनकोडर (Modality-Specific Encoders)

IMU मॉड्यूल: $N$ IMU स्ट्रीम्स को प्रोसेस करता है। प्रत्येक स्ट्रीम 1D कनवोल्यूशनल ब्लॉक्स से गुजरती है और उसके बाद एक ट्रांसफॉर्मर लेयर से गुजरती है ताकि टेम्पोरल टोकन का एक अनुक्रम उत्पन्न किया जा सके।
पोज़ मॉड्यूल: वीडियो से 2D स्केलेटल जॉइंट कोऑर्डिनेट्स निकालता है। महत्वपूर्ण रूप से, फुल-बॉडी स्केलेटल को लोकल बॉडी-पार्ट सेगमेंट में विभाजित किया जाता है जो IMU सेंसर स्थानों के अनुरूप होते हैं। इन सेगमेंट को उसी आर्किटेक्चर का उपयोग करके एनकोड किया जाता है जैसा कि IMU मॉड्यूल के लिए है।
टोकन अलाइनमेंट (Token Alignment): दोनों मोडैलिटीज को $T$ टेम्पोरल टोकन के अनुक्रम उत्पन्न करने के लिए प्रोसेस किया जाता है, जिससे टेम्पोरल रेजोल्यूशन सुरक्षित रहता है।

B. पदानुक्रमित कंट्रास्टिव अलाइनमेंट (Hierarchical Contrastive Alignment)

MoBind विभिन्न स्तरों पर संरेखण लागू करने के लिए तीन-स्तरीय कंट्रास्टिव ऑब्जेक्टिव का उपयोग करता है:

टोकन-लेवल (Token-Level): सब-सेकंड सिंक्रोनी को कैप्चर करने के लिए मोडैलिटीज के बीच व्यक्तिगत टेम्पोरल टोकन ( $Z_t$ ) को संरेखित करता है।
लोकल-लेवल (Local-Level): एक विशिष्ट IMU सेंसर के प्रतिनिधित्व को उसके अनुरूप शरीर के अंग के मोशन ( $Z_n^{imu}$ बनाम $Z_n^{part}$ ) के साथ संरेखित करता है। यह मल्टी-सेंसर कॉन्फ़िगरेशन को स्पष्ट रूप से संभालता है।
ग्लोबल-लेवल (Global-Level): फुल-बॉडी IMU प्रतिनिधित्व ( $G^{imu}$ ) को फुल-बॉडी पोज़ प्रतिनिधित्व ( $G^{part}$ ) के साथ संरेखित करने के लिए लोकल रिप्रेजेंटेशन को एकत्रित (concatenate और MLP एग्रीगेटर के माध्यम से) करता है।

लॉस फंक्शन इन स्तरों को इन्फोNCE लॉस (InfoNCE loss) का उपयोग करके भारित गुणांकों ( $\lambda_g, \lambda_l, \lambda_t$ ) के आधार पर जोड़ता है।

C. मास्क्ड टोकन प्रेडिक्शन (Masked Token Prediction - MTP)

यह सुनिश्चित करने के लिए कि मॉडल उच्च-स्तरीय सिमेंटिक समझ की कीमत पर सूक्ष्म-स्तरीय अलाइनमेंट पर बहुत अधिक ध्यान केंद्रित न करे (जो एक्शन रिकग्निशन के लिए महत्वपूर्ण है), लेखक एक सहायक मास्क्ड टोकन प्रेडिक्शन (MTP) कार्य पेश करते हैं।

तंत्र (Mechanism): IMU अनुक्रम में रैंडम टोकन को मास्क किया जाता है और एक लर्न करने योग्य क्वेरी वेक्टर से बदल दिया जाता है। एक लाइटवेट ट्रांसफॉर्मर डिकोडर आसपास के संदर्भ का उपयोग करके गायब टोकन की भविष्यवाणी करता है।
लक्ष्य: यह एक रेगुलराइज़र के रूप में कार्य करता है, जो एम्बेडिंग्स को सूक्ष्म-स्तरीय डायनेमिक्स सीखते हुए भी मोटे-स्तर के एक्शन सिमेंटिक्स बनाए रखने के लिए मजबूर करता है।

3. मुख्य योगदान (Key Contributions)

सूक्ष्म-स्तरीय टेम्पोरल अलाइनमेंट (Fine-Grained Temporal Alignment): केवल ग्लोबल क्लिप-लेवल फीचर्स के बजाय टोकन-लेवल डायनेमिक्स को मॉडल करके, MoBind IMUs और वीडियो के बीच सब-सेकंड सिंक्रोनाइज़ेशन प्राप्त करने वाला पहला फ्रेमवर्क है।
संरचित मल्टी-सेंसर मॉडलिंग (Structured Multi-Sensor Modeling): स्केलेटन को स्थानीय शरीर के अंगों में विभाजित करके और उन्हें विशिष्ट IMU सेंसरों के साथ संरेखित करके, यह फ्रेमवर्क स्वाभाविक रूप से मल्टी-सेंसर सेटअप को संभालता है और बॉडी-पार्ट लोकलाइजेशन (यह पहचानना कि शरीर पर सेंसर कहाँ पहना गया है) को सक्षम बनाता है।
मोशन-केंद्रित प्रतिनिधित्व (Motion-Centric Representation): कच्चे पिक्सेल से स्केलेटल मोशन सीक्वेंस की ओर बदलाव प्रभावी रूप से अप्रासंगिक विजुअल बैकग्राउंड को फ़िल्टर करता है, जिससे जटिल दृश्यों में मजबूती (robustness) बढ़ती है।
एकीकृत फ्रेमवर्क (Unified Framework): मॉडल एक साथ चार डाउनस्ट्रीम कार्यों का समर्थन करता है: क्रॉस-मोडल रिट्रीवल, टेम्पोरल सिंक्रोनाइज़ेशन, सब्जेक्ट/बॉडी-पार्ट लोकलाइजेशन, और ह्यूमन एक्शन रिकग्निशन।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन तीन डेटासेट्स पर किया गया: mRi (पुनर्वास), TotalCapture (डायनेमिक मोशन), और EgoHumans (मल्टी-पर्सन सीन्स)।

क्रॉस-मोडल रिट्रीवल (Cross-Modal Retrieval): MoBind, IMU $\rightarrow$ Video और Video $\rightarrow$ IMU दोनों दिशाओं में बेसलाइन (IMU2CLIP, DeSPITE, SyncNet) से काफी बेहतर प्रदर्शन करता है। mRi पर, यह 94% Recall@1 प्राप्त करता है (SyncNet के 77% के मुकाबले), जो बेहतर इंस्टेंस-लेवल अलाइनमेंट प्रदर्शित करता है।
टेम्पोरल सिंक्रोनाइज़ेशन (Temporal Synchronization):
- mRi पर 0.47s का मीन एब्सोल्यूट एरर (MAE) और TotalCapture पर 0.05s प्राप्त करता है।
- EgoHumans पर, सभी एक्शन कैटेगरी के लिए सिंक्रोनाइज़ेशन एरर 50ms से नीचे रहता है।
- यह $\pm$ 7 सेकंड तक के रैंडम ऑफसेट्स वाली सीक्वेंस को सफलतापूर्वक संरेखित करता है।
सब्जेक्ट और बॉडी-पार्ट लोकलाइजेशन (Subject & Body-Part Localization):
- मल्टी-पर्सन सीन्स (EgoHumans) में सही व्यक्ति की पहचान करने में 98.12% सटीकता प्राप्त करता है।
- विशिष्ट शरीर के अंग (जैसे बायां हाथ बनाम दाहिना टखना) को उच्च सटीकता के साथ सफलतापूर्वक पहचानता है।
ह्यूमन एक्शन रिकग्निशन (HAR):
- MoBind HAR में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है (mRi पर 98% सटीकता), जो पुष्टि करता है कि MTP कार्य सफलतापूर्वक एक्शन-लेवल सिमेंटिक्स को संरक्षित करता है।
मजबूती (Robustness): मॉडल तब भी प्रभावी रहता है जब 50% तक IMU सेंसर हटा दिए जाते हैं, जो वास्तविक दुनिया के परिनियोजन (deployment) के लिए लचीलापन प्रदर्शित करता है जहाँ सेंसर विफल हो सकते हैं।

5. महत्व और प्रभाव (Significance and Impact)

MoBind मल्टीमॉडल ह्यूमन मोशन एनालिसिस में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। इसकी कैलिब्रेशन-मुक्त टेम्पोरल सिंक्रोनाइज़ेशन करने की क्षमता हार्डवेयर ट्रिगर्स या मैनुअल अलाइनमेंट की आवश्यकता को समाप्त करती है, जिससे मल्टीमॉडल डेटा संग्रह अधिक सुलभ हो जाता है।

इसके अलावा, स्पेशियल एसोसिएशन समस्या (एक सेंसर को विशिष्ट व्यक्ति और शरीर के अंग से जोड़ना) को हल करके, MoBind मल्टी-पर्सन वातावरण और ऑक्लूजन (occlusion) के तहत मजबूत ट्रैकिंग को सक्षम बनाता है। सूक्ष्म-स्तरीय टेम्पोरल डायनेमिक्स और मोटे सिमेंटिक कंसिस्टेंसी के बीच संतुलन बनाने में फ्रेमवर्क की सफलता क्रॉस-मोडल लर्निंग के लिए एक नया प्रतिमान (paradigm) सुझाती है जिसे IMUs के अलावा अन्य सेंसर-विज़न जोड़ों पर भी लागू किया जा सकता है।

कोड उपलब्धता: कोड https://github.com/bbvisual/MoBind पर ओपन-सोर्स है।