💻 computer science

TouchMap-OR: Multi-View 3D Mapping of Hand-Surface Contacts

TouchMap-OR एक मल्टी-व्यू RGB-D विज़न सिस्टम है जो आर्टिकुलेटेड हैंड मेश, मल्टी-पर्सन स्केलेटन ट्रैकिंग और सिमेंटिक एनवायर्नमेंटल मॉडलिंग को फ्यूज करके ऑपरेटिंग रूम में आइडेंटिटी-रिज़ॉल्व्ड 3D हैंड-सरफेस कॉन्टैक्ट हिस्ट्री को पुनर्गठित करता है ताकि यह अनुमान लगाया जा सके कि क्लीनिशियन ने कब और कहाँ विशिष्ट सतहों को छुआ।

मूल लेखक: Sophokles Ktistakis, Rui Wang, Bastian Grande, Hugo Sax

प्रकाशित 2026-05-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Sophokles Ktistakis, Rui Wang, Bastian Grande, Hugo Sax

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक व्यस्त ऑपरेशन थिएटर की कल्पना करें जो एक हाई-स्टेक्स डांस फ्लोर की तरह है। डॉक्टर, नर्स और उपकरण लगातार घूम रहे हैं, एक-दूसरे को छू रहे हैं और आपस में क्रिया कर रहे हैं। बड़ी समस्या क्या है? हम उन अदृश्य "डांस स्टेप्स" को नहीं देख सकते जो कीटाणुओं को फैलाते हैं। आमतौर पर, यह पता लगाने के लिए कि किसने, क्या और कब छुआ, हमें पूरे दृश्य को देखने के लिए एक मानव पर्यवेक्षक को नियुक्त करना पड़ता है, जो थका देने वाला है, गलतियों की संभावना रखता है, और बहुत से विवरणों को छोड़ देता है।

TouchMap-OR एक नया "सुपर-विज़न" सिस्टम है जिसे इसे हल करने के लिए डिज़ाइन किया गया है। इसे एक टीम के रूप में सोचें जिसमें छह सिंक्रोनाइज़्ड सुरक्षा कैमरे हैं जो न केवल वीडियो रिकॉर्ड करते हैं, बल्कि वास्तविक समय में कमरे का एक जीवित, 3D मैप भी बनाते हैं।

यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. "3D पहेली" (कमरे का निर्माण)

सबसे पहले, सिस्टम कई कैमरों के माध्यम से कमरे को देखता है। यह कमरे में मौजूद हर चीज़ की पहचान करने के लिए एक स्मार्ट AI का उपयोग करता है—मरीज, मॉनिटर, कंबल, मेडिकल टूल्स—और उनका एक 3D मॉडल बनाता है। यह ऑपरेटिंग रूम का एक डिजिटल लेगो (Lego) संस्करण बनाने जैसा है जहाँ हर ब्लॉक का एक लेबल है (जैसे, "यह मरीज का हाथ है," "यह IV मशीन है")।

2. "घोस्ट डांसर्स" (लोगों को ट्रैक करना)

इसके बाद, सिस्टम डॉक्टरों और नर्सों को ट्रैक करता है। यह उन्हें केवल धब्बों के रूप में नहीं देखता; यह प्रत्येक व्यक्ति के लिए एक 3D कंकाल (skeleton) बनाता है, और कमरे में उनके घूमने के साथ उनका पीछा करता है। महत्वपूर्ण बात यह है कि यह उनकी पहचान को स्पष्ट रखता है। यदि दो डॉक्टर एक-दूसरे के रास्ते में आते हैं, तो सिस्टम जानता है, "यह अभी भी बाईं ओर डॉ. स्मिथ हैं, डॉ. जोन्स नहीं," जिससे वह भ्रम दूर हो जाता है जो मानक वीडियो ट्रैकिंग में अक्सर होता है।

3. "मैजिक हैंड्स" (हाथों का पुनर्निर्माण)

यही इसकी असली खासियत है। मानक कैमरे अक्सर हाथों का पीछा खो देते हैं जब वे दस्ताने पहने होते हैं, उपकरणों के पीछे छिपे होते हैं, या अन्य लोगों द्वारा ढके होते हैं। TouchMap-OR एक विशेष तकनीक का उपयोग करता है: यह एक ही समय में हर कैमरा एंगल से हाथों को देखता है और उन्हें आपस में जोड़ देता है। यह हाथ का एक विस्तृत 3D मॉडल (उंगलियां, हथेली, सब कुछ) फिर से बनाता है, भले ही वह आंशिक रूप से छिपा हुआ हो। यह एक 3D प्रिंटर की तरह है जो अलग-अलग कोणों से मिले बिखरे हुए सुरागों के आधार पर तुरंत हाथ का एक सटीक मॉडल बनाता है।

4. "कॉन्टैक्ट डिटेक्टिव" (स्पर्श का पता लगाना)

अंत में, सिस्टम हाथ के 3D मॉडल की तुलना कमरे के 3D मैप से करता है। यह एक सरल प्रश्न पूछता है: "क्या हाथ सतह के इतने करीब है कि वह उसे छू रहा है?"

यदि डॉक्टर का हाथ मरीज के हाथ के कुछ इंच के भीतर आता है, तो सिस्टम इसे दर्ज करता है।
यह रिकॉर्ड करता है कि किसने, क्या छुआ, कहाँ छुआ और कितनी देर के लिए छुआ।

उन्होंने क्या पाया?

शोधकर्ताओं ने एक वास्तविक ऑपरेटिंग रूम में तीन वास्तविक चिकित्सा प्रक्रियाओं (एनेस्थीसिया इंडक्शन) के दौरान इस सिस्टम का परीक्षण किया। उन्होंने अपने सिस्टम की तुलना अन्य मौजूदा ट्रैकिंग विधियों से की और पाया कि:

बेहतर पहचान: यह ट्रैक रखने में बहुत बेहतर था कि कौन सा डॉक्टर कौन सा व्यक्ति था, भले ही वे एक-दूसरे के आसपास घूम रहे हों।
बेहतर टच डिटेक्शन: इसने वास्तव में होने वाले हाथ के स्पर्शों में से लगभग 75% को सफलतापूर्वक पहचाना, जो अन्य विधियों की तुलना में एक बड़ा सुधार था।
"क्लटर" (बिखराव) की समस्या: सिस्टम यह जानने में बहुत अच्छा है कि हाथ ने किसी चीज़ को छुआ है (जैसे कंबल या मशीन), लेकिन कभी-कभी यह भ्रमित हो जाता है कि वह ठीक से कौन सी विशिष्ट वस्तु थी यदि वस्तुएं एक-दूसरे के बहुत करीब हों (जैसे कंबल के ठीक बगल में रखी पट्टी)।

निचोड़

TouchMap-OR एक ऐसा टूल है जो सर्जरी के एक अराजक, धुंधले वीडियो को एक स्पष्ट, 3D कहानी में बदल देता है कि किसने क्या छुआ। यह केवल यह नहीं कहता कि "एक हाथ यहाँ था"; यह कहता है कि "डॉ. स्मिथ ने 10 सेकंड के लिए मरीज के हाथ को छुआ।" यह इंटरैक्शन का एक विस्तृत मानचित्र बनाता है जो वैज्ञानिकों को यह समझने में मदद कर सकता है कि अस्पताल में कीटाणु कैसे चलते हैं, लेकिन यह पेपर अभी केवल इस मानचित्र को बनाने पर केंद्रित है, न कि चिकित्सा नियमों को बदलने के उपयोग पर।

तकनीकी सारांश: TouchMap-OR

समस्या विवरण

चिकित्सा प्रक्रियाओं के दौरान रोगजनक संचरण (pathogen transmission) मुख्य रूप से चिकित्सकों, रोगियों और चिकित्सा उपकरणों के बीच हाथ-सतह की अंतःक्रियाओं द्वारा संचालित होता है। वर्तमान संक्रमण-निवारण अभ्यास मैन्युअल अवलोकन पर निर्भर करते हैं, जो श्रम-साध्य है, पूर्वाग्रह के प्रति संवेदनशील है, और विस्तृत संपर्क इतिहास को पुनर्गठित करने के लिए आवश्यक टेम्पोरल रेजोल्यूशन (temporal resolution) का अभाव रखता है। जबकि हालिया स्वचालित प्रणालियाँ हैंड हाइजीन घटनाओं या डिस्पेंसर के उपयोग का पता लगा सकती हैं, वे हाथों, सतहों और रोगियों के बीच संपर्क के विशिष्ट अनुक्रमों को देखने में विफल रहती हैं जो संचरण मार्गों को नियंत्रित करते हैं। इसके अलावा, हाथ-वस्तु संपर्क के लिए मौजूदा कंप्यूटर विज़न दृष्टिकोण अक्सर दृश्य त्वचा (visible skin), न्यूनतम अवरोध (minimal occlusion), और नियंत्रित वातावरण की धारणा रखते हैं—ऐसी स्थितियाँ जो ऑपरेटिंग रूम में शायद ही कभी मिलती हैं जहाँ सर्जिकल दस्ताने त्वचा के संकेतों को छिपा देते हैं और हाथ अक्सर उपकरणों और कर्मियों द्वारा बाधित होते हैं।

मुख्य चुनौती जिसका समाधान किया गया है वह है पहचान-अनुलब्ध हैंड-सरफेस इंटरेक्शन रिकंस्ट्रक्शन (identity-resolved hand–surface interaction reconstruction) वास्तविक ऑपरेटिंग रूम में: यह निर्धारित करना कि किसने किस सतह को, कहाँ, और कितनी देर तक छुआ, भारी अवरोध, अव्यवस्था और कई चिकित्सकों की उपस्थिति के बावजूद।

कार्यप्रणाली: TouchMap-OR

TouchMap-OR एक मल्टी-व्यू RGB-D विज़न सिस्टम है जिसे ऑपरेटिंग रूम के मेट्रिक 3D प्रतिनिधित्व को पुनर्गठित करने के लिए डिज़ाइन किया गया है जो चिकित्सकों, आर्टिकुलेटेड हाथों और सिमेंटिक परिवेश संरचनाओं को संयुक्त रूप से मॉडल करता है। यह पाइपलाइन चार मुख्य चरणों में состоит है:

1. सिमेंटिक 3D रूम मॉडलिंग

संपर्क घटनाओं को स्थानीयकृत करने के लिए, सिस्टम ऑपरेटिंग रूम का एक एकीकृत सिमेंटिक 3D मॉडल बनाता है।

सेगमेंटेशन: कैलिब्रेटेड RGB-D कैमरे स्ट्रीम कैप्चर करते हैं जिन्हें प्रमुख सतहों (जैसे रोगी, मॉनिटर, कंबल, ट्यूब) के लिए स्पार्स, हाथ से एनोटेट किए गए पॉइंट प्रॉम्प्ट्स के साथ SAM2 का उपयोग करके 2D में सेगमेंट किया जाता है।
फ्यूजन: सेगमेंटेड इंस्टेंस को 3D में बैकप्रोजेक्ट किया जाता है। सभी कैमरों से प्राप्त पॉइंट्स को एक सामान्य वर्ल्ड फ्रेम में वोक्सेल डाउन-सैंपलिंग (10 mm रेजोल्यूशन) और सिमेंटिक लेबल्स पर मेजॉरिटी वोटिंग के माध्यम से फ्यूज किया जाता है ताकि एक एकीकृत सिमेंटिक पॉइंट क्लाउड ( $S_t$ ) बनाया जा सके। इस क्लाउड को कुशल निकटतम-सतह प्रश्नों के लिए एक KD-tree द्वारा इंडेक्स किया जाता है।

2. प्रति-कैमरा डिटेक्शन और मेट्रिक अलाइनमेंट

प्रत्येक कैमरा स्वतंत्र रूप से बॉडी और हैंड पोज़ का अनुमान लगाता है।

बॉडी पोज़: मल्टी-पर्सन 2D स्केलेटन एस्टीमेशन के लिए RTMO का उपयोग किया जाता है।
हैंड ज्योमेट्री: WiLoR, एक MANO-आधारित एस्टीमेटर, सिंगल RGB इमेज से आर्टिकुलेटेड हैंड मेश का अनुमान लगाता है।
मेट्रिक अलाइनमेंट: हैंड मेश को मेट्रिक कैमरा कोऑर्डिनेट सिस्टम में रखने के लिए, सिस्टम RANSAC का उपयोग करके अवरोधों को रिजेक्ट करने हेतु एक Sim(3) अलाइनमेंट (स्केल, रोटेशन, ट्रांसलेशन) के माध्यम से संबंधित डेप्थ मैप में रिकंस्ट्रक्शन को फिट करता है। इससे मेट्रिकल अलाइन्ड हैंड मेश ( $H^{(i,t)}_{cam}$ ) प्राप्त होता है और अलाइनमेंट रेसिडुअल्स के आधार पर विश्वसनीयता स्कोर के साथ हैंड एंकर्स (हथेली का केंद्र, उंगलियों के पोर) निकाले जाते हैं।

3. मल्टी-व्यू एसोसिएशन और 3D पर्सन ट्रैकिंग

सिस्टम स्थिर पहचान के साथ वैश्विक रूप से सुसंगत मल्टी-पर्सन 3D स्केलेटन ट्रैक्स जनरेट करता है।

एसोसिएशन: 3D ट्रैक्स को इमेज प्लेन में प्रोजेक्ट किया जाता है और MPJPE का उपयोग करके 2D डिटेक्शन के विरुद्ध मैच किया जाता है। हंगेरियन एल्गोरिदम एक-से-एक मिलान के लिए समाधान करता है।
3D रिकंस्ट्रक्शन: मैच किए गए जॉइंट्स को विभिन्न व्यूज़ के बीच वेटेड नॉन-लीनियर लीस्ट स्क्वेयर्स ट्राइएंगुलेशन के माध्यम से पुनर्गठित किया जाता है, जो एपिपोलर कंसिस्टेंसी को लागू करता है।
डेप्थ लिफ्टिंग: जॉइंट्स जिन्हें ट्राइएंगुलेट नहीं किया जा सकता है, उन्हें RGB-D अवलोकनों से प्राप्त किया जाता है, जिसे एनाटॉमिकल प्लाउज़िबिलिटी चेक (हड्डी की लंबाई के प्रतिबंध) द्वारा मान्य किया जाता है।
ID मैनेजमेंट: एक ट्रैक लाइफ-साइकिल इनिशियलाइजेशन, कन्फर्मेशन और रिमूवल को प्रबंधित करता है। एक "स्टिचिंग" प्रक्रिया अवरोधों के कारण खंडित ट्रैक्स को मर्ज करती है, जिससे एक-से-एक मैपिंग स्थापित करने के लिए समय के साथ री-एसोसिएशन वोटों को संचित किया जाता है।

4. हैंड फ्यूजन और कॉन्टैक्ट डिटेक्शन

हैंड फ्यूजन: सभी व्यूज़ से मेट्रिकल अलाइन्ड हैंड मेश को वर्ल्ड फ्रेम में ट्रांसफॉर्म किया जाता है और पाम सेंटर्स का उपयोग करके DB-SCAN द्वारा ग्रुप किया जाता है। सबसे कम अलाइनमेंट रेसिड्यूल वाले मेश को प्रतिनिधि फ्यूज्ड हैंड के रूप में चुना जाता है।
पर्सन एसोसिएशन: फ्यूज्ड हाथों को साइड-विशिष्ट बॉडी जॉइंट्स (कलाई, कोहनी, कंधा) से दूरी के आधार पर ट्रैक किए गए व्यक्तियों के साथ ग्रिडीली (greedily) एसोसिएट किया जाता है, जो निरंतरता बनाए रखने के लिए टेम्पोरल पर्सिस्टेंस को लागू करता है।
कॉन्टैक्ट इन्फरेंस: सिस्टम हैंड एंकर्स के लिए निकटतम सतह के लिए सिमेंटिक पॉइंट क्लाउड को क्वेरी करता है। जब दूरी एक थ्रेशोल्ड ( $\tau_{on}$ ) से नीचे गिर जाती है, तो एक संपर्क दर्ज किया जाता है। टेम्पोरल स्टेबिलिटी सुनिश्चित करने के लिए, एक एक्सपोनेंशियल मूविंग एवरेज (EMA) कोऑर्डिनेट्स को स्मूथ करता है, और एक हिस्टेरेसिस नियम ( $\tau_{on}$ और एक उच्च $\tau_{off}$ का उपयोग करके) फ्लिकरिंग को रोकता है। लगातार सक्रिय फ्रेमों को संपर्क एपिसोड में मर्ज किया जाता है जो क्लिनिशियन ID, हैंड साइड, सरफेस लेबल, स्टार्ट/एंड टाइम और कॉन्टैक्ट पॉइंट निर्दिष्ट करते हैं।

मुख्य योगदान

आइडेंटिटी-रिजॉल्व्ड 3D कॉन्टैक्ट रिकंस्ट्रक्शन: एक मल्टी-व्यू RGB-D पाइपलाइन का परिचय जो वास्तविक दुनिया की सेटिंग्स में कई क्लीनिशियंस और सिमेंटिक रूप से लेबल की गई ऑपरेटिंग रूम सतहों के बीच हैंड-सरफेस संपर्क एपिसोड को पुनर्गठित करता है।
मल्टी-व्यू 3D हैंड रिकंस्ट्रक्शन और पर्सन एसोसिएशन: कैमरों के बीच MANO-आधारित हैंड रिकंस्ट्रक्शन को फ्यूज करने और मल्टी-व्यू 3D स्केलेटन ट्रैकिंग का उपयोग करके प्रत्येक हाथ को एक स्थायी क्लिनिशियन पहचान के साथ जोड़ने की एक विधि, जो अवरोधों और पहचान परिवर्तन (identity switches) को संभालती है।
सिमेंटिक 3D कॉन्टैक्ट मैपिंग: पुनर्गठित हैंड ट्रेजेक्टरीज को सिमेंटिक रूप से लेबल की गई सीन सतहों के साथ मैप करना, जो यह विवरण देने में सक्षम बनाता है कि किस क्लिनिशियन ने किस सतह को कितनी देर तक छुआ।

प्रयोगात्मक परिणाम

सिस्टम का मूल्यांकन छह सिंक्रोनाइज्ड RGB-D कैमरों द्वारा कैप्चर की गई तीन वास्तविक एनेस्थीसिया इंडक्शन प्रक्रियाओं के एक डेटासेट पर किया गया, जिसमें 2-5 क्लिनिशियंस शामिल थे। इस डेटासेट में 1,616 मैन्युअल रूप से एनोटेट किए गए हैंड-सरफेस संपर्क एपिसोड शामिल हैं।

ट्रैकिंग प्रदर्शन: TouchMap-OR ने 0.48 का IDF1 स्कोर प्राप्त किया, जो MVPose बेसलाइन (0.49) के तुलनीय है, लेकिन पहचान स्विच (identity switches) को काफी कम करके 108 (MVPose के लिए 236 और 4D एसोसिएशन के लिए 547 के मुकाबले) कर दिया, जो बेहतर टेम्पोरल आइडेंटिटी कंसिस्टेंसी प्रदर्शित करता है।
कॉन्टैक्ट डिटेक्शन: TouchMap-Or ने 0.75 का बाइनरी कॉन्टैक्ट F1-स्कोर और 0.60 का IoU प्राप्त किया, जो बेसलाइन (MVPose: 0.56 F1; 4D Association: 0.29 F1) से बेहतर है।
सिमेंटिक एट्रिब्यूशन: सिस्टम ने 0.37 का सिमेंटिक कॉन्टैक्ट F1 प्राप्त किया, जो बेसलाइन (MVPose के लिए 0.22) की तुलना में विशिष्ट सतहों को संपर्कों को एट्रिब्यूट करने की बेहतर क्षमता को दर्शाता है।
आइडेंटिटी एक्यूरेसी: सिस्टम ने 0.96 की आइडेंटिटी एट्रिब्यूशन एक्यूरेसी प्राप्त की, जो विशिष्ट क्लिनिशियंस के साथ संपर्क घटनाओं को विश्वसनीय रूप से जोड़ने की पुष्टि करती है।

महत्व और दावे

पेपर का दावा है कि TouchMap-OR क्लिनिशियंस, उपकरणों और पेशेंट सतहों के बीच विस्तृत संपर्क इतिहास को पुनर्गठित करके ट्रांसमिशन पाथवे के विश्लेषण के लिए एक कम्प्यूटेशनल आधार प्रदान करता है। लेखक इस बात पर जोर देते हैं कि जबकि कच्चे ट्रैकिंग मेट्रिक्स महत्वपूर्ण हैं, इंटरेक्शन को समझने के लिए आर्टिकुलेटेड हाथों का सटीक मॉडलिंग और एक सिमेंटिक रूप से संरचित 3D दृश्य का होना, केवल ट्रैकिंग मेट्रिक्स को अधिकतम करने की तुलना में अधिक महत्वपूर्ण है।

सिस्टम क्लuttered, मल्टी-पर्सन क्लिनिकल वातावरण में संपर्क एपिसोड के पुनर्निर्माण को सक्षम बनाता है जहाँ पारंपरिक तरीके अवरोध और सिमेंटिक संदर्भ की कमी के कारण विफल हो जाते हैं। यह पहचानकर कि "किसने क्या, कहाँ और कितनी देर तक छुआ," संचरण नेटवर्क को मापने के लिए एक स्केलेबल आधार प्रदान करता है, जो संभावित रूप से डेटा-संचालित संक्रमण रोकथाम रणनीतियों का समर्थन कर सकता है और स्वास्थ्य सेवा में मानव-पर्यावरण अंतःक्रिया गतिशीलता के नए दृष्टिकोण प्रदान कर सकता है।

लेखक अपनी सीमाओं को विनम्रतापूर्वक स्वीकार करते हैं, यह नोट करते हुए कि क्लटर्ड दृश्यों में सिमेंटिक एट्रिब्यूशन अस्पष्ट हो सकता है (उदाहरण के लिए, एक बैंडेज और पास के कंबल के बीच अंतर करना) और पतली या पारदर्शी वस्तुएं (जैसे IV लाइनें) अपूर्ण रूप से सेगमेंट की जा सकती हैं। हालांकि, सिस्टम विशिष्ट ऑपरेटिंग रूम स्थितियों, जिसमें अवरोध और क्लिनिशियंस के बीच निकटता शामिल है, के तहत स्थिर प्रदर्शन प्रदर्शित करता है।