TempoGFormer: A Gating Mechanism-based Transformer for Physiological Measurement from Facial Videos
यह शोध पत्र TempoGFormer प्रस्तुत करता है, जो एक नवीन ट्रांसफॉर्मर-आधारित मॉडल है जो रिमोट फोटोप्लेथिस्मोग्राफी के लिए एक गेटिंग मैकेनिज्म, एक टेम्पोरल-स्पेक्ट्रल फ्यूजन हेड और एक स्पेशियली-ओवरलैप्ड टोकनाइज़ेशन रणनीति का लाभ उठाता है ताकि पर्यावरणीय शोर और मोशन आर्टिफैक्ट्स को प्रभावी ढंग से कम किया जा सके, जिससे कई सार्वजनिक डेटासेट्स में चेहरे के वीडियो से शारीरिक माप में बेहतर सटीकता और दक्षता प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त शहर के चौक के बीच में किसी की फुसफुसाहट सुनने की कोशिश करें। जिस आवाज़ को आप सुनना चाहते हैं वह वहीं है, हवा में तैर रही है, लेकिन वह यातायात, बातचीत और हवा के शोर में दब गई है। बिना त्वचा को छुए मानव हृदय की धड़कन मापने की मौलिक चुनौती यही है। दशकों से, डॉक्टर पल्स को ट्रैक करने के लिए उंगली पर लगाए जाने वाले क्लिप जैसे संपर्क सेंसर (contact sensors) पर निर्भर रहे हैं। ये उपकरण अच्छी तरह काम करते हैं, लेकिन वे कई स्थितियों में दखल देने वाले और अव्यावहारिक होते हैं, जैसे कि सोते हुए शिशु या गंभीर रूप से जले हुए रोगी की निगरानी करना। हाल के वर्षों में, वैज्ञानिकों ने रिमोट फोटोप्लेथिस्मोग्राफी (remote photoplethysmography) नामक एक तकनीक की ओर रुख किया है, जो व्यक्ति के चेहरे के एक साधारण वीडियो से हृदय की धड़कन पढ़ने का प्रयास करती है। विचार बहुत ही सुंदर है: जैसे-जैसे चेहरा रक्त पंप करता है, यह त्वचा से परावर्तित होने वाले प्रकाश के तरीके को बदल देता है, जिससे एक सूक्ष्म, लयबद्ध रंग परिवर्तन उत्पन्न होता है। हालाँकि, यह संकेत अविश्वसनीय रूप से मंद होता है, जो बदलते प्रकाश, सिर की हलचल या यहाँ तक कि व्यक्ति के पलक झपकने के शोर में आसानी से खो जाता है।
जेजियांग गोंगशांग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका विकसित किया है, जिससे एक ऐसा सिस्टम बनाया जा सका है जो उस फुसफुसाहट को स्पष्ट रूप से सुन सकता है। उन्होंने एक परिष्कृत कंप्यूटर मॉडल बनाया है जिसे विशेष रूप से वीडियो स्ट्रीम के भीतर छिपी हृदय की धड़कन को खोजने के लिए डिज़ाइन किया गया है। केवल वीडियो फ्रेम दर फ्रेम देखने के बजाय, उनका सिस्टम वातावरण के विकर्षणों को अनदेखा करना और त्वचा के रंग में होने वाले सूक्ष्म, लयबद्ध परिवर्तनों पर तीव्रता से ध्यान केंद्रित करना सीखता है जो धड़कते दिल का संकेत देते हैं। वीडियो डेटा को सुचारू बनाने वाली एक विधि को नए शोर-फिल्टरिंग तरीके के साथ जोड़कर, उन्होंने एक ऐसा टूल बनाया है जो पिछले प्रयासों की तुलना में अधिक सटीक और कुशल है, यह सिद्ध करते हुए कि एक कैमरा वास्तव में कई महत्वपूर्ण स्वास्थ्य परिदृश्यों में सेंसर की जगह ले सकता है।
शोधकर्ता अपने इस निर्माण को 'टेम्पोगफॉर्मर' (TempoGFormer) कहते हैं। इसे समझने के लिए, पहले उस कठिनाई को समझना होगा जिसका यह सामना करता है। जब कोई कैमरा चेहरे को रिकॉर्ड करता है, तो परिणामी वीडियो डेटा की एक विशाल मात्रा होती है, जिसमें से अधिकांश हृदय की धड़कन के लिए अप्रासंगिक होता है। छाया, मुस्कान या कमरे की रोशनी में बदलाव के कारण त्वचा अलग दिख सकती है। पारंपरिक कंप्यूटर मॉडल अक्सर इन परिवर्तनों से भ्रमित हो जाते हैं, और एक छाया को हृदय की धड़कन समझ लेते हैं या वास्तविक संकेत को पूरी तरह से मिस कर देते हैं। नया सिस्टम वीडियो को छोटे टुकड़ों में तोड़कर शुरू होता है, लेकिन यह पुराने तरीकों से अलग कुछ करता है। वीडियो को कठोर, गैर-अतिव्यापी (non-overlapping) ब्लॉकों में काटने के बजाय, यह एक स्लाइडिंग दृष्टिकोण का उपयोग करता है जो टुकड़ों को ओवरलैप होने देता है। यह फ्रेमों के बीच समय के सुचारू प्रवाह को सुरक्षित रखता है, यह सुनिश्चित करता है कि मॉडल रक्त के निरंतर प्रवाह को देखता है न कि असंबद्ध स्नैपशॉट्स की एक श्रृंखला को। यह चरण महत्वपूर्ण है क्योंकि हृदय की धड़कन एक निरंतर लय है, और इसे बहुत कठोरता से तोड़ने से वही पैटर्न नष्ट हो जाता है जिसे मॉडल को खोजना होता है।
एक बार जब वीडियो तैयार हो जाता है, तो सिस्टम यह तय करने के लिए कि छवि के कौन से हिस्से सबसे अधिक महत्वपूर्ण हैं, एक विशेष प्रकार के 'अटेंशन मैकेनिज्म' (attention mechanism) को लागू करता है। कई कंप्यूटर विज़न सिस्टम में, मॉडल आँखों या मुँह जैसे सबसे स्पष्ट लक्षणों से विचलित हो सकता है, बजाय त्वचा पर होने वाले सूक्ष्म रंग परिवर्तनों के। टेम्पोगफॉर्मर इस समस्या को एक 'गेटिंग मैकेनिज्म' (gating mechanism) के साथ हल करता है, जो एक प्रकार का बुद्धिमान फिल्टर है जो मॉडल के अवलोकन और उसके निर्णय लेने की प्रक्रिया के बीच स्थित होता है। यह फिल्टर सिग्नल के लिए एक 'वॉल्यूम नॉब' की तरह काम करता है। यह विश्लेषण करता है कि मॉडल चेहरे के विभिन्न हिस्सों पर कितना ध्यान दे रहा है और स्वचालित रूप से शोर वाले या अप्रासंगिक क्षेत्रों के वॉल्यूम को कम कर देता है, जबकि उन क्षेत्रों के वॉल्यूम को बढ़ा देता है जहाँ रक्त का प्रवाह सबसे अधिक दिखाई देता है। यह सिस्टम को गति और प्रकाश के विकर्शनों को अनदेखा करने और अपनी ऊर्जा को पूरी तरह से शारीरिक संकेत (physiological signal) पर केंद्रित करने की अनुमति देता है।
सिग्नल को फ़िल्टर करने के बाद, सिस्टम हृदय की तरंग (waveform) को पुनर्गठित करने के लिए एक विशेष 'हेड' का उपयोग करता है। मॉडल का यह हिस्सा डेटा को कई कोणों से देखता है, जिसमें धड़कनों के समय और लय की आवृत्ति दोनों पर विचार किया जाता है। यह हृदय गति का सटीक अनुमान लगाने के लिए इन विभिन्न दृश्यों को जोड़ता है। शोधकर्ताओं ने तीन अलग-अलग सार्वजनिक डेटासेट्स पर इस सिस्टम का परीक्षण किया, जिनमें स्थिर बैठे हुए, गेम खेलते हुए और यहाँ तक कि चलते-फिरते लोगों के वीडियो शामिल थे। हर परीक्षण में, नया मॉडल मौजूदा तरीकों से बेहतर प्रदर्शन करता है, जिनमें पुराने डीप लर्निंग तकनीकों पर आधारित मॉडल भी शामिल हैं। इसने हृदय गति का अनुमान लगाने में उच्च सटीकता प्राप्त की और कम शोर के साथ एक स्वच्छ सिग्नल प्रदान किया। यहाँ तक कि जब मॉडल को एक सेट वीडियो पर प्रशिक्षित किया गया और दूसरे पूरी तरह से अलग लोगों और लाइटिंग स्थितियों वाले सेट पर परीक्षण किया गया, तब भी इसने अपना उच्च स्तर का प्रदर्शन बनाए रखा, जिससे पता चलता है कि इसने केवल विशिष्ट वीडियो क्लिप्स को याद करने के बजाय हृदय की धड़कन के वास्तविक स्वरूप को सीखा है।
अध्ययन ने इस सिस्टम को चलाने की लागत पर भी नज़र डाली। हालांकि नया मॉडल कुछ सरल विकल्पों की तुलना में थोड़ा अधिक जटिल है, लेकिन इसके लिए अत्यधिक कंप्यूटिंग पावर की आवश्यकता नहीं है। यह एक संतुलन बनाता है, बेहतर परिणाम प्राप्त करने के लिए प्रबंधनीय संख्या में पैरामीटर्स का उपयोग करता है। शोधकर्ताओं ने प्रदर्शित किया है कि वीडियो पर मॉडल के ध्यान देने के तरीके और समय-आधारित डेटा को संसाधित करने के तरीके को परिष्कृत करके, एक ऐसे स्तर की सटीकता के साथ महत्वपूर्ण संकेतों (vital signs) को निकालना संभव है जो पहले बिना शारीरिक संपर्क के कठिन था। यह कार्य सुझाव देता है कि निकट भविष्य में, कैमरे स्वास्थ्य निगरानी के लिए मानक उपकरण बन सकते हैं, जो अस्पतालों, जिमों या घरों में भी हृदय गति को ट्रैक करने में सक्षम होंगे, और वह भी शरीर से जुड़े बिना किसी तार या सेंसर के। ये निष्कर्ष स्वास्थ्य निगरानी को सभी के लिए अधिक सुलभ और कम दखल देने वाला बनाने की दिशा में एक आशाजनक कदम पेश करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।