CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors
कैनोनिकलफिज़ (CanonicalPhys) चेहरे के बदलते पोज़ के तहत डीप रिमोट फोटोप्लेथिस्मोग्राफी (remote photoplethysmography) में होने वाली तीव्र प्रदर्शन गिरावट को संबोधित करने के लिए एक अवकलनीय होमोग्राफी (differentiable homography) पेश करता है जो चेहरे के क्षेत्रों को एक कैनोनिकल फ्रेम में मैप करती है, जिससे डाइक्रोमैटिक रिफ्लेक्शन मॉडल (dichromatic reflection model) और पल्स-फेज इनवेरिएंस (pulse-phase invariance) जैसे शारीरिक पूर्ववृत्तों (anatomical priors) का प्रभावी अनुप्रयोग सक्षम होता है, जो विविध पोज़ स्थितियों में हृदय-दर अनुमान त्रुटियों को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने दोस्त के सीने पर स्टेथोस्कोप रखकर उसके दिल की धड़कन सुनने की कोशिश कर रहे हैं। आसान है, है ना? लेकिन अब, कल्पना कीजिए कि आपको यह काम केवल एक वीडियो कैमरे का उपयोग करके करना है, बिना उन्हें छुए। यही रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) का जादू है। यह "वीडियो से आपकी पल्स पढ़ने" का एक फैंसी तरीका है। जब आपका दिल धड़कता है, तो वह आपके चेहरे के माध्यम से रक्त की एक सूक्ष्म लहर पंप करता है, जिससे आपकी त्वचा के रंग में एक प्रतिशत के बहुत छोटे हिस्से के बराबर बदलाव आता है। कैमरे अब इतने संवेदनशील हैं कि वे इन सूक्ष्म रंग परिवर्तनों को देख सकते हैं और उन्हें हृदय गति में बदल सकते हैं। यह तकनीक एक बड़ी बात है क्योंकि यह डॉक्टरों को मीलों दूर से मरीजों के दिलों की जांच करने, नवजात शिशुओं की बिना सुई चुभाए निगरानी करने, या यहाँ तक कि थके हुए ड्राइवरों पर नज़र रखने में मदद कर सकती है।
हालाँकि, इसमें एक पेच है। ये कैमरे तब बहुत अच्छे होते हैं जब आप स्थिर बैठे हों और सीधे लेंस की ओर देख रहे हों। लेकिन जैसे ही आप अपना सिर घुमाते हैं, सिस्टम भ्रमित हो जाता है। इसे ऐसे समझें जैसे आप एक ऐसे नक्शे को पढ़ने की कोशिश कर रहे हों जहाँ सड़कें लगातार हिल रही हों। यदि आप अपना सिर घुमाते हैं, तो स्क्रीन पर जो स्थान आपका माथा था, वह अचानक आपका गाल या कनपटी बन सकता है। कंप्यूटर को पता नहीं चलता कि जिस "पिक्सेल" को वह देख रहा है, वह आपके शरीर के किसी दूसरे हिस्से में चला गया है, इसलिए वह गलत जगह पर धड़कन खोजने की कोशिश करता है, और रीडिंग गड़बड़ा जाती है। वैज्ञानिक इसे ठीक करने के लिए कंप्यूटर को लोगों के सिर घुमाने के और अधिक उदाहरण खिलाकर, इस उम्मीद में काम कर रहे हैं कि वह अंततः यह "चाल" सीख जाएगा। लेकिन क्या होगा अगर समस्या यह नहीं है कि कंप्यूटर पर्याप्त स्मार्ट नहीं है, बल्कि यह है कि वह दुनिया को गलत कोण से देख रहा है?
यही वह पहेली है जिसे कैनोनिकलफिज़ (CanonicalPhys) नामक एक नई विधि द्वारा सुलझाया गया है। शोधकर्ताओं का तर्क है कि सिर का हिलना केवल डेटा की समस्या नहीं है; यह एक समन्वय (कोऑर्डिनेट) की समस्या है। उन्होंने महसूस किया कि जब आप अपना सिर घुमाते हैं, तो स्क्रीन पर पिक्सेल बिखर जाते हैं, लेकिन आपका चेहरा खुद नहीं बदलता। इसलिए, कंप्यूटर को यह अनुमान लगाने के लिए सिखाने के बजाय कि पिक्सेल कहाँ जा रहे हैं, उन्होंने एक चतुर "डिजिटल सीधा करने वाला" (डिजिटल स्ट्रेटनर) बनाया जो कंप्यूटर के धड़कन पढ़ने की कोशिश करने से पहले ही चेहरे को वापस एक आदर्श, सामने की ओर देखते हुए स्थिति में ला देता है।
उन्होंने इसे कैसे किया: कल्पना कीजिए कि आपके पास एक चेहरे की फोटो है जो एक तरफ मुड़ा हुआ है। शोधकर्ता एक गणितीय ट्रिक का उपयोग करते हैं जिसे होमोग्राफी (एक डिजिटल वार्प टूल की तरह) कहा जाता है, जो चेहरे के चार प्रमुख बिंदुओं—आंखों के कोनों और मुंह के कोनों—को पकड़ता है और उन्हें एक निश्चित, आदर्श स्थिति में खींचता है, जैसे कि व्यक्ति सीधे कैमरे की ओर देख रहा हो। एक बार जब चेहरा "सीधा" होकर इस कैनोनिकल (या मानक) फ्रेम में आ जाता है, तो पिक्सेल सही जगह पर रहते हैं। माथा माथे पर रहता है और गाल गालों पर।
एक बार चेहरा सीधा हो जाने के बाद, सिस्टम तीन सरल, भौतिकी-आधारित नियमों का उपयोग कर सकता है जो पहले एक चलते हुए चेहरे पर असंभव थे:
- प्रकाश का नियम: यह जानता है कि कैमरे की ओर मुख किए हुए त्वचा, मुड़ी हुई त्वचा की तुलना में प्रकाश को अलग तरह से परावर्तित करती है। यह चेहरे के उन हिस्सों को अधिक महत्व देता है जो सीधे लेंस की ओर देख रहे हैं और उन हिस्सों को अनदेखा करता है जो दूसरी ओर मुड़े हुए हैं।
- लय का नियम: यह जानता है कि दिल की धड़कन एक एकल लहर है। इसलिए, यह जाँचता है कि क्या माथा और दोनों गाल तालमेल (सिंक) में धड़क रहे हैं। यदि वे नहीं हैं, तो यह जान जाता है कि कुछ गलत है।
- शिक्षक का नियम: यह एक क्लासिक, पुराने ज़माने की गणितीय ट्रिक (जिसे POS कहा जाता है) का उपयोग सीधे माथे पर करता है ताकि एक "शिक्षक" सिग्नल बनाया जा सके, जो मुख्य कंप्यूटर मस्तिष्क को अधिक सटीक होने के लिए प्रशिक्षित करने में मदद करता है।
सबसे अच्छी बात? इस पूरी प्रक्रिया के लिए कंप्यूटर को कोई नया, भारी नियम सीखने की आवश्यकता नहीं है। यह एक कैमरे में चश्मे जोड़ने जैसा है; कैमरे का मस्तिष्क वही आकार का रहता है, लेकिन अब वह स्पष्ट रूप से देख सकता है।
इसके परिणाम काफी प्रभावशाली हैं। जब उन्होंने लोगों के सिर घुमाने वाले एक डेटासेट (जिसे MMPD कहा जाता है) पर इसका परीक्षण किया, तो पुराने तरीके सिर घूमने के साथ बहुत खराब हो गए। उदाहरण के लिए, जब सिर 45 डिग्री से अधिक घूम गया, तो त्रुटि दर (एरर रेट) सीधे देखने की तुलना में 1.60 गुना बढ़ गई। CanonicalPhys के साथ, यह उछाल घटकर केवल 1.33 गुना रह गया। इससे भी बेहतर, "हल्के" घुमाव (15 और 30 डिग्री के बीच) के लिए, त्रुटि में बहुत कम बदलाव आया, जो 1.32 गुना की वृद्धि से गिरकर केवल 1.07 गुना रह गया।
उन्होंने विभिन्न कैमरों और प्रकाश स्थितियों में भी इसका परीक्षण किया। जब उन्होंने एक डेटासेट पर प्रशिक्षण लिया और दूसरे पर परीक्षण किया, तो CanonicalPhys ने 16 में से 13 अलग-अलग परिदृश्यों में पुराने तरीकों को हरा दिया। एक विशिष्ट परीक्षण (PURE) पर, इसने त्रुटि को 32% कम कर दिया, और दूसरे (MMPD) पर, इसने त्रुटि को 20% कम कर दिया।
हालाँकि, लेखक सावधानी से यह भी बताते हैं कि यह हर स्थिति के लिए कोई जादुई छड़ी नहीं है। यदि कोई बहुत अधिक (60 डिग्री से अधिक) सिर घुमाता है, तो सिस्टम उन चार प्रमुख बिंदुओं को नहीं ढूंढ पाता है, और वह हार मान लेता है, जिससे इसका प्रदर्शन पुराने तरीकों से बेहतर नहीं होता। इसके अलावा, यदि चेहरा बहुत तेजी से हिल रहा है या रोशनी अजीब है, तो सिस्टम थोड़ा भ्रमित हो सकता है। लेकिन वास्तविक दुनिया की अधिकांश स्थितियों के लिए, जहाँ लोग बस बातचीत कर रहे हैं या इधर-उधर देख रहे हैं, यह "डिजिटल सीधा करने वाला" वीडियो से दिल की धड़कन पढ़ना बहुत अधिक विश्वसनीय बनाता है, जो यह साबित करता है कि कभी-कभी, समस्या को हल करने का सबसे अच्छा तरीका कंप्यूटर को स्मार्ट बनाना नहीं, बल्कि दुनिया को उसके लिए थोड़ा आसान बनाना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।