SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware
यह शोध पत्र SIR-PhysNet को प्रस्तुत करता है, जो एक अत्यंत हल्का (ultra-lightweight), डेडलाइन-जागरूक rPPG पाइपलाइन है जो ज्यामितीय और इल्यूमिनेशन प्रोसेसिंग को फिक्स्ड-कॉस्ट ऑपरेशन्स पर ऑफलोड करता है और हृदय गति निष्कर्षण के लिए एक विश्लेषणात्मक फूरियर मास्क का उपयोग करता है, जिससे रीयल-टाइम, उच्च-सटीक निगरानी रास्पबेरी पाई 5 जैसे संसाधन-सीमित एज डिवाइसेस पर संभव हो पाती है जहाँ नेटवर्क इन्फरेंस के बजाय फेस डिटेक्शन मुख्य प्रदर्शन बाधा (bottleneck) है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ आपके दिल की धड़कन को बिना किसी तार, बिना किसी सेंसर, और बिना किसी स्पर्श के पढ़ा जा सके। यह कैमरा-आधारित स्वास्थ्य निगरानी का वादा है, एक ऐसा क्षेत्र जो साधारण वीडियो को शरीर की सबसे महत्वपूर्ण लय की खिड़की में बदल देता है। इसके पीछे का विज्ञान एक सरल, अदृश्य सत्य पर आधारित है: हर बार जब आपका दिल धड़कता है, तो यह आपके चेहरे में रक्त की एक छोटी सी लहर पंप करता है, जिससे आपकी त्वचा के रंग में एक अंश प्रतिशत का बदलाव आता है। ये परिवर्तन मानवीय आंखों के देखने के लिए बहुत सूक्ष्म होते हैं, लेकिन एक कैमरा उन्हें पकड़ सकता है। प्रकाश और रंग के इन सूक्ष्म बदलावों का विश्लेषण करके, यह गणना करना संभव है कि दिल कितनी तेजी से धड़क रहा है। इस तकनीक पर पहले से ही ड्राइवरों की थकान की निगरानी करने के लिए कारों में, मरीजों को ट्रैक करने के लिए अस्पतालों में, और बुजुर्गों की देखभाल के लिए स्मार्ट घरों में उपयोग करने पर विचार किया जा रहा है। हालाँकि, वास्तविक दुनिया में इसके काम करने के लिए, गणित करने वाले कंप्यूटर को वीडियो के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ होना चाहिए, और इसे इतना छोटा और कुशल होना चाहिए कि यह केवल एक विशाल डेटा सेंटर के बजाय एक शेल्फ पर रखे जाने वाले या जेब में रखे जाने वाले उपकरण पर चल सके।
नोरथईस्टर्न यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने विशेष रूप से गति और आकार की इस समस्या को हल करने के लिए डिज़ाइन किया गया एक नया सिस्टम बनाया है। वे अपनी रचना को SIR-PhysNet कहते हैं, जो एक पाइपलाइन है जो कच्चे वीडियो को हृदय गति संख्या में बदलने के लिए एक पूर्ण वर्कफ़्लो के रूप में कार्य करती है। मुख्य चुनौती केवल गणित को सटीक बनाना नहीं थी, बल्कि यह सुनिश्चित करना भी था कि पूरी प्रक्रिया अपना काम अगले वीडियो फ्रेम के आने से पहले पूरा कर ले। उनके सेटअप में, सिस्टम को एक वीडियो स्ट्रीम को प्रोसेस करना, चेहरा खोजना, छवि को साफ करना और हर 2.5 सेकंड में एक नई हृदय गति का अनुमान लगाना होता है। यदि कंप्यूटर बहुत अधिक समय लेता है, तो सिस्टम पीछे रह जाता है, डेटा बेकार हो जाता है, और निगरानी विफल हो जाती है। शोधकर्ताओं ने पाया कि सबसे बड़ी बाधा सिस्टम का जटिल मस्तिष्क नहीं था, बल्कि वे आँखें थीं जो चेहरे को खोजती थीं।
एक रास्पबेरी पाई 5 (Raspberry Pi 5) पर चल सके, जो शौकीनों और इंजीनियरों द्वारा उपयोग किया जाने वाला एक छोटा, किफायती कंप्यूटर है, इस पर काम करने के लिए टीम को यह सोचना पड़ा कि काम को कैसे विभाजित किया जाए। अधिकांश पिछले प्रयासों ने एक एकल, विशाल कंप्यूटर प्रोग्राम को सब कुछ करने के लिए प्रशिक्षित करने की कोशिश की: चेहरा खोजना, छाया को अनदेखा करना, सिर की गतिविधियों को संभालना और हृदय गति की गणना करना। इस दृष्टिकोण के लिए बहुत अधिक मेमोरी और प्रोसेसिंग पावर की आवश्यकता थी, जिससे यह छोटे उपकरणों के लिए बहुत धीमा हो गया। नया दृष्टिकोण, SIR-PhysNet, काम को दो अलग-अलग भागों में विभाजित करता है। सबसे पहले, यह छवि को तैयार करने के लिए सरल, निश्चित नियमों का उपयोग करता है। इससे पहले कि कंप्यूटर पैटर्न खोजने के लिए वीडियो को देखे, यह चेहरे को लॉक करने, सिर के कोण को ठीक करने और बदलते प्रकाश के प्रभावों को हटाने के लिए मानक इमेज टूल्स का उपयोग करता है। यह चरण एक पेंटिंग के चारों ओर फ्रेम लगाने और कला का विश्लेषण करने से पहले कांच को साफ करने जैसा है; यह कंप्यूटर के लिए बाद के काम को बहुत आसान बना देता है। इस भारी काम को सरल उपकरणों के साथ करके, शोधकर्ता जटिल भाग को बहुत छोटा करने में सक्षम रहे, जिसे अन्य मॉडलों की तुलना में बहुत कम मेमोरी और शक्ति की आवश्यकता होती है।
सिस्टम का दूसरा भाग वास्तविक हृदय गति कैलकुलेटर है। क्योंकि पहली प्रक्रिया द्वारा छवि को पहले से ही साफ और स्थिर कर दिया गया था, इसलिए सिस्टम का यह भाग एक विशाल, भारी नेटवर्क की आवश्यकता नहीं रखता है। यह केवल 0.26 मिलियन पैरामीटर्स वाला एक संक्षिप्त मॉडल है, जो उस जानकारी की मात्रा को दर्शाता है जिसे इसे याद रखने की आवश्यकता है। रक्त की धड़कन की पूरी तरंग के आकार को फिर से बनाने की कोशिश करने के बजाय, जो कि केवल धड़कनों को गिनने के लिए एक जटिल और अनावश्यक कार्य है, यह मॉडल सीधे हृदय गति की प्रमुख आवृत्ति (dominant frequency) की भविष्यवाणी करता है। फिर यह सिग्नल से दर निकालने के लिए एक गणितीय फ़िल्टर का उपयोग करता है। इस डिज़ाइन विकल्प का अर्थ है कि सिस्टम अविश्वसनीय रूप से कुशल है, जो केवल 0.12 गीगाफ्लॉप्स कंप्यूटिंग पावर का उपयोग करता है, जो कि उन गणनाओं का माप है जो यह प्रति सेकंड करता है।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण कई अलग-अलग वीडियो डेटासेट पर किया, जिसमें ट्रेडमिल पर व्यायाम करने वाले लोगों की रिकॉर्डिंग शामिल थी, जहाँ सिर की हलचल और पसीना कार्य को बहुत कठिन बना देते हैं। एक मानक, नियंत्रित डेटासेट पर, सिस्टम ने ऐसी सटीकता प्राप्त की जो बड़े, अधिक जटिल मॉडलों के बराबर या उससे बेहतर थी। कठिन ट्रेडमिल डेटासेट पर, इसने औसतन केवल 3.39 बीट्स प्रति मिनट की त्रुटि उत्पन्न की, जो कि दस गुना बड़े सिस्टम के बराबर परिणाम है। इसने सिद्ध किया कि छवि को पहले साफ करके, सिस्टम वास्तविक दुनिया की उथल-पुथल को संभालने की क्षमता से समझौता किए बिना छोटा और तेज़ बना रह सकता है।
यह देखने के लिए कि क्या सिस्टम वास्तव में उस छोटे हार्डवेयर पर चल सकता है जिसके लिए इसे डिज़ाइन किया गया था, टीम ने इसे एक पंखे से ठंडी होने वाली रास्पबेरी पाई 5 पर स्थापित किया। उन्होंने आठ घंटे लगातार सिस्टम चलाया, जिसमें 8,00,000 से अधिक वीडियो फ्रेम प्रोसेस किए गए। परिणाम स्पष्ट थे: सिस्टम ने 34.60 फ्रेम प्रति सेकंड की स्थिर गति बनाए रखी, जो वीडियो स्ट्रीम के साथ तालमेल बिठाने के लिए आवश्यक 30 फ्रेम प्रति सेकंड से काफी अधिक थी। कंप्यूटर का तापमान 68.85 डिग्री सेल्सियस के शिखर तक पहुँच गया, लेकिन यह गर्मी के कारण कभी धीमा नहीं हुआ या बंद नहीं हुआ। सबसे आश्चर्यजनक निष्कर्ष प्रत्येक अपडेट के लिए आवंटित समय को देखने से आया। जटिल हृदय गति गणना, जिसे अधिकांश लोग सबसे कठिन मानते हैं, ने प्रत्येक अपडेट के लिए आवंटित समय का केवल 13 प्रतिशत हिस्सा लिया। शेष 70 प्रतिशत समय केवल चेहरे को खोजने और छवि को समायोजित करने में खर्च हुआ।
इस खोज ने इन सिस्टम्स की सीमाओं की समझ को बदल दिया। शोधकर्ताओं ने पाया कि हृदय गति मॉनिटर की गति कंप्यूटर मॉडल की बुद्धिमत्ता द्वारा नहीं, बल्कि वीडियो में चेहरे को खोजने और ट्रैक करने के प्रयास द्वारा बाधित थी। उन्होंने एक रणनीति का परीक्षण किया जहाँ सिस्टम हर कुछ फ्रेम में एक बार चेहरे को देखता है और बीच में यह अनुमान लगाने के लिए एक सरल विधि का उपयोग करता है कि वह कहाँ चला गया। इस "डिटेक्ट-एंड-ट्रैक" (खोजो और ट्रैक करो) दृष्टिकोण ने सिस्टम को लगभग 47 फ्रेम प्रति सेकंड तक तेज करने की अनुमति दी, जिससे यह सिद्ध हुआ कि यदि चेहरा खोजने वाले चरण को अनुकूलित किया जाए, तो इन मॉनिटरों को और भी तेज़ बनाने की काफी गुंजाइश है।
अध्ययन यह निष्कर्ष निकालता है कि छोटे उपकरणों पर कैमरा-आधारित हृदय गति निगरानी के लिए, सफलता की कुंजी एक बड़ा, स्मार्ट मस्तिष्क बनाना नहीं, बल्कि बेहतर आँखें और एक स्वच्छ वर्कफ़्लो बनाना है। डेटा को जटिल मॉडल तक पहुँचने से पहले ही वास्तविक दुनिया के अव्यवस्थित हिस्सों को सरल, अनुमानित उपकरणों के साथ संभालकर, सिस्टम एक ताश के डेक के आकार के उपकरण पर चलने के लिए पर्याप्त छोटा बना रह सकता है। शोधकर्ता सावधानी से नोट करते हैं कि हालांकि उनका सिस्टम उनके द्वारा परीक्षण किए गए विशिष्ट वीडियो पर अच्छी तरह से काम करता है, लेकिन अभी तक यह सभी प्रकार के कैमरों, प्रकाश स्थितियों या त्वचा के रंगों पर काम करने के लिए सिद्ध नहीं हुआ है। वे यह भी बताते हैं कि उनका सिस्टम एक सामान्य हृदय गति संख्या देने के लिए डिज़ाइन किया गया है, न कि हृदय रोगों का निदान करने या अनियमित लय का पता लगाने के लिए। हालाँकि, यह कार्य एक स्पष्ट मार्ग प्रदान करता है: स्वास्थ्य निगरानी को वास्तव में पोर्टेबल और सुलभ बनाने के लिए, ध्यान मॉडलों को अधिक जटिल बनाने के बजाय पूरे पाइपलाइन, कैमरे के लेंस से लेकर अंतिम संख्या तक, को अधिक कुशल और संतुलित बनाने पर केंद्रित होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।