💻 computer science

Video-based Heart Rate Estimation with Angle-guided ROI Optimization and Graph Signal Denoising

यह शोध पत्र दो प्लग-एंड-प्ले मॉड्यूल, एक एंगल-गाइडेड आरओआई एडेप्टिव ऑप्टिमाइजेशन मॉड्यूल और एक मल्टी-रीजन जॉइंट ग्राफ सिग्नल डीनॉइजिंग मॉड्यूल का प्रस्ताव करता है, जो बोलने और सिर हिलाने जैसी चेहरे की गतिविधियों के कारण होने वाले मोशन आर्टिफैक्ट्स को प्रभावी ढंग से कम करके रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) हृदय गति अनुमान की सटीकता में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने दोस्त के चेहरे का वीडियो देखकर उसके दिल की धड़कन सुनने की कोशिश कर रहे हैं। रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) यही करता है। यह एक मानक कैमरे का उपयोग करके त्वचा में होने वाले सूक्ष्म, लगभग अदृश्य रंग परिवर्तनों को पहचानता है, जो आपकी नसों में रक्त के पंप होने के कारण होते हैं।

हालाँकि, इसमें एक बड़ी समस्या है: गति (Motion)।
यदि आपका दोस्त अपना सिर घुमाता है, बात करता है, या मुस्कुराता है, तो कैमरा भ्रमित हो जाता है। आपका "दिल की धड़कन का संकेत" "शोर" (noise) में दब जाता है, जैसे तूफान के बीच किसी की फुसफुसाहट सुनने की कोशिश करना। मौजूदा अधिकांश तरीके पूरे चेहरे को एक बड़े, अव्यवस्थित सिग्नल के रूप में देखने की कोशिश करते हैं, जो अक्सर गति के दौरान विफल हो जाते हैं।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक चतुर दो-चरणीय समाधान प्रस्तावित करता है, जो आपके वीडियो के लिए एक स्मार्ट साउंड इंजीनियर की तरह कार्य करता है।

चरण 1: "एंगल-गाइडेड" स्पॉटर (एक स्मार्ट कैमरा ऑपरेटर)

समस्या: कल्पना कीजिए कि आप एक गायक की फिल्मिंग कर रहे हैं। यदि वह अपना चेहरा कैमरे से दूर मोड़ लेता है, तो लाइटिंग बदल जाती है और ऑडियो धुंधला हो जाता है। इसी तरह, यदि चेहरा दूर मुड़ता है, तो त्वचा के रंग का डेटा अविश्वसनीय हो जाता है।

समाधान: लेखकों ने एक मॉड्यूल बनाया है जो एक अति-सतर्क कैमरा ऑपरेटर की तरह कार्य करता है।

यह कैसे काम करता है: केवल पूरे चेहरे को घूरने के बजाय, सिस्टम चेहरे को 60 छोटे "विंडोज़" (जैसे छोटे टाइल्स का ग्रिड) में विभाजित करता है।
एंगल चेक: यह लगातार प्रत्येक छोटे विंडो का कैमरे के सापेक्ष कोण (angle) की गणना करता है। यदि गाल का कोई हिस्सा कैमरे से बहुत दूर मुड़ जाता है (जैसे गायक अपनी पीठ मोड़ लेता है), तो सिस्टम समझ जाता है, "हे, यह टाइल अभी धुंधली और अविश्वसनीय है!"
सुधार: उस खराब डेटा का उपयोग करने के बजाय, यह तुरंत उसे पास वाले दूसरे टाइल के डेटा से बदल देता है जो अभी भी स्पष्ट रूप से कैमरे की ओर देख रहा है। यह यह भी पता लगाता है कि क्या पूरा सिर बहुत तेज़ी से घूम रहा है (ग्लोबल मोशन) और उन क्षणों को सावधानीपूर्वक संभालने के लिए चिह्नित करता है।

उपमा: इसे एक रिले रेस की तरह समझें। यदि एक धावक (चेहरे का एक विशिष्ट हिस्सा) लड़खड़ाता है या अपने लेन से बाहर हो जाता है, तो सिस्टम तुरंत बैटन (baton) को अपने बगल वाले साथी को सौंप देता है जो अभी भी सुचारू रूप से दौड़ रहा है, ताकि दौड़ (दिल की धड़कन का माप) कभी न रुके।

चरण 2: "ग्राफ सिग्नल" डिटेक्टिव (शोर को रद्द करने वाली टीम)

समस्या: एंगल ठीक करने के बाद भी, डेटा अभी भी थोड़ा शोर भरा हो सकता है। चेहरे के कुछ हिस्से इसलिए फड़क सकते हैं क्योंकि व्यक्ति बात कर रहा है, जबकि अन्य हिस्से शांत हो सकते हैं।

समाधान: लेखक एक दूसरा मॉड्यूल उपयोग करते हैं जो एक साथ काम करने वाली डिटेक्टिव्स की एक टीम की तरह कार्य करता है।

नेटवर्क: वे उन 60 छोटे चेहरे के विंडोज़ को एक सोशल नेटवर्क के 'नोड्स' (nodes) के रूप में देखते हैं।
नियम: सिस्टम जानता है कि बायां गाल और दायां गाल "पक्के दोस्त" हैं (वे आमतौर पर एक साथ चलते हैं), जबकि ठुड्डी और माथा "दूर के रिश्तेदार" हो सकते हैं (वे अलग तरह से चलते हैं)।
सफाई (Cleanup): सिस्टम एक साथ सभी 60 सिग्नलों को देखता है। यदि माथे का सिग्नल चिल्लाकर कह रहा है "मैं शोर भरा हूँ!" लेकिन गाल फुसफुसा रहे हैं "हम शांत हैं," तो सिस्टम शांत संकेतों पर भरोसा करता है और माथे से शोर को फ़िल्टर कर देता है। यह शोर को कम करने के लिए ग्राफ सिग्नल प्रोसेसिंग नामक एक गणितीय तकनीक का उपयोग करता है, जो प्रभावी रूप से गति के कारण होने वाले "स्टैटिक" (static) को रद्द कर देता है।

उपमा: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में किसी एक व्यक्ति को बोलने की कोशिश कर रहे हैं। यदि आप एक साथ सभी को सुनते हैं, तो यह अराजकता है। लेकिन यदि आपके पास कमरे में खड़े 60 दोस्त हैं, और आप उनसे तुलना करने के लिए कहते हैं कि उन्होंने क्या सुना, तो वे समझ सकते हैं कि वास्तव में कौन बोल रहा है और बैकग्राउंड के शोर को अनदेखा कर सकते हैं। यह मॉड्यूल दिल की धड़कन के लिए बिल्कुल यही करता है।

परिणाम

जब शोधकर्ताओं ने इस "एंगल-गाइडेड स्पॉटर" और "ग्राफ सिग्नल डिटेक्टिव" को एक साथ टेस्ट किया:

उन्होंने इसे तीन अलग-अलग सार्वजनिक डेटासेट्स (जैसे लोगों के विभिन्न समूह जो इधर-उधर घूम रहे थे) पर परखा।
परिणाम: मानक तरीकों की तुलना में यह सिस्टम दिल की धड़कन का अनुमान लगाने में 20% अधिक सटीक रहा।
यह एक "प्लग-एंड-प्ले" अपग्रेड की तरह काम करता है, जिसका अर्थ है कि इसे मौजूदा हार्ट-रेट कैमरों में जोड़ा जा सकता है ताकि उन्हें पूरी तरह से पुनर्गठित किए बिना बहुत अधिक स्मार्ट बनाया जा सके।

संक्षेप में: यह शोध पत्र कंप्यूटर को सिखाता है कि कैसे बुरे एंगल्स को अनदेखा करना है और व्यक्तिगत सिग्नल के बजाय पूरी टीम की बात सुननी है, जिससे यह आपको बात करते, मुस्कुराते या सिर हिलाते हुए भी सटीक रूप से आपकी हृदय गति मापने में सक्षम बनाता है।

यहाँ शोध पत्र "Video-Based Heart Rate Estimation with Angle-Guided ROI Optimization and Graph Signal Denoising" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिमोट फोटोप्लैस्मोगा्राफी (rPPG), रक्त आयतन स्पंदन (blood volume pulses) के कारण होने वाले सूक्ष्म त्वचा रंग परिवर्तनों का पता लगाकर चेहरे के वीडियो से गैर-संपर्क हृदय दर (HR) अनुमान लगाने की अनुमति देता है। हालाँकि, वास्तविक दुनिया के परिदृश्यों में मोशन आर्टिफैक्ट्स (motion artifacts) के कारण मौजूदा rPPG विधियों का प्रदर्शन काफी गिर जाता है।

वर्तमान विधियों की सीमाएँ: अधिकांश मौजूदा दृष्टिकोण चेहरे को एक एकल समग्र सिग्नल स्रोत के रूप में मानते हैं या गहरे शिक्षण (deep learning) मॉडल पर निर्भर करते हैं जिन्हें बड़े डेटासेट की आवश्यकता होती है। वे अक्सर निम्नलिखित कारकों को समझने में विफल रहते हैं:
- शारीरिक विषमता (Physiological Heterogeneity): स्थानीय गति (बोलना, भाव-भंगिमा) और वैश्विक गति (सिर का घूमना) के कारण विभिन्न चेहरे के क्षेत्र (जैसे, माथा बनाम ठुड्डी) अलग-अलग सिग्नल गुणवत्ता प्रदर्शित करते हैं।
- कोण संवेदनशीलता (Angle Sensitivity): जैसे-जैसे चेहरे के क्षेत्र और कैमरे के बीच का कोण बदलता है, ऑप्टिकल सिग्नल की गुणवत्ता गिर जाती है, जिससे प्रकाश परिवर्तन और सिग्नल हानि होती है।
- सहसंबंध मॉडलिंग का अभाव (Lack of Correlation Modeling): मौजूदा विधियाँ अक्सर कई चेहरे के क्षेत्रों से प्राप्त सिग्नलों के बीच अंतर्निहित सहसंबंधों की अनदेखी करती हैं, जिससे शोर (noise) को दबाने के लिए सिग्नल रिडंडेंसी (redundancy) का लाभ उठाने में विफलता होती है।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो दो प्लग-एंड-प्ले मॉड्यूल (plug-and-play modules) को एकीकृत करता है जो रिफ्लेक्शन मॉडल-आधारित rPPG विधियों (जैसे, PBV, POS, OMIT) के साथ संगत है। यह पाइपलाइन निम्नलिखित चरणों से मिलकर बनी है:

A. एंगल-गाइडेड ROI एडेप्टिव ऑप्टिमाइज़ेशन मॉड्यूल (Angle-Guided ROI Adaptive Optimization Module)

यह मॉड्यूल वैश्विक गति और सिर की दिशा के कारण होने वाले सिग्नल क्षरण को संबोधित करता है।

ROI चयन: MediaPipe का उपयोग करके, 60 चेहरे के लैंडमार्क्स (माथा, गाल, ठुड्डी) चुने गए हैं ताकि 60 छोटे आयताकार ROI (20x20 पिक्सेल) बनाए जा सकें।
कोण परिमाणीकरण (Angle Quantification):
- सिस्टम 3D लैंडमार्क्स और 2D कॉर्नर पॉइंट्स का उपयोग करके प्रत्येक ROI प्लेन के 3D नॉर्मल वेक्टर का अनुमान लगाता है।
- यह कोणीय विशेषता ( $C$ ) को ROI नॉर्मल और कैमरा वेक्टर के बीच के कोण के रूप में गणना करता है।
ग्लोबल मोशन डिटेक्शन:
- सभी 60 ROIs से प्राप्त कोणीय सिग्नलों को प्रिंसिपल कंपोनेंट एनालिसिस (PCA) के माध्यम से फ्यूज किया जाता है ताकि एक वैश्विक कोणीय सिग्नल बनाया जा सके।
- इस सिग्नल का प्रथम-क्रम व्युत्पन्न (first-order derivative) मोशन सिग्नल ( $S_{motion}$ ) प्रदान करता है।
- तीव्र सिर घुमाव (कोणीय वेग > $30^\circ/s$ के लिए > 0.5s) को ग्लोबल मोशन सीक्वेंस के रूप में लेबल किया जाता है।
सिग्नल रिफाइनमेंट:
- ग्लोबल मोशन के दौरान, वे ROI जिनका ओरिएंटेशन एंगल $> 60^\circ$ है, उन्हें कम-गुणवत्ता वाला माना जाता है।
- सिग्नल निरंतरता बनाए रखने के लिए कम-गुणवत्ता वाले RGB फीचर्स को निकटतम उच्च-गुणवत्ता वाले पड़ोसी (केंद्र-बिंदु निकटता के आधार पर) के फीचर्स से बदल दिया जाता है।

B. मल्टी-रीजन जॉइंट ग्राफ सिग्नल डिनोइजिंग मॉड्यूल (Multi-Region Joint Graph Signal Denoising Module)

यह मॉड्यूल ग्राफ सिग्नल प्रोसेसिंग (GSP) का उपयोग करके 60 ROIs के बीच संबंधों को संयुक्त रूप से मॉडल करके मोशन आर्टिफैक्ट्स को दबाता है।

ग्राफ निर्माण: 60 ROI नोड्स के लिए एक एडजेसेंसी मैट्रिक्स ( $A$ $A$ ) तीन मेट्रिक्स के भारित योग (weighted sum) के आधार पर बनाया गया है:
1. नोड सिग्नल गुणवत्ता ( $q_{ij}$ ): HR फ्रीक्वेंसी बैंड में पावर स्पेक्ट्रल अनुपात और इंटर-फ्रेम स्थिरता पर आधारित। एक ही क्षेत्र के भीतर उच्च-गुणवत्ता वाले नोड्स को उच्च भार प्राप्त होता है।
2. इंटर-ROI क्षेत्रीय सहसंबंध ( $r_{ij}$ ): शारीरिक निकटता (जैसे, गाल-गाल = 1.0, गाल-माथा = 0.6, माथा-ठुड्डी = 0.2) पर आधारित एक स्थिर भार।
3. पेयरवाइज सिग्नल कंसिस्टेंसी ( $d_{ij}$ ): स्लाइडिंग-विंडो पियर्सन सहसंबंध के माध्यम से मापी गई डायनेमिक सिंक्रोनाइज़ेशन, जिसे कम-गुणवत्ता वाले नोड्स के मामले में कम भार दिया जाता है।
MAP एस्टीमेशन के माध्यम से डिनोइजिंग:
- समस्या को नॉइज़ी ऑब्जर्वेशन ( $S'_{bvp}$ ) से एक क्लीन सिग्नल ( $S''_{bvp}$ ) खोजने के लिए मैक्सिमम ए पोस्टीरियर (MAP) एस्टीमेशन के रूप में तैयार किया गया है।
- ऑब्जेक्टिव फंक्शन: $\min \|S'_{bvp} - S''_{bvp}\|^2_2 + \lambda S''_{bvp}{}^\top L S''_{bvp}$ , जहाँ $L$ ग्राफ लैपलेसियन (Graph Laplacian) है और $\lambda$ एक रेगुलराइजेशन पैरामीटर है।
- समाधान: क्लोज्ड-फॉर्म समाधान $\hat{S}''_{bvp} = (I + \lambda L)^{-1}S'_{bपीय}$ है।
- वेट ऑप्टिमाइज़ेशन: एडजेसेंसी मैट्रिक्स के लिए वेटिंग कोएफिशिएंट्स ( $w_1, w_2, w_3$ ) को MAP ऑब्जेक्टिव को अधिकतम करने के लिए ग्रेडिएंट डिसेंट का उपयोग करके एडेप्टिव रूप से सीखा जाता है।
फाइनल फ्यूजन: डिनोइज्ड सिग्नलों को उनकी अवधि (periodicity) और गुणवत्ता के आधार पर भारित तरीके से फ्यूज किया जाता है, और अंतिम PCA फ्यूजन से HR प्राप्त करने से पहले ग्लोबल मोशन से प्रभावित सेगमेंट को हटा दिया जाता है।

3. मुख्य योगदान (Key Contributions)

एंगल-गाइडेड ROI ऑप्टिमाइज़ेशन: ग्लोबल हेड मोशन का पता लगाने और डिग्रेड हुए सिग्नलों को उच्च-गुणवत्ता वाले पड़ोसियों से एडेप्टिव रूप से बदलने के लिए एक अभिनव विधि, जो सिग्नल रिडंडेंसी को सुरक्षित रखती है।
मल्टी-रीजन जॉइंट ग्राफ डिनोइजिंग: एक ग्राफ-आधारित दृष्टिकोण जो सिंगल-सिग्नल एग्रीगेशन से आगे बढ़कर मोशन आर्टिफैक्ट्स को दबाने के लिए इंट्रा-रीजनल और इंटर-रीजनल सहसंबंधों को स्पष्ट रूप से मॉडल करता है।
प्लग-एंड-प्ले कम्पैटिबिलिटी: इन मॉड्यूल्स को मौजूदा रिफ्लेक्शन-मॉडल-आधारित rPPG एल्गोरिदम के साथ एकीकृत करने के लिए डिज़ाइन किया गया है, जिसमें डीप लर्निंग मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का सत्यापन तीन सार्वजनिक डेटासेट्स: COHFACE, PURE, और MMPD पर किया गया, जिसमें मेट्रिक्स के रूप में मीन एब्सोल्यूट एरर (MAE) और मीन एब्सोल्यूट परसेंटेज एरर (MAPE) का उपयोग किया गया। प्रस्तावित मॉड्यूल्स का परीक्षण तीन बेसलाइन rPPG विधियों: PBV, POS, और OMIT के विरुद्ध किया गया।

प्रदर्शन सुधार: बेसलाइन की तुलना में दोनों मॉड्यूल्स को संयुक्त रूप से लागू करने से MAE में महत्वपूर्ण कमी आई।
- औसत MAE कमी: सभी डेटासेट्स और विधियों में बेसलाइन की तुलना में 20.38% की कमी।
- विशिष्ट उदाहरण (COHFACE पर POS विधि): MAE बेसलाइन के 5.18 से घटकर फुल मेथड के साथ 4.06 हो गया।
- विशिष्ट उदाहरण (PURE पर OMIT विधि): MAE बेसलाइन के 5.32 से घटकर फुल मेथड के साथ 3.78 हो गया।
एब्लेशन स्टडीज (Ablation Studies):
- केवल एंगल-गाइडेड मॉड्यूल जोड़ने से बेसलाइन की तुलना में बेहतर परिणाम मिले।
- एंगल-गाइडेड मॉड्यूल के ऊपर ग्राफ डिनोइजिंग मॉड्यूल को जोड़ने से और अधिक महत्वपूर्ण लाभ मिले, जो दोनों मॉड्यूल्स की पूरक प्रकृति (complementary nature) की पुष्टि करता है।

5. महत्व (Significance)

यह कार्य यह प्रदर्शित करता है कि गतिशील परिदृश्यों में मजबूत rPPG के लिए ज्यामितीय संबंधों (कोणों) और सिग्नल सहसंबंधों (ग्राफ टोपोलॉजी) को स्पष्ट रूप से मॉडल करना अत्यंत महत्वपूर्ण है।

मजबूती (Robustness): यह उन वास्तविक दुनिया के सेटिंग्स में गैर-संपर्क शारीरिक निगरानी के लिए एक समाधान प्रदान करता है जहाँ विषय हिलते-डुलते हैं, बोलते हैं या अपना सिर घुमाते हैं।
सामान्यीकरण (Generalizability): मानक रिफ्लेक्शन मॉडल के साथ संगत होकर, यह विशाल डीप न्यूरल नेटवर्क को प्रशिक्षित करने के कम्प्यूटेशनल ओवरहेड के बिना मौजूदा rPPG पाइपलाइनों के प्रदर्शन को बढ़ाता है।
नैदानिक क्षमता (Clinical Potential): गतिशील परिदृश्यों में बेहतर सटीकता, वीडियो-आधारित हृदय दर अनुमान को टेलीमेडिसिन, निरंतर स्वास्थ्य निगरानी और ड्राइवर स्टेट असेसमेंट के लिए अधिक व्यवहार्य बनाती है।