🤖 AI

Illumination-Robust Camera-Based Heart-Rate Estimation for Physiological Sensing in Robots

यह शोध पत्र रिमोट हार्ट-रेट अनुमान के लिए एक इल्यूमिनेशन-रोबस्ट (प्रकाश-सहनशील), एंड-टू-एंड स्पेशियल-टेम्पोरल ट्रांसफार्मर फ्रेमवर्क प्रस्तावित करता है जो विभिन्न प्रकाश स्थितियों के तहत PhysFormer बेसलाइन की तुलना में मीन एब्सोल्यूट एरर (MAE) में 93.6% की कमी लाने के लिए 3D फेस अलाइनमेंट, इल्यूमिनेशन ऑग्मेंटेशन और हाइब्रिड टेम्पोरल-फ्रीक्वेंसी सुपरविजन को एकीकृत करता है।

मूल लेखक: Zhi Wei Xu, Torbjörn E. M. Nordling

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhi Wei Xu, Torbjörn E. M. Nordling

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक रोबोट यह जानना चाहता है कि आप कैसा महसूस कर रहे हैं। आपसे पूछने या आपकी कलाई पर कोई सेंसर लगाने के बजाय (जो अजीब लगता है और जिसमें आपको अपना निजी डेटा साझा करना पड़ता है), रोबोट बस अपने कैमरे से आपको देखता है। वह आपकी त्वचा के नीचे रक्त पंप होने के कारण होने वाले सूक्ष्म, लगभग अदृश्य रंग परिवर्तनों को देखकर आपके दिल की धड़कन को पढ़ने की कोशिश करता है। इस तकनीक को रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) कहा जाता है।

हालाँकि, इसमें एक बड़ी समस्या है: रोशनी (Lighting)। ठीक वैसे ही जैसे शोर भरे कमरे में किसी फुसफुसाहट को सुनने की कोशिश करना, रोबोट का "दिल की धड़कन का संकेत" बहुत कमजोर होता है। यदि कमरे की रोशनी बदलती है, या यदि आप एक उज्ज्वल खिड़की से अंधेरे कोने में जाते हैं, तो रोबोट भ्रमित हो जाता है। रोशनी में बदलाव सूक्ष्म रंगीन स्पंदन (pulse) को दबा देता है, जिससे रोबोट का अनुमान बहुत गलत हो जाता है।

यह शोध पत्र (paper) रोबोट के लिए एक नए "सुपर-ईयर" (सुपर-कान) को प्रस्तुत करता है जो रोशनी के अस्त-व्यस्त होने पर भी उस दिल की धड़कन की फुसफुसाहट को सुन सकता है। उन्होंने इसे कैसे बनाया, यहाँ सरल रूप में समझाया गया है:

1. समस्या: "झिलमिलाती स्पॉटलाइट" (The Flickering Spotlight)

रोबोट के कैमरे को एक ऐसे जासूस के रूप में सोचें जो आपके चेहरे पर एक हल्की लाल चमक को खोजने की कोशिश कर रहा है। लेकिन कमरे की रोशनी बार-बार मंद से उज्ज्वल होती रहती है। जासूस बदलते हुए सायों से विचलित हो जाता है और चमक को देखना बंद कर देता है। पिछले तरीके उन जासूसों की तरह थे जिन्होंने रोशनी झिलमिलाने पर हार मान ली।

2. समाधान: एक तीन-भाग वाला टूलकिट

लेखकों ने एक ऐसा सिस्टम बनाया जिसमें रोबốt को खराब रोशनी को अनदेखा करने और दिल की धड़कन पर ध्यान केंद्रित करने में मदद करने के लिए तीन विशिष्ट तरकीबें शामिल हैं।

तरकीब A: "स्थिर हाथ" (फेस अलाइनमेंट - Face Alignment)
रोबोट के सुनने शुरू करने से पहले, वह PRNet नामक एक टूल का उपयोग करता है। कल्पना कीजिए कि यह एक डिजिटल कलाकार है जो तुरंत आपके चेहरे की एक सटीक, स्थिर रूपरेखा खींच देता है, चाहे आपने अपना सिर कैसे भी झुकाया हो या रोशनी आपकी नाक पर कैसे भी पड़ रही हो। यह सुनिश्चित करता है कि रोबोट हमेशा त्वचा के बिल्कुल उसी हिस्से को देख रहा है, ताकि वह आपके चेहरे के हिलने-डुलने से भ्रमित न हो।

तरकीब B: "अभ्यास कक्ष" (इल्यूमिनेशन ऑगमेंटेशन - Illumination Augmentation)
प्रशिक्षण (training) के दौरान, रोबोट केवल एक आदर्श कमरे में नहीं सीखता है। शोधकर्ताओं ने एक "अभ्यास कक्ष" बनाया जहाँ उन्होंने हर वीडियो क्लिप के लिए कृत्रिम रूप से रोशनी को बिगाड़ दिया। उन्होंने वीडियो को अचानक उज्ज्वल या गहरा बनाया, लेकिन उन्होंने इसे एक बार में पूरी क्लिप के लिए किया, न कि फ्रेम-दर-फ्रेम।

उपमा (Analogy): कल्पना कीजिए कि आप एक गाना अभ्यास कर रहे हैं। यदि आप हर एक नोट की आवाज़ को बेतरतीब ढंग से बदलते हैं, तो आप धुन को नहीं पहचान पाएंगे। लेकिन यदि आप एक तेज़ आवाज़ वाले कमरे में, फिर एक शांत कमरे में, फिर बेस (bass) बढ़े हुए कमरे में पूरा गाना अभ्यास करते हैं, तो आप धुन (दिल की धड़कन) को पहचानना सीख जाते हैं, चाहे 'वॉल्यूम' (रोशनी) कुछ भी हो।

तरकीब C: "नॉइज़-कैंसलिंग हेडफ़ोन" (रेसिड्यूअल टेम्पोरल स्टैंडर्डाइजेशन - Residual Temporal Standardization)
यह इस शोध पत्र का सबसे चतुर आविष्कार है। रोबोट के मस्तिष्क के भीतर, एक विशेष मॉड्यूल है जिसे RTSM कहा जाता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक हवादार पार्क में अपने दोस्त की आवाज़ सुनने की कोशिश कर रहे हैं। हवा (रोशनी में बदलाव) हवा के दबाव को बेतहाशा बदल देती है। RTSM एक स्मार्ट फ़िल्टर की तरह है जो कहता है, "ठीक है, हवा का दबाव बदल रहा है, लेकिन आइए आपकी आवाज़ के आकार को बनाए रखें और बस हवा के झोंकों को सुचारू करें।" यह आपकी आवाज़ को मिटाता नहीं है; यह बस हवा के कारण होने वाले अजीब उतार-चढ़ाव को हटा देता है, जिससे शुद्ध संकेत पीछे रह जाता है।

3. "डबल-चेक" प्रणाली (हाइब्रिड लॉस - Hybrid Loss)

रोबोट को सिखाने के लिए, शोधकर्ताओं ने उसके होमवर्क को ग्रेड करने के दो अलग-अलग तरीके इस्तेमाल किए:

वेवफॉर्म चेक (The Waveform Check): क्या दिल की धड़कन की रेखा का आकार सही दिख रहा है? (टाइम डोमेन)
रिदम चेक (The Rhythm Check): क्या धड़कन सही गति पर हो रही है? (फ्रीक्वेंसी डोमेन)

उन्होंने पाया कि केवल एक ही चेक पर निर्भर रहना पर्याप्त नहीं था। यदि वे केवल आकार की जाँच करते, तो रोबोट रोशनी से भ्रमित हो जाता। यदि वे केवल गति की जाँच करते, तो वे विवरण खो देते।

सही संतुलन (The Sweet Spot): उन्होंने इन दोनों चेक्स के लिए अलग-अलग "वेट्स" (weights) का परीक्षण किया। उन्होंने पाया कि जब उन्होंने रिदम चेक को एक विशिष्ट महत्व (एक सेटिंग जिसे वे β = 5 कहते हैं) दिया, तो रोबोट पूरी तरह से सटीक प्रदर्शन करता है। यह संगीत के इक्वलाइज़र में बास (bass) और ट्रेबल (treble) के सही मिश्रण को खोजने जैसा था।

4. परिणाम: अनभिज्ञ से स्पष्ट तक (From Clueless to Crystal Clear)

शोधकर्ताओं ने अपने नए रोबोट ब्रेन का परीक्षण एक पुराने, मानक मॉडल (जिसे PhysFormer कहा जाता है) के विरुद्ध किया, जिसमें कम, मध्यम और उच्च स्तरों के बीच रोशनी बदलती रहती थी।

पुराना मॉडल: यह लगभग बेकार था। इसका कोरिलेशन (correlation) केवल 0.088 था (बेसिकली रैंडम अंदाज़ा लगाना) और इसमें त्रुटियाँ बहुत अधिक थीं।
नया मॉडल: अपने नए टूलकिट के साथ, रोबोट ने 0.982 का कोरिलेशन हासिल किया।
- उपमा (Analogy): यदि पुराना मॉडल बादलों वाले आसमान को देखकर समय का अंदाज़ा लगाने वाले व्यक्ति जैसा था, तो नया मॉडल एक सटीक डिजिटल घड़ी देखने जैसा है।
- त्रुटि (error) में 93.6% की कमी आई। रोबोट पूरी तरह से अविश्वसनीय होने से बदलकर अविश्वसनीय रूप से सटीक हो गया, भले ही रोशनी बदल रही हो।

सारांश

यह शोध पत्र यह दावा नहीं करता कि रोबोट अब बीमारियों का निदान कर सकता है या अस्पताल चला सकता है। यह केवल यह सिद्ध करता है कि स्थिर फेस ट्रैकिंग, स्मार्ट लाइटिंग प्रैक्टिस और एक विशेष नॉइज़-कैंसलिंग फ़िल्टर का उपयोग करके, रोबोट अंततः कैमरे के माध्यम से मानव हृदय गति को पढ़ सकते हैं, बिना कमरे की रोशनी में बदलाव से विचलित हुए। यह एक नाजुक, प्रकाश-संवेदनशील तकनीक को एक मजबूत, विश्वसनीय उपकरण में बदल देता है जो भविष्य की मानव-रोबोट बातचीत के लिए उपयोगी है।

तकनीकी सारांश: रोबोटों में शारीरिक संवेदन (Physiological Sensing) के लिए प्रकाश-मजबूत कैमरा-आधारित हृदय दर अनुमान

समस्या विवरण
रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) मानक RGB कैमरों का उपयोग करके हृदय दर (HR) का अनुमान लगाने के लिए एक गैर-संपर्क विधि प्रदान करती है, जो सेवा, सामाजिक और सहायक रोबोटों में शारीरिक संवेदन के लिए एक आशाजनक माध्यम है। हालांकि, वास्तविक दुनिया के मानव-रोबोट संपर्क (HRI) वातावरण में मजबूत परिनियोजन, प्रकाश भिन्नता (illumination variation) के कारण बाधित होता है। गतिशील सेटिंग्स में, कमरे की रोशनी में बदलाव, देखने के कोण और उपयोगकर्ता की स्थिति, कमजोर पल्स-संबंधी रंग संकेतों पर हावी हो सकते हैं, जिससे मौजूदा rPPG मॉडलों के प्रदर्शन में महत्वपूर्ण गिरावट आती है। जबकि पूर्व अध्ययनों ने टेम्पोरल-फ्रीक्वेंसी हाइब्रिड सुपरविजन की खोज की है, नियंत्रित प्रकाश भिन्नता के तहत मजबूती बनाए रखने के लिए आवश्यक विशिष्ट संतुलन का अभी तक अपर्याप्त रूप से परीक्षण किया गया है।

कार्यप्रणाली
लेखक एक एंड-टू-एंड स्पैटियल-टेम्पोरल ट्रांसफार्मर फ्रेमवर्क प्रस्तावित करते हैं जिसे विशेष रूप से प्रकाश-मजबूत HR अनुमान के लिए डिज़ाइन किया गया है। यह प्रणाली चार प्रमुख घटकों को एकीकृत करती है:

प्रीप्रोसेसिंग (Preprocessing): कच्चे वीडियो को UV पोजीशन मैप रिग्रेशन के माध्यम से PRNet का उपयोग करके 3D फेस अलाइनमेंट के लिए संसाधित किया जाता है ताकि सिमेंटिक रूप से संरेखित चेहरे वाले क्षेत्र उत्पन्न किए जा सकें। यह फीचर एक्सट्रैक्शन से पहले स्थिर चेहरे वाले इनपुट सुनिश्चित करता है।
डेटा ऑग्मेंटेशन (Data Augmentation): क्रॉस-वीडियो प्रकाश भिन्नता का अनुकरण करने के लिए, क्लिप-स्तरीय ब्राइटनेस और कंट्रास्ट परटर्बेशन लागू किया जाता है। फ्रेम-स्तरीय रैंडमाइजेशन के विपरीत, यह दृष्टिकोण सभी 10-सेकंड के क्लिप (50 fps पर 500 फ्रेम) के भीतर सुसंगत $\alpha_c$ (कंट्रास्ट) और $\beta_b$ (ब्राइटनेस) ऑफसेट्स लागू करता है, जिससे वैश्विक वीडियो उपस्थिति को बदलते हुए टेम्पोरल निरंतरता बनी रहती है।
आर्किटेक्चर (Architecture): बैकबोन एक PhysFormer-शैली का टेम्पोरल-डिफरेंस ट्रांसफार्मर है, जो टेम्पोरल-डिफरेंस मल्टी-हेड सेल्फ-अटेंशन (TD-MHSA) और स्पैटियो-टेम्पोरल फीड-फॉरवर्ड (ST-FF) ब्लॉक्स का उपयोग करता है। एक नवीन रेसिडुअल टेम्पोरल स्टैंडर्डाइजेशन मॉड्यूल (RTSM) को कनवल्शनल स्टेम के बाद और ट्यूब-टोकन एम्बेडिंग से पहले डाला गया है। RTSM प्रत्येक चैनल और स्थानिक स्थान के लिए टेम्पोरल आयाम के साथ टेम्पोरल मीन और स्टैंडर्ड डेविएशन की गणना करता है, और मूल फिजियोलॉजिकल सिग्नल को मिटाए बिना इंटरमीडिएट फीचर्स में वितरण बदलावों को ठीक करने के लिए एक लर्नबल रेसिडुअल स्केलिंग पैरामीटर ( $\alpha$ ) लागू करता है।
लॉस फंक्शन (Loss Function): प्रशिक्षण उद्देश्य एक हाइब्रिड टेम्पोरल-फ्रीक्वेंसी लॉस का उपयोग करता है: $L_{total} = L_{time} + \beta L_{freq}$ $L_{t o t a l} = L_{t im e} + β L_{f r e q}$ ।
- $L_{time}$ : एक सॉफ्ट-शिफ्टेड पियर्सन लॉस जो मामूली टेम्पोरल मिसअलाइनमेंट को सहने के लिए एक शिफ्ट सेट ( $S = \pm 3$ फ्रेम) पर सहसंबंध (correlation) की गणना करता है।
- $L_{freq}$ : एक स्पेक्ट्रल कुलबैक-लीब्लर (KL) डाइवर्जेंस लॉस जो 40–180 bpm रेंज के भीतर प्रेडिक्टेड वेवफॉर्म के पावर स्पेक्ट्रम को ग्राउंड ट्रुथ के साथ संरेखित करता है।
- $\beta$ : फ्रीक्वेंसी-डोमेन गाइडेंस के योगदान को नियंत्रित करने वाला एक ट्यून करने योग्य वेट।

प्रमुख योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

समस्या का निरूपण: यह rPPG-आधारित HR अनुमान को प्रकाश भिन्नता के तहत मानव-फेसिंग रोबोटिक सिस्टम के लिए एक कैमरा-आधारित फिजियोलॉजिकल परसेप्शन समस्या के रूप में फ्रेम करता है।
आर्किटेक्चरल नवाचार: यह RTSM पेश करता है, जो एक रेसिडुअल करेक्शन के रूप में कार्य करता है ताकि सूक्ष्म पल्स पैटर्न को संरक्षित करते हुए प्रकाश-प्रेरित टेम्पोरल फीचर-सांख्यिकीय बदलावों को दबाया जा सके।
हाइब्रिड सुपरविजन का अनुभवजन्य विश्लेषण: यह एक सब्जेक्ट-इंडिपेंडेंट, मल्टी-इल्यूमिनेशन प्रोटोकॉल पर टेम्पोरल-फ्रीक्वेंसी सुपरविजन वेट्स की ट्यूनिंग की जांच करता है। अध्ययन टेम्पोरल वेवफॉर्म निरंतरता और स्पेक्ट्रल HR गाइडेंस के बीच एक व्यावहारिक संतुलन की पहचान करता है, यह प्रदर्शित करते हुए कि अलग-अलग लाइटिंग के तहत केवल टेम्पोरल या स्पेक्ट्रल सुपरविजन पर्याप्त नहीं है।

परिणाम
प्रयोग तीन इल्यूमिनेशन स्तरों (लो, मीडियम, हाई) के तहत 75 विषयों वाले एक डेटासेट पर एक स्टैटिक ऑल-लेवल मिक्स प्रोटोकॉल का उपयोग करके किए गए।

इष्टतम वेटिंग (Optimal Weighting): परीक्षण किए गए $\beta$ मानों में से, $\beta = 5$ ने सबसे मजबूत परिणाम दिए, जिसने बेस्ट-रन हार्ट रेट मीन एब्सोल्यूट एरर (MAE) का 0.79 bpm और कोरिलेशन कोएफिशिएंट 0.982 प्राप्त किया।
प्रदर्शन लाभ: उसी डेटासेट पर मूल्यांकित PhysFormer बेसलाइन की तुलना में, प्रस्तावित एस्टीमेटर ने HR MAE को 93.6% (12.33 bpm से 0.79 bpm तक) कम कर दिया और HR कोरिलेशन को 0.088 से बढ़ाकर 0.982 कर दिया।
कंपोनेंट एब्लेशन (Component Ablation):
- केवल हाइब्रिड लॉस का उपयोग करने से MAE घटकर 3.54 bpm हो गया।
- इल्यूमिनेशन ऑग्मेंटेशन जोड़ने से MAE और घटकर 2.33 bpm हो गया।
- केवल RTSM जोड़ने से MAE घटकर 1.25 bpm हो गया।
- सभी घटकों का पूर्ण संयोजन अंतिम 0.79 bpm MAE प्राप्त करता है।
लर्नबल पैरामीटर्स: RTSM में लर्नबल रेसिडुअल कोएफिशिएंट $\alpha$ नेगेटिव वैल्यूज की ओर अभिसरित (converge) हुआ, जो दर्शाता है कि मॉडल नॉन-फिजियोलॉजिकल वेरिएशन को कम करने के लिए एक सप्रेसिव करेक्शन के रूप में स्टैंडर्डाइज्ड टेम्पोरल कंपोनेंट का उपयोग करना सीखता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि ऑब्जेक्टिव-लेवल हाइब्रिड सुपरविजन, फीचर-लेवल रेसिडुअल टेम्पोरल स्टैंडर्डाइजेशन और डेटा-साइड इल्यूमिनेशन ऑग्मेंटेशन का संयोजन विविध लाइटिंग स्थितियों में मजबूत rPPG लर्निंग के लिए महत्वपूर्ण है। लेखक इस कार्य को रोबोटों के लिए मजबूत फिजियोलॉजिकल सेंसिंग के लिए एक नियंत्रित पहले कदम के रूप में देखते हैं, जो मोशन और एक्सरसाइज कारकों को संबोधित करने से पहले इल्यूमिनेशन वेरिएशन को अलग करता है। वे दावा करते हैं कि प्रस्तावित एस्टीमेटर कैमरा-आधारित HR अनुमान को तब उपयोगी बनाता है जब प्रकाश बदलता है, जो अनऑब्ट्रूसिव ह्यूमन-अवेयर रोबोट परसेप्शन के लिए एक पूर्व शर्त है। यह अध्ययन मोशन रोबस्टनेस या ऑनलाइन एडैप्टेशन का समाधान करने का दावा नहीं करता है, बल्कि इन्हें भविष्य के कार्य के रूप में चिह्नित करता है जिसमें बोलना, सिर घुमाना और साइकिल चलाने जैसे कार्य शामिल हैं।

1. समस्या: "झिलमिलाती स्पॉटलाइट" (The Flickering Spotlight)

2. समाधान: एक तीन-भाग वाला टूलकिट

3. "डबल-चेक" प्रणाली (हाइब्रिड लॉस - Hybrid Loss)

4. परिणाम: अनभिज्ञ से स्पष्ट तक (From Clueless to Crystal Clear)

सारांश

इसी तरह के और पेपर