💻 computer science

HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation

यह शोध पत्र HOT को प्रस्तुत करता है, जो एक नवीन ढांचा है जो उपस्थिति-संबंधी स्पेक्ट्रल घटकों को स्थानांतरित करने के लिए फ्रीक्वेंसी डोमेन अडैप्टेशन (FDA) और शारीरिक निरंतरता को लागू करने के लिए हार्मोनिक-कंस्ट्रेंड ऑप्टिमल ट्रांसपोर्ट को संयोजित करता है, जिससे विविध डोमेन में रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) मॉडल की मजबूती और सामान्यीकरण में महत्वपूर्ण वृद्धि होती है।

मूल लेखक: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

प्रकाशित 2026-04-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आपके चेहरे का वीडियो देखकर आपकी हृदय गति (heart rate) मापना सिखाने की कोशिश कर रहे हैं। इस तकनीक को रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) कहा जाता है। यह आपके रक्त के पंप होने से आपकी त्वचा में होने वाले सूक्ष्म, लगभग अदृश्य रंग परिवर्तनों को पहचानकर काम करती है।

हालाँकि, एक बड़ी समस्या है: जब वातावरण बदलता है, तो रोबोट भ्रमित हो जाता है।

यदि आप रोबोट को एक हाई-एंड कैमरे और ब्राइट स्टूडियो में प्रशिक्षित करते हैं, तो यह बाहर बादल वाले दिन में एक सस्ते फोन कैमरे के साथ बुरी तरह विफल हो सकता है। लाइटिंग, कैमरा क्वालिटी और यहाँ तक कि आपकी स्किन टोन भी अलग दिखती है। रोबोट इन "दिखावट" (appearance) के बदलावों को आपकी हृदय गति के बदलाव समझ लेता है, जिससे गलत रीडिंग आती है।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक चतुर समाधान पेश करता है जिसे HOT (Harmonic-Constrained Optimal Transport) कहा जाता है। यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के साथ समझाया गया है:

1. समस्या: "गिरगिट" प्रभाव (The "Chameleon" Effect)

एक गिरगिट की तरह सोचें जो एक ऐसे छात्र की तरह है जिसने एक किताब को पूरी तरह से रट लिया है। लेकिन वह किताब एक विशिष्ट फॉन्ट में, विशिष्ट कागज पर और विशिष्ट रोशनी में लिखी गई थी। जब वह छात्र एक अलग फॉन्ट और अलग स्क्रीन पर लिखी परीक्षा देता है, तो वह भ्रमित हो जाता है।

rPPG में, "किताब" प्रशिक्षण डेटा (training data) है। "फॉन्ट" लाइटिंग और कैमरा स्टाइल है। "हृदय गति" वह वास्तविक कहानी है जिसे छात्र को सीखना है। वर्तमान रोबोट 'फॉन्ट' को बहुत अच्छी तरह से सीख लेते हैं और 'कहानी' को भूल जाते हैं।

2. पहला तरीका: "स्टाइल ट्रांसफर" (फ्रीक्वेंसी डोमेन एडाप्टेशन)

लेखक पहले रोबोट को "फॉन्ट" को अनदेखा करना सिखाते हैं। वे एक तकनीक का उपयोग करते हैं जिसे फ्रीक्वेंसी डोमेन एडाप्टेशन (FDA) कहा जाता है।

उपमा: कल्पना करें कि आपके पास एक व्यक्ति की फोटो है (Source) और उसी व्यक्ति की एक दूसरी कमरे में ली गई फोटो है (Target)।
जादू: कंप्यूटर फोटो को दो भागों में विभाजित करता है:
1. आकार (Phase): चेहरे की वास्तविक संरचना और हृदय की धड़कन के सूक्ष्म रंग परिवर्तन।
2. लाइटिंग/रंग (Low-Frequency Amplitude): कमरे की चमक, छाया और रंगत।
बदलाव (The Swap): कंप्यूटर सोर्स फोटो से "आकार" (Shape) लेता है और उसे टारगेट फोटो की "लाइटिंग" (Lighting) के साथ बदल देता है।
परिणाम: अब रोबोट एक ऐसा वीडियो देखता है जो ऐसा लगता है जैसे उसे टारगेट वातावरण (जैसे कि बाहर) में फिल्माया गया हो, लेकिन इसके अंदर का हार्टबीट सिग्नल अभी भी मूल, साफ सिग्नल ही रहता है। यह रोबोट को यह सीखने के लिए मजबूर करता है: "अरे, लाइटिंग बदल गई है, लेकिन हार्टबीट का पैटर्न वही रहा। मुझे पैटर्न पर ध्यान देना चाहिए, लाइटिंग पर नहीं!"

3. दूसरा तरीका: "हारमोनिक एंकर" (HOT)

यहाँ एक पेच है। यदि आप केवल लाइटिंग बदलते हैं, तो रोबोट बहुत अधिक भ्रमित हो सकता है। वह वीडियो के गलत हिस्सों को मिला सकता है (उदाहरण के लिए, सोर्स में पलक झपकने को टारगेट में पलक झपकने से मिलाना) सिर्फ इसलिए क्योंकि वे दिखने में समान हैं, भले ही हार्टबीट का समय मेल न खाता हो।

इसे ठीक करने के लिए, वे HOT (Harmic-Constrained Optimal Transport) पेश करते हैं।

उपमा: कल्पना करें कि आप यह देखने के लिए दो अलग-अलग डांस रूटीन (Source और Target) को मिलाने की कोशिश कर रहे हैं कि क्या वे एक ही डांस हैं।
- मानक मिलान (Standard Matching): आप केवल नर्तकों के कपड़ों को देखते हैं। यदि उन्होंने समान शर्ट पहनी है, तो आप उन्हें मिला देते हैं। यह जोखिम भरा है क्योंकि कपड़े बदलते हैं, लेकिन डांस के स्टेप्स नहीं।
- HOT दृष्टिकोण: आप जानते हैं कि हृदय की धड़कन एक लयबद्ध ड्रमबीट (rhythmic drumbeat) की तरह होती है। इसमें एक मुख्य बीट (हृदय गति) और एक माध्यमिक बीट (पल्स की गूँज) होती है। यही "हारमोनिक" गुण है।
समाधान: HOT एक सख्त संगीत कंडक्टर (conductor) की तरह कार्य करता है। यह कहता है: "आप नर्तकों को मिला सकते हैं, लेकिन केवल तभी जब उनकी ड्रमबीट तालमेल में हो।"
यह एक गणितीय उपकरण (Optimal Transport) का उपयोग करता है ताकि वीडियो फ्रेम को मिलाने का सबसे अच्छा तरीका खोजा जा सके, लेकिन यह एक दंड (penalty) भी जोड़ता है यदि लय मेल नहीं खाती है। यदि रोबोट एक ऐसा फ्रेम मिलाने की कोशिश करता है जहाँ दिल तेजी से धड़क रहा है, तो उसे एक ऐसे फ्रेम के साथ जहाँ दिल धीरे धड़क रहा है, तो "हारमोनिक कंस्ट्रेंट" उसके हाथ पर थप्पड़ मारकर कहता है, "नहीं! यह सही मिलान नहीं है!"

4. परिणाम: एक सुपर-रेज़िलिएंट रोबोट

इन दोनों तरीकों को मिलाकर:

FDA रोबोट को अलग-अलग कैमरों और लाइटों के "शोर" (noise) को अनदेखा करना सिखाता है।
HOT रोबोट को केवल चेहरे के लुक के आधार पर नहीं, बल्कि दिल की "लय" (rhythm) के आधार पर डेटा को अलाइन करने के लिए मजबूर करता है।

शोध पत्र का परीक्षण कई अलग-अलग डेटासेट्स (अलग-अलग कैमरे, अलग-अलग लोग, अलग-अलग लाइट) पर किया गया। परिणाम क्या रहा? रोबोट नए, अनदेखे वातावरणों में हृदय गति मापने में बहुत बेहतर हो गया। उसने केवल प्रशिक्षण डेटा को रटा नहीं; उसने हृदय की धड़कन के 'भौतिक विज्ञान' (physics) को सीखा।

सारांश

HOT को एक ऐसे शिक्षक के रूप में सोचें जो:

छात्र को विभिन्न फॉन्ट और लाइटिंग में अभ्यास टेस्ट (FDA) देता है ताकि वह कागज के लुक से विचलित न हो।
उनके उत्तरों की जाँच मेट्रोनोम (metronome) के विरुद्ध करता है (Harmonic Constraint) ताकि यह सुनिश्चित हो सके कि वे वास्तव में बीट्स को गिन रहे हैं, न कि केवल चित्र के आधार पर अनुमान लगा रहे हैं।

यह तकनीक को वास्तविक दुनिया में काम करने के लिए पर्याप्त मजबूत बनाता है, चाहे आप अस्पताल में हों, जिम में, या अपने लिविंग रूम में।

यहाँ शोध पत्र "HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) चेहरे के वीडियो से शारीरिक संकेतों (जैसे हृदय गति, रक्त आयतन पल्स) का अनुमान लगाने की एक गैर-संपर्क तकनीक है। जबकि डीप लर्निंग-आधारित rPPG विधियों ने विशिष्ट डेटासेट्स पर अत्याधुनिक प्रदर्शन हासिल किया है, वे डोमेन शिफ्ट (domain shift) के तहत महत्वपूर्ण प्रदर्शन गिरावट से ग्रस्त हैं।

मुख्य मुद्दा: सोर्स डोमेन (जैसे नियंत्रित प्रकाश व्यवस्था, विशिष्ट कैमरा) पर प्रशिक्षित मॉडल, विभिन्न स्थितियों (जैसे भिन्न प्रकाश व्यवस्था, त्वचा के रंग, कैमरा विशेषताओं) वाले टारगेट डोमेन में तैनात होने पर विफल हो जाते हैं।
वर्तमान सीमाएँ: मौजूदा विधियाँ अक्सर शारीरिक विशेषताओं (invariant physiological features) को सीखने के बजाय उपस्थिति-संबंधी कारकों (प्रकाश व्यवस्था, रंग प्रतिक्रिया) पर ओवरफिट हो जाती हैं। इसके अलावा, जबकि फ्रीक्वेंसी डोमेन अडैप्टेशन (FDA) सामान्य कंप्यूटर विजन में सफल रहा है, इसे rPPG में प्रभावी ढंग से लागू नहीं किया गया है क्योंकि साधारण उपस्थिति परिवर्तन उन सूक्ष्म रंग परिवर्तनों को दूषित कर सकते हैं जो कार्डिएक सिग्नल्स को एनकोड करते हैं।
अंतराल (The Gap): ऐसी विधियों की कमी है जो स्पष्ट रूप से सोर्स और टारगेट डेटा को संरेखित (align) करती हैं और साथ ही शारीरिक निरंतरता (physiological consistency) को लागू करती हैं (अर्थात, यह सुनिश्चित करना कि रूपांतरित डेटा अभी भी वैध कार्डिएक डायनेमिक्स का प्रतिनिधित्व करता है)।

2. कार्यप्रणाली: HOT फ्रेमवर्क (Methodology: The HOT Framework)

लेखक HOT (Harmonic-Constrained Optimal Transport) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो फ्रीक्वेंसी-डोमेन अडैप्टेशन (FDA) को एक नवीन हारमोनिक-कंस्ट्रेंड ऑप्टिमल ट्रांसपोर्ट लॉस के साथ जोड़ता है।

A. फ्रीक्वेंसी-डोमेन अडैप्टेशन (FDA)

FDA का उपयोग "स्टाइल-ट्रांसफर्ड" ट्रेनिंग सैंपल्स उत्पन्न करने के लिए किया जाता है जो सोर्स डोमेन की शारीरिक सामग्री को संरक्षित करते हुए टारगेट डोमेन की उपस्थिति की नकल करते हैं।

तंत्र (Mechanism): यह फूरियर डोमेन में कार्य करता है। एक सोर्स वीडियो फ्रेम $x_t$ $x_{t}$ और एक टारगेट रेफरेंस फ्रेम $x_r$ $x_{r}$ के लिए:
1. दोनों के लिए 2D डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) की गणना करें।
2. एम्प्लीट्यूड (Amplitude) ( $A$ ) और फेज (Phase) ( $\Phi$ ) स्पेक्ट्रा निकालें।
3. लो-फ्रीक्वेंसी रिप्लेसमेंट: एक लो-फ्रीक्वेंसी मास्क ( $\Omega_\beta$ ) परिभाषित किया जाता है। सोर्स फ्रेम के लो-फ्रीक्वेंसी एम्प्लीट्यूड घटकों को टारगेट रेफरेंस फ्रेम के घटकों से बदल दिया जाता है। हाई-फ頻ेंसी घटक (जो सूक्ष्म विवरण और शारीरिक गतिशीलता रखते हैं) सोर्स से सुरक्षित रखे जाते हैं।
4. पुनर्निर्माण (Reconstruction): अनुकूलित एम्प्लीट्यूड को मूल सोर्स फेज के साथ जोड़ा जाता है, और स्टाइल किए गए फ्रेम $\tilde{x}_t$ को उत्पन्न करने के लिए इनवर्स DFT लागू किया जाता है।
तर्क (Rationale): rPPG में डोमेन शिफ्ट मुख्य रूप से कैमरा स्पेक्ट्रल रिस्पॉन्स और प्रकाश व्यवस्था द्वारा संचालित होते हैं, जो लो-फ्रीक्वेंसी एम्प्लीट्यूड में प्रकट होते हैं। इन्हें बदलकर, मॉडल उपस्थिति विविधताओं को अनदेखा करना सीखता है जबकि फेज स्पेक्ट्रम को सुरक्षित रखता है, जो रक्त प्रवाह के कारण होने वाले सूक्ष्म रंग परिवर्तनों को एनकोड करता है।

B. साइक्लिक लोकल हार्मोनिक डिस्क्रिप्टर (Cyclic Local Harmonic Descriptor)

यह सुनिश्चित करने के लिए कि अनुकूलित डेटा शारीरिक रूप से वैध बना रहे, यह विधि टेम्पोरल फीचर्स से एक हार्मोनिक डिस्क्रिप्टर निकालती है।

टोकेनाइजेशन (Tokenization): बैकबोन नेटवर्क स्पैटियो-टेम्पोरल फीचर्स निकालता है, जिन्हें टेम्पोरल टोकन $Z$ के एक अनुक्रम में एकत्रित किया जाता है।
लोकल साइक्लिक सिग्नल: प्रत्येक टोकन के लिए, स्थानीय गतिशीलता को कैप्चर करने के लिए एक निश्चित लंबाई $W$ का एक साइक्लिक टेम्पोरल पड़ोस बनाया जाता है।
हारमोनिक रेशियो (Harmonic Ratio): स्पेक्ट्रल ऊर्जा की गणना करने के लिए इस स्थानीय सिग्नल पर विंडो-आधारित DFT लागू किया जाता है। विधि प्रमुख आवृत्ति ( $k_1$ , जो हृदय गति के अनुरूप है) और उसके दूसरे हार्मोनिक ( $k_2$ ) की पहचान करती है।
डिस्क्रिप्टर: हारमोनिक रेशियो $r_t = E(k_2) / E(k_1)$ की गणना की जाती है। यह अनुपात एक शारीरिक बाधा (physiological constraint) के रूप में कार्य करता है, क्योंकि कार्डिएक सिग्नल्स स्वाभाविक रूप से मजबूत हार्मोनिक संरचनाएं रखते हैं।

C. हारमोनिक-कंस्ट्रेंड ऑप्टिमल ट्रांसपोर्ट (HOT)

मुख्य नवाचार मूल सोर्स टोकन ( $Z$ ) और FDA-ट्रांसफर्ड टोकन ( $\tilde{Z}$ ) को शारीरिक बाधाओं का सम्मान करते हुए संरेखित करने के लिए ऑप्टिमल ट्रांसपोर्ट (OT) का उपयोग करना है।

ट्रांसपोर्ट कॉस्ट: एक सोर्स टोकन $z_i$ और एक ट्रांसफर किए गए टोकन $\tilde{z}_j$ के बीच लागत $C_{ij}$ को इस प्रकार परिभाषित किया गया है:
$C_{ij} = (1 - \cos(z_i, \tilde{z}_j)) + \lambda_h |r_i - \tilde{r}_j|$
जहाँ पहला पद फीचर समानता (ज्यामितीय) को मापता है और दूसरा पद हारमोनिक रेशियो में अंतर को दंडित (penalize) करता है (शारीरिक)।
ऑप्टिमाइजेशन: संरेखण को कुल लागत को कम करने के लिए सिंकहॉर्न एल्गोरिदम (Sinkhorn algorithm) (एन्ट्रॉपी-रेगुलराइज्ड OT) का उपयोग करके हल किया जाता है ताकि इष्टतम ट्रांसपोर्ट प्लान $P$ प्राप्त हो सके।
ट्रेनिंग ऑब्जेक्टिव: अंतिम लॉस मानक सुपरवाइज्ड रिग्रेशन लॉस (नेगेटिव पियर्सन कोरिलेशन) के साथ HOT एलाइनमेंट लॉस को जोड़ता है:
$L = L_{sup} + \gamma L_{HOT}$
यह मॉडल को ऐसे रिप्रेजेंटेशन उत्पन्न करने के लिए मजबूर करता है जो न केवल सटीक हैं बल्कि उपस्थिति-शिफ्टेड दृश्यों में हार्मोनिक रूप से सुसंगत भी हैं।

3. मुख्य योगदान (Key Contributions)

rPPG में प्रथम FDA अनुप्रयोग: यह पेपर विशेष रूप से rPPG के लिए फ्रीक्वेंसी-डोमेन अडैप्टेशन पेश करता है, यह प्रदर्शित करते हुए कि लो-फ्रीक्वेंसी एम्प्लीट्यूड स्वैपिंग शारीरिक संकेतों को नष्ट किए बिना प्रभावी रूप से डोमेन अनुकूलन वाली उपस्थिति का अनुकरण कर सकता है।
हारमोनिक-कंस्ट्रेंड ऑप्टिमल ट्रांसपोर्ट (HOT): एक नवीन एलाइनमेंट रणनीति जो कार्डिएक सिग्नल्स की हार्मोनिक प्रकृति का लाभ उठाती है ताकि ओरिजिनल और अनुकूलित नमूनों के बीच फीचर्स के ट्रांसपोर्ट को निर्देशित किया जा सके, जिससे शारीरिक सुसंगतता सुनिश्चित होती है।
बैकबोन-अग्नोस्टिक फ्रेमवर्क: इस पद्धति को एक प्लग-एंड-प्ले मॉड्यूल के रूप में डिज़ाइन किया गया है जो विभिन्न आर्किटेक्चर (CNN और ट्रांसफॉर्मर) में सामान्यीकरण (generalization) में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन तीन प्रमुख डेटासेट्स पर किया गया: PURE, UBFC-rPPG, और MMPD (एक बड़ा-स्तरीय, मल्टी-डोमेन डेटासेट जिसमें महत्वपूर्ण डोमेन शिफ्ट शामिल हैं)।

क्रॉस-डेटासेट प्रदर्शन: व्यापक प्रयोगों (जैसे, PURE पर प्रशिक्षण, MMPD पर परीक्षण) ने दिखाया कि HOT जोड़ने से बेसलाइन मॉडल (DeepPhys, PhysNet, TSCAN, PhysFormer, आदि) का प्रदर्शन लगातार बेहतर हुआ।
- मेट्रिक्स: मीन एब्सोल्यूट एरर (MAE), रूट मीन स्क्वायर एरर (RMSE), और मीन एब्सोल्यूट परसेंटेज एरर (MAPE) में महत्वपूर्ण कमी, साथ ही उच्च पियर्सन कोरिलेशन गुणांक ( $r$ ) देखा गया।
- मजबूती (Robustness): सुधार सबसे चुनौतीपूर्ण परिदृश्यों (जैसे, UBFC-rPPG $\to$ MMPD) में सबसे अधिक स्पष्ट थे, जहाँ प्रकाश व्यवस्था और मोशन वेरिएशंस के कारण डोमेन शिफ्ट गंभीर होता है।
एब्लेशन स्टडीज (Ablation Studies):
- लो-फ्रीक्वेंसी रेशियो ( $\beta$ ): इष्टतम प्रदर्शन $\beta=0.05$ पर पाया गया, जो डोमेन अडैप्टेशन और सिग्नल संरक्षण के बीच संतुलन बनाता है।
- हारमोनिक कंस्ट्रेंट ( $\lambda_h$ ): हार्मोनिक पेनल्टी अत्यंत महत्वपूर्ण थी; इसके बिना, एलाइनमेंट ज्यामितीय रूप से सुसंगत था लेकिन शारीरिक रूप से असंगत था।
- दक्षता (Efficiency): HOT ट्रेनिंग के दौरान कम्प्यूटेशनल ओवरहेड जोड़ता है (लगs 11% समय वृद्धि, सिंकहॉर्न इटरेशन के कारण ~98% पीक मेमोरी वृद्धि) लेकिन इसका इन्फरेंस लेटेंसी पर नगण्य प्रभाव पड़ता है क्योंकि एलाइनमेंट का उपयोग केवल ट्रेनिंग के दौरान किया जाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य rPPG के वास्तविक दुनिया में तैनाती की एक महत्वपूर्ण बाधा को संबोधित करता है: डोमेन जनरलाइजेशन। FDA के माध्यम से उपस्थिति भिन्नता को स्पष्ट रूप से मॉडल करके और HOT के माध्यम से शारीरिक निरंतरता को लागू करके, लेखक एक मजबूत समाधान प्रदान करते हैं जो rPPG मॉडल को विविध कैमरों, प्रकाश स्थितियों और विषयों में सामान्यीकरण करने की अनुमति देता है।

प्रभाव: प्रस्तावित पद्धति rPPG को अनकन्स्ट्रेंड वातावरण में व्यावहारिक, निर्बाध स्वास्थ्य निगरानी के करीब ले जाती है।
सीमाएँ और भविष्य का कार्य: वर्तमान दृष्टिकोण के लिए FDA हेतु बिना लेबल वाले टारगेट-डोमेन रेफरेंस सैंपल्स की आवश्यकता होती है। भविष्य के कार्य में इस निर्भरता को कम करने और सिंकहॉर्न एलाइनमेंट की कम्प्यूटेशनल लागत को और अधिक अनुकूलित करने का लक्ष्य है।

संक्षेप में, HOT डेटा-संचालित उपस्थिति अनुकूलन और शारीरिक सिग्नल अखंडता के बीच के अंतर को पाटकर rPPG को वास्तविक दुनिया की परिवर्तनशीलता के प्रति मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है।