💻 computer science

Decision-Level Fusion for Robust Wearable Affect Recognition

यह शोध पत्र वियरेबल उपकरणों के लिए एक सुदृढ़ अफेक्ट रिकग्निशन फ्रेमवर्क प्रस्तावित करता है जो क्षणिक विशेषता निष्कर्षण (ट्रांजिएंट फीचर एक्सट्रैक्शन) के लिए फूरियर-बेसेल सीरीज़ एक्सपेंशन को एम्पेरिकल वेवलेट ट्रांसफॉर्म के साथ संयोजित करता है और अनिश्चितता-भारित निर्णय-स्तर संलयन (अनसर्टेन्टी-वेटेड डिसीजन-लेवल फ्यूजन) का उपयोग करता है, जो विषम और शोर वाली सेंसिंग स्थितियों में WESAD डेटासेट पर फीचर-लेवल एग्रीगेशन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: मन के मौसम को पढ़ना

कल्पना कीजिए कि आप जानना चाहते हैं कि कोई तनाव में है, खुश है, या बस आराम कर रहा है। उनसे पूछने के बजाय, आप उनके शरीर की "मौसम रिपोर्ट" देखते हैं। यह पहनने योग्य गैजेट्स (जैसे स्मार्टवॉच) का उपयोग करके किया जाता है जो हृदय गति, त्वचा के पसीने और मांसपेशियों के तनाव जैसी चीजों को मापते हैं।

समस्या यह है कि शरीर के संकेत बहुत अव्यवस्थित होते हैं। वे तेजी से बदलते हैं, उनमें शोर (जैसे रेडियो पर स्टेटिक) आ सकता है, और कभी-कभी कोई सेंसर काम करना बंद कर सकता है या किसी आस्तीन से ढंक सकता है। इस शोध के लेखकों ने इन अव्यवस्थित संकेतों को अधिक सटीक और विश्वसनीय रूप से पढ़ने के लिए एक नया सिस्टम बनाया है।

समस्या: "धुंधला कैमरा" दृष्टिकोण

अधिकांश वर्तमान सिस्टम शरीर के संकेतों को धीमी शटर स्पीड वाले कैमरे की तरह देखते हैं। वे समय का एक हिस्सा लेते हैं, सब कुछ औसत (average) निकाल देते हैं, और एक धुंधली तस्वीर बना देते हैं।

समस्या: भावनाएं अक्सर बहुत कम समय के लिए होने वाले तीव्र उछाल (जैसे डर लगने पर हृदय गति में अचानक वृद्धि) के रूप में होती हैं। यदि आप डेटा को सुचारू बनाने के लिए उसे "धुंधला" (blur) कर देते हैं, तो आप उन महत्वपूर्ण, तेज़ विवरणों को खो देते हैं।
परिणाम: सिस्टम "उत्साहित" और "तनावग्रस्त" के बीच का अंतर भूल सकता है क्योंकि उसने उन सुरागों को स्मूथ कर दिया है।

समाधान: एक तीन-चरणीय जासूसी टीम

लेखक एक नया तरीका प्रस्तावित करते हैं जो तीन चरणों में काम करता है, जैसे कि एक केस सुलझाती जासूसों की टीम।

चरण 1: "हाई-रेज लेंस" (फीचर एक्सट्रैक्शन)

एक धुंधले औसत के बजाय, टीम एक विशेष गणितीय उपकरण का उपयोग करती है जिसे FBSE-EWT कहा जाता है।

उपमा: कल्पना कीजिए कि आप एक गाना सुन रहे हैं। एक मानक तरीका केवल "औसत वॉल्यूम" बता सकता है। यह नया तरीका एक उच्च-गुणवत्ता वाले ऑडियो इंजीनियर की तरह काम करता है जो गाने को अलग-अलग वाद्य यंत्रों (ड्रम, बास, वोकल्स) में विभाजित कर सकता है, भले ही वे एक साथ बज रहे हों।
यह क्या करता है: यह शरीर के संकेतों को उनके विशिष्ट, तेजी से चलने वाले हिस्सों में विभाजित करता है जिससे विवरण खोते नहीं हैं। यह उन "ट्रांजिएंट" (अल्पकालिक) स्पाइक्स को पकड़ता है जो वास्तव में हमें बताते हैं कि व्यक्ति कैसा महसूस कर रहा है।

चरण 2: "विशेषज्ञ जासूस" (सिंगल-सेंसर प्रेडिक्शन)

एक बार जब संकेत स्पष्ट हो जाते हैं, तो सिस्टम उन्हें एक बड़े ब्लेंडर में नहीं डालता है। इसके बजाय, यह प्रत्येक सेंसर को एक अलग "जासूस" सौंपता है।

व्यवस्था: एक जासूस केवल हृदय (ECG) को देखता है, दूसरा केवल त्वचा के पसीने (EDA) को, और तीसरा केवल हलचल (Accelerometer) को।
कार्य: प्रत्येक जासूस अपना अनुमान लगाता है: "मुझे लगता है कि यह व्यक्ति तनाव में है।"
विश्वास की जाँच: महत्वपूर्ण रूप से, प्रत्येक जासूस अपने विश्वास (confidence) को भी रेट करता है। "मैं 90% निश्चित हूँ," या "मैं केवल 40% निश्चित हूँ क्योंकि मेरा सिग्नल शोर भरा है।"

चरण 3: "बुद्धिमान परिषद" (डिसीजन-लेवल फ्यूजन)

यह सबसे महत्वपूर्ण हिस्सा है। कच्चे डेटा (जो अव्यवस्थित है) को मिलाने के बजाय, सिस्टम जासूसों के निर्णयों को जोड़ता है।

उपमा: एक जूरी (Jury) की कल्पना करें। यदि एक जूरी सदस्य जोर से चिल्ला रहा है लेकिन स्पष्ट रूप से भ्रमित है (कम विश्वास), तो अन्य लोग उसे अनदेखा कर देते हैं। यदि दूसरा सदस्य शांत है, सुनिश्चित है और उसका दृश्य स्पष्ट है (उच्च विश्वास), तो उसके वोट की गिनती अधिक होती है।
यह कैसे काम करता है: सिस्टम सभी सेंसरों के अनुमानों को लेता है और उन्हें वजन (weight) देता है।
- यदि कोई सेंसर शोर भरा या खराब है, तो सिस्टम उसके वोट को बहुत कम महत्व देता है।
- यदि कोई सेंसर स्पष्ट और आत्मविश्वासी है, तो उसके वोट की गिनती भारी होती है।
लाभ: यदि एक सेंसर पूरी तरह विफल हो जाता है (जैसे घड़ी का हाथ से उतर जाना), तो सिस्टम क्रैश नहीं होता है। यह केवल शेष जासूसों की बात सुनता है और जो अभी भी विश्वसनीय हैं उनके आधार पर निर्णय लेता है।

परिणाम: क्या यह काम करता है?

टीम ने इसका परीक्षण WESAD नामक एक मानक डेटासेट पर किया (जिसमें 15 लोग शामिल हैं जो रिलैक्स, स्ट्रेस या आनंद की स्थिति में सेंसर पहने हुए थे)।

तुलना: उन्होंने अपने "बुद्धिमान परिषद" (Wise Council) तरीके की तुलना पुराने "ब्लेंडर" तरीके (फीचर-लेवल फ्यूजन) से की।
निष्कर्ष:
- लगभग 84% मामलों में, नया तरीका पुराने तरीके के समान या उससे बेहतर था।
- लगभग 48% मामलों में, नया तरीका पूरी तरह से बेहतर था।
मुख्य बात: नया तरीका अधिक मजबूत (robust) है। यह लापता सेंसर और शोर वाले डेटा को पारंपरिक दृष्टिकोण की तुलना में बहुत बेहतर तरीके से संभालता है।

सारांश

इस पेपर को एक कमरे में बेतरतीब ढंग से तथ्य चिल्लाने वाले लोगों के समूह से बदलकर एक सुव्यवस्थित समिति के रूप में देखें।

वे तथ्यों को स्पष्ट रूप से सुनने के लिए बेहतर उपकरणों का उपयोग करते हैं (FBSE-EWT)।
वे प्रत्येक विशेषज्ञ को अपनी बात कहने देते हैं (सिंगल-सेंसर प्रेडिक्टर्स)।
वे उस सटीक क्षण में कौन अधिक विश्वसनीय है, इसके आधार पर वोट करते हैं (अनसर्टेन्टी-वेटेड फ्यूजन)।

यह सिस्टम को यह समझने में बहुत बेहतर बनाता है कि आप कैसा महसूस कर रहे हैं, भले ही आपकी घड़ी फिसल रही हो या आपकी हृदय गति ऊपर-नीचे हो रही हो।

तकनीकी सारांश: सुदृढ़ पहनने योग्य प्रभाव पहचान (Affect Recognition) के लिए निर्णय-स्तरीय संलयन (Decision-Level Fusion)

समस्या विवरण
पहनने योग्य शारीरिक संकेतों (विशेष रूप से बेसलाइन, तनाव और मनोरंजन) से भावनात्मक अवस्थाओं की स्वचालित पहचान करना वास्तविक दुनिया में तैनाती के दौरान महत्वपूर्ण चुनौतियों का सामना करता है। जबकि WESAD जैसे डेटासेट मूल्यांकन को सुगम बनाते हैं, वर्तमान पाइपलाइन शारीरिक समय श्रृंखला (physiological time series) की गैर-स्थिर (non-stationary), शोर युक्त (noisy) और विषय-निर्भर प्रकृति से जूझती हैं। दो प्राथमिक सीमाओं की पहचान की गई है:

विशेषता निष्कर्षण (Feature Extraction): निश्चित-आधारित स्पेक्ट्रल विशेषताओं (जैसे FFT बैंडपावर, Welch PSD) पर निर्भर सामान्य विधियाँ स्थानीय स्थिरता (local stationarity) मान लेती हैं। ये दृष्टिकोण उन अल्पकालिक, विभेदक क्षणिक पैटर्न (transient patterns) को अक्सर अत्यधिक सुचारू (oversmooth) कर देते हैं जो भावनात्मक अवस्थाओं को अलग करने के लिए महत्वपूर्ण होते हैं।
बहुविध एकीकरण (Multimodal Integration): वास्तविक दुनिया की सेंसिंग आर्टिफ़ैक्ट्स, सिग्नल विफलता और लुप्त मोडैलिटीज के प्रति संवेदनशील होती है। पारंपरिक प्रारंभिक संलयन (feature-level) दृष्टिकोण अक्सर पूर्ण सेंसर उपलब्धता मान लेते हैं, जिससे सेंसर के शोर युक्त या अनुपलब्ध होने पर प्रदर्शन में गिरावट आती है।

कार्यप्रणाली
लेखक एक तीन-चरणीय पाइपलाइन प्रस्तावित करते हैं जिसे गैर-स्थिरता और सेंसर अविश्वसनीयता को संबोधित करने के लिए डिज़ाइन किया गया है:

गैर-स्थिर विशेषता निष्कर्षण (FBSE-EWT):
निश्चित-विंडो फूरियर ट्रांसफॉर्म के बजाय, यह शोध पत्र एक हाइब्रिड सिग्नल विश्लेषण पद्धति पेश करता है जो फूरियर-बेसेल सीरीज़ एक्सपेंशन (FBSE) के साथ एम्पिरिकल वेवलेट ट्रांसफॉर्म (EWT) को जोड़ती है।

FBSE: विंडो वाले सिग्नल को बेसेल आधारों (Bessel bases) का उपयोग करके प्रस्तुत करता है, जो चौड़े-बैंड (wide-band), गैर-स्थिर सिग्नलों के लिए उपयुक्त आयाम-मॉड्यूलेशन जैसा व्यवहार प्रदर्शित करते हैं।
EWT: डेटा-संचालित स्पेक्ट्रल सेगमेंटेशन करता है। निश्चित वेवलेट बैंकों के विपरीत, EWT FBSE स्पेक्ट्रम के हिस्टोग्राम में सार्थक मिनिमा (minima) का पता लगाकर सीधे सिग्नल से वेवलेट बैंड सीखता है।
विशेषता निर्माण: यह विधि इन अनुकूलित फिल्टरों से मोड (modes) को पुनर्गठित करती है और निश्चित-आयामी डिस्क्रिप्टर निकालती है, जिसमें मोड ऊर्जा, लॉग-ऊर्जा और मोड एंट्रॉपी शामिल हैं। यह उन क्षणिक स्पेक्ट्रल संरचनाओं को संरक्षित करता है जिन्हें निश्चित-आधारित विधियाँ छोड़ सकती हैं।

एकल-सेंसर भविष्यवाणी (Single-Sensor Prediction - SSP):
प्रत्येक मोडैलिटी (ECG, EDA, BVP, EMG, ACC) को एक समर्पित प्रेडिक्टर द्वारा स्वतंत्र रूप से संसाधित किया जाता है। लेखक ReLU एक्टिवेशन और एक सॉफ्टमैक्स आउटपुट लेयर के साथ एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) का उपयोग करते हैं।

MLP भावनात्मक वर्गों पर एक संभाव्यता वितरण ( $P_i$ ) और एक कॉन्फिडेंस स्कोर ( $F1_i$ ) आउटपुट करता है, जो प्रेडिक्टर की विश्वसनीयता को दर्शाता है।
यह मॉड्यूलर डिज़ाइन प्रत्येक सेंसर को स्वतंत्र रूप से प्रभाव-विभेदक पैटर्न सीखने की अनुमति देता है, जिससे छोटे डेटासेट के लिए दक्षता बनाए रखते हुए जटिल टेम्पोरल मॉडल्स (जैसे CNNs/L 인한 LSTMs) की जटिलता से बचा जा सके।

अनिश्चितता-जागरूक निर्णय-स्तरीय एकत्रीकरण (Uncertainty-Aware Decision-Level Aggregation):
कच्चे डेटा या विशेषताओं को फ्यूज करने के बजाय, पाइपलाइन स्वतंत्र भविष्यवाणियों को निर्णय स्तर पर एकत्रित करती है। अंतिम भविष्यवाणी व्यक्तिगत सेंसर संभावनाओं का एक भारित औसत (weighted average) है, जहाँ भार निम्नलिखित द्वारा निर्धारित होते हैं:

भविष्यवाणी अनिश्चितता (Predictive Uncertainty): विशिष्ट भविष्यवाणी इंस्टेंस के सूचना एंट्रॉपी ( $H(P_i)$ ) के माध्यम से मापा जाता है। कम एंट्रॉपी (उच्च निश्चितता) भार को बढ़ाती है।
मोडैलिटी विश्वसनीयता (Modality Reliability): एकल-सेंसर प्रेडिक्टर के वैश्विक F1 स्कोर ( $F1_i$ ) द्वारा मापा जाता है।
फ्यूजन नियम: वर्ग $e$ के लिए एकत्रित संभाव्यता की गणना इस प्रकार की जाती है:
$P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$
जहाँ $\gamma$ एक नॉर्मलाइजेशन फैक्टर है। यह डिज़ाइन सुनिश्चित करता है कि अनिश्चित या अविश्वसनीय सेंसरों का योगदान कम हो, जिससे सेंसर विफल होने या शोर युक्त होने पर भी सुचारू गिरावट (graceful degradation) संभव हो सके।

प्रमुख योगदान

अनुकूली प्रतिनिधित्व (Adaptive Representation): एक गैर-स्थिर प्रतिनिधित्व (FBSE-EWT) जो डेटा-संचालित सेगमेंटेशन के माध्यम से क्षणिक स्पेक्ट्रल मोड को अलग करता है, जो निश्चित-आधारित विधियों की तुलना में गतिशील संरचना को बेहतर ढंग से संरक्षित करता है।
सुदृढ़ संलयन तंत्र (Robust Fusion Mechanism): एक मॉड्यूलर, अनिश्चितता-जागरूक निर्णय संलयन नियम जो इंस्टेंस-विशिष्ट एंट्रॉपी और वैश्विक मोडैलिटी विश्वसनीयता दोनों के आधार पर सेंसर योगदान को भारित करता है, जिससे लुप्त या शोर युक्त डेटा के तहत स्थिरता सुनिश्चित होती है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन-वर्ग प्रभाव पहचान के लिए इस दृष्टिकोण की प्रभावकारिता दिखाने के लिए WESAD डेटासेट पर एक मूल्यांकन।

परिणाम
WESAD डेटासेट (15 विषय, 5 सेंसर, 3 वर्ग) पर मूल्यांकित किए गए प्रस्तावित ढांचे ने निम्नलिखित निष्कर्ष दिए:

निर्णय बनाम विशेषता संलयन: निर्णय-स्तरीय एकत्रीकरण, फीचर-स्तरीय एकत्रीगेशन की तुलना में ≈84% तक समान या बेहतर पाया गया। ≈48% मामलों में, निर्णय-स्तरीय संलयन स्पष्ट रूप से श्रेष्ठ था।
टीम आकार सुदृढ़ता (Team Size Robustness): निर्णय-स्तरीय एकत्रीकरण ने सभी टीम आकारों (एकल सेंसर से लेकर पूर्ण क्वाटेट तक) में फीचर-स्तरीय एकत्रीकरण को लगातार पछाड़ा।
स्केलेबिलिटी: जैसे-जैसे अधिक सेंसर ने एकत्रीकरण में भाग लिया, सटीकता में सुधार हुआ, जो व्यक्तिगत गुणवत्ता भिन्न होने पर भी मल्टीमॉडल एकीकरण के लाभ की पुष्टि करता है।

महत्व और दावे
शोध पत्र का दावा है कि प्रस्तावित पाइपलाइन विषम और आंशिक रूप से विश्वसनीय सेंसिंग वातावरण में पहनने योग्य प्रभाव पहचान के लिए बेहतर सुदृढ़ता प्रदान करती है। फीचर-लेवल से निर्णय-लेवल फ्यूजन की ओर और अनुकूलित स्पेक्ट्रल अपघटन (spectral decomposition) का उपयोग करके, सिस्टम ओवरकॉन्फिडेंट भविष्यवाणियों के बजाय कैलिब्रेटेड विश्वास अवस्थाओं (calibrated belief states) को आउटपुट करता है। यह विशेष रूप से स्वास्थ्य और देखभाल सेटिंग्स में एजेंट-आधारित निर्णय समर्थन के लिए महत्वपूर्ण है, जहाँ हस्तक्षेपों को अनिश्चितता के तहत रूढ़िवादी रूप से ट्रिगर किया जाना चाहिए। लेखक इस कार्य को एक ऐसे डिप्लॉयबल, प्रभाव-जागरूक स्वास्थ्य प्रणाली की दिशा में एक कदम के रूप में देखते हैं जो एकीकरण के लिए विशिष्ट सिग्नल विशेषताओं के विशेषज्ञ ज्ञान की आवश्यकता के बिना गैर-स्थिर शरीर विज्ञान और सेंसर विफलता की वास्तविकताओं को संभाल सकता है।