तकनीकी सारांश: ANA – IFS थेरेपी पर आधारित एक AI-संचालित मल्टीमॉडल इमोशन-अवेयर एप्लीकेशन

1. समस्या विवरण और प्रेरणा

आर्टिफिशियल इंटेलिजेंस का उपयोग करने वाली वर्तमान मानसिक स्वास्थ्य सहायता प्रणालियाँ मुख्य रूप से यूनिमॉडल (एकल-मोडल), टेक्स्ट-आधारित इंटरैक्शन तक सीमित हैं। इन प्रणालियों में अक्सर स्वर (tone), चेहरे के भाव और हाथों के इशारों के माध्यम से व्यक्त होने वाली जटिल मानवीय भावनाओं को समझने की क्षमता का अभाव होता है। इसके अलावा, मौजूदा मल्टीमॉडल मॉडल अक्सर कमजोर एकीकरण रणनीतियों से ग्रस्त होते हैं, जैसे कि इंटर-मोडल निर्भरताओं पर ध्यान दिए बिना सरल फीचर कॉनकैटिनेशन (विशेषता संयोजन), और स्थापित मनोवैज्ञानिक सिद्धांतों के साथ संरेखण की कमी।

विशेष रूप से, ऐसे कम्प्यूटेशनल मॉडल्स में एक अंतर है जो मल्टीमॉडल डेटा (टेक्स्ट, स्पीच, विजन, जेस्चर) को इंटरनल फैमिली सिस्टम्स (IFS) थेरेपी के साथ एकीकृत करते हैं। IFS यह मानता है कि मानव मन कई अलग-अलग "आंतरिक भागों" (जैसे, 'इनर क्रिटिक', 'प्रोटेक्टर', 'ओवरव्हेल्म्ड पार्ट') से बना है जिनके अपने अनूठे भावनात्मक प्रोफाइल होते हैं। शोध पत्र का तर्क है कि इन मनोवैज्ञानिक संरचनाओं को मॉडल करने के लिए एक संरचित दृष्टिकोण की आवश्यकता है जो विषम भावनात्मक संकेतों को विशिष्ट मनोवैज्ञानिक संरचनाओं के साथ मैप कर सके, जो कि एक कार्य है जिसे यूनिमॉडल सिस्टम प्राप्त नहीं कर सकते।

2. प्रस्तावित समाधान: ANA मॉडल

लेखक ANA (ए मल्टीमॉडल एप्लीकेशन फॉर मॉडलिंग इमोशनल स्टेट्स एंड एडेप्टिव इंटरैक्शन) का प्रस्ताव करते हैं, जो IFS थेरेपी अवधारणाओं की नकल करने के लिए डिज़ाइन किया गया एक सिस्टम है। ANA एक मल्टीमॉडल लर्निंग प्रतिमान का उपयोग करता है जो चार अलग-अलग मोडलिटीज (माध्यमों) में उपयोगकर्ता के इनपुट का विश्लेषण करता है: टेक्स्ट, वॉयस (आवाज़), फेशियल एक्सप्रेशन (चेहरे के भाव), और हैंड जेस्चर्स (हाथों के इशारे)।

2.1 सिस्टम आर्किटेक्चर और वर्कफ़्लो

सिस्टम एक "रीफ्रेम सेशन" वर्कफ़्लो के माध्यम से संचालित होता है:

1. एक्सेस कंट्रोल: इंटरैक्शन से पहले, सिस्टम उपयोगकर्ता की स्थिति को सत्यापित करता है। यदि किसी उपयोगकर्ता के पास तीन या अधिक "अनहील्ड" (अस्वस्थ) आंतरिक पात्र होते हैं, तो उपयोगकर्ता को अभिभूत होने से बचाने के लिए मल्टीमॉडल इनपुट तक पहुंच प्रतिबंधित कर दी जाती है।
2. इनपुट मोडलिटीज:
   • वीडियो: टेक्स्ट, वोकल इमोशन, हैंड जेस्चर और फेशियल एक्सप्रेशन को एक साथ निकालता है।
   • केवल टेक्स्ट: लिखित इनपुट को प्रोसेस करता है।
   • केवल वॉयस: स्पीच सिग्नल और टोन को प्रोसेस करता है।
   • नोट: विश्लेषण से पहले अरबी इनपुट को स्वचालित रूप से अंग्रेजी में अनुवादित किया जाता है।
3. प्रोसेसिंग: प्रत्येक मोडलिटी को फीचर निकालने के लिए एक विशिष्ट एनकोडर द्वारा प्रोसेस किया जाता है।
4. फ्यूजन: एक फ्यूजन मॉड्यूल इन संकेतों को एकीकृत करता है ताकि उपयोगकर्ता के आंतरिक चरित्र प्रोफाइल को अपडेट किया जा सके और भावनात्मक स्थिति का आकलन किया जा सके।
5. आउटपुट: सिस्टम प्रमुख "इनर कैरेक्टर" और भावनात्मक स्थिति की पहचान करता है, और व्यवहार संबंधी ट्रैकिंग के लिए डेटा संग्रहीत करता है।

3. कार्यप्रणाली (मेथोडोलॉजी)

3.1 डेटा प्रीप्रोसेसिंग

• टेक्स्ट: इसमें नॉर्मलाइजेशन, टोकनाइजेशन, स्टॉप-वर्ड रिमूवल, वोकैबुलरी एनकोडिंग, और फिक्स्ड-लेंथ सीक्वेंस बनाने के लिए पैडिंग/ट्रंकेशन शामिल है।
• वॉयस: इसमें रीसैंपलिंग (16 kHz), नॉइज़ रिडक्शन, साइलेंस ट्रिमिंग, फ्रेमिंग, और फीचर एक्सट्रैक्शन (MFCCs, Chroma, Mel-spectrogram, ZCR, RMS, Spectral Centroid) शामिल है। फीचर्स को स्टैंडर्डाइज और PCA के माध्यम से कम किया जाता है।
• हैंड जेस्चर्स: हाथ के 21 लैंडमार्क्स का पता लगाने के लिए MediaPipe का उपयोग करता है। कोऑर्डिनेट्स को कलाई के सापेक्ष नॉर्मलाइज (ट्रांसलेशन और स्केल) किया जाता है, उन्हें 42-डायमेंशनल वेक्टर में फ्लैट किया जाता है, और वर्गीकरण के लिए तैयार किया जाता है।
• फेशियल एक्सप्रेशन: छवियों को ग्रेस्केल में बदला जाता है, 48x48 पिक्सल के आकार में बदला जाता है, नॉर्मलाइज किया जाता है, और ट्रेनिंग के दौरान ऑगमेंटेशन (रोटेशन, शीयर, ज़ूम) किया जाता है।

3.2 मोडलिटी-विशिष्ट एनकोडर

सिस्टम प्रत्येक इनपुट प्रकार के लिए विशिष्ट एनकोडर का उपयोग करता है:

• टेक्स्ट एनकोडर: एक हाइब्रिड CNN + BiLSTM मॉडल। CNN लेयर्स लोकल N-ग्राम फीचर्स निकालती हैं, जिसके बाद लॉन्ग-टर्म डिपेंडेंसी कैप्चर करने के लिए मैक्स पूलिंग और BiLSTM लेयर्स का उपयोग किया जाता है। आउटपुट "इनर कैरेक्टर" (जैसे, इनर क्रिटिक, प्रोटेक्टर) को वर्गीकृत करता है।
• वॉयस एनकोडर: हैंडक्राफ्टेड एकोस्टिक फीचर्स (MFCCs, पिच, एनर्जी) का उपयोग करता है जिन्हें PCA के माध्यम से कम किया जाता है और भावनात्मक अवस्थाओं को पहचानने के लिए K-Nearest Neighbors (KNN) एल्गोरिदम का उपयोग करके वर्गीकृत किया जाता है।
• हैंड जेस्टर एनकोडर: एक Multi-Layer Perceptron (MLP) क्लासिफायर जो स्टैटिक और डायनेमिक जेस्चर को पहचानने के लिए नॉर्मलाइज्ड लैंडमार्क वेक्टर्स को प्रोसेस करता है।
• फेशियल एक्सप्रेशन एनकोडर: एक Convolutional Neural Network (CNN) (Caffe SSD/ResNet-10 डिटेक्शन पर आधारित) जो चेहरे की छवियों से भावनाओं को वर्गीकृत करता है।

3.3 फ्यूजन रणनीतियाँ

पेपर तीन फ्यूजन दृष्टिकोणों का मूल्यांकन करता है:

1. अर्ली फ्यूजन (Early Fusion): वर्गीकरण से पहले फीचर्स को जोड़ना (Concatenation)।
2. लेट फ्यूजन (Late Fusion): प्रत्येक मोडलिटी स्वतंत्र रूप से भविष्यवाणी करती है, जिन्हें वेटेड वोटिंग के माध्यम से संयोजित किया जाता है।
3. हाइब्रिड फ्यूजन (Hybrid Fusion): फीचर-लेवल और डिसीजन-लेवल फ्यूजन का एक संयोजन।
   परिणाम संकेत देते हैं कि लेट फ्यूजन सबसे प्रभावी रणनीति है, क्योंकि यह प्रत्येक मोडलिटी को एकत्रित करने से पहले स्वतंत्र निर्णय लेने की अनुमति देता है, जिससे सिस्टम मिसिंग या नॉइज़ी इनपुट के प्रति मजबूत बनता है।

4. प्रयोगात्मक परिणाम

4.1 डेटासेट्स

अध्ययन ने प्रशिक्षण और मूल्यांकन के लिए विविध डेटासेट्स का उपयोग किया:

• टेक्स्ट: काउंसलिंग, डेली-डायलॉग, गो-इमोशंस और रेडिट-मेंटल-हेल्थ जैसे स्रोतों से एकत्रित (360,000 सैंपल्स)।
• वॉयस: बेंचमार्क डेटासेट्स जिनमें RAVDESS, TESS, CREMA-D, SAVEE, और EMO-DB शामिल हैं (4,800 सैंपल्स)।
• फेस: FER-2013, AffectNet, और CK+ (35,887 सैंपल्स)।
• हैंड जेस्चर्स: MediaPipe का उपयोग करके बनाया गया एक कस्टम डेटासेट (ANAHandGestures.csv) (6,153 सैंपल्स)।

4.2 प्रदर्शन मेट्रिक्स

यूनिमॉडल मॉडल्स ने निम्नलिखित सटीकता (Accuracy) प्राप्त की:

• वॉयस इमोशन रिकग्निशन (KNN): 98% (उच्चतम प्रदर्शन; मजबूत एकोस्टिक सेपरेबिलिटी के कारण)।
• टेक्स्ट इनर कैरेक्टर क्लासिफिकेशन (CNN+BiLSTM): 97%।
• हैंड जेस्टर रिकग्निशन (MLP): 93%।
• फेशियल इमोशन रिकग्निशन (CNN): 88% (लाइटिंग और एक्सप्रेशन ओवरलैप के प्रति संवेदनशीलता के कारण कम)।

4.3 विश्लेषण

• वॉयस और टेक्स्ट को भावनात्मक अवस्था और इनर कैरेक्टर के सबसे मजबूत प्रेडिक्टर के रूप में पहचाना गया।
• फेशियल और हैंड जेस्चर्स पूरक संकेतों के रूप में कार्य करते हैं, जो गैर-मौखिक फीडबैक प्रदान करते हैं जो टेक्स्ट या वॉयस की अस्पष्टता को सुलझाने में मदद करते हैं (जैसे, मुस्कान के पीछे छिपे दुख को पहचानने वाला एक "प्रोटेक्टर" डिटेक्ट करना)।
• कन्फ्यूजन मैट्रिसेस ने डायगोनल डोमिनेंस दिखाया, जिसमें त्रुटियां मुख्य रूप से समान भावनात्मक वर्गों (जैसे, न्यूट्रल बनाम सैड) के बीच हुईं।
• ROC विश्लेषण ने सभी मोडलिटीज के लिए उच्च AUC मानों की पुष्टि की, जो मजबूत क्लास सेपरेशन को दर्शाता है।

5. मुख्य योगदान

पेपर निम्नलिखित विशिष्ट योगदानों को रेखांकित करता है:

1. स्ट्रक्चर्ड मल्टीमॉडल मॉडल: एक ऐसा सिस्टम विकसित करना जो चार मोडलिटीज (टेक्स्ट, वॉयस, फेस, जेस्चर) को विशेष रूप से अफेक्टिव कंप्यूटिंग और IFS थेरेपी के ढांचे के भीतर एकीकृत करता है।
2. स्पेशलाइज्ड एनकोडर:
   • इनर कैरेक्टर क्लासिफिकेशन के लिए एक CNN-BiLSTM टेक्स्ट एनकोडर।
   • एक PCA-KNN वॉयस इमोशन रिकग्निशन सिस्टम।
   • एक CNN-आधारित फेशियल इमोशन रिकग्निशन सिस्टम।
   • एक लाइटवेट MediaPipe-आधारित हैंड जेस्टर रिकग्निशन मॉड्यूल।
3. मल्टीमॉडल फ्यूजन: एक ऐसा फ्यूजन सिस्टम जो भावनात्मक अवस्थाओं और आंतरिक मनोवैज्ञानिक पात्रों दोनों को पहचानने के लिए इन मोडलिटीज को जोड़ता है।
4. डिप्लॉयमेंट: एक कार्यात्मक वेब इन्फरेंस सर्विस (Flask-आधारित) जिसमें एक मोबाइल इंटरफेस है जो रियल-टाइम मल्टीमॉडल विश्लेषण, जिसमें अरबी-टू-इंग्लिश ट्रांसलेशन और उपयोगकर्ता की मनोवैज्ञानिक स्थिति के आधार पर एक्सेस कंट्रोल शामिल है, को संभालता है।

6. महत्व और दावे

लेखक दावा करते हैं कि ANA मॉडल सामान्य चैटबॉट-आधारित मानसिक स्वास्थ्य प्रणालियों से आगे बढ़कर एक समृद्ध, एम्बोडीड (embodied) इंटरैक्शन मॉडल बनाता है। मल्टीमॉडल लर्निंग का लाभ उठाकर, सिस्टम यूनिमॉडल सिस्टम की तुलना में उपयोगकर्ता की अधिक मजबूत समझ प्राप्त करता है।

• मल्टीमोडलिटी का सत्यापन: अध्ययन यह प्रदर्शित करता है कि मोडलिटीज को संयोजित करना व्यक्तिगत कमजोरियों (जैसे, टेक्स्ट अस्पष्टता या चेहरे का ढका होना) की भरपाई करता है, जिससे सिंगल-इनपुट मोड की तुलना में सिस्टम की समझ की क्षमता प्रभावी रूप से दोगुनी हो जाती है।
• थेराप्यूटिक अलाइनमेंट: सिस्टम तकनीकी AI आउटपुट (इमोशन रिकग्निशन) को मनोवैज्ञानिक संरचनाओं (IFS इनर पार्ट्स) के साथ सफलतापूर्वक मैप करता है, जो डीप लर्निंग और क्लिनिकल थेरेपी मॉडल्स के बीच के अंतर को पाटता है।
• व्यावहारिक उपयोगिता: डिप्लॉयमेंट आर्किटेक्चर रियल-टाइम प्रोसेसिंग का समर्थन करता है और एडेप्टिव फ्यूजन रणनीतियों के माध्यम से शोर (noise), लाइटिंग वेरिएशंस और मिसिंग मोडलिटीज जैसी वास्तविक दुनिया की चुनौतियों को संभालता है।

पेपर निष्कर्ष निकालता है कि हालांकि व्यक्तिगत मोडलिटीज की सीमाएं हैं (जैसे, खराब रोशनी में फेशियल रिकग्निशन की सटीकता गिर जाती है), एकीकृत मल्टीमॉडल दृष्टिकोण उपयोगकर्ता की आंतरिक मनोवैज्ञानिक स्थिति का एक व्यापक और संदर्भ-जागरूक आकलन प्रदान करता है, जो प्रस्तावित मॉडल की प्रभावशीलता को प्रमाणित करता है।