InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

तकनीकी सारांश: InfoShield

समस्या विवरण (Problem Statement)

भाषण-आधारित मानसिक स्वास्थ्य स्क्रीनिंग, ध्वनिक बायोमार्कर (acoustic biomarkers) का लाभ उठाकर अवसाद का पता लगाने के लिए एक स्केलेबल और गैर-आक्रामक विधि प्रदान करती है। हालांकि, इसका नैदानिक परिनियोजन (clinical deployment) महत्वपूर्ण गोपनीयता चिंताओं से बाधित है: भाषण संकेत स्वाभाविक रूप से नैदानिक मार्करों और संवेदनशील जनसांख्यिकीय विशेषताओं (जैसे लिंग, आयु, सामाजिक-आर्थिक स्थिति) दोनों को समाहित करते हैं। वर्तमान गोपनीयता-संरक्षण तकनीकें इस विशिष्ट ट्रेड-ऑफ के लिए अनुपयुक्त हैं:

• एडवर्सरियल ट्रेनिंग (Adversarial Training): यह अक्सर अनदेखी हमला संरचनाओं (unseen attack architectures) के विरुद्ध विफल हो जाती है और इसमें सामान्यीकरण (generalizability) की कमी होती है।
• डिफरेंशियल प्राइवेसी (Differential Privacy - DP): यह सभी विशेषताओं पर समान रूप से शोर (noise) लागू करती है, जिससे उन सूक्ष्म स्पेक्ट्रल पैटर्न की सटीकता अनियंत्रित रूप से कम हो जाती है जो नैदानिक सटीकता के लिए आवश्यक हैं।
• मानक म्यूचुअल इंफॉर्मेशन (MI) एस्टिमेटर्स: मौजूदा विधियाँ जैसे MINE, अनुक्रमिक भाषण डेटा (sequential speech data) के लिए टेम्पोरल-स्टैटिक मिसअलाइनमेंट (temporal-static misalignment) के कारण अनुपयुक्त हैं। वे आमतौर पर परिवर्तनशील लंबाई वाले ध्वनिक अनुक्रमों को एक एकल प्रतिनिधित्व में पूल करते हैं और उन्हें स्थिर विशेषता लेबल के साथ जोड़ते हैं, जिससे अविश्वसनीय MI अनुमान और अप्रभावी गोपनीयता संरक्षण होता है।

कार्यप्रणाली: InfoShield फ्रेमवर्क

यह शोध पत्र InfoShield का प्रस्ताव करता है, जो एक एकीकृत सूचना-सैद्धांतिक (information-theoretic) फ्रेमवर्क है जिसे नैदानिक उपयोगिता को बनाए रखते हुए भाषण प्रतिनिधित्व और संवेदनशील विशेषताओं के बीच म्यूचुअल इंफॉर्मेशन को न्यूनतम करने के लिए डिज़ाइन किया गया है।

1. मुख्य आर्किटेक्चर (Core Architecture)

फ्रेमवर्क तीन प्रमुख घटकों को एक एकल अनुकूलन उद्देश्य (optimization objective) में एकीकृत करता है:

• स्पीच एनकोडर (Speech Encoder): एक ट्रांसफॉर्मर-आधारित एनकोडर इनपुट लॉग-मेल स्पेक्ट्रोग्राम ($X$) को प्रोसेस करके स्टोकेस्टिक लेटेंट रिप्रजेंटेशन ($Z$) उत्पन्न करता है।
• वैरिएशनल इंफॉर्मेशन बॉटलनेक (VIB): लेटेंट स्पेस को नियमित करने के लिए एक कंप्रेशन टर्म ($\beta KL[q_\phi(Z|X) \| p(Z)]$) का उपयोग किया जाता है, जो सामान्यीकरण को बढ़ावा देता है और अंतर्निहित रूप से सूचना को फ़िल्टर करता है।
• लक्षित म्यूचुअल इंफॉर्मेशन मिनिमाइजेशन (Targeted Mutual Information Minimization): एक प्राइवेसी लॉस टर्म ($\gamma \hat{I}(Z; s)$) स्पष्ट रूप से लेटेंट रिप्रजेंटेशन $Z$ और ट्रांसक्रिप्ट वाक्यों $s$ (जिसमें जनसांख्यिकीय संकेत होते हैं) के बीच म्यूचुअल इंफॉर्मेशन को कम करता है।

कुल लॉस फंक्शन इस प्रकार परिभाषित है:
$$L = -E[\log p_\theta(Y |Z)] + \beta KL[q_\phi(Z|X) \| p(Z)] + \gamma \hat{I}(Z; s)$$
जहाँ पहला पद नैदानिक उपयोगिता (अवसाद भविष्यवाणी) सुनिश्चित करता है, दूसरा पद VIB कंप्रेशन को लागू करता है, और तीसरा पद गोपनीयता को संचालित करता है।

2. TimeAwareMINE

अनुक्रमिक डेटा पर मानक MINE की विफलता को संबोधित करने के लिए, लेखक TimeAwareMINE पेश करते हैं।

• तंत्र (Mechanism): ग्लोबल पूलिंग के बजाय, TimeAwareMINE क्रॉस-मोडल अटेंशन का उपयोग करके ध्वनिक फ्रेम ($z_t$) को BERT एनकोडर से प्राप्त ट्रांसक्रिप्ट एम्बेडिंग्स ($e_s$) के साथ संरेखित (align) करता है।
• संरेखण (Alignment): अटेंशन मैकेनिज्म फ्रेम-वार वेट्स ($\alpha_t$) की गणना करता है ताकि समय-परिवर्तनीय ध्वनिक विशेषताओं को स्थिर विशेषता प्रतिनिधित्व के साथ गतिशील रूप से संरेखित किया जा सके।
• अनुमान (Estimation): यह संरेखण सार्थक फ्रेम-ट्रांसक्रिप्ट सह-संबंध सुनिश्चित करके म्यूचुअल इंफॉर्मेशन ($\hat{I}(Z; s)$) के अधिक सटीक अनुमान की अनुमति देता है, जिससे पूरे सिग्नल को धुंधला किए बिना लक्षित संवेदनशील जानकारी को हटाना संभव हो पाता है।

3. सैद्धांतिक आधार (Theoretical Basis)

यह दृष्टिकोण 'डेटा प्रोसेसिंग इनइक्वेलिटी' (data processing inequality) पर निर्भर करता है। $I(Z; S)$ (भाषण और जनसांख्यिकीय संकेतों वाले ट्रांसक्रिप्ट के बीच सूचना) को कम करके और यह मानते हुए कि भाषण के दिए जाने पर विशेषता और ट्रांसक्रिप्ट के बीच कमजोर सशर्त निर्भरता (weak conditional dependence) है, फ्रेमवर्क सैद्धांतिक रूप से $I(Z; A)$ (संवेदनशील विशेषता $A$ के सूचना रिसाव) में कमी की गारंटी देता है।

मुख्य योगदान (Key Contributions)

1. TimeAwareMINE: एक नवीन एस्टिमेटर जो क्रॉस-मोडल अटेंशन का उपयोग करके अनुक्रमिक भाषण में टेम्पोरल-स्टैटिक मिसअलाइनमेंट को हल करता है। यह उपयोगिता (F1: 0.782 बनाम 0.714) और आयु गोपनीयता सुरक्षा दोनों में मानक MINE से बेहतर प्रदर्शन करता है।
2. एकीकृत फ्रेमवर्क (Unified Framework): VIB कंप्रेशन को TimeAwareMINE के साथ एकीकृत करने से अकेले किसी भी घटक का उपयोग करने की तुलना में बेहतर प्राइवेसी-यूटिलिटी बैलेंस प्राप्त होता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): Androids Corpus पर व्यापक मूल्यांकन यह दर्शाता है कि InfoShield प्रभावी रूप से विशेषता अनुमान (attribute inference) को दबाते हुए उच्च नैदानिक प्रदर्शन बनाए रखता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Androids Corpus (118 मूल इतालवी वक्ता, 64 अवसादग्रस्त, 54 स्वस्थ) पर किए गए। मूल्यांकन के लिए प्रतिभागी-स्तर के स्प्लिट के साथ 5-फोल्ड क्रॉस-वैलिडेशन का उपयोग किया गया।

नैदानिक प्रदर्शन (उपयोगिता)

• InfoShield ने अवसाद वर्गीकरण के लिए 0.784 का F1 स्कोर प्राप्त किया।
• यह पूर्व SOTA [1] (F1: 0.723) से बेहतर है और "नॉर्मल" (ओरेकल) बेसलाइन (F1: 0.834) से केवल 6% की कमी है।
• InfoShield ने डिफरेंशियल प्राइवेसी बेसलाइन्स (जैसे DP $\epsilon=1$ ने F1: 0.568 दिया) से काफी बेहतर प्रदर्शन किया।

गोपनीयता सुरक्षा (अनुमान हमले)

InfoShield ने बेसलाइन्स की तुलना में विशेषता अनुमान हमलों की सटीकता को काफी कम कर दिया:

• लिंग अनुमान (Gender Inference): 92.6% (Raw/Normal) से घटकर 55.5% रह गया।
• आयु अनुमान (Age Inference): 55.7% (Raw/Normal) से घटकर 30.3% रह गया (3-क्लास वर्गीकरण के लिए 33.3% रैंडम चांस बेसलाइन से नीचे)।
• तुलना: InfoShield ने VIB-only, Standard-MINE, और Differential Privacy विधियों की तुलना में मजबूत गोपनीयता सुरक्षा प्रदान की, जिसमें सांख्यिकीय रूप से महत्वपूर्ण सुधार ($p < 0.05$) देखे गए।

एब्लेशन अंतर्दृष्टि (Ablation Insights)

• VIB-only: मध्यम गोपनीयता लाभ प्रदान किया लेकिन इसमें MI मिनिमाइजेशन की लक्षित सटीकता की कमी थी।
• Standard-MINE: मजबूत लिंग गोपनीयता प्राप्त की लेकिन टेम्पोरल मिसअलाइनमेंट के कारण उपयोगिता में गिरावट और कमजोर आयु सुरक्षा का सामना करना पड़ा।
• TimeAwareMINE: इसने प्रदर्शित किया कि अनुक्रमिक भाषण के लिए टेम्पोरल-अवेयर डिज़ाइन महत्वपूर्ण है, जो Standard-MINE की तुलना में उपयोगिता और आयु गोपनीयता दोनों में सुधार करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि InfoShield गोपनीयता-संवेदनशील स्वास्थ्य देखभाल वातावरण में भाषण-आधारित मानसिक स्वास्थ्य उपकरणों को तैनात करने के लिए एक व्यवहार्य समाधान प्रदान करता है। भाषण प्रतिनिधित्व और जनसांख्यिकीय संकेतों के बीच म्यूचुअल इंफॉर्मेशन को स्पष्ट रूप से मॉडल और कम करके, यह फ्रेमवर्क नैदानिक सटीकता और गोपनीयता के बीच संघर्ष को हल करता है।

लेखक इस बात पर जोर देते हैं कि उनका सूचना-सैद्धांतिक दृष्टिकोण बिना किसी विशिष्ट हमले मॉडल के ज्ञान के सार्वभौमिक सुरक्षा (universal protection) प्रदान करता है, जैसा कि एडवर्सरियल ट्रेनिंग में होता है। इसके अलावा, ग्लोबल नॉइज़ इंजेक्शन (DP) के बजाय लक्षित MI मिनिमाइजेशन का उपयोग करके, InfoShield उन नैदानिक रूप से प्रासंगिक ध्वनिक पैटर्न को सुरक्षित रखता है जो अन्य गोपनीयता विधियों द्वारा नष्ट कर दिए जाते हैं।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखक नोट करते हैं कि उनके निष्कर्षों की सांख्यिकीय शक्ति छोटे सैंपल साइज (118 वक्ता) और डेटासेट की एकल भाषा (इतालवी) द्वारा सीमित है। वे कहते हैं कि बड़े, बहुभाषी समूहों पर मजबूती को मान्य करने और मजबूत थ्रेट मॉडल के तहत अन्य संवेदनशील विशेषताओं के लिए सुरक्षा का विस्तार करने के लिए भविष्य के कार्य की आवश्यकता है।