Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models

तकनीकी सारांश: सीखे गए स्व-पर्यवेक्षित स्पीच मॉडल्स के प्रतिनिधित्व में आयामीता-जागरूक विसंगति का पता लगाना (Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models)

1. समस्या विवरण (Problem Statement)

स्व-पर्यवेक्षित स्पीच मॉडल्स (S3Ms), जैसे कि WavLM और wav2vec 2.0, ऑटोमैटिक स्पीच रिकग्निशन (ASR) जैसे डाउनस्ट्रीम कार्यों में अत्याधुनिक प्रदर्शन (state-of-the-art performance) प्राप्त कर चुके हैं। हालाँकि, प्राकृतिक (benign) और प्रतिकूल (adversarial) व्यवधानों (perturbations) के संपर्क में आने पर उनके आंतरिक प्रतिनिधित्व (internal representations) अभी भी कम समझ में आते हैं। पूर्ववर्ती शोध मुख्य रूप से प्रतिनिधित्व समानता मेट्रिक्स (जैसे CCA, CKA) या वैश्विक आयामीता मापों (जैसे प्रभावी रैंक/effective rank) पर निर्भर रहे हैं। ये दृष्टिकोण सीखे गए प्रतिनिधित्व स्थान के भीतर स्थानीय ज्यामितीय परिवर्तनों (local geometric changes) को देखने की सीमित दृश्यता प्रदान करते हैं।

लेखक एक महत्वपूर्ण प्रश्न उठाते हैं: व्यवधान (perturbations) S3M प्रतिनिधित्वों की स्थानीय ज्यामिति (local geometry) को कैसे विकृत करते हैं, और क्या ये ज्यामितीय बदलाव डाउनस्ट्रीम ASR गिरावट के साथ सह-संबंधित हैं? विशेष रूप से, वे जांचते हैं कि क्या 'लोकल इंट्रिंसिक डायमेंशनलिटी' (LID) ग्राउंड-ट्रुथ ट्रांसक्रिप्ट्स की आवश्यकता के बिना विसंगतियों (anomalies) का पता लगाने और मजबूती (robustness) की निगरानी करने के लिए एक नैदानिक उपकरण (diagnostic tool) के रूप में कार्य कर सकती है।

2. कार्यप्रणाली: GRIDS फ्रेमवर्क (Methodology: The GRIDS Framework)

लेखक GRIDS (Geometric Robustness via Intrinsic Dimensionality in Speech) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो ट्रांसफार्मर-आधारित S3Ms में लेयर-वार (layer-wise) प्रतिनिधित्वों का विश्लेषण करने के लिए LID का उपयोग करता है।

• लोकल इंट्रिंसिक डायमेंशनलिटी (LID): LID एक संदर्भ नमूने (reference sample) के चारों ओर त्रिज्या (radius) बढ़ने के साथ पड़ोसी नमूनों की संख्या बढ़ने की दर को मापकर सीखे गए प्रतिनिधित्वों के ज्यामितीय गुणों को परिमाणित करता है। यह एक नमूने के पड़ोस (neighborhood) का वर्णन करने के लिए आवश्यक प्रभावी स्थानीय आयामीता (डिग्री ऑफ फ्रीडम) का अनुमान लगाता है।
• प्रायोगिक सेटअप (Experimental Setup):
  • मॉडेल्स: WavLM और wav2vec 2.0 (BASE वेरिएंट्स, 12 लेयर्स)।
  • डेटा: LibriSpeech test-clean से 918 युग्मित उच्चारण (paired utterances), यह सुनिश्चित करते हुए कि निष्पक्ष तुलना के लिए सभी प्रकार के व्यवधानों (perturbations) के लिए समान उच्चारणों का उपयोग किया गया है।
  • व्यवधान (Perturbations):
    • बेनाइन (Benign): गॉसियन नॉइज़ (Gaussian noise), Noizeus बैबल नॉइज़, और प्रतिस्पर्धी स्पीच (LibriSpeech), जिन्हें लक्षित सिग्नल-टू-नॉइज़ रेशियो (SNR) के 0, 10, 20, 30, और 40 dB से मेल खाने के लिए रीस्केल किया गया है।
    • एडवर्सरियल (Adversarial): समान लक्षित SNR के तहत $\ell_2$-बाउंडेड बजट के तहत प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) हमले। दो उद्देश्यों का उपयोग किया गया था: अंतिम-लेयर प्रतिनिधित्वों को विकृत करने के लिए मीन स्क्वेयर्ड एरर (MSE) और ट्रांसक्रिप्शन को बाधित करने के लिए कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन (CTC) लॉस।
• LID गणना (LID Computation):
  • प्रत्येक के 12 ट्रांसफार्मर लेयर्स से फ्रेम-लेवल एम्बेडिंग्स निकाली जाती हैं।
  • $k$-निकटतम पड़ोसी ($k$-nearest neighbor) दृष्टिकोण (Levina–Bickel MLE एस्टीमेटर) का उपयोग करके प्रति फ्रेम लोकल LID का अनुमान लगाया जाता है।
  • एकत्रीकरण (Aggregation): ज्यामितीय विश्लेषण और ASR निगरानी के लिए, फ्रेम-लेवल LIDs को हार्मोनिक मीन (harmonic mean) के माध्यम से एकत्रित करके लेयर-लेवल और कंडीशन-लेवल सारांश तैयार किए जाते हैं। विसंगति का पता लगाने (anomaly detection) के लिए, 12-आयामी फीचर वेक्टर्स (प्रत्येक लेयर के लिए एक LID मान) बनाए जाते हैं।
  • हाइपरपैरामीटर चयन: $k$ (पड़ोस का आकार) वैश्विक रूप से स्थिर नहीं है, बल्कि व्यवधान-प्रेरित LID शिफ्ट ($\Delta$LID) की स्थिरता और विभेदन क्षमता को अधिकतम करने के लिए प्रत्येक स्थिति (condition) के अनुसार चुना गया है।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. LID–S3M ज्यामितीय विश्लेषण: स्वच्छ, बेनाइन और एडवर्सरियल स्थितियों में सीखे गए प्रतिनिधित्वों में स्थानीय ज्यामितीय परिवर्तनों का लेयर-वार माप।
2. LID–ASR निगरानी: इस बात का अनुभवजन्य प्रमाण कि LID में वृद्धि WER (Word Error Rate) गिरावट के साथ सकारात्मक रूप से जुड़ी हुई है, जो ज्यामितीय बदलावों को डाउनस्ट्रीम कार्य प्रदर्शन से जोड़ती है।
3. LID–AD विसंगति का पता लगाने के लिए: एक 12-आयामी LID-व्युत्पन्न फीचर सेट का विकास जो एडवर्सरियल बनाम बेनाइन इनपुट को वर्गीकृत करने में सक्षम बनाता है, और उच्च AUROC स्कोर प्राप्त करता है।

4. परिणाम और विश्लेषण (Results and Analysis)

ज्यामितीय व्यवहार (Geometric Behavior - LID–S3M):

• व्यवधान प्रभाव (Perturbation Effects): सभी व्यवधान कम SNR पर LID को बढ़ाते हैं। हालांकि, उच्च SNR (30–40 dB) पर एक विचलन (divergence) होता है: बेनाइन शोर क्लीन प्रोफाइल की ओर अभिसरित (converge) होता है (LID घटता है), जबकि एडवर्सरियल इनपुट ऊंचे LID को बनाए रखते हैं, विशेष रूपकर शुरुआती ट्रांसफार्मर लेयर्स में।
• लेयर-वाइज प्रक्षेपवक्र (Layer-wise Trajectories): एडवर्सरियल व्यवधान शुरुआती लेयर्स में सबसे निरंतर LID वृद्धि का कारण बनते हैं। हालांकि बेनाइन हस्तक्षेप भी कम SNR पर LID बढ़ाता है, लेकिन यह SNR सुधरने के साथ तेजी से कम हो जाता है। यह सुझाव देता है कि शुरुआती-लेयर ज्यामितीय विरूपण (distortion), मैच किए गए SNR स्थितियों के तहत एडवर्सरियल बदलावों का एक सापेक्ष मार्कर है।
• मॉडल अंतर: यह प्रवृत्ति WavLM और wav2vec 2.0 दोनों के लिए बनी रहती है, हालांकि WavLM (डिनोइजिंग उद्देश्यों के साथ प्रशिक्षित) थोड़ा अलग मजबूती प्रोफाइल दिखाता है। PGD-MSE हमले PGD-CTC हमलों की तुलना में सामान्यतः बड़े और अधिक निरंतर LID उत्थान उत्पन्न करते हैं।

ASR के साथ सहसंबंध (Correlation with ASR - LID–ASR):

• ज्यामितीय बदलाव ($\Delta$LID) और ASR गिरावट ($\Delta$WER) के बीच एक सुसंगत सह-घटित होना (co-occurrence) देखा गया है। दोनों मेट्रिक्स SNR बढ़ने के साथ घटते हैं।
• कम SNR (0–10 dB) पर, एडवर्सरियल हमले और गंभीर बेनाइन हस्तक्षेप (स्पीच ओवरलैप) LID और WER दोनों में सबसे बड़े विचलन का कारण बनते हैं।
• उल्लेखनीय रूप से, उच्च SNR पर, बेनाइन भ्रष्टाचार के परिणामस्वरूप लगभग शून्य WER वृद्धि होती है, जबकि एडवर्सरियल हमले गैर-मामूली $\Delta$LID फुटप्रिंट बनाए रखते हैं, भले ही WER में वृद्धि कम हो। यह इंगित करता है कि LID ज्यामितीय विस्थापन का पता लगा सकता है भले ही डिकोडिंग त्रुटियां न्यूनतम हों।

विसंगति का पता लगाना (Anomaly Detection - LID–AD):

• 12-आयामी LID वेक्टर्स पर प्रशिक्षित एक हल्का लॉजिस्टिक रिग्रेशन क्लासिफायर, एडवर्सरियल और बेनाइन इनपुट के बीच प्रभावी ढंग से अंतर करता है।
• प्रदर्शन: फ्रेमवर्क विभिन्न मॉडल्स और SNR स्तरों पर 0.78 से 1.00 तक के AUROC स्कोर प्राप्त करता है।
  • MSE हमलों के साथ WavLM ने उच्चतम विभाज्यता (AUROC 0.99, 0–20 dB पर) दिखाई।
  • उच्च SNR (40 dB) पर प्रदर्शन कम हो जाता है क्योंकि बेनाइन और एडवर्सरियल दोनों इनपुट क्लीन मैनिफोल्ड की ओर अभिसरित होते हैं, जिससे विभाज्यता कम हो जाती है।
• सफलता दर के प्रति मजबूती (Robustness to Success Rate): क्लासिफायर कम अटैक सक्सेस रेट (SR) (जैसे, 30 dB पर Wav2vec 2.0-CTC का AUROC 0.92 था, जबकि SR केवल 0.04 था) के बावजूद विभेदक शक्ति बनाए रखता है, जो बताता है कि LID उन ज्यामितीय विसंगतियों को पकड़ता है जो हमेशा तत्काल ट्रांसक्रिप्शन विफलताओं के रूप में प्रकट नहीं होती हैं।

5. महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि GRIDS, S3Ms के लिए ट्रांसक्रिप्ट-मुक्त निगरानी (transcript-free monitoring) क्षमता प्रदान करता है। LID का लाभ उठाकर, यह फ्रेमवर्क एक व्याख्या योग्य ज्यामितीय डायग्नोस्टिक प्रदान करता है जो:

• ग्राउंड-ट्रुथ लेबल या ट्रांसक्रिप्ट की आवश्यकता के बिना एडवर्सरियल इनपुट का पता लगाता है।
• यह प्रकट करता है कि ज्यामितीय विरूपण (geometric distortion) गहरे लेयर्स द्वारा आंशिक रूप से अवशोषित होने से पहले शुरुआती प्रतिनिधित्वों के माध्यम से प्रसारित होता है।
• मौजूदा समानता-आधारित विश्लेषणों के पूरक के रूप में कार्य करता है जो उन स्थानीय विकृतियों को कैप्चर करता है जिन्हें वैश्विक माप मिस कर देते हैं।

यह शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है, वर्तमान सीमाओं को नोट करते हुए: अध्ययन 12-लेयर S3M वेरिएंट्स और अनटारगेटेड हमलों तक सीमित है। भविष्य के कार्य के रूप में बड़े आर्किटेक्चर तक विस्तार करने, सुरक्षा-महत्वपूर्ण कार्यों (जैसे स्पीकर वेरिफिकेशन) तक ले जाने, और मल्टी-स्केल ज्यामितिक लक्षण वर्णन के लिए LID को वैश्विक स्पेक्ट्रल मापों के साथ जोड़ने का प्रस्ताव दिया गया है।