⚡ electrical engineering

An Effective Energy Mask-based Adversarial Evasion Attacks against Misclassification in Speaker Recognition Systems

यह शोध पत्र मास्क्ड एनर्जी परटर्बेशन (MEP) का प्रस्ताव देता है, जो एक नवीन एडवरसेरियल अटैक विधि है जो अदृश्य गड़बड़ी उत्पन्न करने के लिए कम-ऊर्जा वाले आवृत्ति क्षेत्रों को मास्क करती है, जो ECAPA-TDNN और ResNet34 जैसे स्पीकर रिकग्निशन सिस्टम को प्रभावी ढंग से चकमा देने के साथ-साथ ऑडियो गुणवत्ता बनाए रखने में FGSM वेरिएंट्स से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Chanwoo Park, Chanwoo Kim

प्रकाशित 2026-02-02

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Chanwoo Park, Chanwoo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: "वॉयस आईडी" को हैक करना

कल्पना कीजिए कि आपके पास एक बैंक में एक हाई-टेक सुरक्षा गार्ड है जो केवल तभी लोगों को अंदर जाने देता है जब वह उनकी आवाज़ को पूरी तरह से पहचान लेता है। आधुनिक स्पीकर रिकग्निशन सिस्टम (Speaker Recognition Systems) इसी तरह काम करते हैं। वे आपकी आवाज़ सुनते हैं, उसके अद्वितीय "फिंगरप्रिंट" का विश्लेषण करते हैं, और तय करते हैं कि आप वही हैं जो आप होने का दावा कर रहे हैं।

इस शोध पत्र के शोधकर्ताओं ने एक डरावना सवाल पूछा: क्या होगा अगर कोई इस सुरक्षा गार्ड को इस तरह धोखा दे सके कि इंसान को बदलाव का पता भी न चले?

उन्होंने एक नई चाल विकसित की जिसे मास्क्ड एनर्जी परटर्बेशन (Masked Energy Perturbation - MEP) कहा गया। इसे एक "भूतिया फुसफुसाहट" (ghost whisper) के रूप में समझें जो मशीन को भ्रमित कर देती है लेकिन मानव कान को बिल्कुल एक जैसी सुनाई देती है।

समस्या: मौजूदा चालें क्यों विफल होती हैं

आमतौर पर, जब हैकर्स इन सिस्टम्स को धोखा देने की कोशिश करते हैं, तो वे आवाज़ की रिकॉर्डिंग में "शोर" (noise) जोड़ देते हैं।

पुराना तरीका (FGSM, PGD, आदि): कल्पना कीजिए कि आप किसी व्यक्ति को उसके पूरे चेहरे पर चमकीले नियॉन पेंट से रंगकर छिपाने की कोशिश कर रहे हैं। सुरक्षा कैमरा (AI) भ्रमित हो जाता है और सोचता है कि यह कोई दूसरा व्यक्ति है, लेकिन मानव गार्ड तुरंत चिल्ला उठेगा, "हे, यह असली इंसान नहीं है! यह तो एक पेंटिंग है!" ऑडियो की गुणवत्ता बहुत खराब और रोबोटिक हो जाती है।

समाधान: "अदृश्य स्याही" की रणनीति (MEP)

शोधकर्ताओं ने महसूस किया कि मानव कान आलसी होते हैं। हम सब कुछ समान रूप से नहीं सुनते। हम तेज़ आवाज़ों को स्पष्ट रूप से सुनते हैं, लेकिन बहुत धीमी आवाज़ों को नज़रअंदाज़ कर देते हैं, खासकर जब वे तेज़ आवाज़ों के बगल में हों। इसे साइकोअकॉस्टिक मास्किंग (psychoacoustic masking) कहा जाता है।

उनकी नई विधि, MEP, इस प्रकार काम करती है:

मैप (नक्शा): वे वॉयस रिकॉर्डिंग को ऊर्जा के मानचित्र में बदल देते हैं (एक टोपोग्राफिक मैप की तरह जहाँ ऊँचे पहाड़ तेज़ आवाज़ों को और घाटियाँ शांत आवाज़ों को दर्शाती हैं)।
मास्क (मुखौटा): वे शांत घाटियों के ऊपर एक "मास्क" लगा देते हैं। वे कहते हैं, "हमें अपनी 'भूतिया फुसफुसाहट' (परटर्बेशन) केवल इन शांत घाटियों में ही जोड़ने की अनुमति है।"
हमला: वे ध्वनि के शांत हिस्सों में ही सूक्ष्म, गणना किए गए बदलाव जोड़ते हैं। क्योंकि ये हिस्से बहुत शांत हैं, मानव कान बदलाव को नोटिस नहीं कर पाता। यह अंधेरे, गहरे समुद्र में रंग की एक बूंद डालने जैसा है; पानी देखने में वैसा ही लगता है, लेकिन उसका रासायनिक संयोजन बदल जाता है।

उन्होंने इसका परीक्षण कैसे किया

उन्होंने इस "भूतिया फुसफुसाहट" का परीक्षण तीन अलग-अलग हाई-टेक सुरक्षा गार्डों (AI मॉडल जिन्हें ECAPA-TDNN, ResNet34-L, और ResNet34-V नाम दिया गया है) पर किया। उन्होंने अपनी नई विधि की तुलना पुराने, शोर वाले तरीकों से की।

परिणाम:

स्टील्थ (ऑडियो गुणवत्ता): जब उन्होंने PESQ नामक स्कोर का उपयोग करके यह मापा कि आवाज़ कितनी "प्राकृतिक" थी, तो पुराने तरीकों का स्कोर कम (लगभग 2.6 से 3.2) था, जिससे वे बहुत विकृत सुनाई देते थे। नया MEP तरीका बहुत उच्च स्कोर (लगभग 3.7) प्राप्त करता है, जिसका अर्थ है कि आवाज़ इंसानों के लिए लगभग पूरी तरह से प्राकृतिक थी।
एवेजन (बचाव/धोखा देना): लक्ष्य यह था कि AI को यह विश्वास दिलाना कि आवाज़ किसी और की है।
- पुराने तरीकों ने AI को 41-43% बार भ्रमित किया।
- नया MEP तरीका और भी बेहतर था, जिसने AI को 44% समय (विशेष रूप से I-MEP संस्करण के साथ) भ्रमित किया।
विजेता: इटरेटिव MEP (I-MEP) चैंपियन था। यह आवाज़ को 100% मानवीय बनाए रखते हुए कंप्यूटर को धोखा देने में सबसे प्रभावी था।

मुख्य निष्कर्ष

यह शोध पत्र दावा करता है कि बदलावों को कहाँ छिपाना है (ध्वनि के शांत, मास्क किए गए हिस्सों में) इस बारे में स्मार्ट होकर, वे एक "परफेक्ट भेस" बना सकते हैं।

कंप्यूटर के लिए: आवाज़ पूरी तरह से अलग है; यह ID चेक में विफल हो जाती है।
इंसान के लिए: आवाज़ पहले जैसी ही सुनाई देती है।

शोधकर्ता निष्कर्ष निकालते हैं कि यह विधि वॉयस सिस्टम की सुरक्षा का परीक्षण करने का एक शक्तिशाली तरीका है, जो यह दिखाती है कि वर्तमान सुरक्षा प्रणालियों को आसानी से बायपास किया जा सकता है यदि हमला हमारे सुनने के "शांत स्थानों" में छिपने के लिए डिज़ाइन किया गया हो। उन्होंने इसका परीक्षण वास्तविक दुनिया के बैंकिंग या मेडिकल सिस्टम पर नहीं किया, बल्कि केवल यह सिद्ध करने के लिए किया कि अवधारणा काम करती है कि मानक डेटासेट (LibriSpeech) पर यह सफल है।

तकनीकी सारांश: स्पीकर रिकग्निशन में एडवरसैरियल इवेजन के लिए मास्क्ड एनर्जी परटर्बेशन (Masked Energy Perturbation)

1. समस्या विवरण (Problem Statement)

वॉयस सिंथेसिस और डीपफेक तकनीकों में डीप लर्निंग की तीव्र प्रगति ने स्पीकर वेरिफिकेशन सिस्टम में महत्वपूर्ण सुरक्षा कमजोरियों को जन्म दिया है। जबकि ये सिस्टम बैंकिंग और स्वास्थ्य सेवा जैसे क्षेत्रों में बायोमेट्रिक प्रमाणीकरण के लिए आवश्यक हैं, वे एडवरसैरियल हमलों (adversarial attacks) के प्रति तेजी से संवेदनशील होते जा रहे हैं। विशेष रूप से, इवेजन हमले (evasion attacks) मॉडल की कमजोरियों का फायदा उठाकर प्रशिक्षण प्रक्रिया को बदले बिना गलत वर्गीकरण (misclassification) उत्पन्न करने के लिए किया जाते हैं। वर्तमान खतरों में लक्षित शोर संकेत (targeted noise signals) शामिल हैं जो उच्च अटैक सक्सेस रेट (कुछ संदर्भों में 95% तक) प्राप्त करने में सक्षम हैं, और वॉयस क्लोनिंग के माध्यम से अनधिकृत पहुंच की संभावना भी शामिल है। काउंटरमेजर विकसित करने में एक प्राथमिक चुनौती हमले की प्रभावशीलता और धारणात्मक गुणवत्ता (perceptual quality) के बीच संतुलन बनाना है; कई मौजूदा एडवरसैरियल विधियां महत्वपूर्ण ऑडियो विरूपण (distortion) पेश करती हैं, जिससे वे मानव श्रोताओं के लिए आसानी से पता लगाने योग्य या धारणात्मक रूप से स्पष्ट हो जाती हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र मास्क्ड एनर्जी परटर्बेशन (MEP) का प्रस्ताव करता है, जो एक नवीन एडवरसैरियल अटैक रणनीति है जिसे मनोध्वनिक सिद्धांतों (psychoacoustic principles) का पालन करते हुए धारणात्मक विरूपण को न्यूनतम करने के लिए डिज़ाइन किया गया है।

2.1. स्मॉल एनर्जी मास्किंग (Small Energy Masking - SEM)

MEP दृष्टिकोण का मूल विचार फ्रीक्वेंसी डोमेन के विशिष्ट क्षेत्रों में गड़बड़ी (perturbations) का चयनात्मक अनुप्रयोग है।

सिग्नल प्रोसेसिंग: ऑडियो को हैन विंडो (25 ms आकार, 12.5 ms शिफ्ट) के साथ शॉर्ट-टाइम फूरियर ट्रांसफॉर्म (STFT) का उपयोग करके प्रोसेस किया जाता है और 16 kHz पर रीसैंपल किया जाता है।
एनर्जी थ्रेसहोल्डिंग: एल्गोरिदम टाइम-फ्रीक्वेंसी बिन्स में ऊर्जा वितरण $x[m, k]$ की गणना करता है। प्रत्येक उच्चारण के पीक एनर्जी ( $x_{peak}$ ) के आधार पर एक थ्रेसहोल्ड $x_{th}$ स्थापित किया जाता है। विशेष रूप से, थ्रेसहोल्ड को पीक के सापेक्ष एक अनुपात $\eta_{th}$ (प्रयोगों में -20 dB पर सेट) का उपयोग करके व्युत्पन्न किया जाता है:
$x_{th} = x_{peak} 10^{\frac{\eta_{th}}{10}}$
मास्क जनरेशन: एक बाइनरी मास्क $\mu[m, k]$ जनरेट किया जाता है जहाँ मान 1 है यदि ऊर्जा थ्रेसहोल्ड से ऊपर (उच्च-ऊर्जा क्षेत्र) है और अन्यथा 0 है। हालांकि, परटर्बेशन को मास्क्ड फीचर्स पर लागू किया जाता है, जो प्रभावी रूप से कम-ऊर्जा वाले क्षेत्रों (स्मॉल एनर्जी रीजन) को लक्षित करता है जो मानव श्रवण मॉडल के लिए कम बोधगम्य होते हैं।
परटर्बेशन एप्लीकेशन: अंतिम मास्क्ड एनर्जी परटर्बेशन $x_{mep}$ उत्पन्न करने के लिए एडवरसैरियल परटर्बेशन $\delta$ को मास्क्ड फीचर $x_{sem}$ से गुणा किया जाता है। यह सुनिश्चित करता है कि परटर्बेशन उन क्षेत्रों में केंद्रित है जहाँ मानव कान कम संवेदनशील होता है।

2.2. अटैक रणनीतियाँ (Attack Strategies)

पेपर ग्रेडिएंट डिसेंट के आधार पर हमले के दो संस्करणों को लागू करता है:

बेसिक MEP: लॉस फंक्शन के सापेक्ष इनपुट के ग्रेडिएंट की गणना करता है, एनर्जी मास्क को ग्रेडिएंट पर लागू करता है, और मूल सिग्नल में परटर्बेशन जोड़ता है।
इटरेटिव MEP (I-MEP): परटर्बेशन को शून्य पर इनिशियलाइज़ करता है और इसे $N$ स्टेप्स (जैसे, 20 इटरेशन) में पुनरावृत्त रूप से परिष्कृत करता है। प्रत्येक स्टेप पर, मेल फिल्टरबैंक ट्रांसफॉर्मेशन लागू किया जाता है, लॉस की गणना की जाती है, और परटर्बेशन को अपडेट करने से पहले ग्रेडिएंट को मास्क किया जाता है। परटर्बेशन को एक बाधा $\epsilon$ (0.0002 पर सेट) बनाए रखने के लिए क्लिप किया जाता है।

अंतिम एडवरसैरियल वेवफॉर्म संशोधित पावर स्पेक्ट्रम पर इनवर्स STFT लागू करके जनरेट किया जाता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: प्रयोगों में LibriSpeech डेटासेट (क्लीन सेट) का उपयोग किया गया, जिसमें 116 वक्ताओं में से प्रत्येक वक्ता के लिए औसतन 113 उच्चारण चुने गए।
टारगेट मॉडल्स: व्हाइट-बॉक्स स्थितियों के तहत तीन स्टेट-ऑफ-द-आर्ट स्पीकर एनकोडर मॉडल्स का परीक्षण किया गया:
- ResNetSE34-L
- ResNetSE34-V
- ECAPA-TDNN
- सभी मॉडल्स को VoxCeleb डेटासेट पर प्री-ट्रेन किया गया था।
तुलनात्मक बेसलाइन: प्रस्तावित विधियों की तुलना मानक एडवरसैरियल अटैक एल्गोरिदम: FGSM, I-FGSM, MI-FGSM, और PGD से की गई।
मेट्रिक्स:
- धारणात्मक गुणवत्ता (Perceptual Quality): पर्सपेक्चुअल इवैल्यूएशन ऑफ स्पीच क्वालिटी (PESQ) और सिग्नल-टू-नॉइज़ रेशियो (SNR) का उपयोग करके मापा गया।
- एवेंशन प्रभावशीलता (Evasion Effectiveness): ऑटोमैटिक स्पीकर वेरिफिकेशन (ASV) कार्य में इक्वल एरर रेट (EER) के माध्यम से मापा गया।

4. मुख्य परिणाम (Key Results)

अध्ययन प्रदर्शित करता है कि MEP और I-MEP पारंपरिक तरीकों की तुलना में इवेजन प्रभावशीलता और ऑडियो गुणवत्ता के बीच एक बेहतर संतुलन प्राप्त करते हैं।

4.1. ऑडियो गुणवत्ता संरक्षण (Audio Quality Preservation)

PESQ स्कोर: I-MEP विधि ने सभी मॉडल्स के लिए उच्चतम PESQ स्कोर प्राप्त किया, जो 3.7657 से 3.7709 के बीच रहा। इसके विपरीत, FGSM जैसे पारंपरिक तरीकों ने काफी कम स्कोर (लगभग 2.6) दिए।
SNR: I-MEP ने उच्चतम सिग्नल-टू-नॉइज़ रेशियो बनाए रखा, जो 38.07 dB से 38.14 dB के बीच था, जो सिग्नल अखंडता में न्यूनतम गिरावट को दर्शाता है।
सापेक्ष प्रदर्शन: पेपर नोट करता है कि PESQ मूल्यांकन में, MEP का सापेक्ष प्रदर्शन FGSM और I-FGSM की तुलना में 26.68% अधिक था।

4.2. इवेजन प्रभावशीलता (Evasion Effectiveness)

EER प्रदर्शन: मॉडल्स के लिए बेसलाइन EER बहुत कम (0.01% से 6.38%) था। हमले के तहत, EER काफी बढ़ गया, जो सफल गलत वर्गीकरण को दर्शाता है।
- ResNet34-L: I-MEP ने 44.04% का EER प्राप्त किया।
- ResNet34-V: I-MEP ने 42.64% का EER प्राप्त किया।
- ECAPA-TDNN: I-MEP ने 42.37% का EER प्राप्त किया।
तुलना: जबकि FGSM और अन्य तरीकों ने भी EER बढ़ाया (लगभग ~40% से ~43% के बीच), MEP-आधारित विधियों ने उच्च ऑडियो गुणवत्ता बनाए रखते हुए पारंपरिक हमलों के बराबर या उनसे बेहतर प्रदर्शन किया।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि मास्क्ड एनर्जी परटर्बेशन (MEP) दृष्टिकोण मनोध्वनिक मास्किंग (psychoacoustic masking) का लाभ उठाकर स्पीकर रिकग्निशन सिस्टम के खिलाफ एडवरसैरियल हमलों में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

मनोध्वनिक अनुकूलन (Psychoacoustic Optimization): मेल-फिल्टरबैंक डोमेन में लो-एनर्जी क्षेत्रों को चुनि적으로 विकृत करके, यह विधि मानव श्रवण मॉडल की सीमाओं का फायदा उठाती है। यह मानव श्रवण के लिए अदृश्य लेकिन मशीन लर्निंग मॉडल्स के खिलाफ अत्यधिक प्रभावी एडवरसैरियल नॉइज़ इंजेक्ट करने की अनुमति देता है।
गोपनीयता सुरक्षा (Privacy Protection): लेखक इस विधि को वॉयस प्राइवेसी की रक्षा करने वाले उपकरण के रूप में प्रस्तुत करते हैं। धारणात्मक सहजता को कम किए बिना स्पीकर एम्बेडिंग समानता को कम करने वाले परटर्बेशन उत्पन्न करके, MEP बायोमेट्रिक पहचान को अस्पष्ट करने का एक तरीका प्रदान करता है।
एलिमेंटवाइज परटर्बेशन पर श्रेष्ठता: अध्ययन निष्कर्ष निकालता है कि MEP-आधारित विधियां (विशेष रूप से I-MEP), पारंपरिक एलिमेंटवाइज परटर्बेशन तकनीकों (जैसे FGSM) की तुलना में अधिक प्रभावी हैं क्योंकि वे उच्च PESQ स्कोर (>3.5) और बेहतर SNR बनाए रखती हैं, जिससे उन्हें ऑडियो क्वालिटी विश्लेषण के माध्यम से पकड़ना कठिन हो जाता है।

यह शोध रेखांकित करता है कि जबकि डीप न्यूरल नेटवर्क क्लोन्ड आवाजों का पता लगाने में मजबूत हैं, वे सावधानीपूर्वक तैयार किए गए, मनोध्वनिक-सूचित परटर्बेशन के प्रति संवेदनशील बने रहते हैं जो फ्रीक्वेंसी डोमेन में विशिष्ट ऊर्जा वितरण को लक्षित करते हैं।