💻 computer science

Deepfake Audio Detection Using Self-supervised Fusion Representations

यह शोध पत्र ESDD2026 चुनौती के लिए एक डुअल-ब्रांच डीपफेक डिटेक्शन फ्रेमवर्क प्रस्तुत करता है जो स्पीच और एम्बिएंट साउंड्स का संयुक्त रूप से विश्लेषण करने के लिए एक मैचिंग हेड और क्रॉस-अटेंशन मैकेनिज्म के साथ XLS-R और BEATs प्रीट्रेंड मॉडल्स को फ्यूज करता है, जिससे CompSpoofV2 डेटासेट पर बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Khalid Zaman, Qixuan Huang, Muhammad Uzair, Masashi Unoki

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Khalid Zaman, Qixuan Huang, Muhammad Uzair, Masashi Unoki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि किसी व्यक्ति के बोलने की रिकॉर्डिंग असली है या यह एक चतुर नकली रचना है। अतीत में, जासूस केवल आवाज़ को सुनकर काम चला लेते थे। लेकिन आधुनिक दुनिया में, बुरे तत्व एक आवाज़ और बैकग्राउंड शोर (जैसे ट्रैफिक या पक्षियों के चहचहाने की आवाज़) को अलग-अलग भी नकली बना सकते हैं। यदि आप केवल आवाज़ पर ध्यान देंगे, तो आप इस तथ्य को मिस कर सकते हैं कि बैकग्राउंड शोर संदिग्ध रूप से नकली है।

यह पेपर एक नए "जासूसी दल" का वर्णन करता है जिसे इन परिष्कृत नकली रचनाओं को पकड़ने के लिए डिज़ाइन किया गया है, जो आवाज़ और बैकग्राउंड दोनों को एक साथ देखता है।

यह सिस्टम कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. दो विशिष्ट जासूस (ड्युअल-ब्रांच)

एक सामान्य जासूस को काम पर रखने के बजाय, लेखकों ने दो विशेषज्ञों को काम पर रखा है जिन्होंने लाखों किताबें पढ़ी हैं लेकिन उन्हें अभी तक विशिष्ट नियम नहीं सिखाए गए हैं (इसे "सेल्फ-सुपरवाइज्ड लर्निंग" कहा जाता है)।

जासूस XLS-R: यह विशेषज्ञ भाषण (स्पीच) को समझने में माहिर है। यह जानता है कि मानवीय आवाज़ें स्वाभाविक रूप से कैसी सुनाई देती हैं।
जासूस BEATs: यह विशेषज्ञ पर्यावरणीय ध्वनियों को समझने में माहिर है। यह जानता है कि वास्तविक ट्रैफिक, हवा या कमरे की गूँज कैसी होती है।

वे दोनों एक ही ऑडियो फ़ाइल को एक ही समय में सुनते हैं।

2. "क्रॉस-एग्जामिनेशन" (क्रॉस-अटेंशन)

आमतौर पर, ये दोनों विशेषज्ञ अलग-अलग कमरों में काम करेंगे। लेकिन यह सिस्टम उन्हें एक ही कमरे में एक-दूसरे से बात करने के लिए रखता है।

वे एक "क्रॉस-अटेंशन" तंत्र का उपयोग करते हैं, जो एक अनुवादक की तरह है जो उन्हेंสิ่งที่ उन्होंने देखा है को साझा करने में मदद करता है।
यदि आवाज़ विशेषज्ञ कहता है, "यह व्यक्ति असली लग रहा है," लेकिन बैकग्राउंड विशेषज्ञ कहता है, "लेकिन यह हवा का शोर ऐसा लग रहा है जैसे कंप्यूटर द्वारा बनाया गया हो," तो सिस्टम एक समस्या को फ्लैग (चिह्नित) कर देता है।
यह बातचीत सिस्टम को विसंगतियों (inconsistencies) को पहचानने में मदद करती है। एक वास्तविक रिकॉर्डिंग में आवाज़ और बैकग्राउंड के बीच एक स्वाभाविक सामंजस्य होता है। एक नकली रचना में अक्सर बेमेल होता है, जैसे कि स्टूडियो में रिकॉर्ड की गई आवाज़ को एक नकली सड़क के शोर के ऊपर रख दिया गया हो।

3. "विसंगति जांचकर्ता" (मैचिंग हेड)

सिस्टम के पास एक विशेष टूल है जिसे मैचिंग हेड कहा जाता है। इसे एक तराजू की तरह समझें जो दोनों विशेषज्ञों के नोट्स के बीच के अंतर को तौलता है।

यह "आवाज़ के नोट्स" और "बैकग्राउंड के नोट्स" को लेता है, उन्हें साफ करता है, और अगल-बगल तुलना करता है।
यह सांख्यिकीय अंतरों की गणना करता है (जैसे यह देखना कि क्या आवाज़ का "वाइब" कमरे के "वाइब" से मेल खाता है)।
यदि दोनों मेल नहीं खाते हैं, तो यह संकेत देता है कि ऑडियो एक "स्पूफ" (नकली) हो सकता है।

4. अंतिम निर्णय (तीन आउटपुट)

केवल "नकली" या "असली" कहने के बजाय, यह सिस्टम तीन विशिष्ट रिपोर्ट देता है:

क्या आवाज़ नकली है?
क्या बैकग्राउंड नकली है?
क्या यह पूरी चीज़ एक मूल, वास्तविक रिकॉर्डिंग है?

यह महत्वपूर्ण है क्योंकि एक रिकॉर्डिंग "असली आवाज़ + नकली बैकग्राउंड" या "नकली आवाज़ + असली बैकग्राउंड" हो सकती है। सिस्टम इन सभी संयोजनों को पकड़ता है।

यह कितनी अच्छी तरह काम कर गया?

टीम ने अपने सिस्टम का परीक्षण CompSpoofV2 नामक एक विशाल डेटासेट पर किया, जिसमें 250,000 से अधिक ऑडियो क्लिप शामिल हैं जिन्हें विशेष रूप से डिटेक्टर्स को धोखा देने के लिए डिज़ाइन किया गया है। इन क्लिप्स में वास्तविक आवाज़ और नकली बैकग्राउंड के विभिन्न संयोजन थे।

परिणाम: उनका नया सिस्टम पिछले "बेसलाइन" (मानक) सिस्टम की तुलना में काफी बेहतर था।
स्कोर: इसने सटीकता (F1-स्कोर) में लगभग 7-8% का सुधार किया।
बैकग्राउंड विशेषज्ञ: यह बैकग्राउंड शोर में होने वाली नकल को पकड़ने में विशेष रूप से अच्छा था, जिसने पुराने तरीकों की तुलना में पर्यावरणीय ध्वनियों के लिए त्रुटि दर को बड़े अंतर से कम कर दिया।

गुप्त मंत्र: "मिक्स एंड मैच" के साथ प्रशिक्षण

जासूसों को तेज बनाने के लिए, लेखकों ने उन्हें केवल असली और नकली फ़ाइलें ही नहीं दीं। उन्होंने एक प्रशिक्षण खेल बनाया जहाँ वे ऑडियो के टुकड़ों को मिक्स और मैच करते थे:

उन्होंने एक असली आवाज़ ली और उसमें नकली बैकग्राउंड शोर जोड़ दिया।
उन्होंने एक नकली आवाज़ ली और उसमें असली बैकग्राउंड शोर जोड़ दिया।
उन्होंने यहाँ तक कि रैंडम स्टैटिक शोर (जैसे खराब फोन कनेक्शन) भी जोड़ा ताकि प्रशिक्षण कठिन हो सके।

इसने सिस्टम को यह सीखने के लिए मजबूर किया कि जब ऑडियो अव्यवस्थित या अजीब तरीके से मिश्रित हो, तब भी नकल को कैसे पहचाना जाए, जिससे यह वास्तविक दुनिया के उपयोग के लिए अधिक मजबूत बन गया।

सारांश

संक्षेप में, यह पेपर ऑडियो डीपफेक को पकड़ने का एक स्मार्ट तरीका प्रस्तुत करता है। केवल आवाज़ को सुनने के बजाय, यह दो AI विशेषज्ञों का उपयोग करके आवाज़ और बैकग्राउंड की अलग-अलग जाँच करता है, और फिर उन्हें नोट्स की तुलना करने के लिए मजबूर करता है। यदि आवाज़ और बैकग्राउंड एक-दूसरे के साथ "तालमेल" नहीं बिठा पाते हैं, तो सिस्टम जान जाता है कि यह नकली है। इस दृष्टिकोण ने अधिक नकल पकड़ी और पिछली विधियों की तुलना में कम गलतियाँ कीं, विशेष रूप से तब जब बैकग्राउंड शोर के साथ छेड़छाड़ की गई थी।

तकनीकी सारांश: स्व-पर्यवेक्षित फ्यूजन रिप्रजेंटेशन का उपयोग करके डीपफेक ऑडियो डिटेक्शन

समस्या विवरण
स्पीच जनरेशन में हालिया प्रगति ने ऑडियो सिंथेसिस की गुणवत्ता में सुधार किया है, लेकिन इसने प्रतिरूपण (impersonation) और दुष्प्रचार के लिए सक्षम डीपफेक बनाने की सुविधा भी प्रदान की है। जबकि मौजूदा डिटेक्शन विधियाँ अक्सर ऑडियो को एक एकीकृत सिग्नल के रूप में मानती हैं, वे अक्सर अंतर्निहित घटकों के विशिष्ट गुणों को समझने में विफल रहती हैं। यथार्थवादी परिदृश्यों में, स्पीच और पर्यावरणीय ध्वनियों को स्वतंत्र रूप से हेरफेर किया जा सकता है, जिससे ऐसे गुप्त विसंगतियां (latent inconsistencies) उत्पन्न होती हैं जिन्हें सिंगल-मॉडल दृष्टिकोण पकड़ने में संघर्ष करते हैं। यह शोध पत्र एन्वायरमेंट-अवेयर स्पीच एंड साउंड डीपफेक डिटेक्शन चैलेंज (ESDD2) 2026 को संबोधित करता है, जो विशेष रूप से घटक-स्तरीय डिटेक्शन (component-level detection) को लक्षित करता है जहाँ स्पीच और पर्यावरणीय ध्वनियाँ स्वतंत्र रूप से वास्तविक या स्पूफ हो सकती हैं।

कार्यप्रणाली (Methodology)
लेखक एक डुअल-ब्रांच डीपफेक डिटेक्शन फ्रेमवर्क का प्रस्ताव करते हैं जिसे स्पीच और पर्यावरणीय संदर्भ संबंधी रिप्रजेंटेशन को संयुक्त रूप से मॉडल करने के लिए डिज़ाइन किया गया है। आर्किटेक्चर और मुख्य घटक इस प्रकार हैं:

डुअल प्रीट्रेंड एनकोडर: सिस्टम इनपुट ऑडियो से पूरक रिप्रजेंटेशन निकालने के लिए दो अलग-अलग स्व-पर्यवेक्षित शिक्षण (self-supervised learning - SSL) मॉडलों का उपयोग करता है:
- XLS-R: स्पीच-संबंधित रिप्रजेंटेशन निकालने के लिए उपयोग किया जाता है।
- BEATs: पर्यावरणीय ध्वनि रिप्रजेंटेशन को कैप्चर करने के लिए उपयोग किया जाता है।
बाइडायरेक्शनल क्रॉस-अटेंशन: दोनों स्ट्रीम्स के बीच सूचना विनिमय की सुविधा के लिए, एक मल्टी-हेड क्रॉस-अटेंशन मॉड्यूल का उपयोग किया जाता है। स्पीच रिप्रजेंटेशन को पहले पर्यावरणीय रिप्रजेंटेशन की डाइमेंशनलिटी से मेल खाने के लिए प्रोजेक्ट किया जाता है, जिसके बाद द्विदिश अंतःक्रिया (bidirectional interaction) होती है, जिससे परिष्कृत फीचर स्ट्रीम्स ( $F^*_{speech}$ और $F^*_{env}$ ) प्राप्त होती हैं।
कंपोनेंट-लेवल क्लासिफिकेशन: परिष्कृत रिप्रजेंटेशन को दो अलग-अलग AASIST क्लासिफायर के माध्यम से गुजारा जाता है ताकि स्पीच ब्रांच ( $P_{speech}$ ) और पर्यावरणीय ब्रांच ( $P_{env}$ ) के लिए स्वतंत्र रूप से स्पूफिंग संभाव्यता की भविष्यवाणी की जा सके।
ओरिजिनल क्लास एस्टीमेशन के लिए मैचिंग हेड: एक समर्पित मॉड्यूल "ओरिजिनल" क्लास संभाव्यता का अनुमान लगाने के लिए कच्चे स्पीच और पर्यावरणीय रिप्रजेंटेशन के बीच विसंगतियों को मॉडल करता है। इसमें शामिल है:
1. रिप्रजेंटेशन को एक साझा लेटेंट स्पेस में प्रोजेक्ट करना।
2. टेम्पोरल डायमेंशन के साथ सांख्यिकीय पूलिंग (Mean, Max, Std, और $\ell_2$ Norm) लागू करना।
3. फीचर्स को कॉनकैटिनेशन (concatenation), एलिमेंट-वाइज मल्टीप्लिकेशन, और एब्सोल्यूट डिफरेंस ऑपरेशंस के माध्यम से संयोजित करना।
4. संयोजित वेक्टर को फीड-फॉरवर्ड नेटवर्क (FFN) के माध्यम से प्रोसेस करना।
डेटा ऑग्मेंटेशन और ट्रेनिंग: प्रशिक्षण रणनीति में टास्क-अवेयर डेटा ऑग्मेंटेशन (मिक्सिंग ओरिजिनल, कॉनकैटिनेशन, वेटेड समेशन, पार्शियल, और टाइम-शिफ्टेड कॉम्बिनेशन) और स्टोकेस्टिक नॉइज़ इंजेक्शन शामिल है। क्लास असंतुलन को संबोधित करने के लिए, एक क्लास-अवेयर सैंपलिंग स्कीम अल्पसंख्यक वर्गों (minority classes) का ओवरसैंपलिंग करती है। मॉडल को एक वेटेड मल्टी-टास्क लॉस (स्पीच और एनवायरनमेंटल लॉस 1.0 पर वेटेड, ओरिजिनल क्लास 0.2 पर) और निरंतरता को लागू करने के लिए एक रैंकिंग-आधारित रेगुलराइजेशन टर्म के साथ प्रशिक्षित किया जाता है।

मुख्य योगदान

कंपोनेंट-लेवल मॉडलिंग: उन विधियों के विपरीत जो ऑडियो को एक संपूर्ण इकाई के रूप में प्रोसेस करती हैं, यह फ्रेमवर्क स्वतंत्र हेरफेर का पता लगाने के लिए स्पीच और पर्यावरणीय घटकों को स्पष्ट रूप से अलग करता है और उन्हें संयुक्त रूप से मॉडल करता है।
डुअल SSL फ्यूजन: XLS-R और BEATs का एकीकरण स्पीच और सामान्य ऑडियो SSL मॉडलों की शक्तियों का लाभ उठाते हुए पूरक प्रासंगिक रिप्रजेंटेशन निकालने की अनुमति देता है।
हाइब्रिड आर्किटेक्चर: फीचर इंटरेक्शन के लिए क्रॉस-अटेंशन और विसंगति मॉडलिंग के लिए एक मैचिंग हेड का संयोजन, सिस्टम को घटक-स्तरीय स्पूफिंग संभाव्यता और समग्र ओरिजिनल क्लास दोनों का अनुमान लगाने में सक्षम बनाता है।
विसंगतियों के प्रति मजबूती (Robustness): डिज़ाइन विशेष रूप से हेरफेर किए गए और वास्तविक घटकों के बीच गुप्त विसंगतियों का पता लगाने को लक्षित करता है, जो एनवायरमेंट-अवेयर स्पूफ ऑडियो के खिलाफ मजबूती बढ़ाता है।

परिणाम
प्रस्तावित सिस्टम का मूल्यांकन CompSpoofV2 डेटासेट पर किया गया, जिसमें पांच विशिष्ट वर्गों के साथ 250,000 से अधिक ऑडियो नमूने हैं, जो बोना फाइन (bona fide) स्पीच और एनवायरनमेंट के सभी संयोजनों का प्रतिनिधित्व करते हैं।

प्रदर्शन: टेस्ट सेट पर, प्रस्तावित विधि ने 70.20% का F1-स्कोर प्राप्त किया, जो बेसलाइन सिस्टम (63.27%) से लगभग 7-8% बेहतर है।
एनवायरनमेंटल डिटेक्शन: सिस्टम ने एनवायरनमेंटल इक्वल एरर रेट (EER) में महत्वपूर्ण कमी दिखाई, मूल्यांकन सेट पर 16.54% और टेस्ट सेट पर 18.83% प्राप्त किया, जबकि बेसलाइन क्रमशः 43.36% और 42.79% था।
दक्षता: डुअल-एनकोडर आर्किटेक्चर की जटिलता के बावजूद, विधि ने अनुकूल कम्प्यूटेशनल दक्षता दिखाई, जिसमें बेसलाइन के 4 घंटे की तुलना में प्रति एपोक लगभग 1 घंटा लगा, जबकि बेहतर डिटेक्शन क्षमता बनाए रखी।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि किसी भी घटक (जैसे मैचिंग हेड, क्रॉस-अटेंशन, या विशिष्ट ऑग्मेंटेशन रणनीतियाँ) को हटाने से प्रदर्शन में गिरावट आती है, जो पूर्ण फ्रेमवर्क की आवश्यकता को प्रमाणित करता है।

महत्व
यह पेपर दावा करता है कि इसका दृष्टिकोण मल्टी-क्लास डीपफेक डिटेक्शन क्षमता में, विशेष रूप से एनवायरमेंट-अवेयर स्पूफिंग वाले परिदृश्यों के लिए, पर्याप्त वृद्धि प्रदान करता है। यूनिफाइड सिग्नल प्रोसेसिंग से घटक-स्तरीय विश्लेषण की ओर बढ़कर, यह फ्रेमवर्क उन विशिष्ट विसंगतियों को बेहतर ढंग से कैप्चर करता है जो तब उत्पन्न होती हैं जब स्पीच और पर्यावरणीय ध्वनियों को स्वतंत्र रूप से हेरफेर किया जाता है। परिणाम दर्शाते हैं कि डुअल सेल्फ-सुपरवाइज्ड एनकोडर को क्रॉस-अटेंशन और एक समर्पित विसंगति मॉडलिंग हेड के साथ एकीकृत करना, मौजूदा बेसलाइन विधियों की तुलना में डिटेक्शन प्रदर्शन और कम्प्यूटेशनल दक्षता के बीच एक बेहतर संतुलन प्रदान करता है। लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण प्रभावी रूप से ESDD2 2026 चुनौती को संबोधित करता है और उन्नत फ्यूजन रणनीतियों और वास्तविक दुनिया की स्थितियों में मजबूती के लिए भविष्य के कार्य की नींव रखता है।