CAMNet: A Deep Learning Cross-Attention Multi-Stream Network for Robust Audio-Visual Deepfake Detection

डिजिटल दर्पण और मशीन में छिपा भूत

कल्पना कीजिए कि आप एक दर्पण में देख रहे हैं, लेकिन अपना प्रतिबिंब देखने के बजाय, आप किसी प्रसिद्ध हस्ती का एक सटीक, अति-यथार्थवादी संस्करण देखते हैं जो ऐसी बातें कह रहा है जो उसने कभी नहीं कहीं, या एक राजनेता एक ऐसे देश पर युद्ध की घोषणा कर रहा है जिससे वह प्रेम करता है। यह जादू नहीं है; यह "डीपफेक" तकनीक नामक विज्ञान के एक तेजी से विकसित होते क्षेत्र का परिणाम है। अपने मूल रूप में, डीपफेक शक्तिशाली कंप्यूटर प्रोग्रामों का उपयोग करते हैं जिन्हें आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) कहा जाता है, ताकि चेहरे बदले जा सकें, आवाज़ों की नकल की जा सके, और वीडियो और ऑडियो को इस तरह से जोड़ा जा सके जो पूरी तरह से वास्तविक दिखते और सुनाई देते हैं। यह एक डिजिटल कठपुतली की तरह है जो अदृश्य धागे खींचकर किसी व्यक्ति को उन तरीकों से चलाने और बोलने के लिए मजबूर करता है जो उसने कभी नहीं किए।

लंबे समय से, वैज्ञानिक इन नकली चीजों को पकड़ने के लिए "डिजिटल झूठ पकड़ने वाले यंत्र" बनाने की कोशिश कर रहे हैं। शुरुआती प्रयास खिड़की पर लगे एक अकेले धब्बे को देखने जैसे थे; वे शायद एक खराब वीडियो को पकड़ लेते, लेकिन यदि ऑडियो वास्तविक होता, तो डिटेक्टर भ्रमित हो जाता, या इसके विपरीत। समस्या यह है कि डीपफेक और भी चालाकी भरे होते जा रहे हैं। वे चेहरा तो नकली बना सकते हैं लेकिन असली आवाज़ रख सकते हैं, या आवाज़ नकली बना सकते हैं लेकिन असली चेहरा रख सकते हैं। एक कुशल जालसाज को पकड़ने के लिए, आप केवल तस्वीर को देखकर या केवल ध्वनि को सुनकर काम नहीं चला सकते; आपको यह जांचना होगा कि क्या तस्वीर और ध्वनि सही ढंग से एक-दूसरे का हाथ थामे हुए हैं। यदि होंठ हिलते हैं लेकिन शब्द मेल नहीं खाते, या यदि आवाज़ रोबोटिक लगती है जबकि चेहरा स्वाभाविक दिखता है, तो यह एक सुराग है। यही वह चुनौती है जिसे वेलोर इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं का एक नया अध्ययन हल करने का प्रयास कर रहा है।

CAMNet से मिलिए: दो आँखों वाला सुपर-डिटेक्टिव

इस अध्ययन के पीछे के शोधकर्ताओं, बट्टुला थिरुमालाश्वरी देवी और राजकुमार राजसेकरन ने एक नया डिजिटल जासूसी तंत्र बनाया है जिसे वे CAMNet कहते हैं। CAMNet को एक एकल कैमरे के रूप में नहीं, बल्कि एक ऐसे सुपर-जासूस के रूप में सोचें जिसके पास दो अलग-अलग जोड़ी आँखें और कान हैं जो लगातार एक-दूसरे से बात करते हैं। जहाँ पुराने सिस्टम वीडियो को देख सकते थे और फिर ऑडियो को अलग से सुन सकते थे, वहीं CAMNet को वीडियो को सुनते हुए देखने के लिए डिज़ाइन किया गया है, यह जाँचने के लिए कि क्या वे तालमेल में हैं।

यह सिस्टम एक मल्टी-लेन हाईवे की तरह बना है जिसमें विभिन्न प्रकार की जानकारी के लिए विशेष लेन हैं। एक लेन ऑडियो के लिए समर्पित है, जो एक "1D CNN" (एक प्रकार का कंप्यूटर मस्तिष्क जो ध्वनि तरंगों में पैटर्न पहचानने में कुशल है) और एक "ट्रांसफॉर्मर" (एक स्मार्ट मॉडल जो भाषण की लय और प्रवाह को समझता है) का उपयोग करती है। दूसरी लेन वीडियो के लिए समर्पित है, जो चेहरे के भावों के बड़े चित्र को समझने के लिए "3D CNN" और "विज़न ट्रांसफॉर्मर" का उपयोग करती है।

लेकिन असली जादू बीच में होता है, जहाँ ये लेन मिलती हैं। यह क्रॉस-अटेंशन (Cross-Attention) तंत्र है। एक ऑर्केस्ट्रा के कंडक्टर की कल्पना करें। यदि वायलिन वादक (वीडियो) एक नोट बजाता है, तो कंडक्टर (क्रॉस-अटेंशन मॉड्यूल) यह जाँचता है कि क्या बांसुरी वादक (ऑडियो) ठीक उसी समय मिलता-जुलता नोट बजा रहा है। यदि बांसुरी वादक एक सेकंड की देरी से बजता है, या यदि वायलिन वादक दुखद संगीत के साथ मेल न खाने वाला चेहरा बनाता है, तो कंडक्टर लाल झंडा उठा देता है। CAMNet यह काम लगातार यह पूछकर करता है, "क्या यह होंठों की हरकत इस ध्वनि से मेल खाती है?" और "क्या यह आवाज का लहजा इस चेहरे के भाव से मेल खाता है?" यदि उत्तर 'नहीं' है, तो इसे पता चल जाता है कि कुछ गड़बड़ है।

महान नकली मुकाबला: CAMNet ने कैसा प्रदर्शन किया

यह देखने के लिए कि उनका नया जासूस कितना अच्छा है, शोधकर्ताओं ने इसे FakeAVCeleb डेटासेट के खिलाफ टेस्ट किया। यह वीडियो का एक विशाल संग्रह है जिसमें चार प्रकार के परिदृश्य शामिल हैं: वास्तविक लोग और वास्तविक आवाज़ें, वास्तविक लोग और नकली आवाज़ें, नकली लोग और वास्तविक आवाज़ें, और नकली लोग और नकली आवाज़ें। यह एक अंतिम स्ट्रेस टेस्ट है, जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या सिस्टम किसी जालसाजी को पकड़ सकता है भले ही कहानी का केवल आधा हिस्सा ही नकली हो।

परिणाम प्रभावशाली थे। CAMNet ने 98.27% बार सही ढंग से पहचान लिया कि वीडियो असली था या नकली। इसे समझने के लिए, शोधकर्ताओं ने CAMNet की तुलना अन्य लोकप्रिय तरीकों से की। कुछ पुराने, सिंगल-लेन (एकल मोड) सिस्टम केवल लगभग 81% सटीकता प्राप्त कर सके। यहाँ तक कि कुछ बेहतरीन "टीम-अप" सिस्टम (एन्सेम्बल मॉडल) भी, जिन्होंने विभिन्न डिटेक्टरों को मिलाने की कोशिश की थी, केवल 92.9% तक ही पहुँच पाए। CAMNet केवल जीता ही नहीं; इसने एक नया रिकॉर्ड स्थापित किया।

सिस्टम विशेष रूप से तब पकड़ने में कुशल था जब वीडियो नकली था लेकिन ऑडियो वास्तविक था (एक परिदृश्य जिसे ARVF कहा जाता है), जिसने 97.81% की शुद्धता दर हासिल की। यह तब भी बहुत मजबूत था जब वीडियो और ऑडियो दोनों ही नकली थे। शोधकर्ताओं ने पाया कि एक "मल्टीलेबल क्लासिफिकेशन हेड" का उपयोग करके, सिस्टम ऑडियो और वीडियो के लिए अलग-अलग निर्णय ले सकता था, बजाय इसके कि पूरे क्लिप के लिए एक एकल "हाँ या ना" का उत्तर दिया जाए। इसने उन जटिल चालों को पकड़ने की अनुमति दी जहाँ मीडिया का एक हिस्सा वास्तविक था और दूसरा नहीं।

यह क्यों महत्वपूर्ण है (और आगे क्या है)

अध्ययन सुझाव देता है कि इस क्रॉस-अटेंशन सिस्टम के माध्यम से ऑडियो और वीडियो को एक-दूसरे से "बात" करने के लिए मजबूर करके, हम उन डीपफेक को पकड़ सकते हैं जो मीडिया के एक हिस्से को वास्तविक रखकर छिपने की कोशिश करते हैं। शोधकर्ताओं ने सिस्टम में "ऑप्टिकल फ्लो" की एक परत भी जोड़ी है, जो एक मोशन डिटेक्टर की तरह है जो स्क्रीन पर चीजों के हिलने-डुलने को देखता है ताकि उन अस्वाभाविक झटकों या ग्लिच को पकड़ा जा सके जिन्हें मानवीय आँखें मिस कर सकती हैं।

हालाँकि, लेखक यह ध्यान दिलाते हुए सावधान हैं कि यह कहानी का अंत नहीं है। डीपफेक तकनीक तेजी से विकसित हो रही है, और जबकि CAMNet वर्तमान में लैब में चैंपियन है, शोधकर्ता स्वीकार करते हैं कि भविष्य के जालसाज और भी अधिक यथार्थवादी नकली चीजें बना सकते हैं। वे सुझाव देते हैं कि अगला कदम सिस्टम को तेज़ बनाना है ताकि यह सोशल मीडिया प्लेटफॉर्म पर रीयल-टाइम में काम कर सके और इसे नए प्रकार की चालों को पहचानने के लिए सिखाना है। फिलहाल के लिए, CAMNet हमारे डिजिटल जगत को ईमानदार रखने की लड़ाई में एक शक्तिशाली नए उपकरण के रूप में खड़ा है, जो यह साबित करता है कि कभी-कभी, किसी झूठे को पकड़ने का सबसे अच्छा तरीका यह सुनिश्चित करना है कि उसकी आवाज़ और उसका चेहरा एक ही कहानी कह रहे हों।