Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
यह शोध पत्र DAV-Det को प्रस्तुत करता है, जो एक विच्छेदित (decoupled) ऑडियो-विजुअल डिटेक्शन सिस्टम है जो मल्टी-ग्रैनुलैरिटी विजुअल रिप्रेजेंटेशन्स और एक गेटेड टेम्पोरल-स्पेक्ट्रल ऑडियो आर्किटेक्चर का उपयोग करके प्रत्येक मोडैलिटी से फॉरेंसिक साक्ष्य को स्वतंत्र रूप से मॉडल करता है, और इस धारणा को चुनौती देकर कि क्रॉस-मोडल विसंगतियां जालसाजी का पता लगाने के लिए हमेशा विश्वसनीय होती हैं, IJCAI-ECAI 2026 जनरल AIGC ऑडियो-वीडियो डिटेक्शन चैलेंज में प्रथम स्थान प्राप्त किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप अपनी आँखों या कानों पर भरोसा नहीं कर सकते। आर्टिफिशियल इंटेलिजेंस (AI) के तीव्र विस्फोट के कारण, कंप्यूटरों ने ऐसे नकली वीडियो और आवाज़ें बनाना सीख लिया है जो देखने और सुनने में अविश्वसनीय रूप से वास्तविक लगती हैं। यह केवल किसी सेलिब्रिटी का चेहरा बदलने के बारे में नहीं है; यह उन पूरे दृश्यों, जानवरों और वस्तुओं को उत्पन्न करने के बारे में है जिनका अस्तित्व ही नहीं था। यह तकनीक, जिसे AIGC (AI-जनरेटेड कंटेंट) कहा जाता है, एक दोधारी तलवार है: यह रचनात्मकता के लिए अद्भुत है लेकिन गलत सूचना और धोखाधड़ी के लिए भयानक भी है। मुकाबला करने के लिए, वैज्ञानिक "डिजिटल झूठ पकड़ने वाले यंत्र" (डिजिटल लाइ डिटेक्टर) बना रहे हैं। वर्षों से, नकली चीज़ों को पकड़ने के लिए सबसे लोकप्रिय रणनीति एक सरल विचार पर टिकी थी: एक वास्तविक वीडियो में, जो आप देखते हैं और जो आप सुनते हैं, वह पूरी तरह से मेल खाना चाहिए। यदि कोई व्यक्ति बोल रहा है, तो उसके होंठ आवाज़ के साथ तालमेल में होने चाहिए। यदि ऑडियो और वीडियो आपस में मेल नहीं खाते, तो वह नकली है। यह यह जाँचने जैसा है कि क्या एक कठपुतली का मुँह पीछे से आ रही आवाज़ के साथ सही समय पर हिल रहा है; यदि वे तालमेल में नहीं हैं, तो आप जानते हैं कि यह एक चाल है।
हालाँकि, हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन से पता चलता है कि सामान्य वीडियो के मामले में यह पुराना नियम टूट जाता है। उन्होंने पाया कि कई वास्तविक दुनिया के परिदृश्यों में—जैसे कि एक प्रकृति वृत्तचित्र (नेचर डॉक्यूमेंट्री) या कुकिंग शो में—आवाज़ और चित्र मजबूती से जुड़े हुए नहीं होते हैं, भले ही सब कुछ 100% वास्तविक हो। इन मामलों में, बेमेल (मिसमैच) को खोजने की कोशिश करना एक चोर को यह देखकर पकड़ने की कोशिश करने जैसा है कि क्या उसके जूते उसकी टोपी से मेल खाते हैं; कभी-कभी, असली लोग बस मैचिंग कपड़े नहीं पहनते। शोधकर्ता तर्क देते हैं कि ऑडियो और वीडियो को झूठ खोजने के लिए एक-दूसरे से बात करने के लिए मजबूर करने के बजाय, हमें उन्हें स्वतंत्र जासूसों के रूपв काम करने देना चाहिए। वे DAV-Det नामक एक नई प्रणाली का प्रस्ताव करते हैं, जो ऑडियो और वीडियो को अलग-अलग सुरागों के रूप में मानती है। विजुअल डिटेक्टिव (दृश्य जासूस) चित्र में सूक्ष्म, अजीब बनावट या पैटर्न की तलाश करता है, जबकि ऑडियो डिटेक्टिव (ध्वनि जासूस) ध्वनि तरंगों में अस्वाभाविक गड़बड़ियों को सुनता है। केवल दोनों के अपने निर्णय देने के बाद ही वे पूरे दृश्य के नकली होने का फैसला करने के लिए अपनी राय को मिलाते हैं। यह "कम ही अधिक है" (less is more) वाला दृष्टिकोण, जो वहां संबंध बनाने से बचता है जहां कोई संबंध नहीं है, AI नकली चीज़ों को पकड़ने की एक प्रमुख अंतरराष्ट्रीय प्रतियोगिता में जीतने की कुंजी साबित हुआ, जिसमें 0.8460 का शीर्ष स्कोर प्राप्त किया गया।
बड़ी गलती: यह मानना कि सब कुछ जुड़ा हुआ है
लंबे समय तक, डीपफेक को पकड़ने का सबसे अच्छा तरीका "जुड़ाव के अजीब अहसास" (uncanny valley of connection) को देखना था। यदि कोई वीडियो किसी व्यक्ति को बोलते हुए दिखाता है, तो AI अक्सर शब्दों के साथ होंठों को पूरी तरह से मिलाने में संघर्ष करता है। इसलिए, डिटेक्टर इस बात को मापने के लिए बनाए गए थे कि ऑडियो और वीडियो कितनी अच्छी तरह मेल खाते हैं। यदि मेल खराब था, तो सिस्टम चिल्ला उठता था "नकली!"
इस शोध पत्र के लेखकों ने इस धारणा का बहुत बड़े पैमाने पर परीक्षण करने का निर्णय लिया। उन्होंने दो प्रकार के वीडियो देखे:
- मानव-केंद्रित वीडियो: जैसे कि कैमरे के सामने बात करता हुआ व्यक्ति। यहाँ, पुराना नियम बहुत अच्छा काम करता है। वास्तविक वीडियो में उच्च ऑडियो-विजुअल समानता होती है, जबकि नकली वीडियो में कम समानता होती है।
- सामान्य वीडियो: जैसे कि कुत्ते के भौंकने, कार के इंजन के शोर, या हवा के शोर वाले परिदृश्य का वीडियो।
जब उन्होंने सामान्य वीडियो पर "मिलान" के नियम का परीक्षण किया, तो यह पूरी तरह से विफल हो गया। वास्तव में, यह रैंडम अनुमान लगाने से भी बदतर हो गया! उन्होंने पाया कि कई वास्तविक सामान्य वीडियो में, ऑडियो और वीडियो स्वाभाविक रूप रूप से उन नकली वीडियो की तुलना में कम समान होते हैं जिनमें कुछ समानता होती है। यहाँ "बेमेल" नियम का उपयोग करना सक्रिय रूप से डिटेक्शन को नुकसान पहुँचा रहा था। यह एक नकली पेंटिंग को यह देखकर खोजने की कोशिश करने जैसा है कि क्या उसका फ्रेम कैनवास से मेल खाता है; एक वास्तविक संग्रहालय में, फ्रेम कैनवास से मेल नहीं खा सकता है, लेकिन पेंटिंग फिर भी असली है। शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि ऑडियो-विजुअल कोरेस्पोंडेंस (अनुरूपता) सामान्य AIGC डिटेक्शन के लिए एक विश्वसनीय संकेत है।
नई रणनीति: दो स्वतंत्र जासूस
चूंकि ऑडियो और वीडियो को आपस में नोट्स साझा करने के लिए मजबूर करना विफल हो रहा था, टीम ने एक "डिकपल्ड" (Decoupled - अलग किया हुआ) दृष्टिकोण प्रस्तावित किया। एक एकल मस्तिष्क द्वारा दोनों को एक साथ प्रोसेस करने के बजाय, उन्होंने दो विशिष्ट मस्तिष्क बनाए जो अलग-अलग काम करते हैं और फिर अपने निष्कर्ष साझा करते हैं।
विजुअल डिटेक्टिव (DAV-Det की आँख)
विजुअल डिटेक्टर केवल पूरी तस्वीर को नहीं देखता है; यह विवरण के तीन अलग-अलग स्तरों पर ज़ूम करता है, जैसे कि एक जासूस अपराध स्थल की जांच करता है:
- ग्लोबल लेवल (वैश्विक स्तर): यह बड़े चित्र को देखता है ताकि यह देख सके कि क्या पूरा दृश्य "अजीब" या अर्थ संबंधी रूप से गलत महसूस होता है।
- पैच लेवल (पैच स्तर): यह छवि को छोटे-छोटे वर्गों (पैच) में तोड़ देता है ताकि सूक्ष्म बनावट की खामियों को खोजा जा सके, जैसे कि किसी विशिष्ट वस्तु पर एक अजीब धुंधलापन जो वहां नहीं होना चाहिए।
- सेगमेंट लेवल (खंड स्तर): यह पास के पैच को बड़े हिस्सों (सेगमेंट) में समूहित करता है ताकि क्षेत्रीय विसंगतियों को पहचाना जा सके, जैसे कि एक अजीब छाया जो किसी विशिष्ट क्षेत्र की नहीं है।
यह प्रणाली "वीक सुपरविजन" (Weak Supervision) नामक एक चतुर तकनीक का उपयोग करती है। चूंकि इसे हमेशा यह नहीं पता होता कि ठीक कौन सा छोटा पैच नकली है, यह मान लेती है कि यदि पूरी छवि नकली है, तो कम से कम कुछ छोटे पैच संदिग्ध होने चाहिए। यह इन संदिग्ध पैचों को पहचानने में महारत हासिल करती है और इनका उपयोग एक मजबूत मामला बनाने के लिए करती है। यह "डिग्रेडेड" (खराब गुणवत्ता वाली) छवियों (शोर या धुंधलेपन वाली छवियां) पर भी अभ्यास करती है ताकि यह सुनिश्चित हो सके कि यह खराब कैमरा गुणवत्ता से भ्रमित न हो।
ऑडियो डिटेक्टिव (DAV-Det का कान)
ऑडियो डिटेक्टर दो प्रकार के सुरागों को सुनता है:
- समय-आधारित सुराग: क्या ध्वनि की लय प्राकृतिक है? क्या ध्वनियों के बीच संक्रमण सुचारू है, या वे अजीब तरह से उछलते हैं?
- फ्रीक्वेंसी सुराग (आवृत्ति सुराग): क्या ध्वनि में अजीब हाई-फ्रीक्वेंसी आर्टिफैक्ट्स हैं जिन्हें वास्तविक माइक्रोफोन आमतौर पर नहीं पकड़ते हैं?
इन्हें पकड़ने के लिए, ऑडियो डिटेक्टर एक "गेटेड" (gated) सिस्टम का उपयोग करता है। एक क्लब के बाउंसर की कल्पना करें जो यह तय करता है कि ध्वनि के कौन से हिस्से महत्वपूर्ण हैं और किन्हें अनदेखा किया जाना चाहिए। यह बाउंसर (गेटिंग नेटवर्क) ध्वनि तरंग के सबसे संदिग्ध हिस्सों को उजागर करता है, जिससे डिटेक्टर को उन टेम्पोरल (समय) और स्पेक्ट्रल (आवृत्ति) अनियमितताओं पर ध्यान केंद्रित करने में मदद मिलती है जो AI अक्सर पीछे छोड़ देता है।
अंतिम निर्णय: डिसीजन-लेवल फ्यूजन
एक बार जब दोनों जासूसों ने अपना काम पूरा कर लिया, तो वे अपने डेटा को एक बड़े मिश्रण में नहीं मिलाते हैं। इसके बजाय, वे अपने निष्कर्षों को अलग रखते हैं और व्यक्तिगत स्कोर के आधार पर अंतिम निर्णय लेते हैं।
- सरल "असली बनाम नकली" जांच के लिए: यदि ऑडियो जासूस या विजुअल जासूस में से कोई भी इसे नकली मानता है, तो सिस्टम इसे नकली घोषित कर देता है। यह एक "सावधानी बरतना बेहतर है" वाला दृष्टिकोण है।
- विस्तृत जांच के लिए (चार वर्ग): सिस्टम चार परिदृश्यों की संभावना की गणना करता है:
- वास्तविक वीडियो + वास्तविक ऑडियो (RR)
- नकली वीडियो + नकली ऑडियो (FF)
- नकली वीडियो + वास्तविक ऑडियो (FR)
- वास्तविक वीडियो + नकली ऑडियो (RF)
यह मानते हुए कि ऑडियो और वीडियो स्वतंत्र हैं, सिस्टम यह पता लगाने के लिए इन चारों में से सबसे संभावित परिदृश्य का पता लगाने के लिए उनकी संभावनाओं को गुणा करता है।
परिणाम: खेल जीतना
टीम ने IJCAI-ECAI 2026 DDL 2.0 वर्कशॉप में "जनरल AIGC ऑडियो-वीडियो डिटेक्शन चैलेंज" में अपने नए सिस्टम, DAV-Det का परीक्षण किया। यह एक कठिन प्रतियोगिता थी जिसमें मनुष्यों से लेकर जानवरों और वस्तुओं तक के 2,00,000 से अधिक वीडियो-ऑडियो नमूने शामिल थे।
परिणाम प्रभावशाली थे:
- रैंक: उन्होंने सभी प्रतिस्पर्धी टीमों में से प्रथम स्थान प्राप्त किया।
- स्कोर: उन्होंने 0.8460 का अंतिम स्कोर प्राप्त किया।
- प्रदर्शन: उन्होंने बाइनरी (असली/नकली) डिटेक्शन कार्य पर 0.9617 और अधिक कठिन चार-वर्ग वर्गीकरण कार्य पर 0.6873 का स्कोर किया।
जब उन्होंने अपने सिस्टम का पुराने, मानव-केंद्रित डीपफेक डेटासेट पर परीक्षण किया (जहाँ पुराना "मिलान" नियम आमतौर पर काम करता है), तब भी DAV-Det ने प्रतिस्पर्धा को पछाड़ दिया, और 0.998 की सटीकता और 0.999 का AUC प्राप्त किया। यह बताता है कि उनकी विधि इतनी मजबूत है कि वह जटिल सामान्य वीडियो और पारंपरिक फेस-स्वैपिंग नकली चीज़ों, दोनों को संभाल सकती है।
आगे क्या?
लेखक इस बारे में ईमानदार हैं कि उनका सिस्टम अभी क्या नहीं कर सकता। उनका विजुअल डिटेक्टर स्थिर छवियों की खामियों को पकड़ने में बहुत अच्छा है लेकिन यह स्पष्ट रूप से फ्रेम्स के माध्यम से चीजों की गति (टेम्पोरल मोशन) को ट्रैक नहीं करता है। इसके अलावा, उनके दो जासूसों को मिलाने का तरीका सरल गणितीय नियमों (जैसे अधिकतम स्कोर लेना) पर निर्भर करता है, न कि एक जटिल, सीखने-आधारित फ्यूजन पर।
हालाँकि, मुख्य संदेश स्पष्ट है: सामान्य AI नकली चीज़ों की दुनिया में, कभी-कभी सच खोजने का सबसे अच्छा तरीका उस संबंध को खोजना बंद करना है जो वहां मौजूद ही नहीं है। ऑडियो और वीडियो को अपने बारे में बोलने देकर, सिस्टम ने सच्चाई तक पहुँचने का एक अधिक विश्वसनीय रास्ता खोज लिया। जैसा कि शोध पत्र सुझाव देता है, "कम ही अधिक है" (Less is More)—मोडालिटीज (माध्यमों) को अलग करने से एक अधिक मजबूत डिटेक्शन सिस्टम मिलता है जो वास्तविक दुनिया के वीडियो में प्राकृतिक तालमेल की कमी से भ्रमित नहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।