Towards Generalizable Face Forgery Detection via Multi-Granularity Fusion
ट्रांसफ़रेबल हाई-लेवल सिमेंटिक्स और स्पार्स लोकल आर्टिफ़ेक्ट्स के बीच संघर्ष के कारण फेस फोर्जरी डिटेक्शन में जनरलाइजेशन गैप को संबोधित करने के लिए, यह पेपर सेमफ्यूजन (SemFusion) का प्रस्ताव देता है, जो एक ऐसा फ्रेमवर्क है जो CLIP की ट्रांसफ़रेबल संरचना को संरक्षित करने के लिए सिमेंटिक कंसिस्टेंसी रेगुलराइजेशन को मल्टी-लेवल पैच एविडेंस लर्निंग के साथ जोड़ता है ताकि स्थानीयकृत फोर्जरी संकेतों को प्रभावी ढंग से कैप्चर और फ्यूज किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने फोन पर स्क्रॉल कर रहे हैं और आपको किसी सेलिब्रिटी का एक वीडियो दिखता है जो कुछ ऐसा कह रहा है जो उन्होंने वास्तव में कभी नहीं कहा। यह असली दिखता है, असली सुनाई देता है, और असली महसूस होता है। यह "डीपफेक" (Deepfakes) की दुनिया है, जो एक डिजिटल जादू का खेल है जहाँ कंप्यूटर चेहरों को इतनी सटीकता से बदल सकते हैं या हाव-भाव को दोहरा सकते हैं कि हमारी आँखें अंतर नहीं कर पातीं। लंबे समय से, वैज्ञानिक इन नकली वीडियो को पकड़ने के लिए "डिजिटल झूठ पकड़ने वाले यंत्र" (digital lie detectors) बनाने की कोशिश कर रहे हैं। लेकिन यहाँ पेच यह है: ठीक उस जादूगर की तरह जो अपनी चाल पकड़े जाने पर हर बार अपनी तकनीक बदल देता है, इन्हें बनाने वाले लोग भी डिटेक्टरों को बेवकूफ बनाने के नए तरीके लगातार आविष्कार कर रहे हैं। पुराने डिटेक्टर उन सुरक्षा गार्डों की तरह थे जिन्होंने ज्ञात चोरों के चेहरों को याद कर लिया था; यदि कोई नया चोर अलग टोपी पहनकर आता, तो गार्ड उसे पहचान नहीं पाता। बड़ा सवाल इस क्षेत्र में यह है: हम एक ऐसा डिटेक्टर कैसे बनाएं जो केवल विशिष्ट ट्रिक्स को याद न करे, बल्कि वास्तव में यह समझे कि कोई चेहरा "नकली" क्यों दिखता है, चाहे उसे कोई भी बना रहा हो?
यहीं से हांगकांग बैप्टिस्ट यूनिवर्सिटी के शोधकर्ताओं का एक नया अध्ययन आता है। वे इस "जनरलाइजेशन" (generalization) की समस्या को हल करने की कोशिश कर रहे हैं—एक ऐसा डिटेक्टर बनाना जो किसी भी नए नकली वीडियो पर काम कर सके, न कि केवल उन पर जिनका उसने अभ्यास किया है। इसे करने के लिए, वे CLIP नामक एक शक्तिशाली उपकरण का उपयोग करते हैं। CLIP को एक अत्यंत बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जिसने अरबों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं। यह लाइब्रेरियन जानता है कि एक "बिल्ली" की मूंछें होती हैं और एक "समुद्र तट" में रेत होती है, भले ही उसने उस विशिष्ट बिल्ली या समुद्र तट को पहले कभी न देखा हो। शोधकर्ता इस लाइब्रेरियन के सामान्य ज्ञान का उपयोग नकली चीज़ों को पहचानने के लिए करना चाहते थे, लेकिन उन्हें एहसास हुआ कि लाइब्रेरियन बहुत बड़े चित्र (जैसे "यह एक चेहरा है") पर बहुत अधिक ध्यान केंद्रित कर रहा था और उन सूक्ष्म, उलझे हुए विवरणों को छोड़ रहा था जहाँ वास्तव में जादू का खेल होता है (जैसे बदले हुए मुंह के आसपास एक धुंधला किनारा)।
इसलिए, टीम ने SemFusion नामक एक नया सिस्टम बनाया। केवल यह पूछने के बजाय कि "क्या यह एक असली चेहरा है या नकली?" (जो अक्सर बहुत अस्पष्ट होता है), उन्होंने सिस्टम को पूरे चेहरे को देखने और साथ ही त्वचा के संदिग्ध छोटे हिस्सों पर ज़ूम करने के लिए प्रशिक्षित किया। उन्होंने एक विशेष नियम भी जोड़ा ताकि यह सुनिश्चित हो सके कि सिस्टम नकली चीज़ों को पहचानने के दौरान अपने मूल, विश्वसनीय ज्ञान को न भूल जाए। परिणाम? एक ऐसा डिटेक्टर जिसे बेवकूफ बनाना बहुत कठिन है। जब उन्होंने इसे उन पांच अलग-अलग नकली वीडियो सेटों पर टेस्ट किया जिन्हें इसने पहले कभी नहीं देखा था, तो इसने 90.9% बार सही उत्तर दिया। जब उन्होंने इसे छह पूरी तरह से नए तरीकों के नकली वीडियो पर टेस्ट किया, तो इसने 97.4% बार सही उत्तर दिया। यह एक ऐसे सुरक्षा गार्ड से अपग्रेड करने जैसा है जो केवल एक अपराधी का चेहरा जानता था, से एक ऐसे जासूस में जो किसी भी अपराधी को पहचान सकता है, भले ही वह वेश बदलकर आया हो।
समस्या: बहुत "बड़ा" चित्र
शोधकर्ताओं ने शुरुआत में यह देखते हुए एक खामी को पहचाना कि पिछले डिटेक्टर कैसे काम करते थे। अधिकांश डिटेक्टर चेहरे को एक विशाल चित्र के रूप में देखते थे। वे पूछते थे, "क्या यह पूरा चित्र एक वास्तविक व्यक्ति जैसा दिखता है?" लेकिन डीपफेक चालाक होते हैं। वे दूर से एकदम सही दिखते हैं, लेकिन यदि आप ज़ूम करें, तो आपको नाक बदलने वाली जगह पर एक अजीब सा धब्बा, या त्वचा के टेक्सचर में अंतर दिखाई दे सकता है।
पेपर का तर्क है कि केवल "बड़े चित्र" पर निर्भर रहना एक किताब के कवर को देखकर उसमें टाइपो (लिखने की गलती) खोजने जैसा है। आप शीर्षक और लेखक को देख सकते हैं, लेकिन आप पेज 42 पर वर्तनी की गलती को मिस कर सकते हैं। इसी तरह, मौजूदा डिटेक्टर अक्सर "स्थानीय साक्ष्य" (local evidence) को मिस कर देते हैं—वे छोटे, संदिग्ध स्थान जहाँ जालसाजी हुई थी। शोधकर्ताओं ने पाया कि जब उन्होंने एक मानक AI मॉडल का उपयोग करके एक नकली चेहरे को देखा, तो उसने अक्सर कहा, "यह असली लग रहा है!" क्योंकि चेहरे का समग्र आकार सही था, भले ही आँखें थोड़ी विकृत थीं।
समाधान: दो-तरफा जासूसी
इसे ठीक करने के लिए, टीम ने SemFusion बनाया, जिसका अर्थ है "सेमेंटिक-कंसिस्टेंट मल्टी-ग्रैनुलैरिटी फ्यूजन" (Semantic-Consistent Multi-Granularity Fusion)। यह एक फैंसी तरीका है यह कहने का कि उन्होंने समस्या को देखने के दो अलग-अलग तरीकों को मिला दिया है: "ग्लोबल" (Global) दृश्य और "लोकल" (Local) दृश्य।
1. ग्लोबल व्यू (बड़ा चित्र)
सबसे पहले, उन्होंने पूरे चेहरे को देखने के लिए CLIP मॉडल के एक संशोधित संस्करण का उपयोग किया। इस सिस्टम का हिस्सा सामान्य अवधारणाओं को समझने में उत्कृष्ट है। यह जानता है कि एक मानव चेहरा व्यापक रूप से कैसा होना चाहिए। हालाँकि, जैसा कि शोधकर्ताओं ने नोट किया, यह अकेले पर्याप्त नहीं है क्योंकि इसे उच्च-गुणवत्ता वाले डीपफेक द्वारा मूर्ख बनाया जा सकता है जो दूर से अच्छे दिखते हैं।
2. लोकल व्यू (ज़ूम-इन)
यहीं पर असली जादू होता है। शोधकर्ताओं ने मल्टी-लेवल पैच एविडेंस (MPE) नामक एक नई तकनीक विकसित की। कल्पना कीजिए कि चेहरे को सैकड़ों छोटे पहेली के टुकड़ों (पैच) में काट दिया गया है। सिस्टम फिर प्रत्येक टुकड़े को व्यक्तिगत रूप से देखता है कि क्या वह संदिग्ध व्यवहार कर रहा है।
- यह केवल छवि की ऊपरी परत को नहीं देखता; यह सुराग खोजने के लिए कंप्यूटर के मस्तिष्क में कई स्तरों की "गहराई" को देखता है।
- यह एक अपराध स्थल की जांच करने वाले जासूस की तरह काम करता है, जो उबाऊ हिस्सों (जैसे बैकग्राउंड) को अनदेखा करता है और केवल सबसे संदिग्ध "Top-K" स्थानों पर ध्यान केंद्रित करता है।
- यदि मुंह के आसपास का एक छोटा सा हिस्सा भी अजीब दिखता है, तो यह लोकल ब्रांच रेड फ्लैग (चेतावनी) उठा देती है, भले ही बाकी चेहरा एकदम सही दिखे।
3. सेफ्टी नेट (सेमेंटिक कंसिस्टेंसी)
यहाँ वह चतुर हिस्सा है जो सिस्टम को पागल होने से रोकता है। जब आप एक AI को नकली चीज़ों को पहचानने के लिए सिखाते हैं, तो वह कभी-कभी "नकली" पैटर्न के प्रति इतना जुनूनी हो जाता है कि वह भूल जाता है कि एक "असली" चेहरा वास्तव में क्या होता है। यह यह सोचने लग सकता है कि एक असली चेहरा नकली है क्योंकि उसमें छाया थोड़ी अलग दिख रही है।
इसे रोकने के लिए, शोधकर्ताओं ने सेमेंटिक कंसिस्टेंसी रेगुलराइजेशन (SCR) नामक एक नियम जोड़ा। इसे एक "ग्राउंडिंग वायर" के रूप में सोचें। उन्होंने मूल, फ्रीज किए गए CLIP टेक्स्ट स्पेस (लाइब्रेरियन के ज्ञान) को एक संदर्भ बिंदु के रूप में रखा। उन्होंने AI को बताया: "आप नकली चीज़ों को पहचानने के लिए सीख सकते हैं, लेकिन आपको चेहरे की मूल परिभाषा के करीब रहना होगा।" यह AI को बहुत दूर भटकने और बुनियादी बातों को भूलने से रोकता है। यह एक छात्र को बताने जैसा है, "आप गणित की समस्याओं को हल करने के नए तरीके आविष्कार कर सकते हैं, लेकिन आप इस तथ्य को नहीं बदल सकते कि 2 + 2 = 4 होता है।"
यह मिलकर कैसे काम करता है
यह सिस्टम दो जासूसों की एक टीम की तरह काम करता है।
- डिटेक्टिव ग्लोबल पूरे चेहरे को देखता है और कहता है, "हम्म, यह ज्यादातर असली लग रहा है।"
- डिटेक्टिव लोकल ज़ूम करता है और कहता, "रुको! मुझे गाल पर एक अजीब धब्बा दिख रहा! यह नकली है!"
- द फ्यूजन (संलयन): सिस्टम उनके विचारों को जोड़ता है। यदि डिटेक्टिव ग्लोबल अनिश्चित है लेकिन डिटेक्टिव लोकल एक संदिग्ध पैच पाता है, तो अंतिम निर्णय "नकली" की ओर झुक जाता है।
शोधकर्ताओं ने इसे सबसे अच्छे मौजूदा डिटेक्टरों के खिलाफ परखकर टेस्ट किया। उन्होंने एक सेट नकली वीडियो (FF++) पर सिस्टम को प्रशिक्षित किया और फिर इसे पांच पूरी तरह से अलग वीडियो सेटों के बीच उतार दिया जिन्हें इसने पहले कभी नहीं देखा था।
- परिणाम: SemFusion ने इन नए डेटासेट्स पर औसतन 0.909 (1.0 में से) का स्कोर प्राप्त किया। यह पिछले सर्वोत्तम तरीकों से बेहतर था।
- "न्यू ट्रिक" टेस्ट: उन्होंने इसे नकली बनाने के छह नए तरीकों (जैसे चेहरे बदलने वाला नया सॉफ्टवेयर) पर भी टेस्ट किया। SemFusion ने औसतन 0.974 का स्कोर किया, जो प्रतियोगिता को पीछे छोड़ देता है।
यह क्यों महत्वपूर्ण है
पेपर का सुझाव है कि यह दृष्टिकोण एक बड़ा कदम है क्योंकि यह केवल विशिष्ट "नकली" पैटर्न को याद नहीं करता है। इसके बजाय, यह विशिष्ट स्थानों पर प्राकृतिक विवरणों की अनुपस्थिति को पहचानने के साथ-साथ एक वास्तविक चेहरे की ठोस समझ बनाए रखना सीखता है।
शोधकर्ताओं ने यह भी जांचा कि क्या उनका सिस्टम खराब वीडियो गुणवत्ता को संभालने के लिए पर्याप्त मजबूत है, जैसे कि जब वीडियो धुंधला, शोर वाला या कंप्रेस्ड हो। उन्होंने पाया कि SemFusion तब भी विश्वसनीय बना रहता है जब वीडियो अव्यवस्थित होता है, जबकि अन्य डिटेक्टर विफल होने लगते हैं।
हालाँकि, लेखक यह दावा करने में सावधानी बरतते हैं कि उन्होंने इस समस्या को हमेशा के लिए "हल" कर दिया है। वे नोट करते हैं कि जैसे-जैसे डीपफेक तकनीक और बेहतर होती जाएगी, डिटेक्टरों को विकसित होना पड़ेगा। वे यह भी बताते हैं कि हालांकि उनका सिस्टम तेज़ और कुशल है, फिर भी इसे चलाने के लिए एक शक्तिशाली कंप्यूटर की आवश्यकता होती है। लेकिन फिलहाल, यह "दो-आंखों" वाला दृष्टिकोण—एक जो पूरे को देखता है, एक जो हिस्सों को देखता है, और एक नियम जो उन्हें ईमानदार रखता है—हमारी डिजिटल दुनिया में सच और कल्पना के बीच अंतर करने का एक बहुत अधिक विश्वसनीय तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।