A Comprehensive Multimodal Framework for Robust Forgery Detection in Social Media Images via Adaptive Gated Fusion of Convolutional Neural Networks, Vision Transformers, and Graph Neural Network Representations

डिजिटल डिटेक्टिव का द्वंद्व

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ कोई भी अपनी कहानी लिख सकता है और उसे दीवारों पर चिपका सकता है। लंबे समय तक, यदि आप एक नकली फोटो बनाना चाहते थे, तो आपको एक डार्करूम, कुछ कैंची और बहुत धैर्य की आवश्यकता होती थी। लेकिन पिछले दशक में, एक नए प्रकार का "जादुई पेन" दिखाई दिया: आर्टिफिशियल इंटेलिजेंस (AI)। ये AI उपकरण, विशेष रूप से जिन्हें जेनेरेटिव एडवरसैरियल नेटवर्क (GANs) और डिफ्यूजन मॉडल कहा जाता है, अब इतनी वास्तविक तस्वीरें बना सकते हैं कि एक मानव विशेषज्ञ भी भी अपनी आँखें सिकोड़कर कह सकता है, "यह असली लगता है।" वे चेहरे बदल सकते हैं, हाव-भाव बदल सकते हैं, या पूरी तरह से नए लोग बना सकते हैं जो कभी अस्तित्व में ही नहीं थे। यह एक समस्या है क्योंकि ये नकली चित्र झूठ फैला सकते हैं, प्रतिष्ठा खराब कर सकते हैं, या लोगों को उन चीजों पर विश्वास करने के लिए धोखा दे सकते हैं जो सच नहीं हैं।

इसका मुकाबला करने के लिए, वैज्ञानिक "डिजिटल झूठ पकड़ने वाले यंत्र" (डिजिटल लाई डिटेक्टर्स) बना रहे हैं। शुरुआती जासूसों ने स्पष्ट गलतियों को देखा, जैसे कि किसी व्यक्ति का बहुत धीरे से पलक झपकना या सिर का इस तरह घूमना जो भौतिकी के नियमों को चुनौती देता हो। बाद में, उन्होंने "स्पेक्ट्रल फिंगरप्रिंट्स" (आभासी उंगलियों के निशान) को देखना शुरू किया—रंगों और रोशनी में सूक्ष्म, अजीब पैटर्न जो केवल मशीनें तब छोड़ देती हैं जब वे एक तस्वीर पेंट करती हैं। हालाँकि, ठीक वैसे ही जैसे एक कुशल जालसाज अपनी गलतियों को छिपाना सीख जाता है, ये AI उपकरण भी उन सुरागों को मिटाने में बेहतर होते जा रहे हैं। वैज्ञानिकों के सामने बड़ा सवाल यह है: हम एक ऐसे धोखेबाज को कैसे पकड़ें जो अपने पदचिह्नों को छिपाने में अधिक स्मार्ट होता जा रहा है? उत्तर शायद तस्वीर को और अधिक गहराई से देखने में नहीं है, बल्कि तस्वीर के चारों ओर मौजूद हर चीज़ को देखने में है।

तीन सिर वाला जासूस

इस अध्ययन में, मल्टीमीडिया यूनिवर्सिटी और सोहार यूनिवर्सिटी के शोधकर्ताओं ने निर्णय लिया कि केवल एक तरीके पर निर्भर रहना पर्याप्त नहीं था। उन्होंने एक नया, सुपर-स्मार्ट सिस्टम बनाया है जो तीन अलग-अलग जासूसों की एक टीम की तरह काम करता है, जिनमें से प्रत्येक के पास एक अद्वितीय महाशक्ति है। वे इसे "मल्टीमॉडल फ्रेमवर्क" कहते हैं, जो बस एक फैंसी तरीका है यह कहने का कि "एक साथ कई प्रकार के सुरागों का उपयोग करना।"

तीन जासूस:

1. टेक्सचर हंटर (CNN): यह जासूस एक फोरेंसिक कलाकार की तरह है जो बहुत करीब से ज़ूम करता है। यह AI के "ब्रशस्ट्रोक" को देखने के लिए एक कन्वेल्शनल न्यूरल नेटवर्क (CNN) का उपयोग करता है—त्वचा में सूक्ष्म गड़बड़ी या बैकग्राउंड में अजीब पैटर्न जो एक असली कैमरा नहीं बनाएगा।
2. सांख्यिकीविद् (विज़न ट्रांसफार्मर): यह जासूस तस्वीर को नहीं देखता; यह फोटो के "आईडी कार्ड" को देखता है। यह फोटो के दस विशिष्ट नंबरों का विश्लेषण करने के लिए विज़न ट्रांसफार्मर का उपयोग करता है, जैसे कि यह कितनी चमकदार है, इसमें कितना "शोर" (ग्रेन) है, और रंगों का संतुलन कैसा है। यह बिल्कुल वैसा ही है जैसे यह जांचना कि क्या किसी बैंक नोट में स्याही का घनत्व सही है, भले ही उस पर बनी तस्वीर एकदम सही दिखे।
3. रिलेशनशिप मैनेजर (GNN): यह जासूस एक सामाजिक नेटवर्कर है। यह यह देखने के लिए ग्राफ न्यूरल नेटवर्क (GNN) का उपयोग करता है कि छवि के विभिन्न भाग एक-दूसरे से कैसे संबंधित हैं। यदि बाईं आँख असली दिखती है लेकिन दाईं आँख अपने पड़ोसी के मुकाबले थोड़ी "अजीब" लगती है, तो यह जासूस देख लेता है कि उनके बीच का संबंध टूट गया है। यह जाँचता है कि क्या पूरी तस्वीर हिस्सों के ढेर के बजाय एक जुड़े हुए परिवार की तरह समझ में आती है।

जादुई गोंद: एडेप्टिव गेटिंग
इस पेपर की असली प्रतिभा केवल तीन जासूसों को रखने में नहीं है; बल्कि इसमें है कि वे एक-दूसरे से कैसे बात करते हैं। अतीत में, सिस्टम शायद तीनों जासूसों को समान रूप से वोट देने के लिए मजबूर करते थे, जैसे कि एक समिति जहाँ हर किसी को एक वोट मिलता है। लेकिन शोधकर्ताओं ने महसूस किया कि कभी-कभी टेक्सचर हंटर सही होता है, और कभी-कभी सांख्यिकीविद् ही एकमात्र होता है जो सच देख पाता है।

इसलिए, उन्होंने एक "स्मार्ट स्विच" जोड़ा जिसे एडेप्टिव गेटेड फ्यूजन कहा जाता है। एक व्यस्त चौराहे पर ट्रैफिक कंट्रोलर की कल्पना करें। जब कोई नकली छवि आती है, तो कंट्रोलर सुरागों को सुनता है। यदि किसी छवि को बहुत अधिक कंप्रेस (जैसे सोशल मीडिया पर पोस्ट करते समय) किया गया है, तो टेक्सचर हंटर भ्रमित हो सकता है क्योंकि सूक्ष्म विवरण धुंधले हो जाते हैं। उस स्थिति में, कंट्रोलर कहता है, "हे, एक सेकंड के लिए टेक्सचर को अनदेखा करो, सांख्यिकीविद् की बात सुनो!" सिस्टम यह सीखने में सक्षम है कि उस विशिष्ट तस्वीर के लिए किस जासूस को अधिक महत्व देना है जो सबसे अधिक सही होने की संभावना रखता है।

उन्हें क्या मिला

टीम ने 24,000 सोशल मीडिया छवियों के एक विशाल संग्रह पर अपने नए सिस्टम का परीक्षण किया, जिसमें आधी वास्तविक और आधी नकली छवियां थीं, जिसे SID-Set कहा जाता है। परिणाम अविश्वसनीय रूप से मजबूत थे। उनकी तीन सिर वाली जासूस टीम ने 99.10% की सटीकता हासिल की, जिसका अर्थ है कि इसने लगभग हर एक नकली और असली छवि की सही पहचान की। इसने AUC-ROC नामक पैमाने पर लगभग पूर्ण 0.9998 का स्कोर भी प्राप्त किया, जो यह मापता है कि सिस्टम बिना भ्रमित हुए झूठ और सच के बीच अंतर करने में कितना सक्षम है।

सबसे आश्चर्यजनक खोजों में से एक यह थी कि कौन सा जासूस सबसे अधिक महत्वपूर्ण भूमिका निभा रहा था। शोधकर्ता उम्मीद कर रहे थे कि टेक्सचर हंटर (CNN) मुख्य सितारा होगा, क्योंकि वह तस्वीर को देखता है। इसके बजाय, सांख्यिकीविद् (विज़न ट्रांसफार्मर) सबसे प्रभावशाली (MVP) साबित हुआ, जिसने निर्णय लेने की शक्ति में लगभग 40% का योगदान दिया। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए है क्योंकि सोशल मीडिया ऐप्स अक्सर छवियों को सिकोड़ते और रीसाइज करते हैं, जिससे टेक्सचर हंटर द्वारा देखे जाने वाले सूक्ष्म दृश्य सुराग नष्ट हो जाते हैं। हालाँकि, सांख्यिकीय "आईडी कार्ड" के सुराग (जैसे चमक और रंग अनुपात) संपीड़न (compression) के दौरान बेहतर तरीके से जीवित रहते हैं, जिससे वे सोशल मीडिया पर नकली छवियों को पकड़ने के लिए अधिक विश्वसनीय बन जाते हैं।

सिस्टम ने यह भी सिद्ध किया कि आप केवल एक जासूस का उपयोग नहीं कर सकते। जब उन्होंने अकेले टेक्सचर हंटर का परीक्षण किया, तो वह लगभग 94% सही था। अकेले सांख्यिकीविद 91% सही था, और अकेले रिलेशनशिप मैनेजर 89% सही था। लेकिन जब उन्होंने उन्हें स्मार्ट ट्रैफिक कंट्रोलर के साथ जोड़ा, तो सटीकता बढ़कर 99.10% हो गई। यह साबित करता है कि संपूर्ण वास्तव में अपने हिस्सों के योग से कहीं अधिक महान है।

यह क्यों मायने रखता है (और आगे क्या है)

शोधकर्ताओं ने यह भी सुनिश्चित किया कि उनका सिस्टम केवल एक "ब्लैक बॉक्स" न हो जो बिना स्पष्टीकरण के उत्तर दे। उन्होंने यह दिखाने के लिए GradCAM और SHAP जैसे उपकरणों का उपयोग किया कि सिस्टम कहाँ देख रहा था। जब सिस्टम ने एक नकली छवि को चिह्नित किया, तो विज़ुअल मैप ने दिखाया कि यह उन विशिष्ट क्षेत्रों पर ध्यान केंद्रित कर रहा था जहाँ AI ने गलतियाँ की थीं, जैसे चेहरे के चारों ओर अजीब किनारे या असंगत रोशनी। यह मानव विशेषज्ञों को मशीन पर भरोसा करने में मदद करता है क्योंकि वे सबूत देख सकते हैं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह अभी तक एक "हल की गई" समस्या नहीं है। उनका सिस्टम एक विशिष्ट डेटासेट (SID-Set) पर प्रशिक्षित और परीक्षित किया गया था। वे स्वीकार करते हैं कि उन्हें अन्य प्रकार की छवियों और विभिन्न सोशल मीडिया प्लेटफार्मों पर इसे परीक्षण करने की आवश्यकता है ताकि यह देखा जा सके कि क्या यह हर जगह काम करता है। वे यह भी बताते हैं कि उनका सिस्टम काफी भारी और जटिल है, जिसके लिए बहुत अधिक कंप्यूटर शक्ति की आवश्यकता होती है, जो वर्तमान में इसे एक सामान्य फोन पर चलाना कठिन बना सकता है।

अंत में, यह पेपर सुझाव देता है कि AI नकली छवियों को पकड़ने का सबसे अच्छा तरीका एक बड़ा आवर्धक लेंस (magnifying glass) बनाना नहीं है, बल्कि एक स्मार्ट टीम बनाना है जो जानती है कि कब पिक्सेल को सुनना है, कब संख्याओं को सुनना है, और कब यह देखना है कि हिस्से एक-दूसरे में कैसे फिट बैठते हैं। यह जालसाजों और जासूसों के बीच चल रहे बिल्ली-चूहे के अंतहीन खेल में एक कदम आगे है।