← नवीनतम पेपर
💻 computer science

So-Fake: Benchmarking and Explaining Social Media Image Forgery Detection

यह शोध पत्र So-Fake को प्रस्तुत करता है, जो एक व्यापक ढांचा है जिसमें एक बड़े पैमाने का सोशल मीडिया डेटासेट (So-Fake-Set), एक कठोर आउट-ऑफ-डोमेन बेंचमार्क (So-Fake-OOD), और एक उन्नत विजन-लैंग्वेज डिटेक्शन मॉडल (So-Fake-R1) शामिल है, जिसे सोशल मीडिया प्लेटफॉर्म पर AI-जनित इमेज फोर्जरी डिटेक्शन की सटीकता, स्थानीयकरण (localization) और व्याख्यात्मकता (explainability) में सुधार करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Zhenglin Huang, Xiangtai Li, Xi Yang, Bei Peng, Xiaowei Huang, Baoyuan Wu, Dacheng Tao, Ming-Hsuan Yang, Guangliang Cheng

प्रकाशित 2026-08-03
📖 11 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Zhenglin Huang, Xiangtai Li, Xi Yang, Bei Peng, Xiaowei Huang, Baoyuan Wu, Dacheng Tao, Ming-Hsuan Yang, Guangliang Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर के चौक की तरह है जहाँ हर कोई तस्वीरें साझा करता है। वर्षों तक, यह चौक जीवन की वास्तविक तस्वीरों से भरा रहता था। लेकिन हाल ही में, एक नया प्रकार का जादू प्रकट हुआ है: AI जनरेटर जो ऐसी तस्वीरें बना सकते हैं जो इतनी सटीक होती हैं कि वे असली फोटो जैसी दिखती हैं। यह एक रोबोट कलाकार होने जैसा है जो एक बिल्ली, एक कार या एक व्यक्ति को इतना विश्वास के साथ बना सकता है कि आप बता ही नहीं पाएंगे कि वह वास्तव में अस्तित्व में था या नहीं। यह शहर के लिए एक कठिन समस्या पैदा करता है: हम कैसे जानें कि क्या असली है और क्या एक चतुर नकली चीज़ है? वैज्ञानिक छवियों के लिए "झूठ पकड़ने वाले यंत्र" (lie detectors) बना रहे हैं, लेकिन इनमें से कई डिटेक्टर पुराने ज़माने के सुरक्षा गार्डों की तरह हैं जो केवल एक विशिष्ट, पुराने कला स्कूल की नकल को पहचानने में सक्षम हैं। वे अक्सर तब भ्रमित हो जाते हैं जब नकली चीज़ें नई, हाई-टेक स्टूडियो से आती हैं या जब तस्वीरों को थोड़ा बहुत एडिट किया जाता है, जैसे शर्ट का रंग बदलना या चेहरा बदलना। वे यह समझाने में भी संघर्ष करते हैं कि उन्हें क्यों लगता है कि कुछ नकली है, अक्सर केवल एक अस्पष्ट "यह गलत लग रहा है" देते हैं बिना किसी विशिष्ट सुराग की ओर इशारा किए।

यह शोध पत्र एक नए, सुपर-चार्ज्ड जासूस दल So-Fake और एक स्मार्ट नई रणनीति So-Fake-R1 का परिचय देता है जो इस रहस्य को सुलझाने के लिए है। शोधकर्ताओं ने लगभग 2 मिलियन छवियों वाला एक विशाल प्रशिक्षण मैदान बनाया जिसमें 12 अलग-अलग प्रकार के दृश्य (जैसे लोग, जानवर, भोजन और इमारतें) शामिल हैं और अपने सिस्टम को तीन प्रकार की छवियों को पहचानने के लिए प्रशिक्षित किया: असली तस्वीरें, पूरी तरह से AI द्वारा बनाई गई तस्वीरें, और बदली हुई असली तस्वीरें। लेकिन असली परीक्षा एक "सरप्राइज एग्जाम" थी जिसे So-Fake-OOD कहा गया, जिसमें सोशल मीडिया साइटों और बिल्कुल नए AI टूल्स से ली गई 100,000 छवियां थीं जिन्हें सिस्टम ने पहले कभी नहीं देखा था। केवल अनुमान लगाने के बजाय, उनकी नई विधि एक तीन-सदस्यीय टीम का उपयोग करती है: एक विजुअल ऑब्जर्वर (Visual Observer) जो बड़ी तस्वीर देखता है, एक फोरेंसिक एविडेंस प्रोवाइडर (Forensic Evidence Provider) जो सूक्ष्म, अदृश्य खामियों (जैसे अजीब बनावट या टूटे हुए किनारे) को खोजने के लिए ज़ूम करता है, और एक डिसीजन मेकर (Decision Maker) जो एक न्यायाधीश की तरह कार्य करता है। यदि पहले दो सहमत होते हैं, तो मामला बंद हो जाता है। यदि वे असहमत होते हैं, तो जज अंतिम निर्णय लेने के लिए फोटो और सुरागों की फिर से जांच करता है। परिणाम? यह नया दल इंटरनेट पर नकली चीज़ों को पकड़ने में बहुत बेहतर है, यहाँ तक कि उन नकली चीज़ों को भी जिन्हें उसने कभी नहीं देखा, और वे वास्तव में उस हिस्से की ओर इशारा कर सकते हैं जो नकली है और समझा सकते हैं कि क्यों।

बड़ी तस्वीर: हमें बेहतर झूठ पकड़ने वाले यंत्रों की आवश्यकता क्यों है

इंटरनेट को एक विशाल पुस्तकालय के रूप में सोचें। लंबे समय तक, किताबें (तस्वीरें) मनुष्यों द्वारा लिखी गई थीं। लेकिन अब, ऐसे रोबोट हैं जो ऐसी किताबें लिख सकते हैं जो बिल्कुल मानवीय किताबों जैसी दिखती हैं। समस्या यह है कि इनमें से कुछ रोबोट किताबें झूठ से भरी होती हैं, और हमें जानना है कि कौन सी असली हैं।

वैज्ञानिक इन "फोरेंसिक स्कैनर" को बनाने की कोशिश कर रहे हैं ताकि इन रोबोट किताबों को पकड़ा जा सके। हालाँकि, अधिकांश स्कैनर में दो बड़ी कमजोरियाँ हैं:

  1. वे बहुत संकीमित हैं: कई स्कैनर केवल चेहरों को देखते हैं। यदि एक रोबोट नकली परिदृश्य या नकली कार बनाता है, तो स्कैनर उसे पूरी तरह से मिस कर सकता है।
  2. उन्हें आसानी से मूर्ख बनाया जा सकता है: यदि कोई रोबोट नकली बनाने के लिए कोई नया तरीका अपनाता है, तो पुराने स्कैनर भ्रमित हो जाते हैं। यह एक ऐसे सुरक्षा गार्ड की तरह है जो 2010 के नकली आईडी को तो पहचान सकता है लेकिन उसे पता ही नहीं है कि 2025 की नकली आईडी कैसी दिखती है।

इसके अलावा, जब ये स्कैनर कहते हैं "यह नकली है," तो वे अक्सर यह नहीं समझा पाते कि क्यों। वे केवल हाँ या ना में उत्तर देते हैं, जो मददगार नहीं है यदि आपको जानना हो कि क्या बदला गया था।

नया जासूस दल: So-Fake और So-Fake-R1

इस शोध पत्र के लेखकों ने एक बेहतर सिस्टम बनाने का निर्णय लिया। उन्होंने केवल एक नया स्कैनर नहीं बनाया; उन्होंने एक पूरा नया प्रशिक्षण मैदान और काम करने का एक नया तरीका बनाया।

1. प्रशिक्षण मैदान: So-Fake

कल्पना कीजिए कि आप एक कुत्ते को बुरे लोगों को पकड़ने के लिए प्रशिक्षित कर रहे हैं। यदि आप उसे केवल एक प्रकार के बुरे आदमी (जैसे लाल टोपी वाला आदमी) पर प्रशिक्षित करते हैं, तो वह नीली टोपी वाले आदमी को देखकर विफल हो जाएगा। शोधकर्ताओं ने महसूस किया कि उन्हें अपने AI को सब कुछ पर प्रशिक्षित करने की आवश्यकता है।

उन्होंने So-Fake बनाया, जिसके दो भाग हैं:

  • So-Fake-Set (अभ्यास का मैदान): यह 2 मिलियन छवियों का एक विशाल संग्रह है। इसमें वास्तविक तस्वीरें, AI द्वारा बनाई गई पूरी तरह से तस्वीरें और संपादित की गई वास्तविक तस्वीरें (जैसे किसी व्यक्ति का सिर बदलना या बैकग्राउंड बदलना) शामिल हैं। उन्होंने 12 अलग-अलग श्रेणियों को कवर किया, जिनमें चेहरे और जानवरों से लेकर भोजन, वाहन और कला तक शामिल हैं। उन्होंने नकली बनाने के लिए 30 अलग-अलग AI टूल्स का उपयोग किया, जिससे यह सुनिश्चित हुआ कि सिस्टम ने कई अलग-अलग शैलियों की जालसाजी को पहचाना।
  • So-Fake-OOD (सरप्राइज एग्जाम): यह असली परीक्षा है। इसमें वास्तविक सोशल मीडिया साइटों (जैसे Reddit, Instagram और X) से ली गई 100,000 छवियां और 15 बिल्कुल नए कमर्शियल AI टूल्स द्वारा बनाई गई नकली छवियां हैं जिन्हें सिस्टम ने पहले कभी नहीं देखा था। यह वास्तविक दुनिया का अनुकरण करता है, जहाँ हर दिन नए नकली चित्र सामने आते हैं।

लक्ष्य यह देखना था कि क्या सिस्टम "अज्ञात" को संभाल सकता है। अधिकांश पुराने सिस्टम यहाँ विफल हो जाते हैं क्योंकि उन्होंने अपने प्रशिक्षण डेटा से विशिष्ट पैटर्न को याद कर लिया होता है। इस नए सिस्टम को केवल एक विशिष्ट लुक नहीं, बल्कि नकली होने के सिद्धांत को सीखना था।

2. रणनीति: So-Fake-R1

सब कुछ करने के लिए एक विशाल मस्तिष्क का उपयोग करने के बजाय, शोधकर्ताओं ने विशेषज्ञों की एक तीन सदस्यीय टीम बनाई जो मिलकर काम करती है। यह उनकी नई विधि, So-Fake-R1 का मूल है।

  • विजुअल ऑब्जर्वर (बड़ी तस्वीर वाला व्यक्ति): यह हिस्सा पूरी छवि को देखता है और पूछता है, "क्या यह दृश्य समझ में आता है?" यह उस कहानी की जाँच करता है जो छवि बताती है। उदाहरण के लिए, यदि कोई फोटो बादल पर खड़े व्यक्ति को दिखाती है, तो ऑब्जर्वर कह सकता है, "यह संदिग्ध लग रहा है।" यह एक उच्च-स्तरीय राय देता है।
  • फोरेंसिक एविडेंस प्रोवाइडर (सूक्ष्मदर्शी वाला व्यक्ति): इसे कहानी की परवाह नहीं है; इसे पिक्सेल की परवाह है। यह उन सूक्ष्म, अदृश्य खामियों को देखने के लिए ज़ूम करता है जिन्हें इंसान नहीं देख सकते। शायद दीवार की बनावट बहुत चिकनी है, या छाया प्रकाश के साथ मेल नहीं खाती। यह ठोस, भौतिक साक्ष्य प्रदान करता है।
  • डिसीजन मेकर (न्यायाधीश): यह बॉस है। यह ऑब्जर्वर और प्रोवाइडर दोनों की बात सुनता है।
    • एविडेंस गेट: इससे पहले कि जज शामिल हो, एक सरल नियम जाँचता है कि क्या ऑब्जर्वर और प्रोवाइडर सहमत हैं। यदि वे दोनों "असली" कहते हैं और साक्ष्य मजबूत है, तो गेट कहता है, "मामला समाप्त, यह असली है।" यदि वे दोनों "नकली" कहते हैं और साक्ष्य मजबूत है, तो यह "नकली" है।
    • मध्यस्थता (Arbitration): यदि वे असहमत होते हैं (उदाहरण के लिए, ऑब्जर्वर कहता है "असली" लेकिन प्रोवाइडर को एक खामी मिलती है), या यदि साक्ष्य कमजोर है, तो गेट मामले को डिसीजन मेकर के पास भेज देता है। जज फिर मूल फोटो को दोबारा देखता है, अन्य दोनों की रिपोर्ट के साथ, और अंतिम निर्णय लेता है।

यह "टीम दृष्टिकोण" महत्वपूर्ण है। यह केवल एक प्रकार के सुराग पर निर्भर करके गलतियाँ करने से रोकता है।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने नए दल का कई मौजूदा तरीकों के विरुद्ध परीक्षण किया। यहाँ क्या हुआ:

  • अज्ञात को पहचानने में बेहतर: जब "सरप्राइज एग्जाम" (So-Fake-OOD) के साथ नए AI टूल्स और वास्तविक सोशल मीडिया फोटो के साथ परीक्षण किया गया, तो नए दल ने 72.0% बैलेंस्ड एक्यूरेसी स्कोर किया। यह अगली सबसे अच्छी विधि से काफी अधिक है, जो लगभग 6.4 अंक कम थी। यह बताता है कि बड़ी तस्वीर और सूक्ष्म विवरण दोनों को देखने से सिस्टम नए प्रकार के नकली चित्रों को बेहतर ढंग से संभाल सकता है।
  • नकली हिस्से को खोजने में बेहतर: जब सिस्टम को यह बताना था कि फोटो में ठीक कहाँ बदलाव किया गया है (लोकलइज़ेशन), तो इसने 47.8 IoU (एक माप कि हाइलाइट किया गया क्षेत्र वास्तविक नकली क्षेत्र से कितनी अच्छी तरह मेल खाता है) स्कोर प्राप्त किया। अगली सबसे अच्छी विधि इससे 6.3 अंक कम थी। इसका मतलब है कि नया दल केवल यह नहीं कहता कि "यह नकली है"; यह उस विशिष्ट स्थान की ओर इशारा कर सकता है, जैसे बदला हुआ चेहरा या बदला हुआ ऑब्जेक्ट।
  • क्यों, यह समझाने में बेहतर: सिस्टम ने अपने निर्णयों के लिए स्पष्टीकरण भी उत्पन्न किए। मानव मूल्यांकनकर्ताओं ने अन्य विधियों की तुलना में नए दल के स्पष्टीकरणों को 55% बार पसंद किया। उनके स्पष्टीकरण केवल अनुमान लगाने के बजाय वास्तविक दृश्य साक्ष्यों पर आधारित थे।
  • सोशल मीडिया ट्रिक्स के प्रति मजबूती: इंटरनेट पर वास्तविक तस्वीरें अक्सर कंप्रेस, रिसाइज या री-अपलोड की जाती हैं, जिससे सुराग धुंधले हो सकते हैं। नया दल इन स्थितियों में पुराने तरीकों की तुलना में बहुत बेहतर प्रदर्शन करता है, जिसमें प्रदर्शन में बहुत मामूली गिरावट देखी गई, जबकि अन्य का प्रदर्शन काफी गिर गया।

इस शोध पत्र ने किन बातों को खारिज किया

शोध पत्र स्पष्ट रूप से कुछ सामान्य विचारों के विरुद्ध तर्क देता है:

  • एक ही आकार के डिटेक्टर (One-Size-Fits-All Detectors): वे दिखाते हैं कि एक एकल मॉडल जो सब कुछ एक साथ करने की कोशिश करता है (डिटेक्ट, लोकेट और एक्सप्लेन), अक्सर "विश्वसनीय लेकिन कमजोर रूप से आधारित" कारण देता है। यह एक ऐसे छात्र की तरह है जो सही उत्तर तो देता है लेकिन अपना काम नहीं दिखा पाता। टीम दृष्टिकोण आवश्यक है ताकि कार्यों को अलग किया जा सके।
  • केवल चेहरे पर ध्यान केंद्रित करना: वे प्रदर्शित करते हैं कि केवल चेहरों पर प्रशिक्षित डिटेक्टर लैंडस्केप, जानवरों या वस्तुओं पर परीक्षण किए जाने पर बुरी तरह विफल हो जाते हैं। एक अच्छा डिटेक्टर विविध सामग्री पर प्रशिक्षित होना चाहिए, न कि केवल चेहरों पर।
  • जेनरेटर-विशिष्ट प्रशिक्षण: उन्होंने पाया कि यदि आप केवल एक विशिष्ट AI टूल (जैसे कि एक विशिष्ट संस्करण का स्टेबल डिफ्यूजन) द्वारा बनाई गई नकली तस्वीरों पर डिटेक्टर को प्रशिक्षित करते हैं, तो यह दूसरे टूल द्वारा बनाई गई नकली तस्वीरों के परीक्षण में विफल हो जाता है। सिस्टम को जालसाजी के सामान्य नियमों को सीखने के लिए कई अलग-अलग जनरेटर को देखने की आवश्यकता है।

हम कितने आश्वस्त हैं?

लेखक अपने परिणामों के बारे में काफी आश्वस्त हैं क्योंकि उन्होंने इनका कड़ाई से परीक्षण किया है। उन्होंने केवल कुछ उदाहरणों का अनुकरण नहीं किया; उन्होंने 2 मिलियन प्रशिक्षण छवियों और 100,000 परीक्षण छवियों पर परीक्षण किया। उन्होंने अपनी विधि की तुलना कई अलग-अलग मौजूदा तरीकों (20 से अधिक बेसलाइन) के साथ की। परिणाम डिटेक्शन, लोकलाइजेशन और स्पष्टीकरण में निरंतर सुधार दिखाते हैं।

हालाँकि, वे यह नोट करने में सावधानी बरतते हैं कि यह एक बेंचमार्क और अनुसंधान के लिए एक विधि है। वे यह दावा नहीं करते कि उन्होंने नकली छवियों की समस्या को हमेशा के लिए "हल" कर दिया है। AI तेजी से विकसित हो रहा है, और नए उपकरण हमेशा दिखाई देंगे। लेकिन उनका काम बताता है कि एक टीम-आधारित, साक्ष्य-आधारित दृष्टिकोण पुराने "सिंगल ब्रेन" तरीकों की तुलना में नकली चीज़ों से लड़ने का कहीं अधिक मजबूत तरीका है।

संक्षेप में, यह शोध पत्र कहता है: "चालाक जालसाजों को पकड़ने के लिए, आपको एक ऐसी टीम की आवश्यकता है जो पूरी कहानी को देखती है, सूक्ष्म विवरणों की जाँच करती है, और जिसका एक स्मार्ट जज विवादों को सुलझाने के लिए हो। और आपको उन्हें सब कुछ पर प्रशिक्षित करने की आवश्यकता है, न कि केवल चेहरों पर।"

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →