VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection
यह शोध पत्र VendorBench-100 को प्रस्तुत करता है, जो एक एकीकृत क्रॉस-पैराडाइम बेंचमार्क है जो एक क्यूरेटेड 100-छवि कॉर्पस का उपयोग करके कमर्शियल एपीआई (commercial APIs), विजन-लैंग्वेज मॉडल्स और ओपन-सोर्स डिटेक्टर्स के माध्यम से 36 डीपफेक डिटेक्शन मॉडल्स का मूल्यांकन करता है, जिससे यह खुलासा होता है कि हालांकि कमर्शियल एपीआई मेडियन प्रदर्शन में अग्रणी हैं, फिर भी रैंकिंग क्षमता (ROC-AUC) और विश्वसनीय निर्णय लेने (MCC) के बीच एक महत्वपूर्ण विचलन मौजूद है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुरक्षा टीम के मैनेजर हैं। आपका काम उन नकली तस्वीरों (डीपफेक) को पहचानना है जिनका उपयोग लोगों को धोखा देने के लिए किया जा रहा है। आपके पास काम पर रखने के लिए तीन बहुत अलग प्रकार के सुरक्षा गार्ड उपलब्ध हैं:
- हाई-टेक प्रोफेशल्स (कमर्शियल API): आप "न्यूरल डिफेंड" या "रियलिटी डिफेंडर" जैसी कंपनी को फोटो चेक करने के लिए भुगतान करते हैं। उनके पास इस काम के लिए विशेष रूप से प्रशिक्षित और महंगा प्रशिक्षण है।
- स्मार्ट जनरलिस्ट (विज़न LLMs): आप एक सुपर-स्मार्ट AI असिस्टेंट (जैसे कि एक चैटबॉट जो तस्वीरें देख सकता है) से अंदाज़ा लगाने के लिए कहते हैं। उन्हें खास तौर पर नकली चीज़ों को पकड़ने के लिए प्रशिक्षित नहीं किया गया है, लेकिन वे बहुत बुद्धिमान हैं और जो वे देखते हैं उसके बारे में तर्क कर सकते हैं।
- DIY उत्साही (ओपन-सोर्स डिटेक्टर्स): आप शोधकर्ताओं और शौकीनों द्वारा बनाए गए मुफ्त टूल डाउनलोड करते हैं। कुछ शानदार हैं, कुछ त्रुटिपूर्ण हैं, और वे सभी आपके अपने कंप्यूटरों पर चलते हैं।
समस्या यह है कि आज तक किसी ने भी इन तीनों समूहों को एक ही कमरे में रखकर एक ही टेस्ट नहीं लिया है। "प्रो" के अपने रिपोर्ट हैं, "जनरलिस्ट" के अपने सामान्य टेस्ट स्कोर हैं, और "DIY" भीड़ के अपने लीडरबोर्ड हैं। यह एक रेस कार के ट्रैक पर लैप टाइम की तुलना एक ट्रक की हाईवे की गति से करने जैसा है और फिर उन्हें "तेज़" कहने जैसा है।
पेपर का बड़ा विचार: "वेंडरबेंच-100" (VendorBench-100) टेस्ट
लेखकों ने यह तय किया कि वे यह देखने के लिए एक एकल, अनुचित और बहुत कठिन टेस्ट बनाएंगे कि वास्तव में कौन जीतता है। उन्होंने केवल 1,000 आसान फोटो वाला टेस्ट नहीं बनाया। उन्होंने 100 विशिष्ट, पेचीदा फोटो हाथ से चुने जो इन सिस्टम्स को तोड़ने के लिए डिज़ाइन किए गए थे।
इस टेस्ट को डिटेक्टरों के लिए एक "सर्वाइवल कोर्स" की तरह समझें:
- कुछ फोटो बस एक शरीर पर चेहरा बदलने (फेस स्वैप) वाले हैं, लेकिन बैकग्राउंड असली है।
- कुछ AI वीडियो के फ्रेम हैं जो सामान्य फिल्मों की तरह दिखते हैं।
- कुछ फोटो ऐसे हैं जहाँ किसी ने एक असली तस्वीर के केवल एक छोटे हिस्से को बदलने के लिए फोन ऐप का इस्तेमाल किया है।
- कुछ फोटो बहुत छोटी, धुंधली और भारी कंप्रेस्ड (जैसे कि टेक्स्ट मैसेज के माध्यम से भेजी गई फोटो) हैं।
उन्होंने इस ठीक इसी 100-फोटो वाले कठिन परीक्षण से 36 अलग-अलग मॉडल्स (5 प्रो, 7 जनरलिस्ट और 24 DIY टूल्स) को गुजारा।
जाल: क्यों "एक्यूरेसी" (सटीकता) एक झूठ है
यहाँ पेपर का सबसे महत्वपूर्ण हिस्सा है, जिसे एक सरल उपमा के साथ समझाया गया है।
कल्पना कीजिए कि टेस्ट में 79 नकली फोटो और 21 असली फोटो हैं।
यदि आपने एक ऐसा गार्ड काम पर रखा जो फोटो देखने में बहुत आलसी था और हर एक फोटो के लिए बस "नकली!" (FAKE!) चिल्ला देता, तो क्या होता?
- वह 79 नकली फोटो को सही पहचान लेता।
- वह 21 असली फोटो को गलत पहचान लेता।
- उसकी "एक्यूरेसी" (सटीकता) स्कोर 79% होता। यह सुनने में बहुत अच्छा लगता है!
लेकिन वास्तव में, वह गार्ड बेकार है। वह केवल संभावनाओं के आधार पर अनुमान लगा रहा है। पेपर का तर्क है कि "एक्यूरेसी" को देखना एक शेफ को केवल इस आधार पर आंकने जैसा है कि उसने कितने प्लेट परोसे, यह नजरअंदाज करते हुए कि खाना खाने योग्य था या नहीं।
इसके बजाय, लेखकों ने एक स्मार्ट स्कोर का उपयोग किया जिसे MCC (मैथ्यूज कोरिलेशन कोएफिशिएंट) कहा जाता है। यह स्कोर तभी बढ़ता है जब आप नकली और असली दोनों को सही पहचानते हैं। यह उस आलसी "हमेशा नकली कहने वाले" गार्ड को दंडित करता है।
चौंकाने वाले परिणाम
जब उन्होंने इस स्मार्ट स्कोर के आधार पर सबको रैंक किया, तो उन्हें यह पता चला:
- प्रो जीते (ज्यादातर): भुगतान वाली कमर्शियल सेवाएँ आमतौर पर सबसे अच्छा काम करती थीं। वे सबसे विश्वसनीय गार्ड थे।
- जनरलिस्ट बीच के स्तर पर थे: स्मार्ट चैटबॉट्स ठीक-ठाक थे, लेकिन वे प्रोफल्स जितने अच्छे नहीं थे।
- DIY भीड़ मिली-जुली थी: अधिकांश मुफ्त टूल्स सबसे खराब थे। हालाँकि, कुछ विशिष्ट मुफ्त टूल्स पैटर्न पहचानने में स्मार्ट चैटबॉट्स से वास्तव में बेहतर थे।
बड़ा मोड़: "रैंकिंग" बनाम "डिसीजन" (निर्णय)
यह इस पेपर की सबसे बड़ी खोज है। उन्होंने पाया कि एक मॉडल रैंकिंग (नकली को असली से ऊपर क्रम में रखना) में बहुत अच्छा हो सकता है, लेकिन डिसीजन (जब आपसे "नकली" या "असली" कहने को कहा जाए तो निर्णय लेना) में बहुत बुरा हो सकता है।
- "ट्रुथस्कैन" (TruthScan) का उदाहरण: एक कमर्शियल टूल सॉर्टिंग (क्रम में लगाने) में अद्भुत था। यदि आप उसे 100 फोटो की सूची देते, तो वह नकली और असली को क्रम से पूरी तरह से अलग कर सकता था। उसका "रैंकिंग स्कोर" सबसे अधिक था।
- समस्या: लेकिन जब आपने उससे अंतिम निर्णय लेने को कहा, तो वह नकली को मिस करने के डर से इतना डरा हुआ था कि उसने सब कुछ नकली घोषित कर दिया। वह टेस्ट में फेल हो गया क्योंकि उसने सभी असली फोटो को भी नकली के रूप में फ्लैग कर दिया।
यह हवाई अड्डे पर मेटल डिटेक्टर जैसा है जो हर चीज़ के लिए बीप करता है—सिक्के, चाबियाँ, बेल्ट बकल और बंदूकें। इसमें परफेक्ट "रैंकिंग" है (यह सभी धातु को ढूंढ लेता है), लेकिन यह एक सुरक्षा गार्ड के रूप में बेकार है क्योंकि यह कभी भी किसी को बिना रोके आगे नहीं जाने देता।
निष्कर्ष (Takeaway)
पेपर निष्कर्ष निकालता है कि आप यह तय करने के लिए कि कौन सा डिटेक्टर उपयोग करना है, केवल एक संख्या (जैसे लीडरबोर्ड स्कोर) को नहीं देख सकते।
- यदि आप केवल रैंकिंग देखते हैं, तो आप एक ऐसा टूल चुन सकते हैं जो सॉर्ट करने में तो महान है लेकिन निर्णय लेने में बहुत बुरा है।
- यदि आप केवल एक्यूरेसी देखते हैं, तो आप एक आलसी टूल चुन सकते हैं जो बस "नकली" का अनुमान लगाकर पूरे समय बोलता रहता है।
सही गार्ड चुनने के लिए, आपको यह जांचना होगा कि वे वास्तविक और नकली के बीच अंतर बताने में कितने अच्छे हैं, और साथ ही वे बिना बहुत अधिक गलतियाँ किए अंतिम निर्णय कैसे लेते हैं। लेखकों ने अपना सारा डेटा और टूल्स जारी कर दिए हैं ताकि अन्य लोग इन परीक्षणों को फिर से चला सकें और परिणामों को सत्यापित कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।