Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline
यह शोध पत्र OmniFake प्रस्तुत करता है, जो मानव-निर्मित दुष्प्रचार और AI-जनित सामग्री को संयोजित करने वाला एक बड़े पैमाने का बेंचमार्क डेटासेट है, साथ ही इसमें UMFDet फ्रेमवर्क भी शामिल है जो सोशल मीडिया पर विविध प्रकार के मल्टीमॉडल धोखे का पता लगाने के लिए विशिष्ट मॉडलों को एकीकृत और उनसे बेहतर प्रदर्शन करने हेतु एक श्रेणी-जागरूक मिश्रण-विशेषज्ञ (mixture-of-experts) आर्किटेक्चर का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे शहर के चौक के रूप में करें जहाँ हर कोई कहानियाँ सुना रहा है, तस्वीरें साझा कर रहा है और खबरें पोस्ट कर रहा है। इस चौक में, दो मुख्य प्रकार के शरारती तत्व हैं। पहला प्रकार है "मानवीय छली" (Human Trickster)—एक व्यक्ति जो ध्यान खींचने, अफवाह फैलाने या लोगों को गुस्सा दिलाने के लिए एक फर्जी कहानी लिखता है या फोटो को संपादित करता है। दूसरा प्रकार है "रोबोट कलाकार" (Robot Artist)—एक शक्तिशाली कंप्यूटर प्रोग्राम जो उड़ते हुए कुत्ते की तस्वीर बना सकता है या ऐसी घटना के बारे में एक विश्वसनीय समाचार शीर्षक लिख सकता है जो कभी हुई ही नहीं। लंबे समय तक, शहर के चौक को सुरक्षित रखने वाले लोग (शोधकर्ता) दो अलग-अलग सुरक्षा गार्ड बनाते रहे। एक गार्ड मानवीय झूठ पकड़ने में विशेषज्ञ था, और दूसरा रोबोटिक नकली सामग्री को पहचानने में विशेषज्ञ था। लेकिन वास्तविक दुनिया में, एक चालाकी भरी पोस्ट किसी इंसान, रोबोट या दोनों के मिश्रण से आ सकती है, और सुरक्षा गार्डों को यह पता नहीं चलता था कि किसे क्या बुलाना है। वे ऐसे थे जैसे एक अग्निशमन विभाग जो केवल लकड़ी की आग बुझाना जानता हो और एक पुलिस बल जो केवल बैंक लुटेरों को पकड़ना जानता हो; जब बैंक में आग लगती है, तो दोनों टीमों को समझ नहीं आता कि क्या करना है। यह शोध पत्र उस अराजकता में कदम रखता है और एक एकल, सुपर-स्मार्ट जासूस बनाने के लिए है जो किसी भी तरह की फर्जी खबर को संभाल सके, चाहे वह किसी ने भी बनाई हो।
इस शोध पत्र के लेखक, जो चीन के विश्वविद्यालयों और तकनीकी कंपनियों की एक टीम है, ने महसूस किया कि "मानवीय झूठ" को "AI नकली" से अलग करने का पुराना तरीका वास्तविक दुनिया के लिए बहुत धीमा और जटिल था। इसलिए, उन्होंने OmniFake नामक एक विशाल नया प्रशिक्षण मैदान बनाया। इस डेटासेट को 98,592 उदाहरणों—लगभग 100,000 पोस्ट!—की एक विशाल लाइब्रेरी के रूप में समझें—जिसमें वास्तविक समाचार, मानव-लिखित अफवाहें और AI-जनित चालें शामिल हैं। उन्होंने इन्हें केवल एकत्र नहीं किया; उन्होंने इन्हें बनाया। उन्होंने वास्तविक तस्वीरों को लिया और चेहरे बदलने, बैकग्राउंड बदलने या अस्तित्व में न होने वाली चीजों की पूरी तरह से नई छवियां बनाने के लिए AI का उपयोग किया। उन्होंने वास्तविक शीर्षकों को भी लिया और AI का उपयोग करके उन्हें भ्रामक कहानियों में फिर से लिखा। उन्होंने इन तकनीकों को आपस में मिला दिया ताकि "मिश्रित हेरफेर" (Mixed Manipulation) बनाया जा सके, जहाँ एक पोस्ट में असली फोटो लेकिन फर्जी कहानी होती है, या फर्जी फोटो के साथ असली कहानी होती है। इसकी जटिलता का परीक्षण करने के लिए, उन्होंने आठ मानव विशेषज्ञों से इन 600 नमूनों में से कुछ को देखने के लिए कहा। मनुष्य केवल लगभग 40% बार ही सही हो पाए, जिससे साबित हुआ कि ये फर्जी चीजें पहचानना अविश्वसनीय रूप से कठिन है।
इसे हल करने के लिए, टीम ने UMFDet नामक एक नया जासूसी सिस्टम बनाया। दो अलग-अलग गार्डों को काम पर रखने के बजाय, उन्होंने एक स्मार्ट मस्तिष्क बनाया जिसके अंदर एक विशेष "विशेषज्ञों की टीम" है। एक केंद्रीय हब की कल्पना करें जो एक पोस्ट (एक चित्र और कुछ टेक्स्ट) प्राप्त करता है और फिर पूछता है, "इस पर नज़र रखने के लिए सबसे अच्छा विशेषज्ञ कौन है?" इस सिस्टम के पास तीन विशिष्ट विशेषज्ञ हैं: एक वास्तविक (Real) समाचार के लिए, एक मानव-निर्मित (Human-crafted) झूठ के लिए, और एक AI-संश्लेषित (AI-synthesized) फर्जी सामग्री के लिए। इसे "कैटेगरी-अवेयर मिक्स्चर-ऑफ-एक्सपर्ट्स" (Category-aware Mixture-of-Experts) कहा जाता है। जब कोई पोस्ट आती है, तो सिस्टम उसे सही विशेषज्ञ के पास भेज देता है। लेकिन यहाँ सबसे चतुर हिस्सा है: उन्होंने यह सुनिश्चित किया कि ये विशेषज्ञ भ्रमित न हों। उन्होंने एक विशेष प्रशिक्षण नियम (जिसे "एक्सपर्ट-वाइज डिस्क्रिमिनेटिव रेगुलराइजेशन" कहा जाता है) का उपयोग किया ताकि "मानव विशेषज्ञ" को अन्य मानवीय झूठ के बहुत करीब रहने और AI फर्जी सामग्री से दूर रहने के लिए मजबूर किया जा सके, और इसके विपरीत भी। उन्होंने एक "क्रॉस-मोडल कंसिस्टेंसी" (Cross-modal Consistency) जांच भी जोड़ी, जो एक तथ्य-जांचकर्ता (fact-checker) की तरह कार्य करती है और पूछती है, "क्या चित्र वास्तव में कहानी से मेल खाता है?" यदि टेक्स्ट कहता है "एक उड़ता हुआ कुत्ता" लेकिन चित्र में बिल्ली दिखाई देती है, तो यह जांच इसे संदिग्ध के रूप में चिह्नित कर देती है।
परिणाम बताते हैं कि यह नया जासूस पुराने विशेषज्ञों की तुलना में बहुत बेहतर है। जब उनके नए 98,000-नमूना लाइब्रेरी पर परीक्षण किया गया, तो UMFDet ने औसतन लगभग 82% बार गलत सूचना के प्रकार की सही पहचान की। यह पिछले तरीकों की तुलना में एक बड़ी छलांग है। उदाहरण के लिए, "टेक्स्ट मैनिपुलेशन" (फर्जी कहानियों) को देखते समय, नए सिस्टम ने पिछले सर्वश्रेष्ठ तरीके में 13% से अधिक सुधार किया। इसने यह भी सिद्ध किया कि यह "मिश्रित हेरफेर" (वास्तविक और फर्जी का मिश्रण) को किसी भी अन्य पद्धति से बेहतर ढंग से संभाल सकता है। टीम ने अपने सिस्टम का परीक्षण अन्य मौजूदा डेटासेट्स, जैसे DGM4 और MMFakeBench पर भी किया, और यह अभी भी शीर्ष पर रहा, यहाँ तक कि उन विशिष्ट मॉडलों को भी पीछे छोड़ दिया जो केवल एक प्रकार के फर्जीपन के लिए डिज़ाइन किए गए थे।
यह शोध पत्र सुझाव देता है कि इन कार्यों को एकीकृत करके, हम सोशल मीडिया सुरक्षा के लिए अधिक व्यावहारिक और शक्तिशाली उपकरण बना सकते हैं। लेखक यह दावा नहीं करते हैं कि उन्होंने फर्जी खबरों की समस्या को हमेशा के लिए हल कर दिया है, लेकिन उन्होंने दिखाया है कि मानवीय झूठ और AI फर्जी सामग्री को एक एकल, एकीकृत चुनौती के रूप में देखना, उन्हें अलग रखने की तुलना में बहुत बेहतर काम करता है। उनका सिस्टम, उनके इस विशाल नए डेटासेट के साथ, अब दूसरों के उपयोग और सुधार के लिए उपलब्ध है, जो एक ऐसे शहर के चौक की ओर एक आशाजनक कदम है जहाँ सच्चाई को ढूंढना आसान हो, चाहे कोई भी उसे छिपाने की कोशिश कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।