KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection
यह शोध पत्र KITE को प्रस्तुत करता है, जो एक ट्राइ-मोडल (tri-modal) ट्रांसफार्मर फ्रेमवर्क है जो उन्नत मल्टीमॉडल फेक न्यूज़ का पता लगाने में मौजूदा तरीकों से काफी बेहतर प्रदर्शन करने के लिए क्रॉस-मोडल अटेंशन के माध्यम से टेक्स्ट, इमेज और नॉलेज ग्राफ फैक्ट्स को एकीकृत करता है और साथ ही व्याख्या योग्य कॉन्फिडेंस स्कोर भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: क्या यह समाचार कहानी सच है, या यह एक चतुर झूठ है?
अतीत में, जासूस (या कंप्यूटर प्रोग्राम) आमतौर पर एक समय में केवल एक ही सबूत देखते थे। कुछ केवल टेक्स्ट (पाठ) पढ़ते थे, जबकि अन्य केवल फोटो देखते थे। लेकिन बुरे इरादे रखने वाले लोग और भी स्मार्ट हो गए हैं; वे एक विश्वसनीय कहानी लिख सकते हैं और उसे मैच करने के लिए एक फोटो को फोटोशॉप भी कर सकते हैं, जिससे एकल-साक्ष्य (single-evidence) वाले जासूसों को धोखा दिया जा सके।
यह पेपर एक नए जासूस से परिचय कराता है जिसका नाम है KITE (नॉलेज-इंटीग्रेटेड टेक्स्ट-इमेज एनकोडर)। KITE खास है क्योंकि यह केवल टेक्स्ट या फोटो को नहीं देखता; यह एक तीसरा, शक्तिशाली गवाह लाता है: सत्यापित तथ्यों का एक विशाल पुस्तकालय (जिसे नॉलेज ग्राफ कहा जाता है)।
KITE कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:
1. तीन गवाह
KITE निर्णय लेने के लिए तीन अलग-अलग प्रकार की जानकारी एकत्र करता है:
- कहानी सुनाने वाला (टेक्स्ट): KITE शब्दों और संदर्भ को समझने के लिए एक सुपर-स्मार्ट भाषा के मस्तिष्क (जिसे RoBERTa कहा जाता है) का उपयोग करके लेख को पढ़ता है।
- फोटोग्राफर (इमेज): KITE एक विजुअल ब्रेन (जिसे CLIP कहा जाता है) का उपयोग करके तस्वीर को देखता है जो वास्तव में फोटो में क्या है, उसे समझता है।
- फैक्ट-चेकर (नॉलेज): यह KITE का गुप्त हथियार है। यह कहानी में मौजूद लोगों और स्थानों के नाम लेता है, एक विशाल, सत्यापित विश्वकोश (Wikidata) के पास जाता है, और उनके बारे में वास्तविक तथ्य निकाल लाता है। इसके बाद, यह इन तथ्यों को व्यवस्थित करने के लिए एक "ग्राफ अटेंशन नेटवर्क" (कनेक्शन के जाल के रूप में सोचें) का उपयोग करता है।
2. "राउंड टेबल" मीटिंग
ज्यादातर पुराने सिस्टम्स में ऐसा होता था कि वे स्टोरीटेलर और फोटोग्राफर को आपस में बात करने के लिए कहते थे, और शायद मीटिंग खत्म होने के बाद फैक्ट-चेकर से अपनी राय देने के लिए कहते थे।
KITE कुछ अलग करता है। यह तीनों गवाहों को एक ही समय में एक ही राउंड टेबल पर बिठा देता है।
- वे सभी एक "क्रॉस-मोडल ट्रांसफार्मर" (एक फैंसी मीटिंग रूम) में बैठते हैं।
- वे तुरंत एक-दूसरे से बात कर सकते हैं। स्टोरीटेलर कह सकता है, "रुको, फोटो में बिल्ली दिख रही है, लेकिन टेक्स्ट में कुत्ता लिखा है!"
- फैक्ट-चेकर बीच में कूदकर कह सकता है, "दरअसल, टेक्स्ट कहता है कि यह राजनेता पेरिस में था, लेकिन हमारे रिकॉर्ड बताते हैं कि वह उस दिन लंदन में था।"
चूंकि वे सभी एक साथ बात कर रहे हैं, इसलिए KITE उन विरोधाभासों को पकड़ सकता है जिन्हें अन्य सिस्टम मिस कर देते हैं। यदि टेक्स्ट और फोटो एक साथ एकदम सही दिखते हैं, लेकिन दोनों ही तथ्यों के विपरीत हैं, तो KITE जान जाता है कि यह फेक न्यूज है।
3. फैसला और "क्यों"
मीटिंग के बाद, KITE एक अंतिम निर्णय लेता है: असली (Real) या नकली (Fake)।
लेकिन KITE इस बारे में भी बहुत ईमानदार है कि उसने यह निर्णय कैसे लिया। यह आपको प्रत्येक गवाह के लिए एक "कॉन्फिडेंस स्कोर" देता है:
- "मुझे लगता है कि यह नकली है क्योंकि फोटो संदिग्ध लग रही थी।"
- "मुझे लगता है कि यह नकली है क्योंकि तथ्य मेल नहीं खा रहे थे।"
- "मुझे लगता है कि यह नकली है क्योंकि कहानी का कोई अर्थ नहीं निकल रहा था।"
यह इंसानों को यह समझने में मदद करता है कि कंप्यूटर ने उस खबर को क्यों फ्लैग किया, न कि केवल एक 'ब्लैक-बॉक्स' उत्तर देकर।
इसने कैसा प्रदर्शन किया?
लेखकों ने KITE का परीक्षण वास्तविक और फर्जी समाचार कहानियों के दो प्रसिद्ध संग्रहों (GossipCop और PolitiFact) पर किया।
- परिणाम: KITE ने सभी अन्य "जासूसों" को पछाड़ दिया, जिनमें वे भी शामिल थे जो केवल टेक्स्ट पढ़ते थे, वे जो केवल फोटो देखते थे, और वे भी जिन्होंने टेक्स्ट और फोटो को मिलाने की कोशिश की लेकिन तथ्यों को अनदेखा कर दिया।
- जीत: यह उन झूठों को पकड़ने में विशेष रूप से अच्छा था जहाँ टेक्स्ट और फोटो एक साथ ठीक लग रहे थे, लेकिन तथ्य गलत थे।
कमी (सीमाएं)
पेपर स्वीकार करता है कि KITE अभी भी परफेक्ट नहीं है:
- इसे अच्छे डेटा की आवश्यकता है: यदि फोटो धुंधली है या टेक्स्ट अस्पष्ट है (जैसे व्यंग्य/Sarcasm), तो KITE भ्रमित हो सकता है।
- यह धीमा है: क्योंकि KITE को हर एक कहानी के लिए तथ्यों की जांच करने के लिए "लाइब्रेरी" (Wikidata) तक जाना पड़ता है, और क्योंकि लेखकों ने अपने टेस्ट एक स्टैंडर्ड कंप्यूटर (सुपर-फास्ट नहीं) पर चलाए, इसलिए इसे ट्रेन करने में काफी समय लगा (लगभग 20 घंटे)।
संक्षेप में: KITE फेक न्यूज को पहचानने का एक स्मार्ट तरीका है, जो यह सुनिश्चित करता है कि किसी कहानी को सच घोषित करने से पहले कहानी, तस्वीर और वास्तविक दुनिया के तथ्य आपस में मेल खाते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।