GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning
यह शोध पत्र GPE को प्रस्तुत करता है, जो एक मल्टी-डोमेन बेंचमार्क और मूल्यांकन ढांचा है जिसे साक्ष्य स्रोतों और हमले के अनुपातों को नियंत्रित करके जेनेरेटिव इंजन ऑप्टिमाइजेशन (GEO) पॉइजनिंग के विरुद्ध तथ्य-सत्यापन प्रणालियों की मजबूती का आकलन करने के लिए डिज़ाइन किया गया है, जो उन महत्वपूर्ण कमजोरियों और ट्रेड-ऑफ को प्रकट करता है जिन्हें स्वच्छ वातावरण में नहीं पहचाना जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ किताबें एक अराजक भीड़ द्वारा लगातार दोबारा लिखी जा रही हैं। इस पुस्तकालय में, आर्टिफिशियल इंटेलिजेंस (AI) एक सुपर-स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह काम करता है जो केवल तथ्यों को रटता नहीं है, बल्कि आपके सवालों के जवाब देने के लिए नवीनतम किताबें लाने बाहर जाता है। आधुनिक AI इसी तरह काम करता है: यह "रिट्रीवल-ऑगमेंटेड जनरेशन" (retrieval-augmented generation) का उपयोग करता है, जिसका अर्थ है कि यह अपने उत्तरों के समर्थन के लिए ताज़ा जानकारी खोजने के लिए वेब पर खोज करता है। लेकिन यहाँ एक पेंच है: क्या होगा यदि कोई पुस्तकालय में घुसकर असली किताबों को नकली किताबों से बदल दे जो बिल्कुल असली जैसी दिखती और सुनाई देती हों? यह "GEO पॉइजनिंग" (GEO poisoning) का खतरा है। जिस तरह से कोई बुरा तत्व किसी सर्च इंजन को अपनी फर्जी खबर को सबसे पहले दिखाने के लिए धोखा देने की कोशिश कर सकता है, वे AI लाइब्रेरियन को मूर्ख बनाने के लिए विशेष रूप से डिज़ाइन किए गए विश्वसनीय झूठों से पुस्तकालय को भर सकते हैं। बड़ा सवाल वैज्ञानिकों के लिए यह है: यदि पुस्तकालय इन चतुर जालसाजी वाली किताबों से भरा है, तो क्या AI अभी भी सच बता पाएगा, या वह नकली किताबों को असली मान लेने के धोखे में आ जाएगा?
यह ठीक वही समस्या है जिसे GPE (जेनरेटिव इंजन ऑप्टिमाइज़ेशन पॉइजनिंग इवैल्यूएशन) नामक एक नए अध्ययन में संबोधित किया गया है। शोधकर्ताओं ने तथ्य-जांच करने वाले AI के लिए एक विशेष "ट्रेनिंग जिम" बनाया, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया था कि जब साक्ष्य दूषित हों तो ये डिजिटल लाइब्रेरियन झूठ को कितनी अच्छी तरह पकड़ पाते हैं। केवल यह पूछने के बजाय कि, "क्या AI सही उत्तर पा सकता है?" उन्होंने पूछा, "क्या AI सही उत्तर पा सकता है जब उसके द्वारा खोजे गए साक्ष्यों में से 33%, 67%, या यहाँ तक कि 100% हिस्सा गुप्त रूप से ज़हरीला (पॉइज़न्ड) हो?" उन्होंने छह अलग-अलग दुनियाओं को कवर करने वाला एक विशाल डेटासेट बनाया: राजनीति, सेलिब्रिटी गपशप, विज्ञान, चिकित्सा, इतिहास और रोज़मर्रा की ज़िंदगी। प्रत्येक दावे के लिए, उन्होंने वास्तविक साक्ष्य एकत्र किए और फिर विभिन्न प्रकार का "ज़हर" इंजेक्ट किया—कुछ प्रवाहपूर्ण फर्जी लेख थे, कुछ वास्तविक समाचार लेख थे जिनमें मुख्य तथ्यों को बदल दिया गया था, और कुछ तो निर्देश भी थे जो AI को सच को अनदेखा करने के लिए कहते थे।
परिणाम थोड़े चौंकाने वाले थे। अध्ययन में पाया गया कि जब साक्ष्य ज़हरीले होते हैं, तो यहाँ तक कि सबसे स्मार्ट AI मॉडल भी काफी संघर्ष करते हैं। एक स्वच्छ वातावरण में जहाँ कोई झूठ नहीं है, सर्वश्रेष्ठ मॉडल लगभग 52% से 53% बार सही उत्तर देते हैं। लेकिन जैसे ही साक्ष्य प्रदूषित हुए, उनका प्रदर्शन तेजी से गिर गया। उदाहरण के लिए, जब साक्ष्य को पूरी तरह से फर्जी सामग्री से बदल दिया गया, तो कुछ मॉडलों की सटीकता गिरकर एकल अंकों (single digits) में आ गई। शोधकर्ताओं ने पाया कि कोई भी एक तरीका 'सुपरहीरो' नहीं था; एक मॉडल जो एक प्रकार के फर्जी समाचार को पहचानने में अच्छा था, वह दूसरे प्रकार के विरुद्ध बुरी तरह विफल रहा। उन्होंने यह भी पाया कि अधिक सावधान होने की कोशिश करने से अक्सर AI की "मस्तिष्क शक्ति" (कंप्यूटर टोकन के रूप में) अधिक खर्च होती है, जिससे यह बिना अधिक सुरक्षित हुए धीमा और महंगा हो जाता है।
सबसे दिलचस्प निष्कर्षों में से एक "ज़हर के प्रकार" के बारे में था। अध्ययन ने दिखाया कि "एडेप्टिव टैम्परिंग अटैक्स" (ATA)—जहाँ बुरे तत्व एक वास्तविक, भरोसेमंद दिखने वाले लेख को लेते हैं और बस कुछ नंबर या नाम बदल देते हैं—सबसे खतरनाक थे। ये स्पष्ट रूप से मनगढ़ंत फर्जी खबरों की तुलना में अधिक कठिन थे क्योंकि वे बिल्कुल असली चीज़ों की तरह दिखते थे। शोधकर्ताओं ने एक "नॉलेज ग्राफ" भी बनाया, जो एक विशाल मानचित्र की तरह है जो उनके डेटासेट में सभी लोगों, स्थानों और दस्तावेजों को जोड़ता है। यह मानचित्र शोधकर्ताओं को यह देखने में मदद करता है कि कैसे साक्ष्य का एक ज़हरीला टुकड़ा कई अलग-अलग दावों के बारे में AI को धोखा देने के लिए फैल सकता है।
अंततः, यह पेपर सुझाव देता है कि हम वर्तमान AI तथ्य-जांच विधियों पर तब तक भरोसा नहीं कर सकते जब तक कि वे इन हमलों के खिलाफ मजबूत न हों। अध्ययन साबित करता है कि एक AI साफ-सुथरे साक्ष्यों के साथ आत्मविश्वासी और स्मार्ट दिख सकता है, लेकिन वह आत्मविश्वास तब गायब हो जाता है जब साक्ष्य में हेरफेर किया जाता है। लेखक निष्कर्ष निकालते हैं कि हमें इन प्रणालियों के मूल्यांकन के लिए नए तरीकों की आवश्यकता है, न कि केवल इस आधार पर कि वे एक आदर्श दुनिया में कैसे काम करते हैं, बल्कि इस आधार पर कि वे एक अव्यवस्थित, प्रतिकूल दुनिया में कैसे जीवित रहते हैं जहाँ सच को विश्वास योग्य झूठ की दीवार के पीछे छिपा दिया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।