DECEIVE-AFC: Adversarial Claim Attacks against Search-Enabled LLM-based Fact-Checking Systems
यह शोधपत्र DECEIVE-AFC को प्रस्तुत करता है, जो एक एजेंट-आधारित प्रतिकूल ढांचा (adversarial framework) है जो आंतरिक मॉडल घटकों या साक्ष्य स्रोतों तक पहुंच की आवश्यकता के बिना, खोज व्यवहार और तर्क को बाधित करने के लिए दावों में हेरफेर करके, खोज-सक्षम LLM तथ्य-जांच प्रणालियों के प्रदर्शन को प्रभावी ढंग से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञानी लाइब्रेरियन है जिसका नाम AI है। यह लाइब्रेरियन केवल एक धूल भरी लाइब्रेरी में नहीं बैठता; उनके पास इंटरनेट पर तुरंत जाने, हजारों समाचार लेख पढ़ने और वापस आकर आपको यह बताने की जादुई क्षमता है कि आपके द्वारा दिया गया कथन सत्य (True) है या असत्य (False)। आधुनिक "फैक्ट-चेकिंग सिस्टम" (तथ्य-जांच प्रणाली) यही करते हैं। वे फर्जी खबरों के खिलाफ हमारे डिजिटल रक्षक हैं।
लेकिन क्या होगा अगर कोई इस लाइब्रेरियन को धोखा दे सके?
यह शोध पत्र, जिसका शीर्षक DECEIVE-AFC है, इन स्मार्ट लाइब्रेरियन्स को "हैक" करने का एक नया तरीका पेश करता है। लाइब्रेरियन के दिमाग को तोड़ने (जो कि कठिन है) के बजाय, हैकर्स ने लाइब्रेरियन के सर्च इंजन को भ्रमित करने और चालाकी भरे शब्दों के खेल का उपयोग करके उनकी तर्क प्रक्रिया को उलझाने का तरीका सीखा।
यहाँ इस कहानी का सरल विवरण दिया गया कि उन्होंने यह कैसे किया:
1. सेटअप: द "ट्रुथ डिटेक्टिव" (सत्य का खोजी)
एक फैक्ट-चेकिंग सिस्टम को एक ट्रुथ डिटेक्टिव (सत्य के खोजी) के रूप में सोचें।
- पुराने डिटेक्टिव (DNNs): ये एक ऐसे जासूस की तरह काम करते थे जिसके पास केवल एक पुरानी फाइल कैबिनेट थी। यदि उत्तर उस कैबिनेट में नहीं होता, तो वे फंस जाते थे।
- नए डिटेक्टिव (Search-Enabled LLMs): ये उन जासूसों की तरह हैं जिनके पास एक सुपर-फास्ट कार और पूरे इंटरनेट तक सीधी पहुंच है। वे बाहर जा सकते हैं, नवीनतम सबूत खोज सकते हैं और एक रिपोर्ट लिख सकते हैं। वे बहुत अधिक बुद्धिमान हैं और उन्हें बेवकूफ बनाना कठिन है।
2. समस्या: द "ट्रोजन हॉर्स" क्लेम (छल का दावा)
शोधकर्ताओं ने पूछा: "क्या हम इस सुपर-स्मार्ट डिटेक्टिव को चकमा दे सकते हैं?"
उन्होंने महसूस किया कि यदि आप केवल कुछ स्पष्ट रूप से गलत कहते हैं (जैसे "आकाश हरा है"), तो डिटेक्टिव जल्दी से नीले आकाश की एक फोटो ढूंढ लेगा और कहेगा, "नहीं, यह गलत है।"
इसलिए, शोधकर्ताओं (हमलावरों) ने झूठ बोलने की कोशिश नहीं की। इसके बजाय, उन्होंने पहेलियों में बात करने की कोशिश की। उन्होंने एक सत्य कथन को लिया और उसकी शब्दावली को थोड़ा इस तरह बदला कि:
- वह मनुष्यों के लिए वही अर्थ रखता था।
- लेकिन AI के लिए वह एक पूरी तरह से अलग सर्च क्वेरी जैसा सुनाई देता था।
3. हमला: DECEIVE-AFC (द "डिसिवर" - छलावा करने वाला)
शोधकर्ताओं ने एक रोबोट एजेंट बनाया जिसे DECEIVE-AFC कहा जाता है। इस रोबोट को एक मास्टर ऑफ डिसगाइज़ (भेष बदलने में माहिर) के रूप में सोचें। इसका काम एक सामान्य वाक्य लेना और उसे एक "भाषाई वेशभूषा" पहनाना है ताकि सत्य के खोजी (Truth Detective) को भ्रमित किया जा सके।
यह रोबोट तीन मुख्य चालों का उपयोग करता है (उपमाओं सहित):
चाल 1: "सर्च इंजन मिसगाइडेंस" (गलत नक्शा)
- उपमा: कल्पना कीजिए कि आप GPS को कहते हैं, "मुझे बिग एप्पल ले चलो।" वह जानता है कि आपका मतलब न्यूयॉर्क से है। लेकिन यदि आप कहते हैं, "मुझे उस फल के पास ले चलो जो लाल और गोल है", तो GPS भ्रमित हो सकता है और आपको किसी फलों के बाग में ले जा सकता है।
- हमला: रोबोट सामान्य शब्दों को अजीब, दुर्लभ पर्यायवाची शब्दों से बदल देता है या अतिरिक्त, भ्रमित करने वाले बैकग्राउंड विवरण जोड़ देता है। यह AI को इंटरनेट पर गलत चीजें खोजने के लिए मजबूर करता है। उस घटना के बारे में एक स्पष्ट लेख खोजने के बजाय, यह अप्रासंगिक, निम्न-गुणवत्ता वाले या भ्रामक लेख ढूंढ लेता है।
चाल 2: "रीजनिंग डिसरप्शन" (धुंधला चश्मा)
- उपमा: कल्पना कीजिए कि आप एक ऐसा वाक्य पढ़ रहे हैं जो व्याकरण की दृष्टि से सही है लेकिन इतना जटिल और 'डबल-नेगेटिव्स' (दोहरे निषेध) से भरा है कि आपका मस्तिष्क थक जाता है और गलती कर देता है। "यह असत्य नहीं है कि यह मामला नहीं है कि..."
- हमला: रोबलेट वाक्य की संरचना को जटिल बना देता है। यह AI को समझने के लिए कड़ी मेहनत करने पर मजबूर करता है। इस प्रक्रिया में, उलझन को सुलझाने की कोशिश में, AI का "दिमाग" धुंधला हो जाता है, और वह गलत निष्कर्ष निकालने लगता है।
चाल 3: "स्ट्रक्चरल कॉम्प्लेक्सिटी" (भूलभुलैया)
- उपमा: "क्या दरवाजा खुला है?" पूछने के बजाय, आप पूछते हैं, "यदि चाबी बॉक्स में है, और बॉक्स मेज के नीचे है, और मेज कमरे में है, तो क्या दरवाजा खुला है?"
- हमला: रोबोट एक सरल तथ्य को एक बहु-चरणीय पहेली में बदल देता है। AI को साक्ष्य के तीन अलग-अलग टुकड़ों को खोजना और उन्हें जोड़ना पड़ता है। यदि वह बीच की कड़ी का सिर्फ एक छोटा सा हिस्सा भी चूक जाता है, तो पूरा उत्तर ढह जाता है।
4. परिणाम: लाइब्रेरियन गलत हो जाता है
शोधकर्ताओं ने वास्तविक दुनिया के फैक्ट-चेकिंग सिस्टम पर इसका परीक्षण किया।
- हमले से पहले: AI 78.7% बार सही था।
- हमले के बाद: AI की सटीकता गिरकर 53.7% रह गई।
यह एक बहुत बड़ी गिरावट है! AI या तो झूठ को सच मानने लगा या सच को खारिज करने लगा। इससे भी बुरा यह कि जब AI गलत होता था, तो वह एक जस्टिफिकेशन (औचित्य/स्पष्टीकरण) भी लिखता था जो बहुत आत्मविश्वासी और तार्किक लगता था। वह केवल यह नहीं कह रहा था कि "मुझे नहीं पता"; वह पूरे आत्मविश्वास के साथ कह रहा था, "यह गलत है, क्योंकि मुझे यह लेख मिला..." (भले ही वह लेख अप्रासंगिक था)।
5. यह क्यों महत्वपूर्ण है
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि हमारे सबसे उन्नत, इंटरनेट से जुड़े AI फैक्ट-चेकर्स भी असुरक्षित हैं। वे केवल स्पष्ट झूठ के प्रति ही नहीं, बल्कि उन चालाकी से लिखे गए सत्यों के प्रति भी असुरक्षित हैं जो उनके सर्च टूल्स को भ्रमित कर देते हैं।
अच्छी खबर:
शोधकर्ता फर्जी खबरें फैलाने की कोशिश नहीं कर रहे हैं; वे सिस्टम को तोड़ने की कोशिश कर रहे हैं ताकि हम इसे ठीक कर सकें। "मास्टर ऑफ डिसगाइज़" कैसे AI को धोखा देता है, इसे समझकर, डेवलपर्स बेहतर सुरक्षा तंत्र बना सकते हैं। वे AI को सिखा सकते हैं:
- अजीब पर्यायवाची शब्दों को अनदेखा करना और मूल अर्थ पर ध्यान केंद्रित करना।
- अपने सर्च क्वेरी की दोबारा जांच करना।
- वाक्य संरचना बहुत जटिल होने पर अधिक सावधान रहना।
संक्षेप में:
यह शोध पत्र हमें सिखाता है कि गलत सूचना के विरुद्ध लड़ाई में, आप प्रश्न कैसे पूछते हैं, यह उतना ही महत्वपूर्ण है जितना कि उत्तर क्या है। यदि आप प्रश्न को बिल्कुल सही तरीके से तैयार कर सकते हैं, तो आप सबसे बुद्धिमान AI को भी तथ्य गलत करने के लिए मजबूर कर सकते हैं। लक्ष्य अब AI को उस भेष (डिस्गाइज़) को पहचानने के योग्य बनाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।