Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks
यह शोध पत्र अर्थपूर्ण रूप से समान प्रतिकूल हमलों (semantically equivalent adversarial attacks) का उपयोग करने वाले एक ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि अत्याधुनिक LLMs अंतर्निहित मतिभ्रम (intrinsic hallucinations) के प्रति अत्यधिक संवेदनशील बने हुए हैं, जहाँ अर्थ-संरक्षण करने वाले क्वेरी परिवर्तन (meaning-preserving query perturbations) पुनर्प्राप्त साक्ष्यों का निष्ठापूर्वक उपयोग करने की उनकी क्षमता को महत्वपूर्ण रूप से कम कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट लाइब्रेरियन से बात कर रहे हैं जिसने ब्रह्मांड की लगभग हर किताब पढ़ ली है। आप उससे एक सवाल पूछते हैं, और अतिरिक्त सावधानी के लिए, आप उसे एक उत्तर कुंजी के रूप में एक किताब का एक विशिष्ट पृष्ठ थमा देते हैं। इस सेटअप को 'रिट्रीवल-ऑगमेंटेड जनरेशन' (RAG) कहा जाता है। यह एक संदर्भ पत्र देने जैसा है ताकि रोबोट को अपनी याददाश्त से अनुमान न लगाना पड़े। उम्मीद यह है कि रोबोट पूरी तरह से उस संदर्भ पत्र पर टिका रहेगा, और यदि दोनों में मेल नहीं होता है, तो वह अपने आंतरिक ज्ञान को अनदेखा कर देगा। लेकिन यहाँ एक पेंच है: कभी-कभी, हाथ में संदर्भ पत्र होने के बावजूद, रोबोट भ्रमित हो जाता है, जो पढ़ रहा है उसे भूल जाता है, या फिर से अपनी ओर से चीजें बनाने लगता है। इसे "इंट्रिन्सिक हैलुसिनेशन" (आंतरिक मतिभ्रम) कहा जाता है। ऐसा नहीं है कि रोबोट जानबूझकर झूठ बोल रहा है; बल्कि यह है कि उसका मस्तिष्क सामने मौजूद साक्ष्यों के प्रति वफादार रहने के लिए बहुत अधिक चंचल है।
अब, कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि वह रोबोट वास्तव में कितना चंचल है। आप उसे सौ अलग-अलग तरीकों से एक ही सवाल पूछ सकते हैं, लेकिन यदि आप सवाल का अर्थ बदल देते हैं, तो रोबोट नए विषय से भ्रमित हो सकता है। उसके फोकस का परीक्षण करने के लिए, आपको बिल्कुल वही सवाल पूछना होगा, लेकिन उसे एक दर्जन अलग-अलग लहजों, बोलियों या वाक्य संरचनाओं में फुसफुसाकर कहना होगा। यदि रोबोट आपको केवल इसलिए गलत उत्तर देता है क्योंकि आपने "क्या समय हुआ है?" के बजाय "क्या आप वर्तमान समय बता सकते हैं?" कहा था, तो इसका मतलब है कि रोबमाट की निरंतरता (consistency) में गंभीर समस्या है। यह शोध पत्र इसी बारे में है कि कैसे वे उन कठिन, अर्थ-संरक्षण वाले विविधताओं को फुसफुसाकर बनाने वाली एक मशीन तैयार करें ताकि यह देख सकें कि क्या रोबोट दबाव में टूट जाता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने इन AI सिस्टमों का परीक्षण करने के लिए एक चतुर नए ढांचे (framework) का उपयोग किया। उन्होंने मॉडलों को केवल अपने सुरक्षा नियमों को तोड़ने के लिए नहीं कहा (जो AI का परीक्षण करने का एक सामान्य तरीका है); इसके बजाय, उन्होंने उन्हें अपनी ईमानदारी तोड़ने के लिए कहा। उन्होंने डिजिटल "हमलावरों" की एक टीम का उपयोग किया—जिनमें से कुछ शब्दों को बदलने के लिए गणित का उपयोग कर रहे थे, कुछ नए वाक्यों को विकसित करने के लिए जेनेटिक एल्गोरिदम का उपयोग कर रहे थे, और कुछ अन्य AI का उपयोग प्रश्नों को फिर से लिखने के लिए कर रहे थे—ताकि वे उस सटीक, अर्थ-संरक्षण वाले पुनर्गठन को खोज सकें जो मॉडल को मतिभ्रम (hallucinate) करने पर मजबूर कर दे। लक्ष्य यह देखना था कि क्या वे मॉडल को दिए गए संदर्भ को अनदेखा करने और अपनी ओर से एक कहानी बनाने के लिए बहका सकते हैं, भले ही प्रश्न मूल प्रश्न के बिल्कुल समान ही क्यों न हो।
परिणाम चौंकाने वाले थे। टीम ने पाया कि यहाँ तक कि सबसे उन्नत, अत्याधुनिक मॉडल भी आश्चर्यजनक रूप से नाजुक हैं। जब उन्होंने इन अर्थ-तुल्य हमलों (semantically equivalent attacks) का उपयोग किया, तो मॉडलों की तथ्यों पर टिके रहने की क्षमता नाटकीय रूप से गिर गई। कुछ मामलों में, विशिष्ट मॉडलों के लिए, जैसे कि कुछ डेटासेट्स पर GPT-5-mini के लिए, प्रदान किए गए साक्ष्य के प्रति मॉडल की वफादारी 50% तक कम हो गई। उदाहरण के लिए, FaithEval डेटासेट पर, GPT-5-mini की वफादारी 0.72 से गिरकर 0.22 हो गई—एक 41.7% की गिरावट—और वह अचानक सही उत्तर देने में विफल रहा जब प्रश्न को थोड़ा सा अलग तरीके से प्रस्तुत किया गया था, भले ही अर्थ बिल्कुल नहीं बदला था।
शोध पत्र सुझाव देता है कि मॉडलों को केवल बड़ा या स्मार्ट बनाना इस समस्या को ठीक करने के लिए पर्याप्त नहीं है। शोधकर्ताओं ने छोटे, ओपन-सोर्स मॉडलों से लेकर विशाल, क्लोज्ड-सोर्स दिग्गजों तक सब कुछ परखा, और वे सभी इन अर्थ-संरक्षण वाले पैंतरेबाज़ी के सामने लड़खड़ा गए। हमले इतने प्रभावी थे कि वे मॉडलों को यह कहने के लिए प्रेरित कर सकते थे कि "उत्तर देने में असमर्थ हूँ" या वे ऐसे विवरण गढ़ सकते थे जो टेक्स्ट में नहीं थे, जबकि प्रश्न मूल प्रश्न के तार्किक रूप से बिल्कुल समान ही था।
दिलचस्प बात यह है कि हमले का प्रकार मायने रखता था। कुछ तरीके जो केवल शब्दों को पर्यायवाची से बदलते थे (जैसे "बड़े" को "विशाल" में बदलना), अक्सर प्रश्नों को अजीब और अप्राकृतिक बना देते थे, जिन्हें मॉडल आसानी से पहचान सकते थे। लेकिन वे तरीके जिन्होंने पूरे वाक्य को स्वाभाविक रूप से फिर से लिखने के लिए अन्य AI का उपयोग किया—प्रवाह और अर्थ को पूर्ण रखते हुए—असली समस्या पैदा करने वाले थे। इन प्राकृतिक-सुनाई देने वाले हमलों ने प्रदर्शन में सबसे बड़ी गिरावट पैदा की, जिससे यह सिद्ध हुआ कि मॉडल न केवल अजीबोगरीब बड़बड़ाहट के प्रति, बल्कि मानव भाषा की स्वाभाविक विविधता के प्रति भी नाजुक हैं।
अध्ययन ने यह भी देखा कि मॉडल कैसे विफल हुए। कभी-कभी वे उत्तर देने से मना कर देते थे, लेकिन अक्सर वे तथ्यों को गलत बताते थे, संदर्भ को गलत पढ़ते थे, या गलत तार्किक छलांग लगाते थे। यह बताता है कि समस्या केवल यह नहीं है कि मॉडल जिद्दी हो रहे हैं; बल्कि यह है कि उनके द्वारा दिए गए टेक्स्ट के आधार पर उत्तर देने की क्षमता मौलिक रूप से अस्थिर है। शोधकर्ता निष्कर्ष निकालते हैं कि हमें नए आर्किटेक्चर और प्रशिक्षण विधियों के निर्माण की आवश्यकता है जो मॉडलों को साक्ष्यों पर टिके रहने के लिए मजबूर करें, चाहे प्रश्न किसी भी तरह से पूछा गया हो। तब तक, यहाँ तक कि सबसे स्मार्ट AI लाइब्रेरियन भी केवल एक थोड़े से अलग वाक्य की दूरी पर एक नया इतिहास रचने के लिए तैयार हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।