Hallucination as Exploit: Evidence-Carrying Multimodal Agents
यह शोध पत्र एविडेंस-कैरिंग मल्टीमॉडल एजेंट्स (ECA) को पेश करता है, जो एक सुरक्षित आर्किटेक्चर है जो मॉडल के अपुष्ट संवेदी दावों पर भरोसा करने के बजाय टूल कॉल्स को टाइप किए गए, बाहरी साक्ष्य प्रमाणपत्रों के विरुद्ध मान्य करने की आवश्यकता के माध्यम से मतिभ्रम-जनित (hallucination-driven) प्राधिकरण विफलताओं को रोकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी भोली व्यक्तिगत सहायक (personal assistant) है। यह सहायक स्क्रीनशॉट देख सकती है, ईमेल पढ़ सकती है और वेब ब्राउज़ कर सकती है ताकि आपको पैसे भेजने, बटन क्लिक करने या डेटा निकालने जैसे काम करने में मदद मिल सके।
समस्या यह है कि यह सहायक कभी-कभी भ्रमित (hallucinate) हो जाती है। यह आत्मविश्वास से कह सकती है, "मुझे यहाँ 'मेरे दोस्त को $500 भेजें' लिखा हुआ एक बटन दिख रहा है," जबकि वास्तव में, वह बटन वहाँ मौजूद ही नहीं है, या वह वास्तव में किसी हैकर द्वारा बिछाया गया जाल है।
अतीत में, यदि सहायक कोई गलती करती थी, तो वह केवल एक "गलत उत्तर" होता था। लेकिन जब यह सहायक वास्तविक टूल्स (जैसे बैंक ट्रांसफर या ईमेल क्लाइंट) से जुड़ी होती है, तो एक भ्रम (hallucination) केवल एक गलती नहीं रह जाता—बल्कि यह एक सुरक्षा उल्लंघन (security breach) बन जाता है। सहायक एक गलत तथ्य पर विश्वास कर लेती है, और क्योंकि वह उस पर विश्वास करती है, वह एक खतरनाक कार्रवाई कर देती है।
यह शोध पत्र इस समस्या को ठीक करने के लिए ECA (Evidence-Carrying Multimodal Agents) नामक एक नया सिस्टम पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "भोला मैनेजर" (The Gullible Manager)
एक मानक AI एजेंट को एक मैनेजर के रूप में सोचें जो एक कमरे में बैठा है।
- मैनेजर एक दस्तावेज़ (स्क्रीन) को देखता है और कहता है, "मुझे यहाँ एक 'पे' (Pay) बटन दिख रहा है। मैं इसे क्लिक करूँगा।"
- यदि दस्तावेज़ एक नकली छवि है जिसे हैकर ने बनाया है, तो मैनेजर अभी भी वहां 'पे' बटन देखता है क्योंकि AI कल्पना करता है कि वह वहां है।
- मैनेजर फिर उस बटन को क्लिक करता है, और पैसे चोरी हो जाते हैं। मैनेजर ने कोई दुर्भावनापूर्ण कमांड का पालन नहीं किया; उसने बस कार्रवाई करने की अनुमति के लिए भ्रम (hallucinate) पाल लिया।
2. समाधान: "साक्ष्य ले जाने वाला एजेंट" (The Evidence-Carrying Agent)
लेखक एक नया आर्किटेक्चर प्रस्तावित करते हैं जहाँ मैनेजर अब अकेला प्रभारी नहीं है। वे एक सुरक्षा गार्ड (Security Guard) और एक नोटरी पब्लिक (Notary Public) जोड़ते हैं।
- मैनेजर (AI): अभी भी सोचने का काम करता है। वह स्क्रीन को देखता है और कहता है, "मुझे लगता है कि हमें उस बटन को क्लिक करना चाहिए।"
- नोटरी (सत्यापनकर्ता/Verifiers): बटन क्लिक करने से पहले, एक अलग, सख्त सिस्टम (नोटरी) विभिन्न टूल्स (जैसे टेक्स्ट के लिए आवर्धक लेंस, कोड के लिए स्कैनर और लेआउट के लिए मैप) का उपयोग करके स्क्रीन की जांच करता है।
- प्रमाणपत्र (The Certificate): नोटरी केवल "ठीक है" नहीं कहता। यह एक डिजिटल प्रमाणपत्र जारी करता है। यह एक टाइप किया हुआ, अपरिवर्तनीय रसीद है जो कहती है: "मैं, नोटरी, पुष्टि करता हूँ कि 'पे' लेबल वाला एक बटन इन सटीक निर्देशांकों (coordinates) पर वास्तव में मौजूद है।"
3. "गेट" (द बाउंसर/The Gate)
मैनेजर और कार्रवाई के बीच एक गेट है।
- मैनेजर केवल यह कहकर गेट नहीं खोल सकता कि, "मेरा मानना है कि बटन वहां है।"
- गेट तभी खुलता है जब मैनेजर नोटरी से प्राप्त प्रमाणपत्र प्रस्तुत करता है।
- यदि मैनेजर कहता है, "मैंने एक बटन देखा," लेकिन नोटरी ने उसके लिए कोई प्रमाणपत्र जारी नहीं किया, तो गेट बंद रहता है। कार्रवाई रोक दी जाती है।
4. यह अलग क्यों है
- पुराना तरीका: AI का शब्द ही कानून था। यदि AI कहता था कि "मुझे बैंक ट्रांसफर दिख रहा है," तो सिस्टम उसे कर देता था।
- नया तरीका (ECA): AI का शब्द केवल एक सुझाव है। सिस्टम केवल तभी कार्य करता है जब स्वतंत्र साक्ष्य (जैसे वास्तविक वेबपेज कोड का स्कैन) यह सिद्ध करता है कि सुझाव सत्य है।
परिणाम: यह कितनी अच्छी तरह काम कर रहा था?
शोधकर्ताओं ने हजारों हमलों के खिलाफ इस प्रणाली का परीक्षण किया, जिसमें हैकर्स द्वारा नकली छवियों, छिपे हुए टेक्स्ट और भ्रमित करने वाले प्रतीकों के माध्यम से AI को धोखा देने के प्रयास शामिल थे।
- "भोला मैनेजर" (पुराना AI): लगभग 100% बार विफल रहा। यदि AI ने किसी खतरनाक कार्रवाई का भ्रम पाल लिया, तो उसने उसे कर दिया।
- "प्रॉम्प्ट-ओनली" रक्षा (केवल AI को सावधान रहने के लिए कहना): लगभग 50% बार विफल रहा। AI अभी भी अपने स्वयं के भ्रमों से धोखा खा गया।
- नया सिस्टम (ECA):
- इसने उनके एंड-टू-एंड परीक्षणों में 100% असुरक्षित कार्यों को रोका।
- भले ही हैकर्स ने सीधे "नोटरी" (सत्यापनकर्ता) को धोखा देने की कोशिश की, सिस्टम में एक "हार्डनिंग" प्रक्रिया थी जिसने विफलता दर को लगभग शून्य तक कम कर दिया (प्रारंभिक परीक्षणों में 1.3% तक, और अंतिम परीक्षणों में 0% तक)।
- इसने AI को मददगार काम करने से नहीं रोका; इसने अभी भी 100% सुरक्षित, सामान्य कार्यों को होने दिया।
मुख्य निष्कर्ष (The Big Takeaway)
यह शोध पत्र तर्क देता है कि हम यह तय करने के लिए कि क्या कार्रवाई करना सुरक्षित है, AI के "दिमाग" पर भरोसा नहीं कर सकते। AI चीजें बनाने (भ्रम पैदा करने) के प्रति बहुत संवेदनशील है। इसके बजाय, हमें एक संरचनात्मक जांच (structural check) की आवश्यकता है: एक अलग प्रणाली जो किसी भी कार्रवाई को होने देने से पहले तथ्यों को भौतिक रूप से सत्यापित करती है।
यह कहने जैसा है कि: "आप विमान में चढ़ने के लिए केवल यह कह नहीं सकते कि आपके पास टिकट है। आपको एक भौतिक टिकट दिखाना होगा जो हवाई अड्डे के सिस्टम द्वारा प्रिंट किया गया हो। यदि आपके पास भौतिक टिकट नहीं है, तो गेट नहीं खुलेगा, चाहे आप कितने भी आत्मविश्वास से दावा क्यों न करें।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।