SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems
यह शोध पत्र SMSR को प्रस्तुत करता है, जो निरंतर (persistent) LLM एजेंट प्रणालियों में मल्टी-सेशन मेमोरी पॉइजनिंग (MSMP) के विरुद्ध प्रमाणित सुदृढ़ता (certified robustness) प्रदान करने वाला पहला रक्षा तंत्र है, जो अनसाइंड (unsigned) और ऑथेंटिकेटेड (authenticated) दोनों प्रकार के मेमोरी इंजेक्शन हमलों को प्रभावी ढंग से बेअसर करने के लिए HMAC-आधारित प्रोवेनेंस वेरिफिकेशन को रैंडमाइज्ड मेमोरी एब्लेशन और वर्डिक्ट-आधारित मेजॉरिटी वोटिंग के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "SMSR: Persistent LLM Agent Systems में Runtime Memory Poisoning के विरुद्ध प्रमाणित रक्षा (Certified Defence)" पेपर का सरल भाषा और उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
समस्या: "जहरीली डायरी" (The "Poisoned Diary")
कल्पना कीजिए कि एक स्मार्ट ऑफिस असिस्टेंट (एक AI एजेंट) कर्मचारियों की मदद करता है, जो पिछली बातचीत, कंपनी की नीतियों और तथ्यों को याद रखता है। यह एक डिजिटल डायरी (मेमोरी) रखता है जिसे वह हर बार किसी के बात करने पर अपडेट करता है। यह डायरी AI को भविष्य के सवालों के सटीक जवाब देने में मदद करती है।
हमला (The Attack):
एक बुरा तत्व (हैकर) AI के दिमाग को तोड़ने या उसके कोड को फिर से लिखने की कोशिश नहीं करता। इसके बजाय, वे बस AI से सामान्य रूप से बात करते हैं, लेकिन बातचीत में झूठ और सावधानी से बुने गए शब्दों को शामिल कर देते हैं। AI, यह सोचकर कि यह एक सामान्य अपडेट है, उन झूठों को अपनी डायरी में लिख लेता है।
बाद में, जब कोई दूसरा कर्मचारी सवाल पूछता है, तो AI अपनी डायरी पढ़ता है, उस नकली झूठ को पाता है, और उसे सच मान लेता है। इसके परिणामस्वरूप, वह नए कर्मचारी को गलत जवाब देता है। इसे "मेमोरी पॉइजनिंग" (Memory Poisoning) कहा जाता है।
मौजूदा सुरक्षा प्रणालियाँ एक ऐसे सुरक्षा गार्ड की तरह हैं जो केवल आपके द्वारा कही गई बातों की सामग्री (content) की जाँच करती है। लेकिन एक चालाक झूठ बोलने वाला अपनी फर्जी खबर को इतना सामान्य बना सकता है कि वह गार्ड को भी चकमा दे दे। यह पेपर तर्क देता है कि बिना यह सत्यापित किए कि एंट्री किसने लिखी है, आप कभी भी 100% सुनिश्चित नहीं हो सकते कि डायरी सुरक्षित है।
समाधान: SMSR (Signed Memory with Smoothed Retrieval)
लेखक एक दो-भाग वाली रक्षा प्रणाली प्रस्तावित करते हैं जिसे SMSR कहा जाता है। इसे एक सुरक्षित स्टैम्प (Secure Stamp) और एक रैंडमाइज्ड जूरी (Randomized Jury) के संयोजन के रूप में समझें।
भाग 1: सुरक्षित स्टैम्प (HMAC Provenance)
- उपमा: कल्पना कीजिए कि AI अपनी डायरी में जो भी पेज लिखता है, उस पर डायरी बचाने से पहले एक भरोसेमंद मैनेजर द्वारा एक विशेष, अटूट मोहर (क्रिप्टोग्राफिक सिग्नेचर) लगाई जानी चाहिए।
- यह कैसे काम करता है:
- यदि कोई हैकर सामान्य चैट के बिना सीधे डेटाबेस को हैक करके फर्जी मेमोरी डालने की कोशिश करता है, तो वह उस मोहर को बना नहीं पाएगा। सिस्टम उस बिना मोहर वाली मेमोरी को तुरंत पहचान लेगा और उसे हटा देगा।
- परिणाम: यह 100% "अनसाइंड" (unsigned) हमलों को रोकता है (वे हैकर जो बिना अनुमति के डेटा डालने की कोशिश करते हैं)।
भाग 2: रैंडमाइज्ड जूरी (Smoothed Retrieval)
- समस्या: क्या होगा यदि हमलावर एक वैध कर्मचारी है? उसके पास एक वैध मोहर है, इसलिए भाग 1 उसे फर्जी मेमोरी अंदर आने देता है।
- उपमा: कल्पना कीजिए कि AI को एक सवाल का जवाब देना है। पूरी डायरी (जो झूठ से भरी हो सकती है) पढ़ने के बजाय, वह संयोग का खेल खेलता है:
- वह प्रासंगिक पेजों का एक बड़ा ढेर निकालता है (मान लीजिए 20 पेज)।
- वह उनमें से रैंडम तरीके से कुछ चुनिले पेज चुनता है (मान लीजिए 5 पेज)।
- वह इस प्रक्रिया को 5 बार दोहराता है, जिससे 5 अलग-अलग "मिनी-स्टोरीज़" बनती हैं।
- वह एक "जज" (एक अन्य AI) से पूछता है: "क्या यह कहानी सच बता रही है या झूठ?"
- वह बहुमत (majority vote) लेता है। यदि 5 में से 3 कहानियाँ कहती हैं कि "यह एक झूठ है," तो सिस्टम उस झूठ को अनदेखा कर देता है।
- यह क्यों काम करता है: भले ही हैकर ने झूठ बोया हो, वह यह गारंटी नहीं दे सकता कि वह झूठ हर रैंडम चुने गए पेजों के सेट में मौजूद होगा। यदि झूठ केवल 5 में से 1 या 2 सैंपल्स में आता है, तो ईमानदार बहुमत जीत जाता है।
- "प्रमाणित" (Certified) वाला हिस्सा: लेखकों ने गणितीय गणना की है ताकि यह साबित किया जा सके कि सिस्टम विफल होने की कितनी संभावना है। वे कह सकते हैं, "हमें गणितीय रूप से गारंटी है कि AI के गलत उत्तर देने की संभावना 10.4% से कम है।" यह एक "सुरक्षा प्रमाणपत्र" है।
मुख्य अवधारणाएँ (सरल भाषा में)
1. "कंसिस्टेंट माइनॉरिटी" का जाल (The "Consistent Minority" Trap)
- जाल: यदि आप लोगों के एक समूह से कोई सवाल पूछते हैं, और 3 लोग अलग-अलग, थोड़े भिन्न "मुझे नहीं पता" वाले जवाब देते हैं, लेकिन 2 लोग बिल्कुल एक जैसा फर्जी जवाब देते हैं, तो एक साधारण वोट उस फर्जी जवाब को चुन सकता है क्योंकि वह शब्दों के मामले में सबसे अधिक "कॉमन" है।
- समाधान: SMSR शब्दों पर वोट नहीं करता; यह फैसले (verdict) पर वोट करता है। जज AI शब्दों के अर्थ को देखता है। भले ही फर्जी जवाब अलग-अलग तरीके से लिखे गए हों, जज उन्हें "दुर्भावनापूर्ण" (Malicious) के रूप में पहचान लेता है। ईमानदार "मुझे नहीं पता" वाले जवाब "सुरक्षित" (Safe) होते हैं। वोट शब्दों के बजाय सुरक्षा फैसले को गिनता है, जिससे फर्जी जवाब हार जाता है।
2. लागत (The Cost)
- इस उच्च स्तर की सुरक्षा प्राप्त करने के लिए, सिस्टम को अधिक मेहनत करनी पड़ती है। एक सवाल पूछने और एक जवाब पाने के बजाय, यह एक ही सवाल को 5 बार पूछता है (अलग-अलग रैंडम मेमोरी के साथ) और जवाबों की जाँच के लिए एक जज को 5 बार पूछता है।
- समझौता (Trade-off): इसमें लगभग 10 गुना अधिक कंप्यूटिंग पावर (और थोड़ा अधिक पैसा) लगता है, लेकिन यह AI को झूठ से बचने में मदद करता है। पेपर कहता है कि महत्वपूर्ण व्यावसायिक निर्णयों के लिए यह सौदा वाजिब है।
पेपर ने वास्तव में क्या पाया (परिणाम)
लेखकों ने 15 अलग-अलग व्यावसायिक परिदृश्यों (जैसे खर्च की नीतियों या सुरक्षा नियमों की जाँच करना) पर इसका परीक्षण किया।
- हैकरों को रोकना: जब हैकरों ने वैध मोहर के बिना फर्जी डेटा डालने की कोशिश की, तो सिस्टम ने उन्हें 100% बार रोका।
- चालाक कर्मचारियों को रोकना: जब एक वैध उपयोगकर्ता (जिसके पास वैध मोहर है) ने झूठ डालने की कोशिश की, तो सिस्टम ने हमले की सफलता दर को एक बड़े, वास्तविक परीक्षण में लगभग 100% से घटाकर लगभग 8% कर दिया।
- गणित काम करता है: वास्तविक विफलता दर (8%) अनुमानित "वर्स्ट-केस" भविष्यवाणी (10.4%) से कम थी, जो यह साबित करता है कि सुरक्षा प्रमाणपत्र काम करता है।
- वास्तविक दुनिया का परीक्षण: यहाँ तक कि जब हैकर ने AI को खुद जहर (फर्जी डेटा) लिखने के लिए मजबूर किया (एक ट्रिकी सवाल पूछकर जिससे AI अपनी डायरी में झूठ लिख दे), तब भी बचाव प्रणाली काम कर गई, जिससे सफलता दर 65% से गिरकर 5% रह गई।
सारांश
यह पेपर एक ऐसी प्रणाली पेश करता है जो एक नोटरीकृत डायरी (notarized diary) और एक रैंडमाइज्ड जूरी के रूप में कार्य करती है। यह गणितीय रूप से सिद्ध करता है कि आप केवल बुरे शब्दों को फिल्टर नहीं कर सकते; आपको यह सत्यापित करने की आवश्यकता है कि मेमोरी किसने लिखी है और झूठ को कम करने के लिए रैंडमनेस (randomness) का उपयोग करना होगा। यह सुनिश्चित करता है कि भले ही कोई स्मार्ट हैकर अंदर घुस जाए, वे AI को खतरनाक सलाह देने के लिए आसानी से नहीं ठग सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।