MemLineage: Lineage-Guided Enforcement for LLM Agent Memory
MemLineage एक क्रिप्टोग्राफिक रक्षा प्रणाली है जो LLM एजेंटों के लिए बनाई गई है जो मेमोरी प्रविष्टि (memory entry) के उद्भव और व्युत्पन्न वंश (provenance and derivation lineage) को ट्रैक करके मेमोरी पॉइजनिंग हमलों को रोकती है, यह सुनिश्चित करती है कि संवेदनशील कार्यों को केवल तभी अधिकृत किया जाए जब उनका औचित्य किसी अविश्वसनीय स्रोतों से न निकला हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक AI एजेंट की कल्पना एक बहुत ही मददगार, लेकिन थोड़े भोले स्वभाव के व्यक्तिगत सहायक के रूप में करें जो आपकी पसंद, पिछली बातचीत और कार्यों को याद रखने के लिए एक नोटबुक (मेमोरी) रखता है। यह नोटबुक शक्तिशाली है क्योंकि यह सहायक को दिनों या हफ्तों तक कड़ियों को जोड़ने में मदद करती है। हालाँकि, यह नोटबुक सहायक की सबसे बड़ी कमजोरी भी है।
MemLineage एक नया सुरक्षा तंत्र है जिसे इस नोटबुक को एक चतुर हैकर से बचाने के लिए डिज़ाइन किया गया है।
यहाँ यह पेपर सरल उपमाओं (analogies) का उपयोग करके समस्या और समाधान को समझाता है:
समस्या: "नकली रसीद" घोटाला
वर्तमान में, यदि कोई हैकर सहायक की नोटबुक में एक दुर्भावनापूर्ण निर्देश (malicious instruction) डाल सकता है, तो सहायक बाद में उस निर्देश का पालन कर सकता है, भले ही वह निर्देश खतरनाक हो (जैसे "किसी अजनबी को पैसे भेजें")।
पेपर एक विशिष्ट, चालाकी भरी ट्रिक को उजागर करता है जिसे "Sleeper via Derivation" कहा जाता है।
- पुराना तरीका: एक हैकर नोटबुक में एक नोट लिखता है जिसमें "पैसे चुराओ" लिखा हो और उसे छिपा देता है। एक साधारण सुरक्षा गार्ड (एक "सिग्नेचर-ओनली" रक्षा प्रणाली) उस नोट की जाँच करता है, देखता है कि वह उपयोगकर्ता द्वारा नहीं लिखा गया था, और उसे ब्लॉक कर देता है। यह आसान है।
- नई ट्रिक: हैकर सीधे नोट नहीं लिखता। इसके बजाय, वह एक ऐसी वेबसाइट में एक अस्पष्ट, हानिरहित दिखने वाला सुराग बो देता है जिसे सहायक विज़िट करता है (उदाहरण के लिए, "गुप्त बैंक खाते" के बारे में एक कहानी)।
- सहायक उस कहानी को पढ़ता है, उसका सारांश (summary) बनाता है, और अपनी खुद की लिखावट में एक नया, साफ-सुथरा दिखने वाला नोट लिखता है: "मुझे एक गुप्त बैंक खाते का संदर्भ मिला है।"
- क्योंकि अब नोट सहायक की अपनी लिखावट में है, एक साधारण सुरक्षा गार्ड सोचता है, "ओह, यह सुरक्षित है! यह हमसे आया है!" और इसे नोटबुक में रहने देता है।
- बाद में, हैकर एक ऐसा प्रश्न पूछता है जो इस नोट को सक्रिय (trigger) कर देता है, और सहायक, यह सोचकर कि यह एक वैध स्मृति है, उस खतरनाक कमांड को निष्पादित कर देता है।
पेपर इसे "Memory Laundering" कहता है: अविश्वसनीय (untrusted) जानकारी को तब तक धोना जब तक कि वह विश्वसनीय न दिखने लगे।
समाधान: MemLineage (एक "चेन ऑफ कस्टडी" ट्रैकर)
MemLineage सहायक की मेमोरी को केवल एक नोटबुक के बजाय एक उच्च-सुरक्षा साक्ष्य लॉकर (high-security evidence locker) की तरह मानता है। यह सुरक्षा के दो मुख्य स्तर जोड़ता है:
1. डिजिटल फिंगरप्रिंट (क्रिप्टोग्राफिक प्रोवेनेंस)
नोटबुक में प्रत्येक नोट को एक अद्वितीय, अटूट डिजिटल फिंगरप्रिंट (एक क्रिप्टोग्राफिक सिग्नेचर) मिलता है। यह साबित करता है कि इसे वास्तव में किसने लिखा है। यदि कोई नोट किसी अविश्वसनीय स्रोत (जैसे कोई रैंडम वेबसाइट) द्वारा लिखा गया है, तो उसे तुरंत "रेड फ्लैग" (Red Flag) टैग मिल जाता है।
2. फैमिली ट्री (वंशानुक्रम/Lineage)
यही इस पेपर का बड़ा नवाचार है। MemLineage केवल यह नहीं देखता कि नोट किसने लिखा; यह यह भी देखता है कि जानकारी कहाँ से आई।
- कल्पना करें कि प्रत्येक नोट के साथ एक "फैमिली ट्री" जुड़ा हुआ है।
- यदि कोई नोट पिछले किसी नोट का सारांश है, तो सिस्टम उनके बीच एक रेखा खींचता है।
- सिस्टम पूछता है: "क्या यह साफ-सुथरा दिखने वाला नोट किसी 'रेड फ्लैग' स्रोत से उत्पन्न हुआ है?"
- नियम: यदि कोई नोट एक "रेड फ्लैग" स्रोत का "बच्चा" (child) है, और संबंध पर्याप्त मजबूत है, तो वह बच्चा नोट भी "रेड फ्लैग" को विरासत में प्राप्त करता है, भले ही वह सहायक द्वारा लिखा गया हो।
यह हमले को कैसे रोकता है
जब सहायक कोई संवेदनशील कार्य करने वाला होता है (जैसे पैसे भेजना), तो एक गेटकीपर (Gatekeeper) मेमोरी की जाँच करता है:
- सिग्नेचर की जाँच करें: क्या उपयोगकर्ता या किसी भरोसेमंद टूल ने इसे लिखा है?
- फैमिली ट्री की जाँच करें: क्या इस नोट के कोई पूर्वज (ancestors) अविश्वसनीय थे?
- निर्णय: यदि इस नोट का "फैमिली ट्री" किसी हैकर की वेबसाइट तक जाता है, तो गेटकीपर कहता है, "नहीं।" यह क्रिया को ब्लॉक कर देता है, भले ही नोट ऊपर से बिल्कुल सामान्य दिखे।
"जादुई" विशेषताएं
पेपर का दावा है कि MemLineage विशेष है क्योंकि:
- यह अदृश्य है: यह सहायक की सोचने की प्रक्रिया में लगभग कोई देरी (एक मिलीसेकंड से कम) नहीं जोड़ता है। यह एक सुरक्षा जाँच जोड़ने जैसा है जो इतनी तेज़ होती है कि आप इसे नोटिस भी नहीं करते।
- यह स्मार्ट है: यह केवल अविश्वसनीय स्रोतों से आने वाली हर चीज़ को ब्लॉक नहीं करता है। यह सहायक को उस जानकारी का उपयोग हानिरहित चीजों (जैसे सामान्य ज्ञान के प्रश्न का उत्तर देने) के लिए करने की अनुमति देता है, लेकिन इसे खतरनाक कार्यों (जैसे फंड ट्रांसफर) को ट्रिगर करने से रोकता है।
- यह समय को मात देता है: भले ही हैकर का मूल नोट हटा दिया गया हो या इतिहास में कहीं गहरा दबा दिया गया हो, "रेड फ्लैग" उन व्युत्पन्न (derived) नोट्स के साथ हमेशा के लिए जुड़ा रहता है, जिससे "स्लीपर" हमले के जागने की संभावना खत्म हो जाती है।
परिणाम
लेखकों ने एक नियंत्रित, कंप्यूटर-सिम्युलेटेड वातावरण में तीन प्रकार के हैकर हमलों के खिलाफ इस प्रणाली का परीक्षण किया।
- MemLineage के बिना: हैकर 100% बार सफल रहे।
- एक बुनियादी सुरक्षा गार्ड (केवल सिग्नेचर) के साथ: "स्लीपर" हमले पर हैकर 100% बार सफल रहे क्योंकि नोट्स साफ दिख रहे थे।
- MemLineage के साथ: हैकर 0% बार सफल हुए। सिस्टम ने हर प्रयास को पकड़ लिया, जिसमें चालाकी से की गई "लॉन्ड्रिंग" वाली हरकतें भी शामिल थीं, और ऐसा करते हुए भी सहायक की गति धीमी नहीं हुई और न ही उसने हानिरहित कार्यों को रोका।
संक्षेप में, MemLineage यह सुनिश्चित करता है कि एक AI सहायक सुरक्षित रूप से चीजें याद रख सके, यह जानते हुए कि भले ही जानकारी साफ दिख रही हो, लेकिन यदि उसका इतिहास "गंदा" है, तो वह उसे नुकसान पहुँचाने नहीं देगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।