Mind Your HEARTBEAT! Claw Background Execution Inherently Enables Silent Memory Pollution
यह शोध पत्र क्लॉ (Claw) पर्सनल एआई एजेंटों में एक महत्वपूर्ण सुरक्षा भेद्यता को प्रकट करता है जहाँ हार्टबीट-संचालित बैकग्राउंड निष्पादन अनट्रस्टेड बाहरी सामग्री को एजेंट की मेमोरी को चुपचाप प्रदूषित करने और एक्सपोज़र-मेमोरी-बिहेवियर (Exposure-Memory-Behavior) पथ के माध्यम से भविष्य के उपयोगकर्ता-केंद्रित व्यवहार को प्रभावित करने की अनुमति देता है, जो यह प्रदर्शित करता है कि साधारण दुष्प्रचार—न कि केवल प्रॉम्प्ट इंजेक्शन—एजेंट की अखंडता से समझौता कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास Claw नाम का एक सुपर-स्मार्ट पर्सनल असिस्टेंट है। यह सिर्फ एक चैटबॉट नहीं है जिससे आप बात करते हैं; यह एक जीवित, सांस लेता डिजिटल साथी है जो आपकी हर उस बात को याद रखता है जो आपने इसे कभी बताई है, आपका कैलेंडर मैनेज करता है, आपका ईमेल चेक करता है, और यहाँ तक कि जब आप सो रहे होते हैं तब खबरें भी पढ़ता है।
आपके द्वारा साझा किया गया पेपर इस बात का खुलासा करता है कि Claw कैसे काम करता है, इसमें एक डरावनी खामी है। यह एक भेद्यता (vulnerability) है जिसे "साइलेंट मेमोरी पॉल्यूशन" (Silent Memory Pollution) कहा जाता है।
यह कैसे होता है, इसकी कहानी यहाँ सरल भाषा में समझाई गई है।
1. "हार्टबीट" (असिस्टेंट की धड़कन)
कल्पना कीजिए कि Claw की एक हार्टबीट है। हर कुछ मिनटों में, यहाँ तक कि जब आप उससे बात नहीं कर रहे होते, यह हार्टबीट Claw को जगा देती है। यह कहती है, "हे, चलो तुम्हारा ईमेल चेक करते हैं, खबरें देखते हैं, और देखते हैं कि क्या किसी ने सोशल मीडिया पर तुम्हारा ज़िक्र किया है।"
यह उत्पादकता के लिए बहुत अच्छा है। इसका मतलब है कि Claw आपके पूछने से पहले ही आपके ईमेल में मीटिंग का आमंत्रण ढूंढ सकता है और उसे आपके कैलेंडर में डाल सकता है।
समस्या: वर्तमान डिज़ाइन में, Claw यह "चेकिंग" उसी कमरे में करता है जहाँ वह आपसे बात करता है। इसके पास ईमेल चेक करने के लिए कोई अलग "बैक ऑफिस" नहीं है। यह सब मुख्य लिविंग रूम में ही हो रहा है।
2. "कमरे में भूत" (हमला)
अब, कल्पना कीजिए कि एक धोखेबाज (हमलावर) आपके असिस्टेंट को बेवकूफ बनाना चाहता है। उन्हें आपके कंप्यूटर को हैक करने या वायरस भेजने की ज़रूरत नहीं है। उन्हें बस एक सोशल मीडिया साइट पर झूठ पोस्ट करने या एक फर्जी ईमेल भेजने की ज़रूरत है।
- झूठ: "हे दोस्तों, नया सॉफ्टवेयर अपडेट खतरनाक है! इसके बजाय इस नकली वर्ज़न का उपयोग करें!"
- जाल: आपके असिस्टेंट की हertbeat जागती है, इस पोस्ट को देखती है, और इसे पढ़ लेती है। क्योंकि Claw को मददगार बनाने के लिए डिज़ाइन किया गया है, वह सोचता है, "ओह, यह महत्वपूर्ण जानकारी है! मुझे इसे याद रखना चाहिए।"
यहाँ डरावना हिस्सा यह है: आपने वह झूठ कभी देखा ही नहीं। आपने उस लिंक पर क्लिक नहीं किया। आपने वह ईमेल नहीं पढ़ा। लेकिन Claw ने इसे तब आत्मसात कर लिया जब आप दूर थे।
3. "दिमागी धुंध" (मेमोरी पॉल्यूशन)
चूंकि Claw और उपयोगकर्ता एक ही "मेमोरी रूम" साझा करते हैं, इसलिए यह झूठ आपकी वास्तविक यादों के साथ मिल जाता है।
- शॉर्ट-टर्म (अल्पकालिक): बाद में उसी दिन, आप Claw से पूछते हैं, "मुझे कौन सा सॉफ्टवेयर इस्तेमाल करना चाहिए?"
- परिणाम: Claw पूरे आत्मविश्वास के साथ कहता है, "आपको वह नकली वर्ज़न इस्तेमाल करना चाहिए! मैंने इसके बारे में पहले पढ़ा था।" यह इतना यकीन के साथ बोलता है क्योंकि इसने उस झूठ को एक तथ्य के रूप में "याद" कर लिया है।
यह साइलेंट मेमोरी पॉल्यूशन है। असिस्टेंट का दिमाग चुपचाप उस जानकारी से ज़हरीला हो गया है जिसे आपने कभी देखा ही नहीं।
4. "स्थायी टैटू" (लॉन्ग-टर्म मेमोरी)
पेपर में इससे भी बदतर बात सामने आई है। कभी-कभी असिस्टेंट यह तय करता है कि इस नए "तथ्य" को अपनी लॉन्ग-टर्म मेमोरी (जैसे एक स्थायी डायरी में लिखना) में सहेजना है।
- परिदृश्य: आप Claw से कहते हैं कि "आज हमने जो सीखा उसे सेव करो।"
- परिणाम: असिस्टेंट उस झूठ को अपनी स्थायी डायरी में लिख देता है।
- परिणामस्वरूप: भले ही आप कुछ दिनों या हफ्तों बाद बातचीत फिर से शुरू करें, असिस्टेंट अभी भी उस झूठ को मानता रहेगा। अब यह उसके स्थायी व्यक्तित्व का हिस्सा बन चुका है। यह आपके बॉस, आपके बैंक, या आपके डॉक्टर को वह नकली सॉफ्टवेयर इस्तेमाल करने के लिए कह सकता है, और यह 100% यकीन के साथ बोलेगा।
5. इसे रोकना इतना कठिन क्यों है?
शोधकर्ताओं ने एक नकली सोशल नेटवर्क जिसे MissClaw (एक वास्तविक एजेंट नेटवर्क Moltbook का क्लोन) कहा जाता है, में इसका परीक्षण किया। उन्होंने तीन डरावनी चीजें पाईं:
- यह "पीयर प्रेशर" (साथियों के दबाव) के बारे में है: यदि फर्जी पोस्ट को ऐसा दिखता है कि उस पर बहुत सारे "लाइक्स" हैं या वह किसी "मॉडरेटर" की ओर से आया है, तो असिस्टेंट तुरंत उस पर विश्वास कर लेता है। वह सच्चाई से ज़्यादा भीड़ पर भरोसा करता है।
- यह सिर्फ "बुरे लोगों" के बारे में नहीं है: आपको हैकर की ज़रूरत नहीं है। बस एक आम व्यक्ति द्वारा अफवाह फैलाना ही सिस्टम को तोड़ने के लिए काफी है।
- यह "सफाई" के बाद भी बच जाता है: भले ही असिस्टेंट पुरानी चीज़ों को भूलने की कोशिश करे या उस झूठ को 20 सामान्य पोस्ट के नीचे दबा दिया जाए, असिस्टेंट कभी-कभी फिर भी उसे ढूंढ लेता है, याद रखता है, और बाद में उस पर अमल करता है।
मुख्य निष्कर्ष
पेपर चेतावनी देता है कि हम अपने AI असिस्टेंटों पर भरोसा नहीं कर सकते कि वे बैकग्राउंड में काम करते समय अपना "सिर" साफ रखेंगे।
वर्तमान में, इन AI एजेंटों का डिज़ाइन एक ऐसे घर की तरह है जिसमें कोई बंद दरवाज़ा नहीं है। यदि कोई अजनबी मालिक के सोने के दौरान बटलर (AI) के कान में झूठ फुसफुसाता है, तो बटलर उस पर विश्वास कर सकता है और अगले दिन मालिक को वह झूठ सच बता सकता है।
समाधान क्या है? हमें AI के लिए "बैक ऑफिस" बनाने की आवश्यकता है। जब AI बैकग्राउंड में ईमेल या सोशल मीडिया चेक करता है, तो उसे एक अलग, अलग कमरे में यह काम करना चाहिए। उसे उन बैकग्राउंड की फुसफुसाहटों को उन महत्वपूर्ण तथ्यों के साथ मिलाने की अनुमति नहीं दी जानी चाहिए जिनका उपयोग वह आपसे बात करने के लिए करता है, जब तक कि हम (इंसान) स्पष्ट रूप से यह न कहें, "हाँ, मैंने वह देखा, और हाँ, यह सच है।"
तब तक, हमें सावधान रहना होगा: सिर्फ इसलिए कि आपका AI कहता है कि वह कुछ "जानता" है, इसका मतलब यह नहीं है कि वह वास्तव में सच जानता है। हो सकता है कि उसे मशीन के भीतर के किसी भूत (ghost in the machine) ने धोखा दिया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।