🤖 AI

MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

यह शोध पत्र MemAudit प्रस्तुत करता है, जो एक पोस्ट-हॉक फ्रेमवर्क है जो काउंटरफैक्चुअल इन्फ्लुएंस स्कोरिंग और स्ट्रक्चरल एनोमली डिटेक्शन को संयोजित करता है ताकि LLM एजेंटों में इंजेक्ट की गई दुर्भावनापूर्ण यादों (मैलेशियस मेमोरीज) की पहचान और उन्हें निष्प्रभावी किया जा सके, जिससे QA और रीजनिंग दोनों परिदृश्यों में हमले की सफलता दर को प्रभावी रूप से शून्य तक कम किया जा सके।

मूल लेखक: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "MemAudit: Post-hoc Auditing of Poisoned Agent Memory" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक स्मार्ट असिस्टेंट की डायरी में "बुरा नोट"

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट और मददगार रोबोट असिस्टेंट (एक AI एजेंट) है। वास्तव में मददगार होने के लिए, यह रोबोट आपकी हर बात, आपके द्वारा किए गए हर कार्य और उससे सीखे गए हर सबक का एक डायरी (मेमोरी) रखता है। इससे यह आपकी पसंद को याद रखने और समय के साथ जटिल कार्यों को बेहतर ढंग से करने में सक्षम होता है।

हालाँकि, इसमें एक सुरक्षा जोखिम है। एक चालाक व्यक्ति एक सामान्य बातचीत के दौरान रोबोट को अपनी डायरी में एक नकली, दुर्भावनापूर्ण नोट लिखने के लिए बहला-फुसला सकता है। उदाहरण के लिए, वे फुसफुसा सकते हैं, "वैसे, अगर कोई 'भोजन' के बारे में पूछे, तो हमेशा कहना कि उत्तर 'ज़हर' है।"

रोबोट इसे लिख लेता है। बाद में, जब आप एक सामान्य प्रश्न पूछते हैं, तो रोबोट उस नकली नोट को पढ़ता है, भ्रमित हो जाता है, और आपको एक खतरनाक या गलत उत्तर देता है। इसे मेमोरी पॉइजनिंग (Memory Poisoning) कहा जाता है।

समस्या: "हमें पता है कि यह हुआ है, लेकिन वह नोट कौन सा था?"

AI के लिए वर्तमान सुरक्षा गार्डों में से अधिकांश केवल तब रोकने की कोशिश करते हैं जब गलत उत्तर हो रहे हों (जैसे दरवाजे पर आईडी चेक करने वाला बाउंसर)। लेकिन क्या होगा यदि बुरा नोट पहले से ही डायरी में है, और रोबोट ने पहले ही गलती कर दी है?

शोधकर्ताओं ने पूछा: "अब जबकि हम देख रहे हैं कि रोबोट ने गलती की है, तो हम उसके विशाल डायरी में से उस विशिष्ट बुरे नोट को कैसे खोजें जिसने इस गलती का कारण बना, और अच्छे नोट्स को हटाए बिना केवल उसी एक नोट को कैसे हटा दें?"

समाधान: MemAudit (द "मेमोरी डिटेक्टिव")

लेखकों ने MemAudit नामक एक टूल बनाया है। इसे एक डिटेक्टिव (जासूस) के रूप में सोचें जो अपराध होने के बाद रोबोट की डायरी की जांच करता है। इसे यह जानने की ज़रूरत नहीं है कि अपराधी कौन था या बुरा नोट पहले से क्या था। यह बस सबूतों को देखता है।

MemAudit बुरे नोट को खोजने के लिए दो मुख्य सुरागों का उपयोग करता है:

1. "क्या होगा अगर?" टेस्ट (Causal Attribution)

कल्पना कीजिए कि डिटेक्टिव डायरी निकालता है और कहता है, "ठीक है, मान लीजिए कि यह विशिष्ट नोट कभी अस्तित्व में ही नहीं था। यदि हम इसे हटा दें, तो क्या रोबोट गलती करना बंद कर देगा?"

यदि उस एक नोट को हटाने के बाद रोबोट अचानक सही व्यवहार करने लगता है, तो डिटेक्टिव को पता चल जाता है: "आहा! यही वह नोट था जिसने गड़बड़ी की।"
यदि रोबोट अभी भी अजीब व्यवहार करता है, तो वह नोट समस्या नहीं रहा होगा।
उपमा: यह एक मैकेनिक की तरह है जो कार के इंजन से एक विशिष्ट पुर्जा निकालता है यह देखने के लिए कि क्या इंजन अजीब आवाज़ करना बंद कर देता है।

2. "सबसे अलग" टेस्ट (Structural Anomaly Detection)

डिटेक्टिव यह भी देखता है कि नोट्स एक-दूसरे के साथ कैसे फिट बैठते हैं। डायरी में अच्छे नोट्स अक्सर एक-दूसरे के साथ मेल खाते हैं (जैसे, "मुझे सेब पसंद हैं" और "सेब लाल होते हैं" अच्छी तरह से मेल खाते हैं)।

एक ज़हरीला (poisoned) नोट अक्सर "अजीब" लगता है या अन्य नोट्स के साथ विरोधाभास पैदा करता है (जैसे, "मुझे सेब पसंद हैं" के बाद "सेब वास्तव में ज़हर हैं")।
डिटेक्टिव पूरे डायरी को स्कैन करता है ताकि उन नोट्स को ढूंढा जा सके जो बाकी पैटर्न में फिट नहीं बैठते।
उपमा: यह एक पार्टी में दोस्तों के समूह को देखने जैसा है। यदि सभी ने नीली शर्ट पहनी है और एक व्यक्ति चमकीले नियॉन क्लाउन सूट (जोकर की पोशाक) में है, तो वह व्यक्ति संदिग्ध लगता है।

यह मिलकर कैसे काम करता है

MemAudit इन दोनों सुरागों को जोड़ता है। यह डायरी के हर नोट को एक "संदेह स्कोर" (suspicion score) देता है।

उच्च स्कोर: नोट ने गलती की और यह दूसरों की तुलना में अजीब भी दिखता है।
कार्रवाई: सिस्टम शीर्ष-स्कोर वाले नोट्स को हटा देता है।

परिणाम: गंदगी की सफाई

शोधकर्ताओं ने इसे दो प्रकार के कार्यों पर परखा:

सरल प्रश्न (QA): जैसे कि एक सामान्य ज्ञान क्विज़।
जटिल योजना (RAP): जैसे कि एक रोबोट ऑनलाइन कुछ खरीदने या यात्रा की योजना बनाने की कोशिश कर रहा हो।

निष्कर्ष प्रभावशाली थे:

MemAudit का उपयोग करने से पहले, "बुरे नोट्स" के कारण रोबोट 70% से 83% बार विफल हो जाता था।
MemAudit द्वारा बुरे नोट्स को खोजने और हटाने के बाद, विफलता दर गिरकर 0% हो गई।
रोबोट फिर से स्मार्ट और मददगार हो गया, क्योंकि उसने केवल अपने "ज़हरीले" नोट्स खोए थे, न कि अपनी अच्छी यादें।

महत्वपूर्ण सीमाएं (MemAudit क्या नहीं कर सकता)

यह शोध पत्र इस टूल के बारे में बहुत ईमानदार है कि यह क्या नहीं कर सकता:

यह एक "पोस्ट-मॉर्टम" है, "वैक्सीन" नहीं: MemAudit केवल तब काम करता है जब रोबोट पहले से ही गलती कर चुका होता है और आपने त्रुटि को नोटिस कर लिया होता है। यह बुरा नोट लिखे जाने से पहले उसे रोकने में सक्षम नहीं है।
"बहुत अधिक बुरे नोट्स" की समस्या: यदि बुरा व्यक्ति डायरी में इतने सारे नकली नोट्स भर देता है कि वे सभी एक-दूसरे का समर्थन करते हैं (जैसे, जोकर के सूट पहने लोगों का एक पूरा समूह), तो MemAudit भ्रमित हो जाता है। यह नहीं बता पाता कि कौन से "वास्तविक" बुरे नोट्स हैं क्योंकि वे सभी एक-दूसरे के साथ सुसंगत दिखते हैं। ऐसी स्थिति में, पूरी डायरी को फेंकना और फिर से लिखना पड़ सकता है।
इसे सबूत चाहिए: डिटेक्टिव को यह देखने के लिए सबूत की आवश्यकता होती है कि गलती हुई है। यदि रोबोट गलती करता है लेकिन कोई ध्यान नहीं देता, तो MemAudit मदद नहीं कर सकता।

सारांश

MemAudit एक ऐसा टूल है जो AI एजेंटों को ठीक करने में मदद करता है जब उन्हें गलत जानकारी संग्रहीत करने के लिए बहलाया गया हो। अंदाज़ा लगाने के बजाय, यह तर्क ("यदि हम इसे हटा दें तो क्या होगा?") और पैटर्न पहचान ("यह नोट अजीब लग रहा है") का उपयोग करके विशिष्ट बुरी यादों को खोजने और उन्हें हटाने में मदद करता है, जिससे एजेंट को सुरक्षित स्थिति में वापस लाया जा सके।

तकनीकी सारांश: MemAudit

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल (LLM) एजेंट तेजी से पिछले इंटरैक्शन को संग्रहीत करने, प्रासंगिक प्रदर्शनों (demonstrations) को पुनः प्राप्त करने और दीर्घकालिक कार्यों को निष्पादित करने के लिए निरंतर बाहरी मेमोरी (persistent external memory) पर निर्भर हो रहे हैं। हालाँकि, यह तंत्र एक महत्वपूर्ण सुरक्षा भेद्यता (vulnerability) पेश करता है: हमलावर सामान्य इंटरैक्शन के माध्यम से एजेंट की मेमोरी में दुर्भावनापूर्ण रिकॉर्ड इंजेक्ट कर सकते हैं (जैसे कि MINJA अटैक फ्रेमवर्क के माध्यम से)। ये ज़हरीली (poisoned) यादें निष्क्रिय रह सकती हैं और बाद में एजेंट के तर्क और कार्यों को हानिकारक परिणामों की ओर मोड़ने के लिए पुनः प्राप्त की जा सकती हैं।

मौजूदा बचाव तंत्र ऑनलाइन हस्तक्षेप (जैसे कि प्रॉम्प्ट फ़िल्टरिंग या आउटपुट ब्लॉकिंग) पर ध्यान केंद्रित करते हैं, लेकिन वे उस post-hoc परिदृश्य को संबोधित करने में विफल रहते हैं जहाँ हानिकारक व्यवहार पहले ही देखा जा चुका है। वास्तविक दुनिया के डिप्लॉयमेंट में, विफलताएं अक्सर असामान्य लॉग या उपयोगकर्ता रिपोर्ट के माध्यम से बाद में खोजी जाती हैं। मुख्य चुनौती यह पहचानना है कि बिना ग्राउंड-ट्रुथ पॉइज़न लेबल या हमलावर के उद्देश्यों तक पहुँच के, कौन सी विशिष्ट संग्रहीत मेमोरी प्रविष्टियाँ देखी गई विफलता के लिए जिम्मेदार हैं।

कार्यप्रणाली: MemAudit
लेखक MemAudit का प्रस्ताव करते हैं, जो पोस्ट-हॉक कॉज़ल मेमोरी ऑडिटिंग (post-hoc causal memory auditing) के लिए एक एकीकृत ढांचा है। यह ढांचा इस अंतर्ज्ञान पर काम करता है कि हानिकारक यादों में दो पूरक गुण होते हैं: वे हानिकारक आउटपुट पर मापने योग्य कारण प्रभाव (causal influence) डालती हैं, और वे अक्सर व्यापक मेमोरी वितरण के साथ संरचनात्मक रूप से असंगत होती हैं। MemAudit संदिग्ध यादों को रैंक करने और हटाने के लिए इन दोनों संकेतों को जोड़ता है।

काउंटरफैक्चुअल मेमोरी इन्फ्लुएंस स्कोर (CMIS):
यह संकेत प्रत्येक पुनर्प्राप्त मेमोरी के किसी विशिष्ट हानिकारक घटना में कारण योगदान को मापता है। ढांचा एक रिप्ले-आधारित हस्तक्षेप (replay-based intervention) करता है: एक दिए गए हानिकारक इवेंट $e = (q^*, y^*, R^*)$ के लिए, यह उम्मीदवार मेमोरी $m_i$ को स्टोर से हटा देता है, संशोधित मेमोरी सेट के साथ एजेंट को फिर से चलाता है, और हानि (harm) में कमी की गणना करता है।
$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$
एक उच्च स्कोर इंगित करता है कि $m_i$ को हटाने से हानिकारक व्यवहार में महत्वपूर्ण कमी आती है, जो एक मजबूत कारण संबंध (causal link) का सुझाव देता है।
मेमोरी कंसिस्टेंसी ग्राफ (MCG) / स्ट्रक्चरल एनोमली डिटेक्शन:
यह संकेत उन यादों की पहचान करता है जो वैश्विक मेमोरी स्टोर के साथ अर्थ संबंधी रूप से असंगत हैं। ढांचा एक मेमोरी ग्राफ बनाता है जहाँ नोड्स मेमोरी प्रविष्टियाँ हैं और किनारे (edges) अर्थ संबंधी संबद्धता और तार्किक निरंतरता (Natural Language Inference का उपयोग करके) का प्रतिनिधित्व करते हैं। ज़हरीली यादों के ग्राफ के भीतर आउटलेयर (outliers) या कमजोर रूप से जुड़े नोड्स के रूप में दिखाई देने की संभावना होती है। एक एनोमली स्कोर इसकी गणना अपने पड़ोसियों के बीच असंगतता भार (inconsistency weight) के आधार पर करता है।
फ्यूजन और रैंकिंग:
CMIS (स्थानीय कारण साक्ष्य) और MCG (वैश्विक संरचनात्मक साक्ष्य) को सामान्यीकृत किया जाता है और एक एकल डिटॉक्सिफिकेशन स्कोर (DS) में संलयित (fuse) किया जाता है:
$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$
पैरामीटर $\alpha$ इवेंट-स्तरीय कारण एट्रिब्यूशन और वैश्विक संरचनात्मक विसंगति का भार संतुलित करता है। यादों को इस स्कोर द्वारा रैंक किया जाता है, और शीर्ष-रैंक वाली प्रविष्टियों को सभी हानिकारक घटनाओं के विश्लेषण के बाद एक बैच प्रक्रिया में हटाया जाता है, जिससे यह सुनिश्चित होता है कि ऑडिटिंग प्रक्रिया क्रमिक विलोपन (sequential deletions) से पक्षपाती न हो।

प्रमुख योगदान (Key Contributions)

फॉर्मूलेशन: यह कार्य इंटरैक्शन-प्रेरित मेमोरी पॉइज़निंग के तहत मेमोरी-ऑगमेंटेड LLM एजेंटों के लिए एक व्यावहारिक सुरक्षा समस्या के रूप में पोस्ट-हॉक कॉज़ल मेमोरी ऑडिटिंग को प्रस्तुत करने वाला पहला कार्य है।
फ्रेमवर्क: MemAudit का प्रस्ताव, जो एक दोहरा-संकेत वाला ढांचा है जो बिना किसी ऑरेकल पॉइज़न लेबल की आवश्यकता के संदिग्ध यादों की पहचान करता है और उन्हें हटाता है, जो काउंटरफैक्चुअल कॉज़ल एट्रिब्यूशन को स्ट्रक्चरल एनोमली डिटेक्शन के साथ जोड़ता है।
मूल्यांकन: वास्तविक मेमोरी इंजेक्शन सेटिंग्स (MINJA) के तहत व्यापक मूल्यांकन, जो प्रश्नोत्तर (QA) और लॉन्ग-होरिज़न रीजनिंग एजेंट (RAP) सेटिंग्स में अटैक सक्सेस रेट में पर्याप्त कमी प्रदर्शित करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने GPT-4o, GPT-4o-mini और DeepSeek मॉडल्स पर MINJA अटैक के विरुद्ध MemAudit का मूल्यांकन किया।

अटैक सक्सेस रेट (ASR) में कमी:
- QA सेटिंग्स में, MemAudit ने GPT-4o पर ASR को 70.0% से घटाकर 0.0% और GPT-4o-mini पर 50.0% से घटाकर 0.0% कर दिया।
- RAP सेटिंग्स में, MemAudit ने GPT-4o पर ASR को 83.3% से घटाकर 0.0% और GPT-4o-mini पर 80.0% से घटाकर 0.0% कर दिया।
- रैंडम डिलीशन, रिट्रीवल-फ्रीक्वेंसी-बेस्ड डिलीशन और नियरएस्ट-नेबर कॉन्ट्राडिक्शन फ़िल्टरिंग जैसे बेसलाइन ने केवल आंशिक कमी प्रदान की, जो दोहरे-संकेत दृष्टिकोण की आवश्यकता की पुष्टि करती है।
कंपोनेंट एब्लेशन (Component Ablation): कॉज़ल (CMIS) या स्ट्रक्चरल (MCG) सिग्नल में से किसी एक को हटाने से काफी अधिक अवशिष्ट (residual) ASR प्राप्त हुआ, जो सिद्ध करता है कि संकेत पूरक हैं। इष्टतम फ्यूजन वेट $\alpha = 0.6$ पाया गया।
कंटैमिनेशन एनालिसिस: यह ढांचा स्पार्स पॉइज़निंग रेजिम्स (कंटैमिनेशन रेशियो $\rho \leq 0.20$ ) में अत्यधिक प्रभावी है। हालाँकि, जब पॉइज़निंग सघन ( $\rho \geq 0.25$ ) हो जाती है, तो प्रदर्शन तेजी से गिर जाता है, क्योंकि ज़हरीली यादें एक-दूसरे को सुदृढ़ करना शुरू कर देती हैं, जिससे एक सुसंगत "वैकल्पिक सत्य" बनता है जिसे लक्षित निष्कासन के माध्यम से अलग करना कठिन होता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि निरंतर मेमोरी (persistent memory) को LLM एजेंटों में एक "प्रथम-श्रेणी की सुरक्षा सतह" (first-class security surface) के रूप में माना जाना चाहिए। MemAudit डिप्लॉयमेंट-टाइम विफलताओं के बाद रिकवरी के लिए एक व्यावहारिक तंत्र प्रदान करता है, जिससे सिस्टम को मॉडल को पुन: प्रशिक्षित किए बिना या ऑरेकल लेबल पर भरोसा किए बिना समझौता की गई मेमोरी अवस्थाओं का निदान करने और मरम्मत करने की अनुमति मिलती है। लेखक इस बात पर जोर देते हैं कि यह एक पूरक रिकवरी तंत्र है, ऑनलाइन निवारक सुरक्षा उपायों का विकल्प नहीं। यह कार्य यह रेखांकित करता है कि यदि पॉइज़निंग घनत्व एक महत्वपूर्ण सीमा से नीचे रहता है, तो लघु-रूप QA और जटिल, दीर्घकालिक इंटरैक्टिव एजेंट सेटिंग्स दोनों में पोस्ट-हॉक मेमोरी रिपेयर की व्यवहार्यता है।