🤖 machine learning

State Contamination in Memory-Augmented LLM Agents

यह शोध पत्र "मेमोरी लॉन्ड्रिंग" (memory laundering) की पहचान और मात्रा निर्धारण करता है, जो मेमोरी-ऑगमेंटेड LLM एजेंटों में एक सुरक्षा विफलता है जहाँ विषाक्त संदर्भ (toxic context) को ऐसे दिखने में सुरक्षित सारांशों में संकुचित कर दिया जाता है जो फिर भी गुप्त रूप से भविष्य के जनरेशन को प्रभावित करते हैं, यह प्रदर्शित करते हुए कि प्रभावी शमन के लिए केवल अंतिम आउटपुट को साफ करने के बजाय सारांश बनाने से पहले स्टेट (state) को सैनिटाइज करना आवश्यक है।

मूल लेखक: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: "खराब याददाश्त" की समस्या

कल्पना कीजिए कि आप AI सहायकों के एक समूह के साथ एक बहुत लंबी, जटिल बातचीत चला रहे हैं। ये सहायक बुद्धिमान हैं, लेकिन उनकी अल्पकालिक स्मृति (short-term memory) की एक सीमा है। बातचीत को घंटों या दिनों तक जारी रखने के लिए, वे एक "मेमोरी नोटबुक" (Memory Notebook) का उपयोग करते हैं। हर कुछ मिनटों में, वे जो कुछ भी अभी हुआ है उसका सारांश (summary) लिखते हैं और नोटबुक में एक छोटा सा नोट लिखते हैं, फिर वास्तविक चैट के लंबे, अस्त-व्यस्त ट्रांसक्रिप्ट को हटा देते हैं।

इस शोध पत्र में खोजी गई समस्या को "मेमोरी लॉन्ड्रिंग" (Memory Laundering) कहा जाता है।

इसे एक अपराधी की तरह सोचें जो गंदे पैसे को धोने (मनी लॉन्ड्रिंग) की कोशिश कर रहा है। वे नकद लेते हैं जो स्पष्ट रूप से "गंदा" (विषाक्त, घृणास्पद या आक्रामक) है, उसे एक मशीन (सारांशकार/summarizer) के माध्यम से चलाते हैं, और बाहर आता है "साफ" नकद (एक विनम्र सारांश)। एक बैंक क्लर्क (सेफ्टी फिल्टर) के लिए, पैसा पूरी तरह से वैध दिखता है। लेकिन पैसे का स्रोत अभी भी गंदा था, और उसके पीछे का इरादा अभी भी मौजूद है।

AI की दुनिया में, एक विषाक्त संदेश को एक विनम्र वाक्य में सारांशित कर दिया जाता है। सुरक्षा फिल्टर कहता है, "यह सुरक्षित दिखता है!" लेकिन क्योंकि सारांश में अभी भी मूल लड़ाई का भाव (vibe) या संघर्ष का ढांचा मौजूद है, अगला AI एजेंट इसे पढ़ता है और फिर भी गुस्सा हो जाता है। विषाक्तता गायब नहीं हुई; यह बस एक साफ दिखने वाले सारांश के अंदर छिप गई।

विषाक्तता फैलने के तीन तरीके

लेखकों ने पाया कि बुरा व्यवहार AI सिस्टम में तीन विशिष्ट तरीकों से फैलता है, जैसे बांध में अलग-अलग दरारों से पानी रिसता है:

"रॉ ट्रांसक्रिप्ट" लीक (स्पष्ट विषाक्तता - Overt Toxicity):
कल्पना कीजिए कि AI एजेंट चैट का पूरा इतिहास, शब्द-दर-शब्द पढ़ रहे हैं। यदि कोई कुछ बुरा कहता है, तो अगला व्यक्ति वही बुरा शब्द पढ़ता है और क्रोधित हो जाता है। यह स्पष्ट है। सुरक्षा फिल्टर इसे आसानी से पकड़ सकते हैं क्योंकि बुरे शब्द सामने ही मौजूद हैं।
"मेमोरी लॉन्ड्रिंग" लीक (छिपी हुई विषाक्तता - Hidden Toxicity):
यह इस शोध पत्र की मुख्य खोज है। कल्पना कीजिए कि AI एजेंट केवल "मेमोरी नोटबुक" (सारांश) पढ़ते हैं। सारांश कहता है, "समूह में राजनीति के बारे में एक गरमागरम बहस हुई।"

चाल (The Trick): सारांश ने अपशब्दों और अपमानों को हटा दिया। एक सुरक्षा फिल्टर इसे स्कैन करता है और कहता है, "सुरक्षित! कोई बुरा शब्द नहीं मिला।"
जाल (The Trap): भले ही शब्द साफ हों, लेकिन लड़ाई का एहसास अभी भी वहीं है। अगला AI पढ़ता है "गरमागरम बहस" और सोचता है, "ओह, यह एक लड़ाई है," इसलिए वह आक्रामक व्यवहार करना शुरू कर देता है। विषाक्तता को एक सुरक्षित दिखने वाले नोट में "लॉन्डर" (धोकर साफ) कर दिया गया है जो अभी भी समस्या पैदा करता है।

"बुरी आदत" लीक (पैरामीट्रिक बायस - Parametric Bias):
कल्पना कीजिए कि AI की अपनी एक बुरी आदत है। भले ही नोट्स साफ हों, AI ने सीख लिया है कि जब भी वह संघर्ष का कोई भी संकेत देखता है, तो उसे आक्रामक प्रतिक्रिया देनी चाहिए। यह एक ऐसे व्यक्ति की तरह है जो सिर्फ इसलिए गुस्सा हो जाता है क्योंकि किसी ने अपनी आवाज़ ऊँची की, भले ही उन्होंने कुछ बुरा न कहा हो। यह AI की आंतरिक "मसल्स मेमोरी" (muscle memory) है जो स्थिति पर प्रतिक्रिया दे रही है।

नया टूल: "सब-थ्रेशोल्ड गैप" (Sub-Threshold Gap)

आप उस समस्या को कैसे माप सकते हैं जिसे सुरक्षा फिल्टर नहीं देख पाते? लेखकों ने एक नया मीट्रिक (metric) बनाया जिसे सब-थ्रेशोल्ड प्रोपेगेशन गैप (SPG) कहा जाता है।

उपमा (Analogy): कल्पना कीजिए कि हवाई अड्डे पर एक मेटल डिटेक्टर है। अगर आप बंदूक (उच्च विषाक्तता) लेकर जाते हैं तो यह बीप करता है। लेकिन क्या होगा अगर आप प्लास्टिक से बना हथियार ले जाते हैं जिसे डिटेक्टर अनदेखा कर देता है? आप फिर भी खतरनाक हैं, लेकिन मशीन कहती है कि आप सुरक्षित हैं।
मीट्रिक: SPG दो समूहों के AI के बीच व्यवहार के अंतर को मापता है:
1. AI जिन्होंने एक अच्छी बातचीत का सारांश पढ़ा।
2. AI जिन्होंने एक विषाक्त बातचीत का सारांश पढ़ा (लेकिन सारांश डिटेक्टर के लिए "सुरक्षित" दिखता था)।
- यदि दूसरा समूह पहले समूह की तुलना में अधिक आक्रामक व्यवहार करता है, भले ही सारांश सुरक्षा फिल्टर के लिए समान दिखता हो, तो आपने "सब-थ्रेशोल्ड गैप" पा लिया है। यह साबित करता है कि "प्लास्टिक का हथियार" अभी भी खतरनाक है।

समाधान: बोतल में भरने से पहले पानी को साफ करें

शोध पत्र ने इसे ठीक करने के कई तरीकों का परीक्षण किया, जैसे पाइप में रिसाव को रोकने की कोशिश करना।

आउटपुट को फ़िल्टर करना (बहुत देर हो चुकी है): AI के अंतिम उत्तर की जांच करना और बुरे शब्दों को हटाना, पाइप फटने के बाद पानी को पोंछने जैसा है। यह दृश्य गंदगी को तो रोकता है, लेकिन पानी (विषाक्तता) पहले ही फर्श (मेमोरी) में समा चुका होता है।
सारांश को साफ करना (बहुत देर हो चुकी है): सारांश लिखे जाने के बाद "मेमोरी नोटबुक" को फिर से लिखने की कोशिश करना भी अक्सर बहुत देर हो जाती है। जब तक आप इसे फिर से लिखते हैं, "लड़ाई का भाव" पहले ही टेक्स्ट में रच-बस चुका होता है। सुरक्षा फिल्टर इसे पास कर सकता है, लेकिन AI को अभी भी गलत विचार मिल जाता है।
जीतने वाली रणनीति (सारांश बनाने से पहले सैनिटाइज करें): सबसे प्रभावी समाधान यह है कि सारांश लिखने से पहले ही खराब पानी को रोक दिया जाए।
- यह कैसे काम करता है: इससे पहले कि AI सारांश लिखे, आप कच्चे, अस्त-व्यस्त चैट की जांच करते हैं। यदि वहां कोई विषाक्त सामग्री है, तो आप उसे तभी साफ करते हैं या ब्लॉक करते हैं। फिर, आप उस साफ संस्करण के आधार पर सारांश लिखते हैं।
- परिणाम: सारांश वास्तव में साफ है, न कि केवल "साफ दिखने वाला"। AI एक शांत चर्चा का सारांश पढ़ता है और शांत रहता है।

निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि AI एजेंटों के सुरक्षित होने के लिए, हमें केवल यह नहीं देखना चाहिए कि वे अभी क्या कह रहे हैं। हमें यह देखना होगा कि उन्हें क्या याद है।

यदि आप एक सुरक्षित AI टीम चाहते हैं, तो आप केवल उनके नोट्स की जांच करने के लिए अंत तक प्रतीक्षा नहीं कर सकते। आपको यह सुनिश्चित करना होगा कि नोट्स एक साफ स्रोत से लिखे गए हैं। यदि आप विषाक्त विचारों को "सुरक्षित दिखने वाले" सारांशों में संकुचित (compress) होने देते हैं, तो वे विचार अदृश्य रूप से फैलते रहेंगे, जो मानक सुरक्षा जांचों से बच निकलेंगे और बाद में AI को अनियंत्रित व्यवहार करने के लिए प्रेरित करेंगे।

संक्षेप में: केवल गंदे बर्तनों को धोना ही काफी नहीं है; यह सुनिश्चित करें कि आप डिशवॉशर में गंदा खाना डालें ही नहीं।

तकनीकी सारांश: मेमोरी-ऑगमेंटेड LLM एजेंट्स में स्टेट कंटैमिनेशन (State Contamination)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट लंबे समय तक चलने वाली अंतःक्रियाओं (long-horizon interactions) को सुगम बनाने के लिए निरंतर स्टेट (persistent state)—जैसे कि ट्रांसक्रिप्ट, सारांश और मेमोरी बफ़र्स—पर तेजी से निर्भर हो रहे हैं। जबकि यह क्षमता उपयोगिता को बढ़ाती है, यह एक नवीन सुरक्षा विफलता मोड पेश करती है जिसे मेमोरी लॉन्ड्रिंग (memory laundering) कहा जाता है। इस परिदृश्य में, विषाक्त (toxic) या प्रतिकूल संदर्भ को मेमोरी सारांशों में संकुचित (compress) कर दिया जाता है जो मानक विषाक्तता क्लासिफायर (toxicity classifiers) के तहत हानिरहित प्रतीत होते हैं (अर्थात, वे डिटेक्शन थ्रेशोल्ड से नीचे गिर जाते हैं), लेकिन फिर भी उनमें शत्रुतापूर्ण ढांचा (hostile framing), संघर्ष संरचनाएं (conflict structures), या प्रतिकूल रुख बरकरार रहता है। ये "साफ किए गए" सारांश बाद में डाउनस्ट्रीम एजेंटों को विषाक्त प्रतिक्रियाएं उत्पन्न करने के लिए अनुकूलित (condition) करते हैं, जो प्रभावी रूप से उन सुरक्षा मॉनीटर्स को बायपास कर देते हैं जो केवल प्रत्यक्ष आउटपुट का निरीक्षण करते हैं।

मुख्य चुनौती यह है कि एजेंटिक सिस्टम में सुरक्षा केवल व्यक्तिगत मॉडल आउटपुट पर नहीं, बल्कि उस विकसित होती स्टेट (evolving state) पर निर्भर करती है जिसे सिस्टम संग्रहीत और पुन: उपयोग करता है। पारंपरिक सुरक्षा हस्तक्षेप, जैसे कि आउटपुट फ़िल्टरिंग या पैरामीटर अनलर्निंग, स्टेट-स्तरीय विषाक्तता के प्रसार को संबोधित करने में विफल रहते हैं जहाँ हानिकारक प्रभाव को क्लासिफायर-क्लीन मेमोरी स्टेट्स के भीतर छिपाया गया होता है।

कार्यप्रणाली (Methodology)

प्रयोगात्मक सेटअप (Experimental Setup)

लेखक कारण प्रभावों (causal effects) को अलग करने के लिए एक पेयर्ड काउंटरफैक्चुअल मल्टी-एजेंट रोलआउट (paired counterfactual multi-agent rollout) फ्रेमवर्क का उपयोग करते हैं।

सेटअप: एक मानव सीड पोस्ट एक कन्वर्सेशन ग्राफ शुरू करता जहाँ एक फोकल एजेंट ( $A_1$ ) को विषाक्त या तटस्थ (neutral) प्रतिक्रिया देने के निर्देश दिए जाते हैं। सभी अन्य एजेंट ( $A_2, \dots, A_n$ ) और सिस्टम पैरामीटर स्थिर रहते हैं।
मॉडल: घटना प्रयोगों (phenomenon experiments) में gpt-4o-mini का उपयोग किया गया है, जबकि पैरामीटर एक्सेस की आवश्यकता वाले हस्तक्षेप प्रयोगों में LoRA के माध्यम से फाइन-ट्यून किया गया Llama-3.1-8B-Instruct का उपयोग किया गया है।
विषाक्तता मापन (Toxicity Measurement): एक ओपन-सोर्स टॉक्सिसिटी मॉडल (Detoxify) सभी संदेशों को स्कोर करता है। एक थ्रेशोल्ड $\tau=0.5$ स्पष्ट विषाक्तता को फ्लैग करता है।
स्टेट चैनल (State Channels): अध्ययन विषाक्तता के तीन चैनलों के बीच अंतर करता है:
1. ट्रांसक्रिप्ट बैकफ्लो (Transcript Backflow): कच्चे संवाद इतिहास (raw conversation history) जिसमें विषाक्त संदेश शामिल हैं।
2. मेमोरी लॉन्ड्रिंग (Memory Laundering): विषाक्त अंतःक्रियाओं के संकुचित सारांश जो क्लासिफायर के लिए सुरक्षित प्रतीत होते हैं।
3. पैरामीट्रिक बायस (Parametric Bias): विषाक्त संदर्भ के रजिस्टर (register) से मेल खाने की मॉडल की प्रवृत्ति जो इसके आंतरिक पैरामीटर्स के कारण होती है।

मुख्य मेट्रिक्स (Key Metrics)

छिपे हुए प्रभाव को मापने के लिए, पेपर सब-थ्रेशोल्ड प्रोपेगेशन गैप (Sub-Threshold Propagation Gap - SPG) पेश करता है:
$SPG(\tau) = E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{toxic}] - E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{neutral}]$
यह मेट्रिक उन मेमोरी स्टेट्स के आधार पर डाउनस्ट्रीम विषाक्तता के अंतर को मापता जिन्हें एक तैनात मॉनिटर सुरक्षित ( $\text{tox}(M_t) < \tau$ ) वर्गीकृत करेगा। एक सकारात्मक SPG इंगित करता कि "क्लीन" मेमोरी अभी भी विषाक्त व्यवहार को संचालित कर रही है। अध्ययन औसत डाउनस्ट्रीम विषाक्तता शिफ्ट ( $\Delta\mu$ ) और 95वें पर्सेंटाइल विषाक्तता ( $P95_{tox}$ ) को भी ट्रैक करता है ताकि टेल रिस्क (tail risks) को पकड़ा जा सके।

शमन ढांचा (Mitigation Framework)

लेखक प्रत्येक पर्सिस्टेंस चैनल को लक्षित करने वाला एक तीन-मार्ग शमन ढांचा (three-pathway mitigation framework) प्रस्तावित करते हैं:

ट्रांसक्रिप्ट कंट्रोल (Read/Write): जनरेशन से पहले संदर्भ को शुद्ध (sanitize) करना और ट्रांसक्रिप्ट में प्रवेश करने से पहले आउटपुट को गेट करना।
मेमोरी कंट्रोल: निरंतर मेमोरी में संकुचित होने से पहले सारांशों को शुद्ध करना (राइट-साइड गेटिंग/रीराइटिंग) बनाम संपीड़न के बाद उन्हें शुद्ध करना।
पैरामीटर-स्तरीय नियंत्रण: विषाक्त संदर्भ के आयाम को कम करने के लिए पेयर्ड टॉक्सिक-न्यूट्रल रोलआउट्स पर डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) का उपयोग करके पॉलिसी को फाइन-ट्यून करना।

मुख्य परिणाम (Key Results)

1. मेमोरी लॉन्ड्रिंग का अस्तित्व

प्रयोग पुष्टि करते हैं कि विषाक्त-कंडीशन्ड मेमोरी सारांश लगातार मानक विषाक्तता थ्रेशोल्ड (जैसे, माध्य विषाक्तता $\approx 0.085$ बनाम थ्रेशोल्ड $0.5$) से नीचे गिर जाते हैं, फिर भी वे न्यूट्रल बेसलाइन की तुलना में काफी अधिक डाउनस्ट्रीम विषाक्तता को प्रेरित करते हैं।

SPG साक्ष्य: चेन टोपोलॉजी में, SPG $0.140 $($ p = 3.75 \times 10^{-8}$) था, जो दर्शाता कि क्लासिफायर-क्लीन मेमोरी पर्याप्त व्यवहारिक प्रभाव बनाए रखती है।
मजबूती (Robustness): यह घटना विभिन्न क्लासिफायर थ्रेशोल्ड ( $\tau \in \{0.03, \dots, 0.5\}$ ) और विभिन्न ग्राफ टोपोलॉजी (चेन, ट्री, DAG) में बनी रहती है, हालांकि इसका परिमाण टोपोलॉजी के अनुसार बदलता रहता है।

2. विशिष्ट प्रसार चैनल (Distinct Propagation Channels)

अध्ययन विषाक्तता के स्रोतों को अलग करता है:

ट्रांसक्रिप्ट बैकफ्लो मुख्य रूप से स्पष्ट डाउनस्ट्रीम विषाक्तता (उच्च $\Delta\mu$ और $P95_{tox}$ ) को संचालित करता है।
संकुचित मेमोरी (Compressed Memory) छिपे हुए, सब-थ्रेशोल्ड प्रभाव को वहन करती है (उच्च SPG)।
स्वच्छता का समय (Sanitization Timing): सारांशीकरण के बाद लागू किए गए हस्तक्षेप (जैसे, एक पूर्ण सारांश को फिर से लिखना) स्पष्ट विषाक्तता को कम करते हैं लेकिन छिपे हुए अंतर (SPG) को बंद करने में विफल रहते हैं। इसके विपरीत, मेमोरी में संकुचित होने से पहले सामग्री को शुद्ध करना (राइट-गेटिंग) SPG को प्रभावी ढंग से समाप्त कर देता है।

3. शमन प्रभावकारिता (Mitigation Efficacy)

एकल हस्तक्षेप: आउटपुट फ़िल्टरिंग दृश्य विषाक्तता को कम करती है लेकिन प्रसार चैनलों को खुला छोड़ देती है। अकेले DPO औसत प्रवर्धन (amplification) को कम करता है लेकिन दूषित स्टेट को हटाने में विफल रहता है, जिससे उच्च टेल विषाक्तता बनी रहती है।
पूर्ण सिस्टम: रीड-साइड स्वच्छता, राइट-साइड स्टेट कंट्रोल और पैरामीटर-स्तरीय डिबायसिंग का संयोजन अन्य कॉन्फ़िगरेशन पर पूरी तरह से हावी है। यह निम्नतम माध्य विषाक्तता, निम्नतम $\Delta\mu$ , निम्नतम $P95_{tox}$ और लगभग शून्य SPG प्राप्त करता है।
महत्वपूर्ण अंतर्दृष्टि: सबसे प्रभावी शमन सारांशीकरण से पहले स्टेट को शुद्ध करना है। केवल अंतिम सारांश को साफ करना अपर्याप्त है क्योंकि प्रतिकूल ढांचा (adversarial framing) पहले ही क्लासिफायर के डिटेक्शन थ्रेशोल्ड से नीचे संकुचित हो चुका हो सकता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि उसने मेमोरी-ऑगमेंटेड LLM एजेंट्स में एक पहले से अन-एक्सैमिंड सुरक्षा विफलता मोड के रूप में मेमोरी लॉन्ड्रिंग की पहचान और अनुभवजन्य रूप से लक्षण वर्णन किया है। इसके प्राथमिक योगदान हैं:

मेमोरी लॉन्ड्रिंग की परिभाषा: यह प्रदर्शित करना कि सारांशीकरण (summarization) स्पष्ट रूप से विषाक्त संदर्भ को क्लासिफायर-क्लीन स्टेट्स में बदल सकता है जो फिर भी एजेंटों को विषाक्त व्यवहार की ओर निर्देशित करते हैं।
नया मेट्रिक (SPG): एक ऐसा मेट्रिक पेश करना जो उस शासन (regime) के भीतर व्यवहारिक प्रभाव को मापता है जिसे एक तैनात मॉनिटर सुरक्षित वर्गीकृत करेगा, जिससे वह छिपा हुआ प्रसार प्रकट होता है जिसे मानक मेट्रिक्स मिस कर देते हैं।
स्टेट-लेवल सेफ्टी प्रतिमान: यह तर्क देना कि एजेंटिक सिस्टम में सुरक्षा को एक स्टेट-कंट्रोल समस्या के रूप में माना जाना चाहिए। लेखक का तर्क है कि मजबूत सुरक्षा के लिए निरंतर मेमोरी में संकुचित होने से पहले स्टेट को शुद्ध करना आवश्यक है, क्योंकि सारांशों की पोस्ट-हॉक (post-hoc) सफाई अक्सर छिपे हुए प्रभाव को रोकने के लिए बहुत देर हो चुकी होती है।

यह कार्य सुझाव देता है कि वर्तमान सुरक्षा प्रतिमान जो केवल आउटपुट फ़िल्टरिंग या पैरामीटर अनलर्निंग पर ध्यान केंद्रित करते हैं, वे मल्टी-एजेंट सिस्टम के लिए अपर्याप्त हैं जहाँ संदर्भ का पुन: उपयोग और संपीड़न किया जाता है। प्रस्तावित स्टेट-अवेयर फ्रेमवर्क सुरक्षित लॉन्ग-होरिजन एजेंट परिनियोजन के लिए एक आवश्यक आर्किटेक्चरल बाधा प्रदान करता है।