💬 NLP

Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory

यह शोध पत्र "मेमोरी कंटेजियन" (स्मृति संक्रामकता) की पहचान और उसे औपचारिक रूप देता है, जो एक ऐसी घटना है जहाँ मूल्यांकनकर्ता का पूर्वाग्रह एजेंट मेमोरी सिस्टम के माध्यम से समय के साथ फैलता है, यह प्रदर्शित करते हुए कि कैसे लंबाई प्राथमिकता वाला पूर्वाग्रह (length preference bias) पूर्ण समेकन (perfect consolidation) के बावजूद भविष्य के एजेंटों को संक्रमित कर सकता है, जबकि अधिकार पूर्वाग्रह (authority bias) ऐसा नहीं करता है, जो वर्तमान एआई मेमोरी आर्किटेक्चर में एक मॉडल-जनरेशन-निर्भर भेद्यता को प्रकट करता है।

मूल लेखक: Zewen Liu

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zewen Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: "बुरी आदत" का वायरस

कल्पना कीजिए कि आप एक नए कर्मचारी (AI एजेंट) को काम करने के लिए प्रशिक्षित कर रहे हैं। आप उन्हें एक मेंटर (इवैल्यूएटर/मूल्यांकक) देते हैं जो उनके काम को ग्रेड देता है।

अब, कल्पना कीजिए कि उस मेंटर की एक अजीब सी आदत है: उन्हें लंबे उत्तर बहुत पसंद हैं। उन्हें इस बात से कोई फर्क नहीं पड़ता कि उत्तर सही है या नहीं; उन्हें बस यह पसंद है कि कर्मचारी एक विशाल, लंबी निबंध जैसी रचना लिखे।

कर्मचारी इसे जल्दी सीख जाता है। अच्छे ग्रेड पाने के लिए, वह बड़े, अनावश्यक निबंध लिखने लगता है। ये निबंध कंपनी की "साझा नोटबुक" (एजेंट की मेमोरी) में सुरक्षित कर दिए जाते हैं।

बाद में, आप एक नए कर्मचारी (भविष्य के एजेंट) को काम पर रखते हैं। इस नए कर्मचारी का बॉस बिल्कुल सामान्य है जिसे लंबाई से कोई फर्क नहीं पड़ता। हालाँकि, नए कर्मचारी को कहा जाता है: "देखो कि यहाँ काम कैसे किया जाता है, इसके लिए साझा नोटबुक (Shared Notebook) को देखो।"

नया कर्मचारी नोटबुक में पुराने, लंबे निबंधों को पढ़ता है। भले ही उसका अपना बॉस लंबे उत्तरों की मांग नहीं करता, फिर भी नया कर्मचारी भी लंबे उत्तर लिखना शुरू कर देता है, क्योंकि उसने नोटबुक में वैसा ही देखा था।

इसे ही "मेमोरी कॉन्टैजन" (स्मृति संक्रामकता) कहते हैं। वह पक्षपात (लंबे उत्तरों का प्रेम) पुराने बॉस से नहीं आया था; वह पुराने कर्मचारी की मेमोरी से आया था। वह पक्षपात साझा नोट्स के माध्यम से नए एजेंट तक "संक्रमित" हो गया।

चार प्रमुख खोजें

शोधकर्ताओं ने इस विचार का परीक्षण दो प्रकार के "अजीब व्यवहारों" (पक्षपातों) का उपयोग करके किया:

लंबाई का पक्षपात (Length Bias): लंबे उत्तरों को प्राथमिकता देना।
सत्ता का पक्षपात (Authority Bias): आधिकारिक लगने वाले उत्तरों को प्राथमिकता देना (जैसे, "अध्ययन बताते हैं कि..." आदि)।

उन्होंने निम्नलिखित बातें पाईं:

1. वायरस तब भी फैलता है जब आप नोट्स को पूरी तरह से साफ़ कर देते हैं

आमतौर पर, जब हम नोट्स सहेजते हैं, तो हम जगह बचाने के लिए उनका सारांश (summarize) बनाते हैं। शोधकर्ताओं ने सोचा, "शायद अगर हम नोट्स को पूरी तरह से सारांशित कर दें, तो पक्षपात गायब हो जाएगा।"

उन्होंने एक "जादुई सारांशकर्ता" (जिसे ओरकल कहा गया) बनाया जो बिना किसी जानकारी को खोए नोट्स को संक्षिप्त करता है।

परिणाम: पक्षपात फिर भी फैलता रहा।
उपमा: कल्पना कीजिए कि पुराने कर्मचारी ने 10 पन्नों का निबंध लिखा। जादुई सारांशकर्ता उसे छोटा करके 1 पन्ना कर देता है, लेकिन यह अभी भी एक सामान्य 3-वाक्यों के उत्तर की तुलना में एक लंबा 1-पन्ने का निबंध ही है। नया कर्मचारी इसे पढ़ता है और सोचता है, "वाह, उन्होंने पूरा एक पन्ना लिखा! मुझे भी पूरा एक पन्ना लिखना चाहिए।"
निष्कर्ष: समस्या सारांशित करने में नहीं है; समस्या यह है कि मूल इनपुट ही पक्षपाती था। यदि आप सिस्टम को पक्षपाती डेटा खिलाते हैं, तो पक्षपात बना रहता है, भले ही मेमोरी कितनी भी सटीक क्यों न हो।

2. केवल कुछ ही "वायरस" संक्रामक होते हैं

शोधकर्ताओं ने दो अलग-अलग अजीब व्यवहारों का परीक्षण किया:

लंबाई का पक्षपात (The "Long Answer" Quirk): यह आसानी से फैला। नए एजेंटों ने लंबे उत्तर लिखना शुरू कर दिया।
सत्ता का पक्षपात (The "Official Sounding" Quirk): यह नहीं फैला। नए एजेंटों ने केवल इसलिए "अध्ययन बताते हैं" जैसे वाक्यांशों का उपयोग करना शुरू नहीं किया क्योंकि उन्होंने नोट्स में इसे देखा था।
उपमा: इसे फैशन ट्रेंड की तरह समझें। यदि ऑफिस में सभी बड़े, ढीले कपड़े (Length Bias) पहनने लगते हैं, तो नया कर्मचारी यह देखता है और वह भी ढीले कपड़े खरीद लेता है। लेकिन यदि सभी अपने ईमेल में प्राचीन लैटिन कहावतों (Authority Bias) का उपयोग करते हैं, तो नया कर्मचारी इसे अनदेखा कर देता है और सामान्य रूप से लिखता है। कुछ आदतें रंग लाती हैं, जबकि अन्य नहीं।

3. नए AI मॉडल "प्रतिरोधी" (Immune) होते हैं

शोधकर्ताओं ने विभिन्न वर्ज़न के AI मॉडल्स पर इसका परीक्षण किया।

पुराना मॉडल (DeepSeek V4-Chat): यह लंबाई के पक्षपात से संक्रमित हो गया।
नया/स्मार्ट मॉडल (DeepSeek V4-Pro, Claude Sonnet 4.6): इन्हें संक्रमण नहीं हुआ। इन्होंने मेमोरी में लंबे उत्तरों को अनदेखा कर दिया और सामान्य लंबाई के उत्तर लिखे।
उपमा: पुराना AI एक भोले इंटर्न की तरह है जो जो कुछ भी देखता है उसकी नकल करता है। नया AI एक अनुभवी विशेषज्ञ की तरह है जो कहता है, "मैंने देखा कि आपने अतीत में एक लंबा निबंध लिखा था, लेकिन इसका मतलब यह नहीं है कि मुझे भी वैसा ही करना होगा। मैं सीधे सवाल का जवाब दूँगा।"
निष्कर्ष: बेहतर AI मॉडल में अपग्रेड करना इस तरह के संक्रमण को रोकने का एक शानदार तरीका है।

4. कोई "सुरक्षित खुराक" (Safe Dose) नहीं होती

शोधकर्ताओं ने पूछा: "हमें कितने बुरे नोट्स की आवश्यकता है जिससे नया एजेंट संक्रमित हो जाए?"

परिणाम: भले ही मेमोरी में केवल 20% नोट्स पक्षपाती थे, फिर भी नए एजेंट ने वह बुरी आदत पकड़ ली।
उपमा: यदि आप एक ऐसे कमरे में जाते हैं जहाँ 80% लोग सामान्य रूप से बोल रहे हैं, लेकिन 20% चिल्ला रहे हैं, तो भी आप फिट होने के लिए चिल्लाना शुरू कर सकते हैं। कोई सुरक्षित सीमा नहीं है; पक्षपात की थोड़ी सी मात्रा भी व्यवहार को बदल सकती है।

यह क्यों होता है? (प्रक्रिया)

शोधकर्ताओं ने विस्तार से बताया कि यह संक्रमण कैसे होता है:

सामग्री संक्रामकता (Content Contagion): मेमोरी में मौजूद वास्तविक शब्द पक्षपाती हैं। (जैसे, नोट कहता है "लंबा लिखें।")
रिट्रीवल संक्रामकता (Retrieval Contagion): जिस तरह से AI नोट्स को खोजता है, वह पक्षपाती है। (जैसे, AI "लंबे उत्तरों" को खोजता है और उन्हें पा लेता है।)

उन्होंने पाया कि सामग्री संक्रामकता (Content Contagion) बड़ी समस्या है। बुरी आदतें वास्तव में नोट्स में लिखी हुई होती हैं।

रोज़मर्रा की समझ के लिए सारांश

समस्या: AI एजेंट अपनी मेमोरी में संग्रहीत पिछले अनुभवों से सीखते हैं। यदि आपके पिछले अनुभव किसी पक्षपाती जज (जैसे, जो लंबे उत्तर पसंद करता है) द्वारा आकार दिए गए थे, तो वह पक्षपात मेमोरी में सुरक्षित हो जाता है।
खतरा: भविष्य के AI एजेंट, भले ही उनके जज निष्पक्ष हों, वे उन यादों को पढ़ेंगे और बुरी आदतों की नकल करेंगे। इसे ही "मेमोरी कॉन्टैजन" कहते हैं।
अच्छी खबर:
1. नए, स्मार्ट AI मॉडल इस मामले में प्रतिरोधी (immune) लगते हैं।
2. यादों को सारांशित (summarize) करने से पक्षपात कम करने में मदद मिलती है (हालांकि यह इसे पूरी तरह खत्म नहीं करता है)।
3. सभी पक्षपात नहीं फैलते। "लंबाई का पक्षपात" आसानी से फैलता है; "सत्ता का पक्षपात" उनके परीक्षणों में नहीं फैला।
सीख: यदि आप AI सिस्टम बना रहे हैं, तो केवल इस बात की चिंता न करें कि आज AI को कैसे ग्रेड दिया जा रहा है। आपको यह भी जांचना होगा कि जो पुराना डेटा वह पढ़ रहा है, क्या वह पक्षपाती है। और नवीनतम, अधिक सक्षम AI मॉडल्स का उपयोग करने पर विचार करें, क्योंकि वे अतीत के बुरे उदाहरणों को अनदेखा करने में बेहतर होते हैं।

तकनीकी सारांश: मेमोरी कंटैजनियन (स्मृति संक्रामकता): एजेंट मेमोरी के माध्यम से मूल्यांकनकर्ता पूर्वाग्रह का क्रॉस-टेम्पोरल प्रसार

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM) एजेंट दीर्घकालिक सुसंगतता और स्वायत्तता बनाए रखने के लिए बाहरी मेमोरी सिस्टम पर तेजी से निर्भर हो रहे हैं। जबकि पूर्व शोध (जैसे, झांग एट अल. [2026]) ने यह पहचान लिया है कि समेकन प्रक्रिया (अनुभवों का सारांश/विलय) के दौरान मेमोरी क्षरण होता है, मौजूदा अध्ययन इस महत्वपूर्ण धारणा के तहत कार्य करते हैं कि इनपुट अनुभव निष्पक्ष होते हैं। यह शोध पत्र एक नवीन भेद्यता की पहचान करता है जिसे मेमोरी कंटैजनियन (Memory Contagion) कहा गया है: एजेंट मेमोरी सिस्टम के माध्यम से मूल्यांकनकर्ता पूर्वाग्रह का क्रॉस-टेम्पोरल प्रसार। विशेष रूप से, जब एक एजेंट को एक पक्षपाती मूल्यांकनकर्ता (जैसे, लंबाई के प्रति प्राथमिकता या अधिकार पूर्वाग्रह वाला) द्वारा प्रशिक्षित या निर्देशित किया जाता है, तो उसके परिणामी प्रक्षेपवक्र (trajectories) पक्षपाती हो जाते हैं। जब ये पक्षपाती प्रक्षेपवक्र एक साझा मेमोरी स्टोर में संग्रहीत और समेकित किए जाते हैं, तो यह पूर्वाग्रह भविष्य के उन एजेंटों तक प्रसारित हो जाता है जो उस स्टोर से जानकारी प्राप्त करते हैं, भले ही समेकन तंत्र पूर्ण (perfect) क्यों न हो। यह घटना एपिसोड और एजेंटों के बीच संचालित होती है, जो पिछले RLHF या RAG साहित्य में अध्ययन किए गए 'इंट्रा-एपिसोड' (एपिसोड के भीतर के) पूर्वाग्रह से भिन्न है।

कार्यप्रणाली
लेखक मेमोरी कंटैजनियन को औपचारिक रूप देते हैं और इस घटना को मान्य और विश्लेषण करने के लिए एक चार-चरणीय प्रायोगिक अध्ययन आयोजित करते हैं।

औपचारिकीकरण (Formalization): शोध पत्र क्रॉस-टेम्पोरल पूर्वाग्रह प्रसार को मापने के लिए एक मीट्रिक $\Gamma_{temporal}$ को परिभाषित करता है। इसकी गणना एक पक्षपाती मेमोरी स्टोर ( $M_b$ ) से जानकारी प्राप्त करने वाले लक्षित एजेंट और एक स्वच्छ मेमोरी स्टोर ( $M_c$ ) से जानकारी प्राप्त करने वाले एजेंट के व्यवहार संबंधी वितरणों के बीच वासेरस्टीन दूरी ( $W_1$ ) के रूप में की जाती है। $\Gamma_{temporal} > 0$ का अर्थ है पूर्वाग्रह का प्रसार।
प्रायोगिक डिजाइन:
- पूर्वाग्रह के प्रकार: दो प्रकार के पूर्वाग्रहों की जांच की गई है: लंबाई पूर्वाग्रह (लंबे उत्तरों के प्रति प्राथमिकता) और अधिकार पूर्वाग्रह (प्राधिकृत स्रोतों का हवाला देने वाले उत्तरों के प्रति प्राथमिकता)।
- एजेंट और मॉडल: प्रयोग मुख्य रूप से DeepSeek-Chat (V4-Chat) का आधार मॉडल के रूप में उपयोग करते हैं, जिसका सत्यापन DeepSeek V4-Pro और Claude Sonnet 4.6 पर किया गया है।
- चरण:
  - चरण 1 (पूर्वाग्रह इंजेक्शन): स्रोत एजेंट पक्षपाती मूल्यांकनकर्ताओं के आधार पर रिजेक्शन सैंपलिंग का उपयोग करके प्रक्षेपवक्र उत्पन्न करते हैं।
  - चरण 2 (मेमोरी निर्माण): प्रक्षेपव्यों को या तो "ओरेकल" (पूर्ण, हानि रहित विलय) या "LLM" (सारांश-आधारित) समेकन का उपयोग करके संग्रहीत और समेकित किया जाता है।
  - चरण 2.5 (ओरेकल एब्लेशन): यह परीक्षण करता है कि क्या पूर्ण समेकन के तहत भी कंटैजनियन बना रहता है ताकि इनपुट पूर्वाग्रह को एक पर्याप्त कारण के रूप में अलग किया जा सके।
  - चरण 3 (तंत्र अपघटन): $\Gamma_{total}$ को कंटेंट-आधारित ( $E_1$ ), रिट्रीवल-आधारित ( $E_2$ ), और इंटरेक्शन ( $E_3$ ) घटकों में विभाजित करता है ताकि प्राथमिक ट्रांसमिशन वेक्टर की पहचान की जा सके।
  - चरण 4 (डोज़-रिस्पॉन्स): कंटामिनेशन रेट $p$ (पक्षपाती स्मरियों का अंश) को बदलकर यह निर्धारित किया जाता है कि क्या कोई सुरक्षित सीमा मौजूद है।

प्रमुख योगदान

औपचारिक परिभाषा: मेमोरी के माध्यम से क्रॉस-टेम्पोरल पूर्वाग्रह प्रसार के मात्रात्मक माप के रूप में $\Gamma_{temporal}$ को पेश करता है।
अनुभवजन्य सत्यापन: यह प्रदर्शित करता है कि पूर्ण (ओरेकल) समेकन के तहत भी DeepSeek V4-Chat पर लंबाई के पूर्वाग्रह के लिए मेमोरी कंटैजनियन होता है, जो यह सिद्ध करता है कि पक्षपाती इनपुट, समेकन त्रुटियों से स्वतंत्र, एक पर्याप्त प्राथमिक कारण है।
तंत्र विश्लेषण: यह पहचानता है कि कंटेंट-आधारित कंटैजनियन ( $E_1$ ), रिट्रीवल-आधारित कंटैजनियन ( $E_2$ ) पर हावी है, हालांकि दोनों योगदान करते हैं।
डोज़-रिस्पॉन्स विश्लेषण: दिखाता है कि $p=0.2$ के निम्न कंटामिनेशन रेट पर भी पूर्वाग्रह प्रसार पता लगाया जा सकता है, और कोई सुरक्षित सीमा नहीं देखी गई।
मॉडल-निर्भरता की खोज: यह प्रकट करता है कि मेमोरी कंटैजनियन सार्वभौमिक नहीं है; यह मॉडल जनरेशन और क्षमता पर दृढ़ता से निर्भर है, जहाँ नए मॉडल कुछ प्रकार के पूर्वाग्रहों के प्रति प्रतिरक्षा दिखाते हैं।

परिणाम

ओरेकल समेकन (चरण 2.5): DeepSeek V4-Chat पर ओरेकल समेकन के तहत लंबाई का पूर्वाग्रह मजबूती से प्रसारित होता है ( $\Gamma_A = 13.18, p < 0.01$ )। इसके विपरीत, सभी 15 नियंत्रित मल्टी-सीड प्रयोगों में अधिकार पूर्वाग्रह प्रसारित होने में विफल रहा ( $\Gamma_A = 0.00$ ), हालांकि एक प्रारंभिक गैर-पुनरुत्पादनीय (non-replicable) अन्वेषणात्मक रन ने इसके विपरीत संकेत दिया था।
समेकन प्रभाव: LLM-आधारित समेकन लंबाई के पूर्वाग्रह को 84% तक कम कर देता है ( $\Gamma_B = 2.03$ बनाम $\Gamma_A = 13.18$ ), संभवतः इसलिए क्योंकि सारांश (summarization) वैश्विक लंबाई विशेषताओं को संकुचित कर देता है। हालाँकि, समेकन कंटैजनियन को पूरी तरह से नहीं रोकता है।
तंत्र अपघटन (चरण 3): कंटेंट-आधारित कंटैजनियन ( $E_1$ ) और रिट्रीवल-आधारित कंटैजनियन ( $E_2$ ) परिमाण में तुलनीय हैं, जिसमें कंटेंट थोड़ा अधिक प्रभावी है। इंटरेक्शन प्रभाव ( $E_3$ ) नगण्य हैं। LLM रीराइटिंग के माध्यम से डिबायसिंग (पूर्वाग्रह हटाना) चुनौतीपूर्ण है; जबकि लंबाई के पूर्वाग्रह को हटाने की प्रभावकारिता काफी अच्छी है (इफेक्टिविटी रेशियो 0.90), अधिकार पूर्वाग्रह को हटाने की प्रक्रिया काफी अधूरी है (इफेक्टिविटी रेशियो 0.51)।
डोज़-रिस्पॉन्स (चरण 4): कोई सुरक्षित सीमा नहीं देखी गई; $p=0.2$ पर पूर्वाग्रह प्रसार का पता चलता है। लंबाई के पूर्वाग्रह के लिए डोज़-रिस्पॉन्स वक्र मोनोटोनिक (एकदिशीय) है, जबकि अधिकार पूर्वाग्रह (एक गैर-पुनरुत्पादनीय रन में) ने पीक-एंड-डिक्लाइन पैटर्न दिखाया, जिसका कारण रिट्रीवल डायनेमिक्स के बजाय LLM-स्तरीय सेल्फ-करेक्शन को माना गया।
मल्टी-मॉडल सत्यापन: लंबाई के पूर्वाग्रह के लिए मेमोरी कंटैजनियन मॉडल-जनरेशन पर निर्भर है। DeepSeek V4-Chat संवेदनशील है ( $\Gamma_A = 13.18$ ), जबकि नए मॉडल (DeepSeek V4-Pro) और उच्च-क्षमता वाले क्रॉस-फैमिली मॉडल (Claude Sonnet 4.6) प्रतिरोधी हैं ( $\Gamma_A = 0.00$ )। यह सुझाव देता है कि इंस्ट्रक्शन फॉलोइंग, कॉन्टेक्स्ट यूटिलाइजेशन और अलाइनमेंट में सुधार स्वाभाविक रूप से कुछ प्रकार के पूर्वाग्रह प्रसार को कम कर सकते हैं।

महत्व और निहितार्थ
यह शोध पत्र तर्क देता है कि केवल समेकन तंत्रों को मेमोरी क्षरण के लिए जिम्मेदार मानने वाले दावे अपूर्ण हैं। मेमोरी सिस्टम डिजाइनरों को इनपुट पूर्वाग्रह को संबोधित करना चाहिए, क्योंकि पक्षपाती अनुभव, पूर्ण समेकन के साथ भी, कंटैजनियन का एक पर्याप्त कारण हैं। निष्कर्षों से पता चलता है कि मेमोरी कंटैजनियन LLM एजेंट सिस्टम का कोई सार्वभौमिक गुण नहीं है, बल्कि यह पूर्वाग्रह के प्रकार, मॉडल जनरेशन और कार्य संदर्भ पर निर्भर करता है। चिकित्सकों को एजेंट पाइपलाइनों में मूल्यांकनकर्ता पूर्वाग्रहों का ऑडिट करने और मॉडल अपग्रेड को एक प्राकृतिक शमन रणनीति (mitigation strategy) के रूप में विचार करने की सलाह दी जाती है, क्योंकि नए और अधिक सक्षम मॉडल लंबाई की प्राथमिकता जैसे विशिष्ट प्रकार के पूर्वाग्रह प्रसार के प्रति प्रतिरोधी प्रतीत होते हैं। यह कार्य क्रॉस-टेम्पोरल पूर्वाग्रह को मापने के लिए औपचारिक उपकरण प्रदान करता है और वर्तमान एजेंट मेमोरी डिजाइनों में महत्वपूर्ण कमजोरियों को उजागर करता है।