🤖 AI

Why Retrying Fails: Context Contamination in LLM Agent Pipelines

यह शोध पत्र कॉन्टेक्स्ट-कंटेमिनेटेड रिस्टार्ट मॉडल (CCRM) को पेश करता है जो औपचारिक रूप से यह मात्रा निर्धारित करता है कि कैसे विफल LLM एजेंट प्रयास त्रुटि दरों को बढ़ाकर बाद के प्रयासों को दूषित करते हैं, जिससे सफलता की संभावनाओं और इष्टतम पाइपलाइन गहराई के सैद्धांतिक बंधों को प्राप्त किया जाता है जिन्हें वास्तविक दुनिया के SWE-bench डेटा के विरुद्ध अनुभवजन्य रूप से मान्य किया गया है।

मूल लेखक: Zhanfu Yang

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhanfu Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Why Retrying Fails: Context Contamination in LLM Agent Pipelines" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य समस्या: "खराब याददाश्त" का प्रभाव (The "Bad Memory" Effect)

कल्पना कीजिए कि आप एक जटिल पहेली सुलझाने की कोशिश कर रहे हैं, जैसे कि किसी टूटे हुए कोड को ठीक करना। आप एक AI असिस्टेंट से मदद मांगते हैं।

प्रयास 1: AI इसे ठीक करने की कोशिश करता है लेकिन एक गलती कर देता है।
प्रयास 2: आप AI को कहते हैं, "यह काम नहीं किया, फिर से कोशिश करो।"

एक आदर्श दुनिया में, AI उस गलती को भूल जाता और नए सिरे से शुरुआत करता। लेकिन वास्तविकता में, AI उस गलती को याद रखता है। वह असफल प्रयास अभी भी उसके "बातचीत के इतिहास" (context window) में मौजूद है। क्योंकि AI अपनी पिछली गलती को देख रहा है, वह भ्रमित हो जाता है या एक लूप में फंस जाता है, जिससे दूसरी बार विफल होने की संभावना पहली बार की तुलना में अधिक हो जाती है।

लेखक इसे "कॉन्टेक्स्ट कंटैमिनेशन" (Context Contamination) कहते हैं। यह एक गंदे फर्श को साफ करने जैसा है, जहाँ हर बार पोंछने पर आप थोड़ा और कीचड़ पीछे छोड़ देते हैं, जिससे अगली बार सफाई करना और कठिन हो जाता है।

समाधान: एक नया गणितीय मॉडल (CCRM)

शोधकर्ताओं ने एक नया गणितीय मॉडल बनाया जिसे कॉन्टेक्स्ट-कंटैमिनेटेड रीस्टार्ट मॉडल (CCRM) कहा जाता है, ताकि यह समझाया जा सके कि यह वास्तव में कैसे होता है और इसे कैसे ठीक किया जाए। वे AI की 'रिट्राय' (पुनः प्रयास) प्रक्रिया को विशिष्ट नियमों वाले एक खेल की तरह देखते हैं:

पाइपलाइन (The Pipeline): AI केवल एक बार में कोड को "ठीक" नहीं करता; वह काम को छोटे-छोटे चरणों की एक श्रृंखला में तोड़ देता है (जैसे एक पाइपलाइन)। यदि कोई भी चरण विफल होता है, तो पूरा प्रयास विफल हो जाता है।
कंटैमिनेशन (The Contamination):
- प्रयास 1 (साफ/Clean): AI के विफल होने की एक मानक संभावना होती है (मान लीजिए 10%)।
- प्रयास 2+ (दूषित/Contaminated): यदि प्रयास 1 विफल हो जाता है, तो AI अब "दूषित" हो चुका है। उसकी विफल होने की संभावना बढ़ जाती है (शायद 30% या उससे अधिक) क्योंकि वह पिछले दोष के बोझ को ढो रहा है।

पाँच बड़ी खोजें

पेपर इस "खराब याददाश्त" के प्रभाव के बारे में पाँच मुख्य बातें सिद्ध करता है:

1. सफलता का सटीक फॉर्मूला
उन्होंने एक सटीक गणितीय समीकरण निकाला है जो यह भविष्यवाणी करता है कि AI कुछ निश्चित प्रयासों के भीतर अंततः सफल होने की कितनी संभावना रखता है।

उदाहरण: यह बिल्कुल वैसा ही है जैसे यह जानना कि आपको "6" लाने के लिए पासे को कितनी बार फेंकने की आवश्यकता है, लेकिन यह जानते हुए कि हर बार असफल होने पर पासा आपके खिलाफ थोड़ा "भारित" (loaded) होता जा रहा है।

2. "कैस्केड" ओवरहेड (The "Cascade" Overhead)
कंटैमिनेशन के कारण, आपको सफल होने के लिए कई अधिक प्रयासों की आवश्यकता होती है, जितने कि तब चाहिए होते जब AI की याददाश्त साफ होती।

उदाहरण: यदि आप सीढ़ी चढ़ रहे हैं, तो एक 'क्लीन रीस्टार्ट' सीढ़ी से नीचे उतरकर फिर से शुरू करने जैसा है। एक 'कंटैमिनेटेड रीस्टार्ट' उसी सीढ़ी चढ़ने की कोशिश करने जैसा है, लेकिन हर बार फिसलने पर सीढ़ी के डंडे और भी फिसलन भरे और पकड़ने में कठिन हो जाते हैं। आप आवश्यकता से कहीं अधिक बार फिसलते हैं।

3. कार्य के आकार के लिए सही संतुलन (The Sweet Spot for Task Size)
पेपर पूछता है: "यदि हमारे पास 'प्रयासों' का एक सीमित बजट (कंप्यूटिंग पावर) है, तो हमें कार्य को कितने चरणों में तोड़ना चाहिए?"

निष्कर्ष: इसके बीच में एक आदर्श संतुलन है। यदि कार्य बहुत लंबा है (बहुत अधिक चरण), तो एक भी चूक पूरे काम को खराब कर देती है। यदि यह बहुत छोटा है, तो आप बार-बार रीस्टार्ट करने में समय बर्बाद करते हैं। गणित आपको कार्य की सफलता को अधिकतम करने के लिए सटीक "स्वीट स्पॉट" लंबाई बताता है।

4. सैद्धांतिक सीमा (The Theoretical Limit)
उन्होंने सिद्ध किया कि आपकी रणनीति कितनी भी स्मार्ट क्यों न हो, आप कंटैमिनेशन द्वारा निर्धारित सीमाओं को पार नहीं कर सकते। आप बिना मेमोरी क्लियर किए उनके मॉडल द्वारा अनुमानित प्रयासों से कम में सफल नहीं हो सकते।

5. "स्लेट को साफ करने" की शक्ति (The Power of "Clearing the Slate")
सबसे व्यावहारिक निष्कर्ष: यदि आप दोबारा प्रयास करने से पहले AI की मेमोरी मिटा देते हैं, तो यह बहुत बेहतर काम करता है।

उदाहरण: यदि आप ट्रैफिक जाम में फंसे हैं, तो उसी जाम से दोबारा गुजरने की कोशिश करना मददगार नहीं होगा। लेकिन यदि आप दूसरा रास्ता चुनते हैं (कॉन्टेक्स्ट को क्लियर करना), तो आप ट्रैफिक से पूरी तरह बच जाते हैं। गणित दिखाता है कि दोबारा प्रयास करने से पहले कॉन्टेक्स्ट को क्लियर करना हमेशा सबसे अच्छा विकल्प है।

वास्तविक प्रमाण: "SWE-bench" टेस्ट

शोधकर्ताओं ने अपने सिद्धांत का परीक्षण SWE-bench नामक एक बेंचमार्क के वास्तविक डेटा पर किया (जहाँ AI सॉफ़्टवेयर बग्स को ठीक करने की कोशिश करता है)।

पुराना तरीका (IID Model): पिछले सिद्धांतों ने माना था कि यदि एक AI एक बार विफल होता है, तो अगली बार उसके विफल होने की संभावना उतनी ही होती है जितनी पहली बार थी (जैसे एक निष्पक्ष सिक्का उछालना)।
वास्तविकता: पुराने सिद्धांत बहुत अधिक आशावादी थे। उन्होंने भविष्यवाणी की थी कि AI तीन प्रयासों के बाद लगभग 98.6% बार सफल होगा। वास्तव में, यह केवल 81.2% बार सफल हुआ।
नया तरीका (CCRM): नए मॉडल ने लगभग पूर्ण सटीकता के साथ (0.1% से कम त्रुटि) सफलता दर की भविष्यवाणी की।

मुख्य निष्कर्ष (The Takeaway)

जब एक AI किसी कार्य में विफल हो जाता है और आप उसे "फिर से कोशिश करने" के लिए कहते हैं, तो वह अक्सर फिर से विफल हो जाता है क्योंकि वह अपनी पिछली गलतियों से घिरा होता है।

केवल अंधे होकर दोबारा प्रयास न करें।
कॉन्टेक्स्ट को क्लियर करें। पेपर सिद्ध करता है कि दोबारा प्रयास करने से पहले AI की मेमोरी को रीसेट करना कंप्यूटिंग पावर बचाने और बेहतर परिणाम प्राप्त करने का सबसे प्रभावी तरीका है।

लेखक यह भी नोट करते हैं कि यदि आप AI को शुरुआती गलतियाँ कम करने के लिए प्रशिक्षित कर सकते हैं, तो इसका लाभ बहुत बड़ा है क्योंकि यह "कंटैमिनेशन कैस्केड" को शुरू होने से ही रोक देता है।

तकनीकी सारांश: रिट्राय (Retry) क्यों विफल होता है: LLM एजेंट पाइपलाइनों में कॉन्टेक्स्ट कंटैमिनेशन (Context Contamination)

1. समस्या का विवरण (Problem Statement)

जब लार्ज लैंग्वेज मॉडल (LLM) एजेंट मल्टी-स्टेप, टूल-ऑगमेंटेड कार्यों में विफल होते हैं, तो मानक अभ्यास कार्य को पुनः प्रयास (retry) करना होता है। हालाँकि, विफल प्रयास मॉडल के कॉन्टेक्स्ट विंडो में इतिहास के रूप में बना रहता है। यह "कॉन्टेक्स्ट कंटैमिनेशन" (संदर्भ संदूषण) एजेंट को त्रुटिपूर्ण तर्क या गलत टूल आउटपुट को आगे ले जाने के लिए मजबूर करता है, जिससे आगामी प्रयासों के लिए त्रुटि दर प्रभावी रूप से बढ़ जाती है।

यद्यपि यह घटना व्यवहार में व्यापक रूप से देखी जाती है (उदाहरण के लिए, एजेंट पिछले गलत अनुभवों से सीखे गए खराब एंडपॉइंट्स को बार-बार संदर्भित करते हैं), लेकिन इस बात को मापने के लिए कोई औपचारिक सैद्धांतिक ढांचा नहीं है कि यह कंटैमिनेशन टास्क डेप्थ (कार्य गहराई), एरर रेट (त्रुटि दर), या कंप्यूटेशनल बजट के साथ कैसे स्केल करता है। मौजूदा साहित्य सिंगल-रन विश्वसनीयता या अनुभवजन्य विफलता कैटलॉग पर ध्यान केंद्रित करता है, लेकिन यह क्रॉस-अटेम्प्ट डायनेमिक्स (विभिन्न प्रयासों के बीच की गतिशीलता) को मॉडल करने में विफल रहता है जो वास्तविक दुनिया के रिट्राय व्यवहार को परिभाषित करते हैं। फलस्वरूप, साधारण रिट्राय रणनीतियां अक्सर महत्वपूर्ण कंप्यूट संसाधनों को बर्बाद करती हैं, और मानक इंडिपेंडेंट एंड आइडेंटिकली डिस्ट्रीब्यूटेड (IID) धारणाएं मल्टी-अटेम्प्ट परिदृश्यों में सफलता की संभावनाओं का अत्यधिक आकलन करती हैं।

2. कार्यप्रणाली: कॉन्टेक्स्ट-कंटैमिनेटेड रिस्टार्ट मॉडल (CCRM)

लेखक इस गतिशीलता को औपचारिक रूप देने के लिए कॉन्टेक्स्ट-कंटैमिनेटेड रिस्टार्ट मॉडल (CCRM) पेश करते हैं। मॉडल एक पाइपलाइन को गहराई $T$ (टूल इनवोकेशन का एक क्रम) के रूप में परिभाषित करता है जहाँ एजेंट कुल बजट $B = KT $के भीतर अधिकतम$ K$ प्रयास करता है।

मुख्य तंत्र (Core Mechanisms):

कंटैमिनेशन स्टेट ( $Z_k$ ): एक बाइनरी स्टेट $Z_k \in \{0, 1\}$ जो $k$ -वें प्रयास की कॉन्टेक्स्ट स्थिति को दर्शाता है। $Z_1 = 0$ (स्वच्छ/क्लीन)।
एरर रेट्स (Error Rates):
- $\epsilon_0$ : बेस प्रति-स्टेप एरर रेट जब कॉन्टेक्स्ट स्वच्छ हो ( $Z_k=0$ )।
- $\epsilon_1$ : उन्नत प्रति-स्टेप एरर रेट जब कॉन्टेक्स्ट कंटैमिनेटेड हो ( $Z_k=1$ ), जहाँ $\epsilon_1 > \epsilon_0$ ।
ट्रांजिशन डायनेमिक्स (Transition Dynamics): यदि कोई प्रयास $k$ विफल होता है ( $S_k=0$ ), तो स्टेट बदलकर $Z_{k+1}=1$ हो जाता है, जो सभी आगामी प्रयासों को कंटैमिनेट कर देता है। यदि कोई प्रयास सफल होता है, तो प्रक्रिया समाप्त हो जाती है।
सफलता की संभावना: एक एकल प्रयास की सफलता की संभावना $p_i = (1-\epsilon_i)^T$ है। अतः, $p_1 < p_0$ ।

मॉडल प्रयासों के अनुक्रम को एक मार्कोव चेन (Markov chain) के रूप में मानता है जहाँ "कंटैमिनेटेड" स्टेट में ट्रांजिशन वर्तमान कार्य के लिए एक एब्जॉर्बिंग (absorbing) स्टेट है (जब तक कि सफलता न मिल जाए, जो प्रक्रिया को समाप्त करती है, या बजट समाप्त न हो जाए)।

3. मुख्य योगदान और सैद्धांतिक परिणाम

लेखक CCRM फ्रेमवर्क के तहत पांच मुख्य सैद्धांतिक परिणाम प्राप्त करते हैं:

R1: सटीक सफलता सूत्र (Theorem 1)

लेखक $K$ प्रयासों के भीतर सफल होने की संभावना के लिए एक क्लोज्ड-फॉर्म सूत्र प्राप्त करते हैं:
$P(\text{succeed in } \le K) = p_0 + (1-p_0)[1 - (1-p_1)^{K-1}]$
यह सूत्र इस बात का लेखा-जोखा रखता है कि पहले प्रयास की संभावना $p_0$ है और सभी बाद के प्रयासों (विफलता के बाद) की संभावना $p_1$ है। यह संरचना विश्वसनीयता इंजीनियरिंग (reliability engineering) में पाए जाने वाले एक संशोधित ज्योमेट्रिक डिस्ट्रीब्यूशन के समान है, लेकिन इसे यहाँ क्रॉस-अटेम्प्ट कंटैमिनेशन पर लागू किया गया है।

R2: कैस्केड ओवरहेड और फेज ट्रांजिशन (Theorem 2)

पेपर "कैस्केड ओवरहेड" ( $\Delta K$ ) को मापता है, जो क्लीन-रिस्टार्ट (IID) बेसलाइन की तुलना में लक्ष्य सफलता संभावना $1-\delta$ प्राप्त करने के लिए आवश्यक अतिरिक्त प्रयास है।

यूनिवर्सल लोअर बाउंड: कंटैमिनेशन हमेशा एक सकारात्मक ओवरहेड ( $\Delta K > 0$ ) लाता है।
फेज ट्रांजिशन: जैसे-जैसे कंटैमिनेशन रेशियो $\epsilon_1/\epsilon_0$ बढ़ता है (या पाइपलाइन डेप्थ $T$ बढ़ती है), सिस्टम एक फेज ट्रांजिशन से गुजरता है। "सुपर-क्रिटिकल" रिजीम में, आवश्यक प्रयास $\Delta K$ अनंत की ओर बढ़ते हैं, जबकि IID बेसलाइन सीमित रहती है। यह समझाता है कि क्यों गहरे पाइपलाइन्स और उच्च कंटैमिनेशन रेशियो वाले सिस्टम साधारण रिट्राय के साथ व्यावहारिक रूप से समाधान योग्य नहीं रह जाते।

R3: इष्टतम बजट आवंटन (Theorem 3)

एक निश्चित कुल बजट $B$ के लिए, पेपर इष्टतम पाइपलाइन डेप्थ $T^*$ की पहचान करता है जो सफलता की संभावना को अधिकतम करता है। क्लोज्ड-फॉर्म समाधान है:
$T^* = \sqrt{B \cdot \frac{\log(1/(1-\epsilon_1))}{\log(1/(1-\epsilon_0))}}$
परिणाम दिखाता है कि मजबूत कंटैमिनेशन (बड़ा $\epsilon_1/\epsilon_0$ ) आनुपातिक रूप से छोटा इष्टतम डेप्थ $T^*$ निर्धारित करता है, जो प्रभावी रूप से कंटैमिनेटेड स्टेट में प्रवेश करने के जोखिम को कम करने के लिए छोटे, उथले (shallower) पाइपलाइन्स की सिफारिश करता है।

R4: इंफॉर्मेशन-थ्योरेटिक लोअर बाउंड (Theorem 4)

ले कैम के मेथड (Le Cam's method) और एक टू-हाइपोथीसिस कंस्ट्रक्शन (IID मॉडल और CCRM के बीच अंतर करना) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि कोई भी पॉलिसी $K_{CCRM} - O(1)$ प्रयासों से कम में $1-\delta$ की सफलता की संभावना प्राप्त नहीं कर सकती है। यह स्थापित करता है कि प्राप्त सूत्र एक कांस्टेंट फैक्टर तक टाइट (tight) है।

R5: क्लीन-रिस्टार्ट डोमिनेंस (Theorem 5)

पेपर सिद्ध करता है कि रिट्राय से पहले कॉन्टेक्स्ट विंडो को क्लियर करना (अर्थात $Z_k=0$ को रीसेट करना) मानक "कंटैमिनेटेड" रिट्राय रणनीति की तुलना में स्पष्ट रूप से बेहतर (strictly dominate) है। सुधार अनुपात स्पष्ट रूप से व्युत्पन्न किया गया है, जो दिखाता है कि कॉन्टेक्स्ट क्लियरिंग आवश्यक प्रयासों की संख्या को काफी कम कर देता है।

4. अनुभवजन्य सत्यापन (Empirical Validation)

लेखक सिंथेटिक मोंटे कार्लो प्रयोगों और SWE-bench Verified से वास्तविक दुनिया के डेटा का उपयोग करके CCRM मॉडल को सत्यापित करते हैं।

सिंथेटिक सत्यापन: 30,000 ट्रायल्स के साथ प्रयोग पुष्टि करते हैं कि सैद्धांतिक सफलता सूत्र सिमुलेशन डेटा के साथ $\le 0.003$ की त्रुटि के साथ मेल खाता है। कैस्केड ओवरहेड में फेज ट्रांजिशन की भविष्यवाणी के अनुसार ही देखा गया है।
वास्तविक दुनिया का डेटा (SWE-bench):
- Verdent (SWE-bench Verified) के डेटा का उपयोग करते हुए, जहाँ एजेंट एक ही इश्यू पर लगातार प्रयास करते हैं, लेखक CCRM मॉडल को फिट करते हैं।
- परिणाम: मानक IID मॉडल pass@3 दर का 17.4 प्रतिशत अंक अधिक आकलन करता है (98.6% बनाम वास्तविक 81.2% की भविष्यवाणी करता है)।
- फिट: CCRM मॉडल डेटा को 0.001 से कम की त्रुटि के साथ फिट करता है।
- अनुमान (Inference): फिट किए गए पैरामीटर्स संकेत देते हैं कि कैस्केड रेशियो $\epsilon_1/\epsilon_0 = 7.1$ है, जो दर्शाता है कि एक विफल प्रयास प्रति-स्टेप एरर रेट को 7.1 के कारक से बढ़ा देता है।
- तुलना: इसके विपरीत, स्वतंत्र फ्रेश-स्टार्ट रिट्राय (जैसे, USEagent, OpenHands) का उपयोग करने वाले बेंचमार्क, IID भविष्यवाणियों और वास्तविक प्रदर्शन के बीच बड़े अंतराल दिखाते हैं, लेकिन लेखक इसे कोरिलेटेड टास्क डिफिकल्टी (सह-संबंधित कार्य कठिनाई) के कारण मानते हैं, जो कि एक अलग घटना है और CCRM के दायरे से बाहर है।

5. महत्व और दावे

पेपर का दावा है कि यह टूल-ऑगमेंटेड एजेंटों में क्रॉस-अटेम्प्ट कॉन्टेक्स्ट कंटैमिनेशन का विश्लेषण करने के लिए पहला औपचारिक ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

गलत धारणाओं को सुधारना: यह प्रदर्शित करना कि लगातार रिट्राय के लिए IID धारणा मौलिक रूप से त्रुटिपूर्ण है, जिससे विश्वसनीयता का गंभीर अति-आकलन होता है।
कार्रवाई योग्य सिद्धांत: इष्टतम बजट आवंटन ( $T^*$ ) के लिए क्लोज्ड-फॉर्म समाधान प्रदान करना और यह सिद्ध करना कि कॉन्टेक्स्ट क्लियर करना हिस्ट्री बनाए रखने की तुलना में बेहतर है।
सैद्धांतिक कठोरता: इंफॉर्मेशन-थ्योरेटिक लोअर बाउंड स्थापित करना और उन फेज ट्रांजिशन की पहचान करना जहाँ रिट्राय रणनीतियाँ अप्रभावी हो जाती हैं।
व्यावहारिक मार्गदर्शन: यह सुझाव देना कि बेस एरर रेट $\epsilon_0$ को कम करना (फाइन-ट्यूनिंग या बेहतर रीजनिंग के माध्यम से) जब कंटैमिनेशन रेशियो अधिक हो, तो सुपरलीनियर लाभ देता है, क्योंकि यह साथ हीกับการ $\epsilon_1$ को भी कम करता है।

लेखक एक सीमित दायरे बनाए रखते हैं, जिसमें बाइनरी कंटैमिनेशन स्टेट, एक प्रयास के भीतर प्रति-स्टेप स्वतंत्रता की धारणा, और कोरिलेटेड टास्क डिफिकल्टी (जो स्वतंत्र रिट्राय को प्रभावित करती है) जैसी सीमाओं को स्वीकार किया गया है। वे CCRM को एक आधारभूत कदम के रूप में देखते हैं, यह नोट करते हुए कि क्रॉस-अटेम्प्ट कंटैमिनेशन को विदिन-अटेम्प्ट मार्कोव डायनेमिक्स के साथ जोड़ना एक खुला प्रश्न बना हुआ है।