💻 computer science

Failure-Aware Adaptive Inference Improves Reliability in Long-Horizon Language Model Agents

यह शोध पत्र फेलियर-अवेयर एडेप्टिव इन्फरेंस (FAAI) प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो अडैप्टिव मेमोरी रिट्रीवल, रिस्क एस्टीमेशन और प्रोएक्टिव सेल्फ-करेक्शन के माध्यम से पुन: प्रयोज्य विफलता ज्ञान (reusable failure knowledge) का लाभ उठाता है ताकि बिना किसी अतिरिक्त मॉडल प्रशिक्षण के लॉन्ग-होरिज़न लैंग्वेज मॉडल एजेंटों की विश्वसनीयता और सफलता दर में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Youla Yang

प्रकाशित 2026-08-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youla Yang

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

अपने ही पैरों में उलझकर गिरने से बचने की कला

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अनाड़ी रोबोट को एक विशाल, बदलते हुए भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है, जो एक प्रकार की कृत्रिम बुद्धिमत्ता (AI) है जो शब्दों को समझने और बातचीत करने में अविश्वसनीय रूप से कुशल है। कंप्यूटर विज्ञान की दुनिया में, हम इन्हें "एजेंट्स" कहते हैं। जब कार्य सरल होता है, जैसे कि किसी एक प्रश्न का उत्तर देना, तो रोबोट आमतौर पर ठीक रहता है। लेकिन जब कार्य एक लंबी यात्रा हो—एक "लॉन्ग-होरिज़न" मिशन जिसमें दर्जनों चरणों की आवश्यकता होती है, जैसे कि एक जटिल यात्रा की योजना बनाना या एक पूरा सॉफ्टवेयर प्रोग्राम लिखना—तो रोबोट लड़खड़ाने लगता है।

मुख्य समस्या यह है कि ठोकर लगने के बाद क्या होता है। एक साधारण खेल में, यदि आप एक गलत चाल चलते हैं, तो आप बस फिर से प्रयास करते हैं। लेकिन एक लंबी, क्रमिक साहसिक यात्रा में, एक गलत चाल पूरे मानचित्र को बदल सकती है। यदि रोबोट गलत दरवाजा खोल देता है, तो वह खुद को इमारत के बाकी हिस्से से बाहर लॉक कर सकता है। इसे "फेलियर प्रोपेगेशन" (failure propagation) कहा जाता है: शुरुआत में हुई एक छोटी सी गलती अंत तक आते-आते एक बड़ी आपदा में बदल जाती है। वैज्ञानिकों ने रोबोट को आगे बढ़ने से पहले अधिक सोचने (जिसे "चेन-ऑफ-थॉट" तकनीक कहा जाता है) या उसे पिछले अनुभवों की लाइब्रेरी देखने देने (जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" कहा जाता है) के माध्यम से इसे ठीक करने की कोशिश की है। हालाँकि, ये विधियाँ अक्सर सभी पिछले अनुभवों को समान मानती हैं, यह भूल जाती हैं कि कुछ यादें वास्तव में चेतावनी होती हैं। वे अक्सर रोबोट के क्रैश होने के बाद ही यह कहने के लिए रुकती हैं कि, "ओह, चलो फिर से कोशिश करते हैं," जो कि बहुत देर हो चुकी होती है यदि क्रैश ने किसी ऐसी चीज़ को तोड़ दिया हो जिसे ठीक नहीं किया जा सकता।

"फेलियर-अवेयर" सुरक्षा जाल

यहीं पर यूला यांग द्वारा विकसित फेलियर-अवेयर एडेप्टिव इन्फरेंस (FAAF) नामक एक नया फ्रेमवर्क काम आता है। केवल यह याद रखने के बजाय कि क्या काम आया, FAAI AI को अपने पिछले दोषों (mistakes) को "यहाँ मत जाओ" के संकेतों वाले एक खजाने के नक्शे के रूप में देखने के लिए सिखाता है। यह प्रणाली एक अनुभवी गाइड की तरह काम करती है जो न केवल सुंदर दृश्यों को याद रखता है, बल्कि विशेष रूप से उन चट्टानों को भी याद रखता है जहाँ हाइकर्स गिरे थे।

यह व्यवहार में इस प्रकार काम करता है:

मेमोरी बैंक: हर बार जब AI कोई कार्रवाई करता है, तो वह एक नोट सहेजता है। लेकिन अन्य प्रणालियों के विपरीत जो सब कुछ समान रूप से सहेजती हैं, FAAI विशेष रूप से उन नोट्स को टैग और प्राथमिकता देता है जहाँ चीजें गलत हुईं। यह दुनिया की स्थिति, ली गई कार्रवाई और बुरे परिणाम को संग्रहीत करता है।
जोखिम की जाँच (Risk Check): एक नया कदम उठाने से पहले, AI केवल अनुमान नहीं लगाता है। यह अपने मेमोरी बैंक को तेजी से स्कैन करता है कि अतीत में ऐसी कौन सी स्थितियाँ थीं जहाँ वह विफल रहा था। फिर यह एक "रिस्क स्कोर" की गणना करता है—एक संख्या जो इस संभावना को दर्शाती है कि यह विशिष्ट कार्रवाई क्रैश का कारण बनेगी।
पूर्व-खाली सुधार (Pre-Emptive Correction): यदि रिस्क स्कोर बहुत अधिक (0.6 के थ्रेशोल्ड से ऊपर) है, तो AI रुक जाता है। यह क्रैश होने का इंतज़ार नहीं करता। इसके बजाय, यह रुकता है, अपनी योजना पर फिर से विचार करता है, और वातावरण को छूने से पहले ही अपनी कार्रवाई बदल देता है। यह "प्री-एग्जीक्यूशन करेक्शन" है, एक सक्रिय कदम जो त्रुटि को होने से पहले ही रोक देता है।

शोधकर्ताओं ने परीक्षण के लिए दो अलग-अलग डिजिटल दुनिया का उपयोग किया: HotPotQA, जो एक बहु-चरणीय तर्क खेल है जहाँ AI को उत्तर खोजने के लिए दस्तावेजों को खोजना पड़ता है, और WebShop, जो ऑनलाइन शॉपिंग का एक सिमुलेशन है जहाँ AI को विशिष्ट वस्तुएं खरीदने के लिए एक स्टोर में नेविगेट करना होता है। उन्होंने FAAI की तुलना मानक AI विधियों से की, जिनमें वे भी शामिल हैं जो कार्य करने से पहले केवल सोचते हैं, वे भी जो पिछले सफलताओं को देखते हैं, और वे भी जो केवल होने के बाद गलतियों पर विचार करते हैं।

परिणाम नाटकीय थे, विशेष रूप से जैसे-जैसे कार्य लंबे होते गए। जब मिशन छोटे (5 चरण) थे, तो FAAI पहले से ही विजेता था, जिसकी सफलता दर लगभग 54.17% थी, जबकि अगली सर्वश्रेष्ठ विधि केवल लगभग 30.56% ही प्रबंधित कर पाई। लेकिन असली जादू तब हुआ जब मिशन लंबे हो गए। जैसे-जैसे चरणों की संख्या बढ़कर 40 हो गई, अन्य विधियाँ पूरी तरह से विफल हो गईं। उनकी सफलता दर गिरकर 7% से नीचे चली गई, क्योंकि शुरुआत में हुई एक छोटी सी गलती ने पूरी यात्रा को बर्बाद कर दिया। इसके विपरीत, FAAI ने 40 चरणों पर 95.83% की आश्चर्यजनक सफलता दर बनाए रखी।

अध्ययन बताता है कि "सीक्रेट सॉस" केवल बड़ी मेमोरी रखना या अधिक सोचना नहीं है; यह विशेष रूप से भविष्य के जोखिमों की भविष्यवाणी करने के लिए पिछले विफलताओं का उपयोग करना है। जब शोधकर्ताओं ने FAAI से "रिस्क प्रेडिक्शन" वाला हिस्सा हटा दिया, तो सफलता दर 95.83% से गिरकर 17.96% रह गई, जिससे यह सिद्ध हुआ कि यह जानना कि आप कब विफल हो सकते हैं, यह याद रखने से कहीं अधिक महत्वपूर्ण है कि आप क्यों विफल हुए थे। इसके अलावा, डेटा ने दिखाया कि मानक AI के लिए, एक चरण में विफलता अगले चरण में विफलता की 62% संभावना बना देती है। FAAI ने इस श्रृंखला को तोड़ दिया, उस संभावना को घटाकर केवल 18% कर दिया।

दिलचस्प बात यह है कि पेपर यह भी रेखांकित करता है कि "रिफ्लेक्शन" (होने के बाद गलती पर विचार करना) होने से पहले उसे रोकने की तुलना में बहुत कम प्रभावी है। इन सिमुलेशन में, कार्य करने से पहले योजना को ठीक करने की FAAI की क्षमता ने जोखिम भरी स्थितियों के लिए 72.3% रिकवरी दर दिखाई, जबकि वे तरीके जो घटना के बाद केवल विचार करते थे, केवल 31.5% ही प्रबंधित कर सके। हालांकि इस दृष्टिकोण में थोड़ा अधिक समय और कंप्यूटिंग पावर (एक बुनियादी AI की तुलना में लगभग 2.8 गुना धीमा) लगता है, लेकिन इसका ट्रेड-ऑफ एक ऐसा सिस्टम है जो बिना टूटे लंबे, जटिल कार्यों को विश्वसनीय रूप से नेविगेट कर सकता है। लेखक का सुझाव है कि यह दृष्टिकोण अधिक भरोसेमंद AI एजेंट बनाने के लिए एक ब्लूप्रिंट हो सकता है जो न केवल सफलता से सीखते हैं, बल्कि अपने ही गड्ढों से बचना भी सीखते हैं।

तकनीकी सारांश: फेलियर-अवेयर एडेप्टिव इन्फरेंस (FAAI)

समस्या विवरण

क्रमिक निर्णय लेने वाले वातावरण (sequential decision-making environments) में काम करने वाले लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को एक मौलिक विश्वसनीयता चुनौती का सामना करना पड़ता है जिसे फेलियर प्रोपेगेशन (failure propagation) कहा जाता है। स्थिर भविष्यवाणी कार्यों के विपरीत, क्रमिक एजेंटों को कई चरणों में विकसित होते वातावरण के साथ बातचीत करनी होती है। एक प्रारंभिक निष्पादन त्रुटि (execution error) भविष्य की अवस्थाओं को बदल सकती है, आगामी विकल्पों को सीमित कर सकती है, और पूर्ण प्रक्षेपवक्र विफलता (trajectory failure) की ओर ले जा सकती है। लेखक नोट करते हैं कि उच्च प्रति-चरण सटीकता (जैसे, 95%) के बावजूद, लंबे क्षितिज (long horizons) (जैसे, 40 चरण) पर त्रुटि-मुक्त निष्पादन की संभावना तेजी से घटती है, जो विफलताओं के सकारात्मक सहसंबंध (जहाँ एक विफलता अगली विफलता की संभावना को बढ़ा देती है) के कारण और भी बदतर हो जाती है।

मौजूदा दृष्टिकोण—जैसे कि चेन-ऑफ-थॉट (CoT) रीजनिंग, रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), और पोस्ट-हॉक रिफ्लेक्शन—ऐतिहासिक अनुभवों को मुख्य रूप से संदर्भात्मक जानकारी या सिमेंटिक समानता के रूप में देखते हैं। वे नए कार्यों को निर्देशित करते समय सफल और विफल प्रक्षेपपथों (trajectories) के बीच स्पष्ट रूप से अंतर करने में अक्सर विफल रहते हैं। इसके अलावा, कई सुधार तंत्र प्रतिक्रियाशील (reactive) होते हैं, जो गलतियों का विश्लेषण केवल उनके होने के बाद करते हैं, जो उन वातावरणों में अपर्याप्त है जहाँ क्रियाएं अवस्था को अपरिवर्तनीय रूप से बदल सकती हैं (जैसे, अमान्य कमांड जारी करना या लेनदेन करना)।

कार्यप्रणाली: फेलियर-अवेयर एडेप्टिव इन्फरेंस (FAAI)

लेखक FAAI का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो विफलता के ज्ञान को सीधे इन्फरेंस-टाइम निर्णय लेने की प्रक्रिया में एकीकृत करता है। FAAI पिछले विफलताओं को केवल खारिज किए गए असफल प्रयासों के रूप में नहीं, बल्कि पुन: प्रयोज्य निर्णय संकेतों (reusable decision signals) के रूप में मानता है। यह ढांचा तीन मुख्य तंत्रों के माध्यम से कार्य करता है:

फेलियर-अवेयर मेमोरी रिट्रीवल:
केवल सिमेंटिक समानता पर निर्भर रहने के बजाय, FAAI अनुभवों को एक संयुक्त प्रासंगिकता स्कोर के आधार पर पुनर्प्राप्त (retrieve) करता है जिसमें शामिल हैं:
- सिमेंटिक प्रासंगिकता ( $S$ )
- विफलता प्रासंगिकता ( $F$ )
- अनुमानित मेमोरी उपयोगिता ( $U$ )
  यह स्कोरिंग फंक्शन ( $R = \lambda_s S + \lambda_f F + \lambda_u U$ ) उच्च-जोखिम वाले विफलता अनुभवों को प्राथमिकता देता है जो वर्तमान जोखिमों के लिए भविष्य कहनेवाला (predictive) हों, चाहे उनकी सिमेंटिक दूरी कुछ भी हो।
स्पष्ट जोखिम भविष्यवाणी (Explicit Risk Prediction):
प्रत्येक संभावित क्रिया $a_t$ के लिए, एजेंट एक निष्पादन जोखिम स्कोर $\rho_t = P(f_t = 1 | s_t, a_t, M_t)$ का अनुमान लगाता है, जहाँ $M_t$ फेलियर-अवेयर मेमोरी का प्रतिनिधित्व करता है। यह इस संभावना को मापता है कि एक विशिष्ट क्रिया विफलता की ओर ले जाएगी।
प्री-एग्जीक्यूशन सेल्फ-करेक्शन:
यदि अनुमानित जोखिम $\rho_t$ एक पूर्व-निर्धारित थ्रेशोल्ड $\tau$ से अधिक हो जाता है, तो एजेंट क्रिया निष्पादित होने से पहले एक सुधार चरण को ट्रिगर करता है। LLM को वर्तमान अवस्था, प्रस्तावित क्रिया, प्रासंगिक विफलता स्मृतियाँ और एक पुनर्विचार निर्देश प्रदान किया जाता है ताकि निर्णय को संशोधित किया जा सके। यह सक्रिय हस्तक्षेप वातावरण को असुरक्षित क्रियाओं से प्रभावित होने से रोकता है।

सिस्टम एक एडेप्टिव मेमोरी स्टोर बनाए रखता है जहाँ अनुभवों को उपयोगिता स्कोर दिए जाते हैं; उच्च-जोखिम वाली विफलताओं को भविष्य की त्रुटियों को रोकने के लिए निर्णय सीमाओं (decision boundaries) को एनकोड करने हेतु प्राथमिकता से रखा जाता है।

मुख्य योगदान

लेखक चार प्राथमिक योगदानों को रेखांकित करते हैं:

फेलियर प्रोपेगेशन की पहचान: लेखक विश्लेषण और प्रदर्शन करते हैं कि प्रारंभिक निष्पादन विफलताएं लंबे समय तक चलने वाले LLM एजेंटों में भविष्य की विफलताओं की संभावना को काफी बढ़ा देती हैं, जिससे एक ऐसी निर्भरता पैदा होती है जिसे मानक रीजनिंग रणनीतियां संबोधित करने में विफल रहती हैं।
FAAI फ्रेमवर्क: एक नवीन इन्फरेंस फ्रेमवर्क जो फेलियर-अवेयर मेमोरी रिट्रीवल, स्पष्ट निष्पादन जोखिम अनुमान और प्री-एग्जीक्यूशन सेल्फ-करेक्शन को एकीकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि FAAI लंबे क्षितिज वाले सेटिंग्स में कार्य पूर्णता में काफी सुधार करता है, और जैसे-जैसे इंटरैक्शन क्षितिज बढ़ता है, उच्च विश्वसनीयता बनाए रखता है, जबकि मौजूदा बेसलाइन इसके विपरीत व्यवहार करती हैं।
घटक विश्लेषण (Component Analysis): व्यवस्थित एब्लेशन अध्ययन पुष्टि करते हैं कि जबकि सभी घटक विश्वसनीयता में योगदान देते हैं, रिस्क प्रेडिक्शन सबसे महत्वपूर्ण कारक है, उसके बाद एडेप्टिव मेमोरी और सेल्फ-करेक्शन आते हैं जो तुलनीय उपयोगिता प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखक ने दो वातावरणों में FAAI का मूल्यांकन किया: HotPotQA (मल्टी-हॉप रीजनिंग) और WebShop (ऑनलाइन शॉपिंग सिमुलेशन), जिसमें इंटरैक्शन क्षितिज $H=5$ से $H=40$ तक था।

लॉन्ग-होरिज़न परफॉरमेंस: क्षितिज की लंबाई बढ़ने के साथ FAACI की सफलता दर लगातार उच्च बनी रहती है, जो $H=20$ पर 95.83% प्राप्त करती है और $H=40$ पर भी 95.83% बनाए रखती है। इसके विपरीत, सभी बेसलाइन विधियां (Direct LLM, CoT, ReAct, RAG, और Reflection-आधारित एजेंट) $H=40$ पर 7% से नीचे गिर जाती हैं।
फेलियर प्रोपेगेशन मिटिगेशन: बेसलाइन एजेंटों ने एक कंडीशनल फेलियर ट्रांजिशन प्रोबेबिलिटी $P(F_{t+1} | F_t)$ का 0.62 प्रदर्शित किया, जो मजबूत त्रुटि संचय (error accumulation) को दर्शाता है। FAAI ने इसे घटाकर 0.18 कर दिया, जो 71.0% की सापेक्ष कमी है, जो प्रभावी रूप से फेलियर प्रोपेगेशन श्रृंखला को तोड़ देता है।
एब्लेशन स्टडीज: रिस्क प्रेडिक्शन घटक को हटाने से सबसे गंभीर प्रदर्शन गिरावट आई, जिससे सफलता 95.83% से गिरकर 17.96% हो गई। एडेप्टिव मेमोरी या सेल्फ-करेक्शन को हटाने से भी महत्वपूर्ण गिरावट आई (लगभग ~39-40% तक), जिसमें बाद वाले दोनों वेरिएंट्स में मामूली अंतर था, जो यह दर्शाता है कि रिस्क एस्टीमेशन के बिना करेक्शन और रिस्क एस्टीमेशन के बिना मेमोरी की उपयोगिता तुलनीय है।
रोकथाम बनाम रिकवरी (Prevention vs. Recovery): FAAI का प्री-एग्जीक्यूशन करेक्शन 38.7% स्टेप्स में ट्रिगर हुआ, जिससे उन मामलों में 89.2% सफल परिणाम मिले। इसके परिणामस्वरूप विफलताओं वाले प्रक्षेपपथों (trajectories) के लिए 72.3% रिकवरी दर प्राप्त हुई, जबकि सर्वश्रेष्ठ रिफ्लेक्शन-आधारित बेसलाइन के लिए यह केवल 31.5% थी।
सामान्यीकरण (Generalization): फ्रेमवर्क ने स्थानांतरण क्षमता (transferability) प्रदर्शित की, WebShop वातावरण में $H=20$ पर 88.89% सफलता प्राप्त की, जबकि बेसलाइन 15% से नीचे रही।

महत्व और दावे

पेपर का दावा है कि FAAI अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता के बिना LLM-आधारित एजेंटों की मजबूती (robustness) में सुधार के लिए एक व्यावहारिक तंत्र प्रदान करता है। लेखक का तर्क है कि लंबे समय तक चलने वाले एजेंटों में विश्वसनीयता केवल प्रति-चरण सटीकता या रीजनिंग की लंबाई में सुधार करके प्राप्त नहीं की जा सकती; इसके बजाय, एजेंटों को जोखिम भरे स्टेट क्षेत्रों का पता लगाने और त्रुटियां होने से पहले हस्तक्षेप करने के लिए तंत्र की आवश्यकता होती है।

विफलताओं को केवल खारिज की गई त्रुटियों के बजाय सूचनात्मक, भविष्य कहने वाले संकेतों के रूप में मानकर, FAAI रिएक्टिव रिफ्लेक्शन और केवल सिमेंटिक रिट्रीवल की सीमाओं को संबोधित करता है। परिणाम एक व्यापक डिजाइन सिद्धांत का सुझाव देते हैं: मजबूत स्वायत्त एजेंटों के पास अपने स्वयं के विफलता पैटर्न को समझने, भविष्यवाणी करने और उनसे बचने की क्षमता होनी चाहिए। हालांकि लेखक स्पष्ट विफलता संकेतों पर निर्भरता, कम्प्यूटेशनल ओवरहेड और स्टेशनैरिटी धारणाओं के संबंध में सीमाओं को स्वीकार करते हैं, वे तर्क देते हैं कि फेलियर-अवेयर एडेप्टेशन अधिक विश्वसनीय और तैनात करने योग्य (deployable) AI एजेंटों की दिशा में एक महत्वपूर्ण कदम है।