तकनीकी सारांश: लाइफलॉन्ग LLM एजेंट अनुकूलन में क्षमता क्षरण और संरक्षण

समस्या की परिभाषा: स्व-विकसित एजेंटों में क्षमता क्षरण (Capability Erosion)

हाल के फ्रेमवर्क्स ने लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को स्वायत्त रूप से अपने तर्क वर्कफ़्लो (reasoning workflows) को परिष्कृत करने, पुन: प्रयोज्य कौशल संचित करने, अंतर्निहित मॉडल मापदंडों को अपडेट करने और निरंतर स्मृति बनाए रखने में सक्षम बनाया है। जबकि ये प्रणालियाँ उन एजेंटों का वादा करती हैं जो निरंतर अपनी सक्षमता का विस्तार कर सकते हैं, यह शोध पत्र एक मौलिक विफलता मोड की पहचान करता है: स्व-विकास के तहत क्षमता क्षरण (capability erosion under self-evolution)।

लेखक प्रदर्शित करते हैं कि स्व-विकास अक्सर गैर-एकदिष्ट (non-monotonic) होता है। जब एक एजेंट एक नए कार्य वितरण ($Y$) के लिए अनुकूलित होता है, तो $Y$ के लिए अनुकूलन की प्रक्रिया अक्सर पिछले कार्य वितरणों ($X$) पर पहले से प्राप्त क्षमताओं को कम कर देती है। यह घटना तीन आयामों में संरचनात्मक रूप से प्रकट होती है:

1. पूर्वव्यापी क्षमता ह्रास (Retrospective Capability Decay): नए कार्यों के लिए फाइन-ट्यूनिंग या अपडेट करने के बाद पहले से सिद्ध कार्यों पर प्रदर्शन गिर जाता है।
2. व्यवहार नीति विचलन (Behavioral Policy Drift): वर्कफ़्लो अनावश्यक रूप से जटिल और बोझिल हो जाते हैं, जिससे शोर (noise) और निष्पादन चरण (execution steps) उत्पन्न होते हैं जो पूर्ववर्ती सफल व्यवहारों में मौजूद नहीं थे।
3. सामान्यीकरण क्षरण (Generalization Erosion): अनुकूलन प्रभावी तर्क स्थान (reasoning space) को संकुचित कर देता है, जिससे पहले से प्राप्त कौशल या स्मृति पुनर्प्राप्ति पैटर्न बाधित होते हैं।

यह शोध पत्र तर्क देता है कि यह केवल विशिष्ट एल्गोरिदम की विफलता नहीं है, बल्कि अनियंत्रित निरंतर स्व-संशोधन का एक संरचनात्मक परिणाम है। चाहे वह वर्कफ़्लो ग्राफ हो, स्किल बैंक हो, मॉडल पैरामीटर हों, या मेमोरी स्टोर हो, केवल वर्तमान कार्य वितरण के लिए अनुकूलित करना विनाशकारी हस्तक्षेप (destructive interference) पैदा करता है, जो उन संरचनाओं को ओवरराइट या खराब कर देता है जो पिछले कार्यों पर सफल व्यवहार का समर्थन करती थीं।

कार्यप्रणाली: क्षमता-संरक्षण विकास (Capability-Preserving Evolution - CPE)

इसे संबोधित करने के लिए, लेखक क्षमता-संरक्षण विकास (CPE) का प्रस्ताव करते हैं, जो एक सामान्य स्थिरीकरण सिद्धांत है। CPE मानक स्व-विकास उद्देश्य को एक स्पष्ट प्रतिधारण रेगुलराइज़र (retention regularizer) को शामिल करने के लिए संशोधित करता है।

सैद्धांतिक ढांचा

लेखक स्व-विकास को एक क्रमिक प्रक्रिया के रूप में मॉडल करते हैं जहाँ एक एजेंट एक नए वितरण $D_t$ पर हानि (loss) को कम करने के लिए क्षमता अवस्था $R_t$ को अपडेट करता है। नैव (Naïve) विकास केवल वर्तमान हानि $L_t(R)$ को कम करता है। इसके विपरीत, CPE इसे हल करता है:
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
जहाँ $\Omega_t$ पूर्व क्षमता-समर्थक संरचनाओं से विचलन को मापता है, और $\lambda$ स्थिरता-प्लास्टिसिटी (stability-plasticity) के बीच संतुलन को नियंत्रित करता है।

स्थानीय विश्लेषण (प्रपोजिशन 1 और 2) दिखाता है कि नैव अपडेट तब रिटेन्ड रिस्क (retained risk) को बढ़ा देते हैं जब अपडेट की दिशा पिछले कार्यों के उच्च वक्रता (sensitivity) वाले दिशाओं के साथ ओवरलैप करती है। CPE इसे उन संवेदनशील दिशाओं के साथ अपडेट को दंडित करके दबा देता है, प्रभावी रूप से एजेंट को नए वितरण की ओर बढ़ने के लिए बाध्य करता है बिना उन "क्षमता समर्थन" को नष्ट किए जो पुराने कार्यों के लिए आवश्यक हैं।

आयाम-विशिष्ट इंस्टांशिएशन (Dimension-Specific Instantiations)

शोध पत्र चार अलग-अलग विकास चैनलों में CPE को लागू करता है, जिनमें से प्रत्येक में एक विशेष रेगुलराइज़र है:

1. वर्कफ़्लो विकास (Workflow Evolution):
   • रिपॉजिटरी: निष्पादन योग्य वर्कफ़्लो ग्राफ/प्रॉम्ट प्रोग्राम।
   • तंत्र: रेगुलराइज़र $\Omega_{wf}$ एक सीड वर्कफ़्लो से निकाले गए "एंकर व्यवहार हस्ताक्षरों" (anchor behavioral signatures) से विचलन को हतोत्साहित करता है। यह सरल-कार्य प्रदर्शन को कम करने वाले अत्यधिक जटिल सत्यापन चरणों और संरचनात्मक घुमावों के संचय को रोकता है।
2. कौशल/उपकरण विकास (Skill/Tool Evolution):
   • रिपॉजिटरी: प्रक्रियात्मक टेम्पलेट्स का एक सीमित-क्षमता वाला स्किल बैंक।
   • तंत्र: रेगulराइज़र $\Omega_{sk}$ क्षमता सीमाओं के कारण उपयोगी कौशलों के निष्कासन को रोकता है। यह क्षमता-संरक्षण समेकन (capability-preserving consolidation) का उपयोग करता है, जो अर्थ संबंधी रूप से संबंधित कौशलों को मर्ज करता है और नए कौशलों को शामिल करते समय उच्च-उपयोगिता वाले ऐतिहासिक प्रविष्टियों को सीधे हटाने से बचाता है।
3. मॉडल विकास (Model Evolution):
   • रिपॉजिटरी: प्रशिक्षित मॉडल पैरामीटर (जैसे, LoRA एडेप्टर)।
   • तंत्र: रेगुलराइज़र $\Omega_{md}$ एक इलास्टिक वेट कंसोलिडेशन (EWC) शैली के दंड का उपयोग करता है। यह पिछले डोमेन के लिए पैरामीटर महत्व (फिशर सूचना के माध्यम से) का अनुमान लगाता है और उन दिशाओं में गति को दंडित करता है, जिससे केवल कम-महत्वपूर्ण दिशाओं में ही अनुकूलन की अनुमति मिलती है।
4. स्मृति विकास (Memory Evolution):
   • रिपॉजिटरी: निरंतर बाहरी मेमोरी बैंक।
   • तंत्र: रेगुलराइज़र $\Omega_{mem}$ साक्ष्य-गेटेड संरक्षण (evidence-gated preservation) का उपयोग करता है। वे स्मृतियाँ जिन्होंने बार-बार स्व-सत्यापित समर्थन संचित किया है, उन्हें स्थिर माना जाता है और निष्कासन या विनाशकारी पुनर्लेखन से सुरक्षित रखा जाता है, जबकि कम-साक्ष्य वाली प्रविष्टियाँ अनुकूलन योग्य रहती हैं।

मुख्य परिणाम

लेखक चार प्रमुख बेंचमार्क और कई मॉडल बैकबोन (GPT-5.1, GPT-5 nano, GPT-4o mini, Qwen3-0.6B, और Llama3.2-3B सहित) में अनियंत्रित ("Vanilla") स्व-विकास के विरुद्ध CPE का मूल्यांकन करते हैं।

• वर्कफ़्लो विकास (EvoAgentX on $\tau^2$-Bench):
  • Vanilla विकास ने बोझिल वर्कफ़्लो का निर्माण किया और सरल-कार्य प्रदर्शन में गिरावट आई (उदाहरण के लिए, GPT-5.1 के साथ एयरलाइन कार्यों पर 57.1% से 41.8% तक)।
  • CPE ने एक अधिक कॉम्पैक्ट निष्पादन संरचना को संरक्षित किया, जिससे जटिल-कार्य अनुकूलन को बनाए रखते हुए सरल-कार्य प्रदर्शन को 52.8% तक सुधारा।
• कौशल विकास (MemSkill on MATH):
  • Vanilla विकास ने नंबर थ्योरी की ओर वितरण शिफ्ट होने पर पहले से मौजूद कौशलों (जैसे, ज्योमेट्री) को धीरे-धीरे ओवरराइट कर दिया, जिससे अल्जेब्रा और ज्योमेट्री मूल्यांकन सेटों पर निरंतर गिरावट आई।
  • CPE ने पूर्व कौशलों के स्थिर उपयोग को बनाए रखा, जिससे सभी क्रमिक डोमेन में उच्च रिटेन्ड सटीकता प्राप्त हुई (उदाहरण के लिए, GPT-5 nano के साथ ज्योमेट्री सटीकता 58.9% से बढ़कर 59.3% हो गई)।
• मॉडल विकास (STaR on MedMCQA):
  • Vanilla सेल्फ-ट्रेनिंग ने चिकित्सा डोमेन (Anatomy, Biochemistry) पर कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) प्रदर्शित किया क्योंकि मॉडल नए डोमेन के अनुकूल हो रहा था।
  • CPE ने सभी डोमेन और मॉडल आकार के लिए रिटेन्ड सटीकता में लगातार सुधार किया (उदाहरण के लिए, Qwen3-0.6B पर Anatomy की सटीकता 29.4% से बढ़कर 30.5% हो गई)।
• स्मृति विकास (Dynamic Cheatsheet):
  • अनियंत्रित मेमोरी अपडेट ने पुराने-कार्य प्रतिधारण (old-task retention) को औसतन 2.3% कम कर दिया।
  • CPE ने इस प्रतिधारण अंतराल को 0.7% तक कम कर दिया, जिससे नए कार्यों के अनुकूलन में बाधा डाले बिना पहले से सीखे गए डोमेन के लिए रिट्रीवल पैटर्न स्थिर हो गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह व्यवस्थित रूप से स्व-विकसित एजेंटों के सभी प्रमुख आयामों (वर्कफ़्लो, स्किल, मॉडल और मेमोरी) में क्षमता क्षरण (capability erosion) को एक संरचनात्मक विफलता मोड के रूप में पहचानने वाला पहला शोध है।

• एकीकृत दृष्टिकोण: लेखक एक एकीकृत हस्तक्षेप (interference) दृष्टिकोण प्रदान करते हैं, जो दिखाते हैं कि विषम कार्यान्वयन के बावजूद, सभी चार आयाम एक ही तंत्र से पीड़ित हैं: नए कार्यों के लिए अनुकूलित होना पुराने कार्यों के समर्थन करने वाली संरचनाओं को ओवरराइट कर देता है।
• स्थिरीकरण सिद्धांत: शोध पत्र तर्क देता है कि स्थिर दीर्घकालिक (long-horizon) स्व-विकास के लिए न केवल नई क्षमताएं हासिल करना आवश्यक है, बल्कि पहले से सीखी गई क्षमताओं को स्पष्ट रूप से संरक्षित करना भी आवश्यक है। CPE को इसे प्राप्त करने के लिए एक सामान्य डिजाइन सिद्धांत के रूप में प्रस्तुत किया गया है।
• सीमित दायरा: लेखक स्वीकार करते हैं कि उनके वर्तमान संरक्षण तंत्र हल्के और डोमेन-विशिष्ट हैं। वे इस कार्य को भविष्य के सभी स्वायत्त एजेंट चुनौतियों के पूर्ण समाधान के बजाय, क्षरण घटना के सत्यापन और यह प्रदर्शन करने के रूप में देखते हैं कि स्पष्ट रेगुलराइजेशन इसे कम कर सकता है। वे नोट करते हैं कि वास्तविक दुनिया के एजेंटों को यहाँ परीक्षण किए गए नियंत्रित क्रमिक बदलावों की तुलना में अधिक जटिल, ओपन-एंडेड पथों का सामना करना पड़ सकता है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि स्पष्ट संरक्षण बाधाओं के बिना, स्व-विकसित एजेंट अनिवार्य रूप से विश्वसनीय व्यवहार से दूर चले जाएंगे, और क्षमता-संरक्षण विकास (Capability-Preserving Evolution) वास्तविक आजीवन सीखने (lifelong learning) में सक्षम एजेंट बनाने के लिए एक आवश्यक घटक है।