तकनीकी सारांश: DREvo – हार्नेस स्व-विकास के लिए पुनर्गठित ऐतिहासिक अनुभव का आसवन (Distilling Recalibrated Historical Experience for Harness Self-Evolution)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों का प्रदर्शन उनके बाहरी निष्पादन ढांचे (execution framework) पर अत्यधिक निर्भर करता है, जिसे हार्नेस (harness) कहा जाता है, जो संदर्भ निर्माण (context construction), मेमोरी प्रबंधन, टूल आह्वान और आउटपुट पार्सिंग को नियंत्रित करता है। हालांकि मैन्युअल हार्नेस डिजाइन प्रभावी है, लेकिन यह श्रम-साध्य है और जैसे-जैसे कार्य और घटकों की अंतःक्रियाएं अधिक जटिल होती जाती हैं, इसे स्केल करना कठिन हो जाता है। फलस्वरूप, अनुसंधान हार्नेस स्व-विकास (harness self-evolution) की ओर स्थानांतरित हो गया है, जहाँ LLMs ऐतिहासिक परीक्षण अनुभव का उपयोग करके हार्नेस का पुनरावृत्ति (iteratively) प्रस्ताव, मूल्यांकन और सुधार करते हैं।

हालाँकि, मौजूदा इतिहास-संचालित स्व-विकास विधियाँ (जैसे, Meta-harness, AHE, ACE) गैर-स्थिर विकास प्रक्षेपवक्र (non-stationary evolution trajectories) से ग्रस्त हैं। ऐतिहासिक अनुभव संचित करने के बावजूद, सटीकता अक्सर निरंतर सुधार के बजाय काफी उतार-चढ़ाव प्रदर्शित करती है। लेखक ऐतिहासिक डेटा के उपयोग में दो मुख्य सीमाओं की पहचान करते हैं:

1. गतिशील पुनर्मूल्यांकन का अभाव ("क्या अभी भी वैध है?"): ऐतिहासिक साक्ष्य स्थिति-निर्भर (state-dependent) होते हैं। एक संशोधन जो पिछले हार्नेस स्टेट में प्रभावी था, वह हार्नेस विकसित होने के साथ अमान्य या हानिकारक हो सकता है, फिर भी मौजूदा विधियाँ पिछले रिकॉर्डों को स्थिर रूप से वैध मानती हैं।
2. स्पष्ट खोज दिशा का अभाव ("अगला विकास कहाँ करें?"): ऐतिहासिक अनुभव को अक्सर कच्चे लॉग या सारांश के रूप में प्रस्तुत किया जाता है। मौजूदा विधियाँ यह तय करने के लिए कि किस घटक को संशोधित करना है और कैसे, प्रस्तावक (proposer) के अंतर्निहित तर्क पर निर्भर करती हैं, जिससे अस्थिर खोज दिशाएँ और सीमित विकास बजट का अक्षम उपयोग होता है।

कार्यप्रणाली: DREvo फ्रेमवर्क

इन सीमाओं को संबोधित करने के लिए, लेखक DREvo (Distilling Recalibrated Historical Experience) प्रस्तावित करते हैं, जो एक स्व-विकास विधि है जो कच्चे परीक्षण लॉग को कार्रवाई योग्य, स्थिति-जागरूक मार्गदर्शन में बदल देती है। यह फ्रेमवर्क तीन क्रमिक घटकों से बना है:

1. फंक्शन-स्तरीय साक्ष्य एंकरिंग (Function-Level Evidence Anchoring)

कच्चे परीक्षण लॉग विषम (heterogeneous) होते हैं, जिनमें कोड परिवर्तन, निष्पादन प्रक्षेपवक्र और फीडबैक मिश्रित होते हैं। DREvo इन लॉग्स को फंक्शन-एन्कर्ड साक्ष्य इकाइयों (function-anchored evidence units) बनाने के लिए पार्स करता है।

• तंत्र: यह सोर्स-स्पैन सीमाओं के आधार पर कोड डिफ्स ( $h_{t-1}$ और $h_t$ के बीच परिवर्तन) को विशिष्ट कार्यात्मक घटकों (जैसे, टूल उपयोग, मेमोरी प्रबंधन) से मैप करता है।
• आउटपुट: प्रत्येक साक्ष्य इकाई $e_{t,c}$ एक विशिष्ट घटक $c$, उसके कोड परिवर्तन $\delta_{t,c}$, और देखे गए परिणाम (ग्लोबल स्टैट्स, टास्क आउटकम, विफलता पैटर्न) को जोड़ती है।
• एट्रिब्यूशन (Attribution): यह फीडबैक को विशिष्ट घटकों तक स्थानीयकृत करता है, जिससे सफलता या विफलता का सटीक एट्रिब्यूशन संभव होता है।

2. स्थिति-निर्भर साक्ष्य पुनर्गठन (State-Dependent Evidence Recalibration)

ऐतिहासिक साक्ष्य का पुन: उपयोग करने से पहले, DREvo वर्तमान हार्नेस स्टेट के आधार पर इसकी वैधता को गतिशील रूप से पुनर्गठित (recalibrate) करता है। यह प्रत्येक साक्ष्य इकाई के लिए दो कारकों के आधार पर एक कैलिब्रेटेड वेट $w_e$ की गणना करता है:

• ऐतिहासिक विश्वसनीयता ($r_t(e)$): यह निरंतरता और नवीनता (freshness) को मापता है।
  • परिणाम निरंतरता (Outcome Consistency): उन पिछले कॉल का अंश जहाँ परिणाम की ध्रुवीयता (सफलता/विफलता) वर्तमान साक्ष्य ध्रुवीयता से मेल खाती थी, जिसे प्रदर्शन परिवर्तन के परिमाण द्वारा भारित (weighted) किया गया है।
  • नवीनता (Freshness): साक्ष्य के अंतिम बार उपयोग या निर्माण के समय के आधार पर एक क्षय कारक (decay factor)।
• संरचनात्मक अनुकूलता ($q_t(e)$): यह मापता है कि क्या साक्ष्य से जुड़ा घटक कार्यान्वयन वर्तमान घटक के संरचनात्मक रूप से समान है। इसकी गणना एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) पर ट्री एडिट डिस्टेंस (TED) का उपयोग करके की जाती है, जो लेक्सिकल विवरणों को सामान्य करता है लेकिन कंट्रोल फ्लो और लॉजिक को सुरक्षित रखता है।
• कैलिब्रेशन: अंतिम वेट विश्वसनीयता और अनुकूलता का हार्मोनिक मीन (harmonic mean) है, जो यह सुनिश्चित करता है कि साक्ष्य पर तभी भरोसा किया जाए जब वह ऐतिहासिक रूप से सुसंगत और संरचनात्मक रूप से प्रासंगिक दोनों हो।

3. भूमिका-आधारित खोज इरादा आसवन (Role-Conditioned Search Intent Distillation)

प्रस्तावक को कच्चा साक्ष्य देने के बजाय, DREvo कैलिब्रेटेड साक्ष्य को एक स्पष्ट खोज इरादे ($s_t$) में आसवित (distill) करता है जो यह निर्दिष्ट करता है कि क्या करना है और कहाँ देखना है।

• साक्ष्य विभाजन: प्राप्त साक्ष्य को वेट और ध्रुवीयता के आधार पर तीन सेटों में वर्गीकृत किया जाता है: विश्वसनीय सकारात्मक ($X_t$), विश्वसनीय नकारात्मक ($A_t$), और निम्न-विश्वास ($T_t$)।
• भूमिका सक्रियण: इन सेटों के आधार पर, एक खोज भूमिका सक्रिय होती है:
  • एक्सप्लॉइट (Exploit): यदि विश्वसनीय सकारात्मक साक्ष्य मौजूद है, तो प्रस्तावक को इन संशोधनों को विरासत में लेने या परिष्कृत करने के लिए निर्देशित किया जाता है।
    la अवॉइड (Avoid): यदि विश्वसनीय नकारात्मक साक्ष्य मौजूद है, तो प्रस्तावक को विशिष्ट हानिकारक संशोधनों से बचने के लिए निर्देशित किया जाता है।
  • रीटेस्ट (Retest): यदि केवल निम्न-विश्वास साक्ष्य मौजूद हैं, तो प्रस्तावर को वर्तमान स्थिति के तहत इन दिशाओं का पुनर्मूल्यांकन करने के लिए निर्देशित किया जाता है।
  • एक्सप्लोर (Explore): यदि कोई प्रासंगिक साक्ष्य नहीं है या पिछले रीटेस्ट विफल रहे हैं, तो प्रस्तावर को वर्तमान विफलता पैटर्न के आधार पर नए दिशाओं को स्वतंत्र रूप से खोजने की अनुमति दी जाती है।
• डिस्टिलेशन: सक्रिय भूमिका और वर्तमान विफलता पैटर्न को एक संरचित प्रॉम्प्ट ($s_t$) में आसवित किया जाता है जो प्रस्तावर को स्पष्ट रूप से एक लक्ष्य घटक और संशोधन दिशा की ओर निर्देशित करता है।

मुख्य योगदान

1. समस्या की पहचान: यह पेपर हार्नेस स्व-विकास में प्रदर्शन के उतार-चढ़ाव को एक विश्वसनीयता चुनौती के रूप में पहचानता, जो ऐतिहासिक वैधता के गतिशील पुनर्मूल्यांकन की विफलता और स्पष्ट खोज नीतियों के अभाव में निहित है।
2. DREvo फ्रेमवर्क: एक नवीन विधि जो साक्ष्य को फंक्शनों से जोड़ती है, स्थिति अनुकूलता और ऐतिहासिक निरंतरता के आधार पर वैधता को पुनर्गठित करती है, और इसे भूमिका-आधारित खोज इरादों में आसवित करती है।
3. अनुभवजन्य सत्यापन: विविध बेंचमार्क पर सुचारू विकास प्रक्षेपवक्र और बेहतर प्रदर्शन का व्यापक प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने पांच बेंचमार्क पर DREvo का मूल्यांकन किया: तीन डोमेन रीजनिंग कार्य (USPTO, Symptom2Disease, Law) और दो एजेंटिक कार्य (Terminal-Bench 2.0, SWE-Bench Verified)।

• कुल प्रदर्शन: DREvo ने सीमित विकास बजट (रीजनिंग के लिए 20 इटरेशन, एजेंटिक कार्यों के लिए 10) के तहत सभी पांच बेंचमार्क पर उच्चतम सटीकता प्राप्त की।
  • डोमेन रीजनिंग: बेसलाइन्स पर औसतन 16.2% की वृद्धि। विशेष रूप से, इसने दूसरे सर्वश्रेष्ठ तरीकों पर USPTO में 9.0%, S2D में 2.4%, और Law में 4.0% का सुधार किया।
  • एजेंटिक कार्य: बेसलाइन्स पर औसतन 13.8% की वृद्धि। विशेष रूप से, SWE-Bench Verified पर, DREvo ने बिना किसी मैन्युअल टास्क-विशिष्ट इंजीनियरिंग के एक टर्मिनल-ओरिएंटेड प्रारंभिक हार्नेस को प्रतिस्पर्धी कोड-रिपेयर हार्नेस में विकसित किया।
• विकास प्रक्षेपवक्र: बेसलाइन्स (जैसे, Meta-harness) के विपरीत, जो बड़े सटीकता दोलन और कॉन्टेक्स्ट ब्लोट दिखाते हैं, DREvo ने सुचारू सुधार वक्र प्रदर्शित किए और एक सीमित कॉन्टेक्स्ट आकार (~2.9K टोकन) बनाए रखा।
• मजबूती (Robustness): नियंत्रित घटक-अवस्था ड्रिफ्ट (हार्नेस कोड में परिवर्तन का अनुकरण करते हुए) के तहत, DREvo ने 16 में से 11 सेटिंग्स में प्रदर्शन में सुधार किया, जबकि "ब्लाइंड रीयूज" (पुनर्गठन के बिना) ने अधिकांश मामलों में प्रदर्शन कम कर दिया।
• एब्लेशन अध्ययन: तीनों घटकों (Anchoring, Recalibration, Distillation) में से किसी को भी हटाने से प्रदर्शन में गिरावट आई, जो उनकी पूरक भूमिकाओं की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि DREvo हार्नेस स्व-विकास में इतिहास-संचालित खोज की मौलिक अस्थिरता को संबोधित करता है। इतिहास के स्थिर, अंतर्निहित पुन: उपयोग से गतिशील, स्पष्ट और स्थिति-जागरूक मार्गदर्शन की ओर बढ़कर, DREvo सीमित कम्प्यूटेशनल बजट के भीतर उच्च-प्रदर्शन वाले हार्नेस की विश्वसनीय खोज को सक्षम बनाता है। लेखक इस बात पर जोर देते हैं कि उनकी बढ़त केवल प्रस्तावर को अधिक ऐतिहासिक डेटा या कॉन्टेक्स्ट कंप्रेशन के संपर्क में लाने के बजाय खोज मार्गदर्शन (पुनर्गठन और आसवन) की गुणवत्ता से आती है। यह कार्य सुझाव देता है कि भविष्य के हार्नेस विकास के लिए ऐसे तंत्रों की आवश्यकता है जो सिस्टम की स्थिति विकसित होने के साथ पिछले अनुभवों की प्रयोज्यता को निरंतर मान्य कर सकें।