💬 NLP

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

Co-Harness एक ऐसा फ्रेमवर्क है जो एक LLM एजेंट के रनटाइम हार्नेस और मॉडल पैरामीटर्स को हार्नेस रिफाइनमेंट और मॉडल फाइन-ट्यूनिंग की एक वैकल्पिक प्रक्रिया के माध्यम से संयुक्त रूप से अनुकूलित करता है, जिससे फिक्स्ड-हार्नेस पोस्ट-ट्रेनिंग की सीमाओं से परे स्वायत्त रिकवरी, दक्षता लाभ और रणनीति खोज सक्षम होती है।

मूल लेखक: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

प्रकाशित 2026-07-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु को जटिल पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। कृत्रिम बुद्धिमत्ता (Artificial Intelligence) की दुनिया में, यह प्रशिक्षु एक "लार्ज लैंग्वेज मॉडल" (LLM) है—एक कंप्यूटर प्रोग्राम जो पढ़, लिख और तर्क कर सकता है। लेकिन एक LLM शून्य में काम नहीं करता; इसे एक कार्यशाला (workshop) की आवश्यकता होती है। इस कार्यशाला को "हार्नेस" (Harness) कहा जाता है। हार्नेस को उन उपकरणों, निर्देश पुस्तिका, सुरक्षा रेलिंग और मेमोरी बैंक के रूप में समझें जिनका उपयोग प्रशिक्षु अपना काम करने के लिए करता है। इसमें यह शामिल है कि कंप्यूटर कैलकुलेटर से कैसे बात करता है, वह पिछले चरणों को कैसे याद रखता है, और उसे कब मदद मांगनी चाहिए, इसका ज्ञान कैसे होता है।

लंबे समय तक, वैज्ञानिकों ने प्रशिक्षु और कार्यशाला को दो अलग-अलग चीजों के रूप में माना। वे प्रशिक्षु को अधिक बुद्धिमान बनाने के लिए वर्षों तक उसे प्रशिक्षित करते थे, लेकिन वे कार्यशाला को बिल्कुल वैसा ही रखते थे, उन्हीं पुराने उपकरणों और निर्देशों का उपयोग करते थे जिन्हें उन्होंने स्वयं डिजाइन किया था। समस्या यह है कि यदि कार्यशाला में मेज डगमगा रही हो या नक्शा भ्रमित करने वाला हो, तो सबसे बुद्धिमान प्रशिक्षु भी लड़खड़ा जाएगा। वे इसलिए विफल नहीं होंगे क्योंकि वे पर्याप्त स्मार्ट नहीं हैं, बल्कि इसलिए क्योंकि जिस वातावरण में वे काम कर रहे हैं, वह खराब है। यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या होगा यदि हम केवल प्रशिक्षु को प्रशिक्षित न करें, बल्कि उसी समय कार्यशाला को भी ठीक करें? क्या होगा यदि प्रशिक्षु हमें यह समझने में मदद कर सके कि उपकरणों में क्या गलत था, और फिर हम उन्हें उन नए, बेहतर उपकरणों का उपयोग करके सिखा सकें?

यही वह चीज़ है जिसे Co-Harness के पीछे के शोधकर्ताओं ने खोजा। उन्होंने एक ऐसी प्रणाली बनाई जहाँ AI मॉडल और उसकी "कार्यशाला" (Harness) एक साथ विकसित होते हैं, जैसे एक नृत्य साथी तालमेल में चलना सीख रहा हो। केवल AI को ठीक करने और बेहतर होने की उम्मीद करने के बजाय, उनकी प्रणाली AI के हर उस समय को देखती है जब वह किसी कार्य में विफल होता है। यह पूछती है, "क्या यह इसलिए हुआ क्योंकि AI भ्रमित था, या इसलिए क्योंकि जो उपकरण उसके हाथ में था वह टूटा हुआ था?" यदि उपकरण समस्या थी—जैसे कि कोई भ्रमित करने वाला निर्देश या कोई गायब सुरक्षा हुक—तो सिस्टम स्वचालित रूप से उस उपकरण को ठीक कर देता है। फिर, वह नए उपकरण के साथ AI की सफलता का उपयोग AI को और भी बेहतर बनाने के लिए सीखने के रूप में करता है।

इसके परिणाम एक बर्फ के गोले (snowball) के एक विशाल पत्थर (boulder) में बदलने जैसा हैं। शोधकर्ताओं ने इसका परीक्षण कठिन गणित और तर्क संबंधी पहेलियों पर किया। उन्होंने पाया कि AI और उसके उपकरणों को एक साथ सुधारने की अनुमति देकर, प्रणाली काफी अधिक स्मार्ट हो गई। केवल इस "सह-विकास" (co-evolution) के दो दौरों के बाद, कठिन गणित परीक्षणों पर AI की सटीकता औसतन 20 प्रतिशत अंक बढ़ गई। एक विशिष्ट मामले में, सिस्टम बिना किसी मानवीय सहायता के 200 घंटों से अधिक समय तक चला, अपने क्रैश को खुद ठीक किया, अपने काम की गति बढ़ाई, और यहाँ तक कि सही उत्तर प्राप्त करने के लिए कई प्रयासों को संयोजित करने की एक नई रणनीति का आविष्कार भी किया। यह शोध पत्र सुझाव देता है कि यह "दोहरी-लूप" (dual-loop) दृष्टिकोण—मस्तिष्क को प्रशिक्षित करने के साथ-साथ वातावरण को ठीक करना—वातावरण को स्थिर रखने के पुराने तरीके की तुलना में बुद्धिमान एजेंट बनाने का एक बहुत अधिक शक्तिशाली तरीका है। यह साबित होता है कि एक जीनियस बनाने के लिए, कभी-कभी आपको पहले एक बेहतर खेल का मैदान बनाना पड़ता है।

तकनीकी सारांश: Co-Harness: LLM एजेंटों के लिए Co-Evolving Harnesses और Model Weights

1. समस्या विवरण (Problem Statement)

स्वचालित एआई अनुसंधान (automated AI research) के लिए पोस्ट-ट्रेनिंग एजेंट पारंपरिक रूप से मॉडल पैरामीटर्स को अनुकूलित करने में शामिल होते हैं, जबकि रनटाइम सिस्टम—जिसे "हार्नेस" (Harness) कहा जाता है—को एक स्थिर, स्टैटिक स्कैफोल्ड (scaffold) के रूप में मानते हैं। हार्नेस में प्रॉम्प्ट्स, टूल्स, स्किल्स, मिडलवेयर, मेमोरी पॉलिसीज़ और रिट्राई लॉजिक (retry logic) शामिल होते हैं। वर्तमान पाइपलाइन एक मौलिक विसंगति पैदा करती है: मॉडल को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या रिइन्फोर्समेंट लर्निंग के माध्यम से अपडेट किया जाता है, जो एक स्थिर हार्नेस द्वारा उत्पन्न ट्राजेक्टरीज (trajectories) पर आधारित होता है, फिर भी हार्नेस को प्रशिक्षण के दौरान देखे गए विफलताओं के आधार पर कभी अनुकूलित नहीं किया जाता है।

यह विषमता एक बाधा उत्पन्न करती है जहाँ उप-इष्टतम स्कैफोल्डिंग (जैसे कि अस्पष्ट प्रॉम्प्ट्स, गलत टूल स्कीमा, मिसिंग रिट्राई हुक्स, या मेमोरी ओवरफ्लो) उच्च-गुणवत्ता वाली प्रशिक्षण ट्राजेक्टरीज उत्पन्न करने से रोकती है। फलस्वरूप, मॉडल इन पर्यावरणीय सीमाओं को पार करना नहीं सीख पाता है, और फिक्स्ड हार्नेस एजेंट के प्रदर्शन के लिए एक सीमा (ceiling) बन जाता है, विशेष रूप से जटिल टूल-इंटीग्रेटेड रीजनिंग (TIR) सेटिंग्स में जहाँ एक एकल स्कीमा त्रुटि पूरे मल्टी-टर्न सेशन को बाधित कर सकती है।

2. कार्यप्रणाली: Co-Harness फ्रेमवर्क (Methodology: Co-Harness Framework)

लेखक Co-Harness का प्रस्ताव करते हैं, जो एक ड्यूल-लूप फ्रेमवर्क है जो एजेंट हार्नेस ( $\phi$ ) और मॉडल पैरामीटर्स ( $\theta$ ) को एक वैकल्पिक प्रक्रिया के माध्यम से संयुक्त रूप से अनुकूलित करता है। मुख्य परिकल्पना यह है कि एक बेहतर हार्नेस स्वच्छ, अधिक सूचनात्मक ट्राजेक्टरीज बनाता है, जो एक मजबूत मॉडल को प्रशिक्षित करता है; यह मजबूत मॉडल, बदले में, उच्च-स्तरीय हार्नेस बाधाओं को उजागर करता है जो पहले अदृश्य थीं, जिससे स्कैफोल्डिंग में और सुधार संभव होता है।

यह फ्रेमवर्क प्रत्येक राउंड $t$ में दो वैकल्पिक लूप्स के माध्यम से संचालित होता है:

A. द को-हार्नेस लूप (Harness Optimization)

इस चरण में, मॉडल $\theta_t$ को स्थिर रखा जाता है जबकि हार्नेस $\phi_t$ को विकसित (evolve) किया जाता है।

विफलता संग्रह (Failure Collection): एजेंट $(\theta_t, \phi_t)$ के तहत कार्यों को निष्पादित करता है, और विफल ट्राजेक्टरीज का एक सेट $F^-_t$ एकत्र करता है।
HarnessCritic विश्लेषण: एक LLM-आधारित घटक, HarnessCritic ( $C$ ), इन विफलताओं का विश्लेषण करता है। यह प्रत्येक विफलता को हार्नेस कॉन्फ़िगरेशन के भीतर एक संरचित मूल कारण (root cause) में वर्गीकृत करता है (जैसे कि प्रॉम्प्ट अस्पष्टता, टूल स्कीमा त्रुटि, मिसिंग स्किल, मिडलवेयर विसंगति, या मेमोरी ओवरफ्लो)।
डिफ जनरेशन और वैलिडेशन (Diff Generation & Validation): HarnessCritic हार्नेस में स्थानीय पैच (differences) प्रस्तावित करता है। इन पैचों को "रोलआउट" परीक्षणों द्वारा मान्य किया जाता है ताकि यह सुनिश्चित हो सके कि वे लक्षित विफलता मोड में सुधार करते हैं और अन्य व्यवहारों में कोई गिरावट (regression) नहीं लाते।
रजिस्ट्री अपडेट: मान्य पैच को एक वर्जन्ड हार्नेस रजिस्ट्री में कमिट किया जाता है, जिससे सक्रिय कॉन्फ़िगरेशन $\phi^*_t$ में अपडेट होता है।

B. द मॉडल अलाइनमेंट लूप (Model Optimization)

इस चरण में, विकसित हार्नेस $\phi^*_t$ को स्थिर रखा जाता है जबकि मॉडल को अपडेट किया जाता है।

उच्च-गुणवत्ता वाली ट्राजेक्टरी संग्रह: वर्तमान मॉडल $\theta_t$ को बेहतर हार्नेस $\phi^*_t$ के तहत चलाया जाता है ताकि उच्च-गुणवत्ता वाली ट्राजेक्टरीज का एक नया डेटासेट $D_t$ तैयार किया जा सके।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को $D_t$ पर फाइन-ट्यून किया जाता है ताकि वह बेहतर स्कैफोल्डिंग द्वारा सक्षम व्यवहारों को आत्मसात कर सके, जिसके परिणामस्वरूप एक अपडेटेड मॉडल $\theta_{t+1}$ प्राप्त होता है।
पुनरावृत्ति (Iteration): नया मॉडल $\theta_{t+1}$ और विकसित हार्नेस $\phi^*_t$ अगले दौर के लिए शुरुआती बिंदु बनते हैं, जहाँ एक मजबूत मॉडल उन अधिक जटिल हार्नेस सीमाओं को प्रकट कर सकता है जो पहले अदृश्य थीं।

विफलता एट्रिब्यूशन टैक्सोनॉमी (Failure Attribution Taxonomy)

HarnessCritic विफलताओं को पाँच क्रियाशील हार्नेस आयामों और एक अपवर्जन लेबल (abstention label) में वर्गीकृत करता है:

प्रॉम्प्ट अस्पष्टता (Prompt Ambiguity - $P$ ): निर्देश अपर्याप्तता या विरोधाभासी लक्ष्य।
टूल स्कीमा त्रुटि (Tool Schema Error - $T$ ): अमान्य टूल कॉल्स, खराब आर्गुमेंट स्कीमा, या बैकएंड विसंगतियां।
स्किल मिसिंग (Skill Missing - $S$ ): पुन: प्रयोज्य रूटीन या डिकंपोज़िशन प्रिमिटिव्स का अभाव।
मिडलवेयर मिसमैच (Middleware Mismatch - $Mid$): दोषपूर्ण लूप प्रोटोकॉल, हुक व्यवहार, या कॉन्टेक्स्ट मैनेजमेंट लॉजिक।
मेमोरी ओवरफ्लो (Memory Overflow - $M$ ): निरंतर स्टेट ओवरफ्लो, पुराना मेमोरी, या रिट्रीवल विफलताएं।
एजेंट एरर (Agent Error): वे मामले जहाँ विफलता मॉडल की आंतरिक तर्क क्षमता (reasoning) के कारण है, न कि हार्नेस के कारण।

3. मुख्य योगदान (Key Contributions)

संयुक्त अनुकूलन फॉर्मूलेशन (Joint Optimization Formulation): यह पेपर एजेंट पोस्ट-ट्रेनिंग को मॉडल वेट्स और रनटाइम हार्नेस के संयुक्त अनुकूलन समस्या के रूप में प्रस्तुत करता है, जो प्रॉम्प्ट्स और टूल्स को फिक्स्ड इंफ्रास्ट्रक्चर मानने के प्रतिमान से आगे बढ़ता है।
HarnessCritic: एक विफलता-संचालित प्रक्रिया का परिचय जो त्रुटियों का विशिष्ट हार्नेस घटकों में संरचित एट्रिब्यूशन करता है और मरम्मत के लिए मान्य, स्थानीय 'डिफ्स' (diffs) प्रस्तावित करता है।
कंपाउंडिंग गेन्स मैकेनिज्म (Compounding Gains Mechanism): यह प्रदर्शन दिखाता है कि हार्नेस इवोल्यूशन और मॉडल अलाइनमेंट का बारी-बारी से चलना एक सकारात्मक फीडबैक लूप बनाता है, जहाँ स्कैफोल्डिंग में सुधार से बेहतर प्रशिक्षण डेटा मिलता है, जो और भी शक्तिशाली मॉडल प्रदान करता है जो और भी परिष्कृत स्कैफोल्डिंग का लाभ उठाने में सक्षम होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन गणितीय बेंचमार्क (AIME 2024, AIME 2025, HMMT 2025) और दो मॉडल स्केल्स (Qwen3-8B और Qwen3-32B) का उपयोग करके टूल-इंटीग्रेटेड रीजनिंग (TIR) कार्यों पर किया गया।

प्रदर्शन लाभ (Performance Gains): बेसलाइन (एक बार विकसित हार्नेस बिना मॉडल SFT के) की तुलना में दो राउंड के Co-Harness को-इवोल्यूशन के परिणामस्वरूप बेंचमार्क और मॉडल स्केल्स में औसतन +20.4 प्रतिशत अंक (pp) का सुधार देखा गया।
- सबसे बड़ा लाभ Qwen3-32B मॉडल के लिए सबसे कठिन बेंचमार्क (HMMT 2025) पर देखा गया, जिसमें +27.2 pp का सुधार हुआ।
- सिस्टम ने सावधानीपूर्वक डिज़ाइन किए गए, स्टैटिक हार्नेस कॉन्फ़िगरेशन को औसतन +24.7 pp से पीछे छोड़ दिया।
स्वायत्त केस स्टडी (Autonomous Case Study): AIME 2024 पर 200+ घंटों के स्वायत्त रन में, सिस्टम ने:
- एक प्रारंभिक सिस्टम क्रैश (vllm KV cache error) से रिकवरी की।
- ग्लोबल-बैच इन्फरेंस के माध्यम से इन्फरेंस दक्षता में 8.7× का सुधार किया (वॉल-क्लॉक समय को 3.78h से घटाकर 1.11h कर दिया)।
- एक एन्सेम्बल रणनीति (विविध सीड्स का मेजॉरिटी वोटिंग) की खोज की जिसने समय बजट के भीतर सर्वश्रेष्ठ सटीकता (63.3%) प्राप्त की, और यह सब बिना किसी मानवीय हस्तक्षेप के हुआ।
मजबूती (Robustness): सिस्टम ने अपने वर्ज़न-कंट्रोल्ड रजिस्ट्री का उपयोग करके रिग्रेशन्स (जैसे कि डोमेन-विशिष्ट प्रॉम्प्ट्स जो मॉडल के आंतरिक तर्क के साथ संघर्ष करते हैं) को सफलतापूर्वक पहचाना और रोलबैक किया।

5. महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि Co-Harness एजेंट विकास की एक महत्वपूर्ण सीमा को संबोधित करता है: मॉडल प्रशिक्षण और उस वातावरण के बीच का अलगाव जो प्रशिक्षण डेटा उत्पन्न करता है। हार्नेस को एक सीखने योग्य चर (learnable variable) के रूप में मानकर, न कि एक स्थिर स्कैफोल्ड के रूप में, Co-Harness कंपाउंडिंग सेल्फ-इम्प्रूवमेंट को सक्षम करता है।

लेखक दावा करते है कि यह दृष्टिकोण एक "पॉजिटिव फीडबैक स्पाइरल" को साकार करता है जहाँ:

एक बेहतर हार्नेस स्वच्छ टूल उपयोग और कम होने योग्य क्रैश प्रदान करता है।
ये स्वच्छ ट्राजेक्टरीज एक मजबूत मॉडल को प्रशिक्षित करती हैं।
एक मजबूत मॉडल उन समृद्ध, अधिक जटिल हार्नेस कॉन्फ़िगरेशन का लाभ उठा सकता है जो पहले अनुपयोगी थे।

यह पिछले कार्यों के विपरीत है जो या तो एक फिक्स्ड हार्नेस के लिए मॉडल को अनुकूलित करते हैं (मानक SFT/RL) या एक फिक्स्ड मॉडल के लिए हार्नेस को अनुकूलित करते हैं (इन्फरेंस-टाइम सर्च)। Co-Harness को दोनों को सह-विकसित (co-evolve) करने वाले पहले फ्रेमवर्क के रूप में प्रस्तुत किया गया है, जो यह सुझाव देता है कि स्कैफोल्डिंग और मॉडल वेट्स के बीच की परस्पर निर्भरता एजेंट क्षमताओं को फिक्स्ड-हार्नेस पोस्ट-ट्रेनिंग से आगे ले जाने के लिए एक प्राथमिक अक्ष है।

लेखकों द्वारा नोट की गई सीमाएँ (Limitations): इस दृष्टिकोण के लिए एक सक्षम क्रिटिक LLM, कोल्ड-स्टार्ट के लिए पर्याप्त मात्रा में विफलता ट्राजेक्टरीज और मल्टी-राउंड SFT के लिए महत्वपूर्ण कंप्यूट की आवश्यकता होती है। इसके अतिरिक्त, एट्रिब्यूशन की सटीकता उन विफलता मोड के लिए घट सकती है जिनमें जटिल काउंटरफैक्चुअल रीजनिंग की आवश्यकता होती है, और हार्नेस का स्ट्रक्चरल रीडिज़ाइन मानव की जिम्मेदारी बनी रहती है।