🤖 AI

HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness

यह शोधपत्र HarnessBridge को प्रस्तुत करता है, जो एक हल्का, सीखने योग्य द्वि-दिशीय नियंत्रक (bidirectional controller) है जो अवलोकन और क्रिया प्रक्षेपों (observation and action projections) के माध्यम से एजेंट-पर्यावरण इंटरफ़ेस को स्वचालित करता है, और विभिन्न LLMs में टोकन उपयोग और प्रक्षेपवक्र लंबाई (trajectory length) को काफी कम करते हुए विशिष्ट मैनुअल हार्नेस के बराबर या उससे बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Xiaoxuan Wang, Haixin Wang, Alexander Taylor, Jason Cong, Yizhou Sun, Wei Wang

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoxuan Wang, Haixin Wang, Alexander Taylor, Jason Cong, Yizhou Sun, Wei Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहद बुद्धिमान लेकिन थोड़े बिखरे हुए स्वभाव के जासूस (AI एजेंट) को एक जटिल रहस्य सुलझाने के लिए काम पर रख रहे हैं, जिसे सुलझाने में कई दिन लग सकते हैं। वह जासूस अविश्वसनीय रूप से स्मार्ट है, लेकिन उसकी एक बुरी आदत है: वह जो कुछ भी देखता, सुनता या सोचता है, उसे एक विशाल नोटबुक में लिख देता है। धीरे-धीरे, नोटबुक इतनी मोटी हो जाती है कि जासूस को महत्वपूर्ण सुराग ढूंढने में कठिनाई होने लगती है और वह बार-बार उन्हीं बेकार पन्नों को पढ़ने में फंस जाता है।

इसी बीच, जासूस उन दरवाजों को खोलने की कोशिश करता रहता है जो पहले से ही बंद हैं या उन दीवारों पर दस्तक देता रहता है जिनका अस्तित्व ही नहीं है, जिससे उसका समय और ऊर्जा बर्बाद होती है।

यही वह समस्या है जिसे यह शोध पत्र (paper) संबोधित करता है। "हार्नेस" (harness) वह सिस्टम है जो जासूस और दुनिया के बीच स्थित होता है, जो सूचना के प्रवाह को प्रबंधित करता है। आमतौर पर, यह सिस्टम मनुष्यों द्वारा कठोर नियमों (जैसे "हमेशा पिछले 10 पन्ने रखें") का उपयोग करके बनाया जाता है। लेकिन इस पेपर के लेखकों ने पूछा: क्या होगा अगर हम सिस्टम को खुद यह सिखा सकें कि जासूस की नोटबुक और उसके कार्यों को कैसे प्रबंधित किया जाए, बिल्कुल एक स्मार्ट असिस्टेंट की तरह?

यहाँ HarnessBridge कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. दो-तरफा पुल (The Two-Way Bridge)

HarnessBridge को एक स्मार्ट बाउंसर के रूप में सोचें जो जासूस (AI) और अपराध स्थल (कंप्यूटर वातावरण) के बीच के दरवाजे पर खड़ा है। इसके दो मुख्य काम हैं, जो विपरीत दिशाओं में काम करते हैं:

कार्य A: "संपादक" (अवलोकन प्रक्षेपण - Observation Projection)

समस्या: अपराध स्थल जासूस को डेटा का एक विशाल प्रवाह भेजता है: उनके द्वारा खोली गई हर फाइल, हर एरर मैसेज, हर असफल प्रयास। जासूस की याददाश्त (AI का कॉन्टेक्स्ट विंडो) "शोर" (noise) से भर जाती है।
HarnessBridge का समाधान: संपादक जासूस की नोटबुक को देखता है और तीन कार्य करता है:
- रखना (Keep): यह महत्वपूर्ण सुरागों को सुरक्षित रखता है (जैसे "संद संदिग्ध शाम 5 बजे देखा गया था" या "कोड एक गायब फाइल के कारण विफल हुआ")।
- सारांश बनाना (Summarize): यह लंबे, उबाऊ अनुभागों को संक्षिप्त करता है। 50 लाइनों का कोड पेस्ट करने के बजाय जो जासूस पहले ही पढ़ चुका है, यह लिखता है: "आपने डेटाबेस फाइलों की जांच की और पाया कि त्रुटि लाइन 42 में थी।"
- हटाना (Drop): यह कचरे को फेंक देता है। यदि जासूस ने उस फाइल को खोजने में 10 मिनट बिताए जो मौजूद ही नहीं थी, तो संपादक उस पूरे अनुभाग को हटा देता है ताकि जासूस उसे दोबारा पढ़ने में समय बर्बाद न करे।
परिणाम: जासूस को एक 100 पन्नों के उपन्यास के बजाय एक साफ, संक्षिप्त और उच्च-गुणवत्ता वाला विवरण मिलता है। इससे पैसा (टोकन का उपयोग) बचता है और जासूस को ध्यान केंद्रित करने में मदद मिलती है।

कार्य B: "कोच" (क्रिया प्रक्षेपण - Action Projection)

समस्या: कभी-कभी जासूस एक लूप (loop) में फंस जाता है। वे शायद एक ऐसा दरवाजा खोलने की कोशिश करते हैं जो उन्हें पता है कि बंद है, या वे तर्क के बजाय अनुमान लगाकर किसी पहेली को हल करने की कोशिश करते हैं। वे ऐसा करते रहते हैं, जिससे कदम बेकार जाते हैं।
HarnessBridge का समाधान: जासूस के कार्य को अपराध स्थल पर भेजने से पहले, कोच उसकी जांच करता है।
- पास करना (Pass): यदि कार्य समझ में आता है, तो कोच कहता है "आगे बढ़ो।"
- अस्वीकार करना (Reject): यदि कार्य समय की बर्बादी है (जैसे कि एक ऐसा टेस्ट चलाना जिसे अभी तक ठीक नहीं किया गया है), तो कोच उसे ब्लॉक कर देता है।
- फीडबैक (Feedback): महत्वपूर्ण बात यह है कि कोच केवल "नहीं" नहीं कहता। वह एक विशिष्ट नोट देता है: "अभी वह टेस्ट न चलाएं। आपने पहले login.py फाइल में बग को ठीक नहीं किया है। पहले उसे ठीक करें।"
परिणाम: जासूस बेकार की गलतियां करना बंद कर देता है और तुरंत फीडबैक से सीखता है।

2. यह कैसे सीखता है (प्रशिक्षण चरण - The "Training" Phase)

आप सोच सकते हैं, "इस बाउंसर को क्या पता कि क्या करना है?"
लेखकों ने HarnessBridge को नियमों की सूची देकर नहीं, बल्कि एक छात्र की तरह प्रशिक्षित किया।

उन्होंने सफल जासूसी मामलों के हजारों उदाहरण लिए (जहाँ AI ने समस्या को हल किया था)।
उन्होंने सिस्टम को दिखाया: "यह जासूस के पास मौजूद अव्यवस्थित नोटबुक है। यह वह साफ संस्करण है जिसने उन्हें तेजी से समस्या हल करने में मदद की होती। यह वह क्रिया है जो उन्होंने ली, और यह बेहतर क्रिया है जो उन्हें लेनी चाहिए थी।"
सिस्टम ने इन निर्णयों की नकल करना सीखा। इसने सीखा कि एक "सीखने योग्य नीति" (learnable policy) कैसे बनें, जिसका अर्थ है कि यह एक स्थिर नियम पुस्तिका के बजाय स्थिति के अनुसार अनुकूलित होता है।

3. परिणाम: स्मार्ट और सस्ता

इस पेपर ने वास्तविक दुनिया की कोडिंग चुनौतियों (जैसे सॉफ्टवेयर में बग ठीक करना) पर इस सिस्टम का परीक्षण किया।

प्रदर्शन (Performance): HarnessBridge ने AI को समस्याओं को हल करने में सबसे अच्छे मानव-निर्मित सिस्टम के समान या उनसे बेहतर प्रदर्शन करने में मदद की।
दक्षता (Efficiency): यही बड़ी जीत है। क्योंकि सिस्टम ने जानकारी को संकुचित किया और AI को बेकार के कदम उठाने से रोका, इसलिए इसने काफी कम "टोकन" (AI कंप्यूटिंग की मुद्रा) का उपयोग किया। कुछ मामलों में, इसने लागत को 50% या 90% तक कम कर दिया।
सामान्यीकरण (Generalization): सिस्टम को एक प्रकार के AI जासूस के लिए प्रशिक्षित किया गया था, लेकिन यह अलग, यहाँ तक कि बड़े AI मॉडल के साथ जुड़ने पर भी पूरी तरह से काम करता था। यह एक ऐसे कोच की तरह है जिसने एक विशिष्ट एथलीट को प्रशिक्षित करना सीखा, लेकिन वह किसी भी अन्य एथलीट के प्रदर्शन को तुरंत सुधार सकता है।

सारांश उपमा (Summary Analogy)

यदि AI एजेंट एक रेस कार ड्राइवर है, तो पारंपरिक हार्नेस एक स्थिर GPS है जो सभी को एक ही निर्देश देता है। HarnessBridge एक स्मार्ट को-पायलट है जो:

रेडियो के शोर को फिल्टर करता है ताकि ड्राइवर ट्रैक को स्पष्ट रूप से सुन सके।
रेस के इतिहास का सारांश देता है ताकि ड्राइवर को पूरा मैनुअल पढ़े बिना वर्तमान रणनीति का पता चल सके।
ड्राइवर के हाथ पर थपकी देता है यदि वह ऐसा मोड़ लेने की कोशिश करता है जो दीवार की ओर ले जाता है, और उसे बताता है कि वास्तव में कहाँ मुड़ना है।

पेपर का दावा है कि यह दृष्टिकोण AI एजेंटों को तेज़, सस्ता और बिना किसी मानवीय हस्तक्षेप के जटिल कार्यों को हल करने में बेहतर बनाता है।

तकनीकी सारांश: HarnessBridge

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को जटिल, लंबे समय तक चलने वाले कार्यों (जैसे, स्वायत्त सॉफ्टवेयर इंजीनियरिंग, वेब नेविगेशन) के लिए एजेंट के रूप में तेजी से तैनात किया जा रहा है। जबकि प्रगति का ध्यान मजबूत जनरेटर मॉडल्स और समृद्ध वातावरणों पर केंद्रित रहा है, एक तीसरा महत्वपूर्ण अक्ष—वह हार्नेस (harness) जो एजेंट-पर्यावरण संपर्क को मध्यस्थ बनाता है—एक बाधा बना हुआ है।

मौजूदा हार्नेस मुख्य रूप से मैन्युअल रूप से इंजीनियर किए गए स्कैफोल्ड्स हैं जो अवलोकनों (observations) को फॉर्मेट करते हैं, संदर्भ (context) का प्रबंधन करते हैं और क्रियाओं (actions) को मान्य करते हैं। जैसे-जैसे इंटरैक्शन का क्षितिज (horizons) बढ़ता है, ये स्थिर प्रणालियाँ दो प्राथमिक सीमाओं का सामना करती हैं:

पर्यावरण-से-एजेंट (अवलोकन): प्रक्षेपवक्र (trajectories) में अनावश्यक संदर्भ, पुराने एरर और कम मूल्यवान विवरण जमा हो जाते हैं, जिससे निर्णय लेने के लिए महत्वपूर्ण स्थितियाँ धुंधली हो जाती हैं और टोकन लागत बढ़ जाती है।
एजेंट-से-पर्यावरण (क्रिया): मॉडल अप्रभावी क्रियाओं को दोहरा सकते हैं, अमान्य हुई परिकल्पनाओं का पीछा कर सकते हैं, या त्रुटिपूर्ण कमांड जारी कर सकते हैं, जिससे कार्य को आगे बढ़ाए बिना दुर्लभ परिवेश चरणों (environment steps) की खपत होती है।

वर्तमान स्वचालित दृष्टिकोण (जैसे, Meta-Harness) आमतौर पर बाहरी स्कैफोल्ड्स या प्रॉम्प्ट्स को अनुकूलित करते हैं लेकिन उस रनटाइम इंटरैक्शन पॉलिसी को नहीं सीखते जो गतिशील रूप से यह निर्धारित करती है कि जनरेटर को क्या जानकारी भेजी जाए और किन क्रियाओं को पर्यावरण में लागू किया जाए। लेखक पूछते हैं: क्या हार्नेस को एक एंड-टू-एंड सीखने योग्य जेनरेशन समस्या के रूप में तैयार किया जा सकता है?

कार्यप्रणाली: HarnessBridge

लेखक HarnessBridge का प्रस्ताव करते हैं, जो एक हल्का, सीखने योग्य हार्नेस कंट्रोलर है जो एजेंट-पर्यावरण इंटरफेस को एक द्विदिश प्रोजेक्शन पॉलिसी ( $\pi_h$ ) के रूप में पैरामीटराइज करता है। जनरेटर पॉलिसी ( $\pi_g$ ) जमी हुई (frozen) रहती है; अनुकूलन केवल हार्नेस पर होता है।

1. द्विदिश प्रोजेक्शन (Bidirectional Projections)

HarnessBridge दो अलग-अलग मैपिंग सीखता है:

अवलोकन प्रोजेक्शन ( $P_{obs}$ ): कच्चे इंटरैक्शन इतिहास ( $H_t$ ) को जनरेटर-दृश्य योग्य स्थिति ( $\tilde{H}_t$ ) में मैप करता है।
- तंत्र: यह प्रत्येक इतिहास इकाई $h_i$ $h_{i}$ को प्रोसेस करता है और एक निर्णय $z_i \in \{Pass, Compress, Drop\}$ $z_{i} \in {P a ss, C o m p r ess, D r o p}$ असाइन करता है।
  - Pass: इकाई को अपरिवर्तित रखें।
  - Compress: अर्थ सुरक्षित रखते हुए इकाई को संक्षिप्त करें (जैसे, विस्तृत लॉग्स का सारांश बनाना)।
  - Drop: अप्रासंगिक, पुराने या निरस्त सामग्री को हटा दें।
- एक्टिव-स्टेट इंडेक्स: एक सीखा गया घटक ( $U_t$ ) जो इतिहास से पहले रखा जाता है जो स्पष्ट रूप से अनसुलझे एरर, खुले प्रतिबंधों, स्थापित तथ्यों और लंबित लक्ष्यों को ट्रैक करता है, यह सुनिश्चित करता है कि लंबे प्रक्षेपवक्र से पुनर्गठन किए बिना महत्वपूर्ण स्थिति दृश्यमान रहे।
एक्शन प्रोजेक्शन ( $P_{act}$ ): एक प्रस्तावित जनरेटर क्रिया ( $a_t$ ) को पर्यावरण-सामना करने वाली क्रिया ( $a'_t$ ) में मैप करता है।
- तंत्र: यह एक निर्णय $d_t \in \{Pass, Reject\}$ $d_{t} \in {P a ss, R e j ec t}$ की भविष्यवाणी करता है।
  - Pass: क्रिया को निष्पादित करें ( $a'_t = a_t$ )।
  - Reject: क्रिया को ब्लॉक करें ( $a'_t = \emptyset$ ) और जनरेटर को ट्रैजेक्टरी-आधारित फीडबैक ( $\rho_t$ ) वापस करें।
- फीडबैक संरचना: अस्वीकार (Rejections) में एक चिंता (क्रिया क्यों अनुत्पादक है), साक्ष्य (अस्वीकृति का समर्थन करने वाले इतिहास से विशिष्ट उद्धरण), और एक सुझाव (इसे कैसे सुधारा जाए) शामिल होना चाहिए। यह अनproductive लूप्स को रोकता है जबकि सूचनात्मक अन्वेषण को बनाए रखता है।

2. एकीकृत निर्देश ट्यूनिंग (Unified Instruction Tuning)

अलग-अलग मॉड्यूल के बजाय, HarnessBridge दोनों प्रोजेक्शन को एक साझा पॉलिसी ( $P_\theta$ ) का उपयोग करके एक एकल कंडीशनल जेनरेशन समस्या में एकीकृत करता है।

प्रशिक्षण डेटा: हल किए गए प्रक्षेपवक्रों (जैसे, SWE-bench Verified) से निर्मित।
सुपरविजन: मॉडल को टास्क स्पेसिफिकेशन और वर्तमान प्रक्षेपवक्रम के आधार पर उपयुक्त प्रोजेक्शन (कंप्रेस्ड स्टेट या पास/रिजेक्ट निर्णय के साथ फीडबैक) उत्पन्न करने के लिए इंस्ट्रक्शन ट्यूनिंग के माध्यम से प्रशिक्षित किया जाता है।
डेटा क्यूरेशन: उच्च-गुणवत्ता वाले सुपरविजन को एक LLM जज का उपयोग करके फ़िल्टर किया जाता है ताकि यह सुनिश्चित हो सके कि:
- अवलोकन प्रोजेक्शन निर्णय-महत्वपूर्ण साक्ष्य और स्कीमा निरंतरता को सुरक्षित रखता है।
- एक्शन प्रोजेक्शन ट्रैजेक्टरी-आधारित है (अस्वीकृतियों को विशिष्ट इतिहास का हवाला देना चाहिए) और दक्षता लाभ की ओर ले जाता है।
मॉडल: एक हल्का LLM (Qwen3.5-0.8B) कंट्रोलर के रूप में सेवा देने के लिए फाइन-ट्यून किया जाता है, जबकि जनरेटर (जैसे, Qwen3.5-35B, GPT-5.4) स्थिर रहता है।

मुख्य योगदान

एंड-टू-एंड सीखने योग्य हार्नेस: मैन्युअल रूप से इंजीनियर किए गए इंटरैक्शन लॉजिक को एक सीखने योग्य हार्नेस पॉलिसी से बदलने वाला पहला फ्रेमवर्क पेश करता है जो एजेंट-पर्यावरण इंटरफेस को मध्यस्थ बनाता है।
एकीकृत निर्देश ट्यूनिंग: एजेंटों और वातावरणों के बीच द्विदिश मैपिंग (अवलोकन संपीड़न और क्रिया सत्यापन) सीखने के लिए एकीकृत निर्देश ट्यूनिंग के पहले अनुप्रयोग को प्रदर्शित करता है।
HarnessBridge सिस्टम: एक कार्यशील प्रणाली प्रस्तुत करता है जो काफी कम टोकन उपयोग और प्रक्षेपवक्र लंबाई के साथ प्रतिस्पर्धी कार्य प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न ओपन-सोर्स और कमर्शियल मॉडल्स पर Terminal-Bench 2.0 और SWE-bench Verified पर HarnessBridge का मूल्यांकन किया।

प्रदर्शन बनाम दक्षता: HarnessBridge विशेषज्ञ हार्नेसेस (जैसे, Terminus 2, OpenHands, Meta-Harness) की तुलना में या तो उनके बराबर प्रदर्शन करता है या उनसे बेहतर होता है, जबकि टोकन उपयोग को काफी कम कर देता है।
- Terminal-Bench 2.0 पर (Qwen3.5-35B), इसने 33.7% सफलता दर (Terminus 2 के 30.3% के मुकाबले) हासिल की और 46.8% टोकन उपयोग में कमी देखी।
- SWE-bench Verified पर, इसने 60.2% सफलता दर (Terminus 2 के 61.6% के मुकाबले) बनाए रखी और 23.1% टोकन की कमी दर्ज की।
सामान्यीकरण (Generalization): एक छोटे जनरेटर (Qwen3.5-35B) के प्रक्षेपवक्रों पर प्रशिक्षित मॉडल बड़े कमर्शियल मॉडल्स (जैसे, GPT-5.4, Claude-Opus-4.7) पर प्रभावी ढंग से सामान्यीकृत हुए, जिससे अक्सर सफलता दर में सुधार हुआ और विशिष्ट मॉडल्स पर टोकन लागत में 90% तक की कमी आई।
एब्लेशन अध्ययन (Ablation Studies): अवलोकन या एक्शन प्रोजेक्शन मॉड्यूल में से किसी एक को हटाने से सफलता दर में गिरावट आई, जिससे पुष्टि हुई कि इष्टतम इंटरैक्शन के लिए दोनों घटक आवश्यक हैं।
केस स्टडीज: विश्लेषण ने दिखाया कि HarnessBridge रेडंडेंट रीजनिंग और नेविगेशन टर्न्स को प्रभावी ढंग से कंप्रेस करता है जबकि महत्वपूर्ण टेस्ट आउटपुट और एरर मैसेज को सुरक्षित रखता है। इसने उन "रेडंडेंट वेरिफिकेशन लूप्स" को सफलतापूर्वक बाधित किया जहाँ एजेंट कोड को टेस्ट किए बिना बार-बार चेक कर रहे थे, उन्हें एक्शन योग्य चरणों की ओर पुनर्निर्देशित किया।

महत्व और दावे

पेपर दावा करता है कि HarnessBridge एजेंट-पर्यावरण इंटरफेस को एक स्थिर इंफ्रास्ट्रक्चर के बजाय एक सीखने योग्य पॉलिसी के रूप में पुनर्गठित करता है। इसका महत्व इस प्रकार है:

स्केलेबिलिटी: पुराने संदर्भ को दबाने और अनुत्पादक क्रियाओं को अस्वीकार करने को सीखकर, सिस्टम कुशल रहता है क्योंकि कार्य क्षितिज (task horizons) बढ़ते हैं, जो वर्तमान लॉन्ग-होरिजन एजेंटों की एक केंद्रीय सीमा को संबोधित करता है।
दक्षता: यह कार्य सफलता दरों से समझौता किए बिना (और अक्सर उन्हें सुधारते हुए) टोकन खपत और प्रक्षेपवक्र लंबाई में पर्याप्त कमी लाता है।
स्थानांतरणीयता (Transferability): सीखा गया नियंत्रण पैटर्न विभिन्न जनरेटर मॉडल्स और वातावरणों में सामान्य होता है, जो यह सुझाव देता है कि हार्नेस किसी विशिष्ट मॉडल के प्रक्षेपवक्र आर्टिफैक्ट्स के बजाय प्रभावी एजेंट-पर्यावरण इंटरैक्शन के मौलिक गुणों को कैप्चर करता है।

लेखक नोट करते हैं कि उनका मूल्यांकन वर्तमान में कोडिंग सेटिंग्स तक सीमित है, लेकिन तंत्र सामान्य टूल-यूज़ प्रक्षेपवक्रों पर काम करता है, जो वेब नेविगेशन और मल्टी-स्टेप रिसर्च वर्कफ़्लो के लिए संभावित अनुप्रयोग का संकेत देता है।