तकनीकी सारांश: Long-Horizon-Terminal-Bench

समस्या विवरण

वर्तमान AI एजेंट, जो लार्ज लैंग्वेज मॉडल्स (LLMs) पर आधारित हैं, लघु और सीमित दायरे वाले टर्मिनल कार्यों (जैसे कि एक विशिष्ट कोड समस्या को ठीक करना या कुछ शेल कमांड जारी करना) में दक्षता प्रदर्शित करते हैं। हालाँकि, मौजूदा टर्मिनल बेंचमार्क (जैसे कि Terminal-Bench और SWE-Bench) मुख्य रूप से इन लघु-क्षितिज (short-horizon) समस्याओं पर ध्यान केंद्रित करते हैं, जिनका मूल्यांकन आमतौर पर मिनटों के भीतर किया जाता है और केवल एक बाइनरी "पास/फेल" परिणाम के आधार पर ग्रेड किया जाता है। यह मूल्यांकन प्रतिमान दो महत्वपूर्ण अंतराल पैदा करता है:

1. कठिनाई का कम आकलन: लघु क्षितिज उन जटिल वास्तविक वर्कफ़्लो को पकड़ने में विफल रहते हैं जिनमें सैकड़ों चरणों, घंटों तक चलने वाली निरंतर योजना और पुनरावृत्तीय डिबगिंग (iterative debugging) की आवश्यकता होती है।
2. विरल पुरस्कार संकेत (Sparse Reward Signals): बाइनरी ग्रेडिंग मध्यवर्ती प्रगति को अनदेखा करती है। एक एजेंट जो एक जटिल वर्कफ़्लो का 90% पूरा करता है लेकिन अंतिम चरण में विफल हो जाता है, उसे उसी स्कोर के साथ माना जाता है जो एक ऐसे एजेंट को मिलता है जो तुरंत विफल हो जाता है। यह एजेंट की वास्तविक क्षमता को अस्पष्ट कर देता है और विशिष्ट विफलता मोड (जैसे कि समय समाप्त होने से पहले समय से पूर्व रुकना बनाम टाइमआउट होना) को निदान करना कठिन बना देता है।

कार्यप्रणाली

लेखक Long-Horizon-Terminal-Bench (LHTB) पेश करते हैं, जो एक ऐसा बेंचमार्क है जिसे सघन, प्रक्रिया-आधारित रिवॉर्ड ग्रेडिंग का उपयोग करके डोमेन-विशिष्ट टर्मिनल कार्यों पर एजेंटों का परीक्षण करने के लिए डिज़ाइन किया गया है।

कार्य निर्माण

• दायरा: इस बेंचमार्क में नौ श्रेणियों के 46 कार्य शामिल हैं, जिनमें प्रयोग पुनरुत्पादन (experiment reproduction), सॉफ्टवेयर इंजीनियरिंग, मल्टीमॉडल विश्लेषण, इंटरैक्टिव गेम्स और वैज्ञानिक कंप्यूटिंग शामिल हैं।
• प्रारूप: कार्य Terminal-Bench के प्रारूप का अनुसरण करते हैं: एक कंटेनरीकृत Docker वातावरण जिसमें एक प्राकृतिक भाषा निर्देश, प्रासंगिक फ़ाइलें/उपकरण और एक ऑरेकल समाधान होता है। एजेंट पूरी तरह से टर्मिनल के माध्यम से बातचीत करते हैं।
• जटिलता: कार्यों को स्पष्ट रूप से सैकड़ों चरणों और दस मिनट से लेकर घंटों तक के निष्पादन समय की आवश्यकता के लिए डिज़ाइन किया गया है। इनमें कोड को पढ़ना/संशोधित करना, लंबे स्क्रिप्ट चलाना और आंशिक आउटपुट का निरीक्षण करना शामिल है।
• कठिनाई अंशांकन (Difficulty Calibration): कार्यों को "जानबूझकर खराब किए गए" टर्मिनल-ओनली प्रोजेक्ट्स बनाकर बनाया गया था। ओवरफिटिंग को रोकने के लिए, सार्वजनिक जाँच न्यूनतम है (केवल CLI व्यवहार और सरल उदाहरणों को मान्य करती है), जबकि अधिकांश रिवॉर्ड छिपे हुए स्ट्रेस केस (जैसे कि नेस्टेड मैनिफेस्ट, स्कीमा भिन्नता, इंजेक्टेड नॉइज़) से प्राप्त होता है जो मजबूत, सामान्यीकरण योग्य समाधानों की मांग करते हैं।

ग्रेडिंग तंत्र: सघन रिवॉर्ड्स (Dense Rewards)

बाइनरी मूल्यांकन के विपरीत, LHTB एक सब-टास्क-आधारित ग्रेडिंग योजना का उपयोग करता है:

• प्रत्येक कार्य को अर्थपूर्ण उप-कार्यों ($s_1, \dots, s_K$) में विभाजित किया गया है।
• एक नियतात्मक ग्रेडर वस्तुनिष्ठ साक्ष्य (फ़ाइलें, आउटपुट, टेस्ट परिणाम) के आधार पर प्रत्येक उप-कार्य को एक सामान्यीकृत स्कोर $r_k \in [0, 1]$ प्रदान करता है।
• अंतिम रिवॉर्ड $R$ एक भारित औसत है: $R = \frac{\sum w_k r_k}{\sum w_k}$।
• यह आंशिक क्रेडिट (partial credit) की अनुमति देता है, जिससे यह कैप्चर होता है कि यदि कोई एजेंट अंतिम लक्ष्य तक पहुँचने में विफल रहता है, तो उसने कितनी प्रगति की है।

मूल्यांकन सेटअप

• मॉडल्स: 15 फ्रंटियर मॉडल्स का मूल्यांकन किया गया (जिसमें GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code, आदि शामिल हैं)।
• हार्नेस: अधिकांश मॉडल्स के लिए Terminus-2 एजेंट हार्नेस का उपयोग किया गया, जो एक एकल लॉन्ग-होरिज़न टर्मिनल सत्र के माध्यम से बातचीत करता है।
• सीमाएँ: कार्यों के लिए 90 मिनट का वॉल-क्लॉक टाइमआउट निर्धारित है।
• मेट्रिक्स: Pass@1 (थ्रेशोल्ड $R \ge 0.9, 0.95, 1.0$ पर), माध्य सामान्यीकृत रिवॉर्ड, प्रति कार्य एपिसोड, निष्पादन समय, और अनुमानित लागत।

मुख्य परिणाम

मूल्यांकन से पता चलता है कि लॉन्ग-होरिज़न निष्पादन उन्नत मॉडल्स के लिए भी एक महत्वपूर्ण बाधा बना हुआ है।

• कम सफलता दर: सबसे मजबूत मॉडल, GPT-5.5 ने भी $R \ge 0.95$ थ्रेशोल्ड पर केवल 15.2% की पास दर और पूर्णता ($R=1.0$) पर 10.9% की पास दर हासिल की। सभी 15 मॉडल्स की औसत पास दर $R \ge 0.95$ पर मात्र 4.3% थी।
• संसाधन खपत: कार्य अत्यंत मांग वाले हैं, जो प्रति रन औसतन 231 एपिसोड, 9.9 मिलियन टोकन, और 85.3 मिनट का निष्पादन समय लेते हैं।
• लागत दक्षता: लागत-दक्षता में व्यापक भिन्नता है। GPT-5.5 सबसे महंगा ($21/कार्य) लेकिन सबसे प्रभावी है। Hy3 कम-लागत सीमा ($2.5/कार्य) को मध्यम सफलता के साथ एंकर करता है। कई मॉडल्स नगण्य सफलता के साथ उच्च लागत वहन करते हैं, जो दर्शाता है कि केवल इन्फरेंस खर्च बढ़ाने से लॉन्ग-होरिज़न विफलताओं को हल नहीं किया जा सकता है।
• विफलता मोड:
  • टाइमआउट: 7D अनसुलझे रन 90 मिनट के बजट के समाप्त होने के कारण समाप्त हुए, जबकि एजेंट अभी भी काम कर रहा था, और अक्सर कम औसत रिवॉर्ड (0.10–0.35) के साथ समाप्त हुआ।
  • फॉल्स फिनिश (False Finishes): "अर्ली एग्जिट" (एजेंट द्वारा स्वयं रुकना) का एक महत्वपूर्ण हिस्सा उच्च रिवॉर्ड स्तरों ($R \ge 0.75$) पर हुआ, जहाँ एजेंट ने गलत तरीके से कार्य को पूर्ण मान लिया। यह सेल्फ-वेरिफिकेशन और स्टॉपिंग क्राइटेरिया में कमजोरी को उजागर करता है।
  • बाइनरी बनाम डेंस: सख्त बाइनरी ग्रेडिंग ($R \ge 1.0$) के तहत, 15 में से 10 मॉडल्स ने शून्य कार्य हल किए। डेंस ग्रेडिंग ने खुलासा किया कि 62.8% रन ने सार्थक आंशिक प्रगति की, जिससे उन मॉडल्स के बीच अंतर स्पष्ट हुआ जो "करीब" थे और वे जो तुरंत विफल हो गए।

महत्व और दावे

पेपर का दावा है कि Long-Horizon-Terminal-Bench केवल परिणाम-आधारित मूल्यांकन की सीमाओं से आगे बढ़ने के लिए आवश्यक है। इसके प्राथमिक योगदान हैं:

1. छिपी हुई प्रगति को प्रकट करना: डेंस रिवॉर्ड्स उन "नियर-मिस" (लगभग सफल होने) और आंशिक प्रगति को उजागर करते हैं जिन्हें बाइनरी ग्रेडिंग अस्पष्ट कर देती है, जिससे एजेंट की क्षमताओं का अधिक सूक्ष्म दृश्य मिलता है।
2. बाधा की पहचान करना: परिणाम बताते हैं कि वर्तमान एजेंटों के लिए प्राथमिक सीमा स्थानीय तर्क की शुद्धता (जिसे लघु बेंचमार्क मापते हैं) नहीं है, बल्कि विश्वसनीय लॉन्ग-होरिज़न पूर्णता है। एजेंटों को समय के बजट, लंबी ट्रैजेक्टरीज पर स्टेट बनाए रखने और रुकने के निर्णय को कैलिब्रेट करने में संघर्ष करना पड़ता है।
3. वास्तविकता का बेंचमार्किंग: सैकड़ों चरणों और घंटों के निष्पादन की आवश्यकता के साथ, LHTB पिछले बेंचमार्क की तुलना में स्वायत्त एजेंटों के लिए अधिक यथार्थवादी स्ट्रेस टेस्ट प्रदान करता है, जो सुधार के लिए पर्याप्त अवसर दिखाता है।
4. भविष्य के कार्य के लिए संसाधन: लेखक विस्तारित क्षितिज (extended horizons) पर विश्वसनीय रूप से योजना बनाने, सत्यापित करने और निष्पादित करने में सक्षम एजेंटों के विकास का समर्थन करने के लिए बेंचमार्क और मूल्यांकन हार्नेस जारी करते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान एजेंट स्थानीय चरणों को सही ढंग से कर सकते हैं, लेकिन उनमें व्यावहारिक, वास्तविक-दुनिया के वर्कफ़्लो के लिए आवश्यक लॉन्ग-होरिज़न पर प्रगति बनाए रखने और पूर्णता को सत्यापित करने की मजबूती की कमी है।