StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
यह शोध पत्र StateM को पेश करता है, जो एक एजेंट-नेटिव रनटाइम है जो टिकाऊ अवस्थाओं (durable states), जांचे गए संक्रमणों (checked transitions) और वर्शन्ड रनबुक्स (versioned runbooks) के माध्यम से हार्नेस स्केलिंग का लाभ उठाकर Terminal-Bench 2.1 पर लॉन्ग-हॉरिजन एजेंट सटीकता को महत्वपूर्ण रूप से बढ़ाकर 95.3% करता है और बेसलाइन मॉडलों की तुलना में अनुमान लागत (inference costs) को भारी रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, एक निरंतर बनी रहने वाली पहेली उभर कर आई है: क्यों अत्यधिक परिष्कृत कंप्यूटर प्रोग्राम, जो व्यक्तिगत रूप से जटिल चरणों को हल करने में सक्षम हैं, अक्सर एक लंबे, बहु-चरणीय कार्य को पूरा करने के लिए पूछे जाने पर विफल हो जाते हैं? कल्पना कीजिए कि एक प्रतिभाशाली वास्तुकार एक आदर्श कमरा डिजाइन कर सकता है लेकिन नींव रखना भूल जाता है, या एक कुशल सर्जन एक त्रुटिहीन चीरा लगाता है लेकिन प्रक्रिया के बीच में मरीज के महत्वपूर्ण संकेतों (वाइटल साइन्स) का ध्यान खो देता है। ये सिस्टम, जिन्हें 'लॉन्ग-होरिज़न एजेंट्स' कहा जाता है, इसलिए विफल नहीं होते क्योंकि उनमें बुद्धि की कमी है, बल्कि इसलिए क्योंकि वे प्रक्रिया में अपना स्थान खो देते हैं। वे भूल सकते हैं कि उन्होंने पहले क्या किया है, किसी आवश्यक जांच को छोड़ सकते हैं, या अंतिम लक्ष्य तक वास्तव में पहुँचने से पहले ही काम करना बंद कर सकते हैं। वर्षों से, मानक समाधान बड़े, अधिक स्मार्ट दिमाग बनाने का रहा है, इस उम्मीद में कि एक अधिक शक्तिशाली मॉडल स्वाभाविक रूप से ये गलतियाँ नहीं करेगा। हालांकि, जांच की एक नई दिशा बताती है कि समस्या शायद दिमाग की नहीं, बल्कि उस वातावरण की है जिसमें वह काम करता है।
शोधकर्ताओं ने एक अलग प्रश्न पूछना शुरू कर दिया है: इस विफलता में से कितना वास्तव में उस सिस्टम की विफलता है जो एजेंट का ध्यान रखता है, उसकी प्रगति को ट्रैक करता है, और उसे काम पूरा करने के लिए मजबूर करता है? यह दृष्टिकोण, जिसे लेखक "हारनेस स्केलिंग" (harness scaling) कहते हैं, प्रस्तावित करता है कि हम मॉडल को बदले बिना, उसे घेरने वाले उपकरणों और नियमों में सुधार करके एक मौजूदा, सक्षम मॉडल को बहुत अधिक विश्वसनीय बना सकते हैं। मॉडल को सब कुछ खुद याद रखने के लिए मजबूर करने के बजाय, यह विधि एजेंट को एक साझा, बाहरी नोटबुक देती है जिसे वह और एक मानव पर्यवेक्षक दोनों पढ़ और अपडेट कर सकते हैं। यह नोटबुक इस बात का एक टिकाऊ रिकॉर्ड के रूप में कार्य करती है कि एजेंट कहाँ है, उसने आगे क्या करने का वादा किया है, और आगे बढ़ने से पहले किस प्रमाण की आवश्यकता है। निष्पादन प्रक्रिया को स्पष्ट चेकपॉइंट्स के साथ विशिष्ट चरणों की एक श्रृंखला के रूप में मानकर, यह सिस्टम सुनिश्चित करता है कि एजेंट रास्ते से न भटके या आधा अधूरा काम छोड़कर न रुक जाए।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व ज़ीहेंग किन और सहयोगियों ने किया, इस विचार का परीक्षण करने के लिए 'स्टेटएम' (StateM) नामक एक हल्का सिस्टम बनाया। उन्होंने इसे मानक कंप्यूटर एजेंटों के साथ काम करने के लिए डिज़ाइन किया जो कमांड लाइनों के माध्यम से संचालित होते हैं, ठीक वैसे ही जैसे एक इंसान टर्मिनल में निर्देश टाइप करता है। उनके आविष्कार का मूल एक सरल, पठनीय दस्तावेज़ है जिसे 'रनबुक' (runbook) कहा जाता है। यह दस्तावेज़ एजेंट के लिए एक मानचित्र और एक अनुबंध के रूप में कार्य करता है। यह एक बड़े कार्य को विशिष्ट चरणों, या अवस्थाओं में विभाजित करता है, जैसे कि योजना बनाना, निर्माण करना, जांचना और कार्य सौंपना। जब एजेंट एक नई अवस्था में प्रवेश करता है, तो सिस्टम उसके निर्देशों को ताज़ा करता है और उसे ठीक से दिखाता है कि छोड़ने से पहले उसे क्या हासिल करने की आवश्यकता है। महत्वपूर्ण रूप से, एजेंट केवल यह घोषित करके चरण पूरा नहीं कर सकता; उसे एक सत्यापन जांच (वेरिफिकेशन चेक) पास करनी होगी। यदि एजेंट किसी चरण को छोड़ने की कोशिश करता है या किसी जांच में विफल रहता है, तो सिस्टम उसे रोकता है और आगे बढ़ने से पहले त्रुटि को सुधारने के लिए मजबूर करता है। यह एक साझा स्थान बनाता है जहाँ एजेंट और मानव मिलकर काम का निरीक्षण, निर्णयों का ऑडिट और नियमों को अपडेट कर सकते हैं।
यह देखने के लिए कि क्या यह दृष्टिकोण काम करता है, टीम ने 89 जटिल कंप्यूटर कार्यों के एक कठोर सेट, जिसे 'टर्मिनल-बेंच' (Terminal-Bench) कहा जाता है, पर इसका परीक्षण किया। उन्होंने GPT-5.5 नामक एक शक्तिशाली मॉडल से शुरुआत की और अपना नया सिस्टम लागू किया। परिणाम आश्चर्यजनक थे। मॉडल के आंतरिक कोड को बदले बिना या इसे नए डेटा पर प्रशिक्षित किए बिना, इस सिस्टम ने मॉडल की सफलता दर को 83.1 प्रतिशत से बढ़ाकर 92.1 प्रतिशत कर दिया। यह वृद्धि इतनी महत्वपूर्ण थी कि इसने प्रभावी रूप से इस पुराने मॉडल और सॉफ्टवेयर के एक नए, अधिक उन्नत संस्करण के बीच के अंतर को पाट दिया। शोधकर्ताओं ने फिर उन्हीं नियमों के सेट, या रनबुक को, बिना किसी समायोजन के एक और नए मॉडल, GPT-5.6 पर लागू किया। सिस्टम ने और भी बेहतर प्रदर्शन किया, सैकड़ों परीक्षणों में 95.3 प्रतिशत की कच्ची सटीकता प्राप्त की। इसने 89 के 89 कार्यों को कम से कम एक बार सफलतापूर्वक हल किया, जिससे यह प्रदर्शित हुआ कि एक मॉडल के लिए विकसित किए गए नियम दूसरे नए मॉडल में सहजता से स्थानांतरित हो सकते हैं।
अध्ययन ने यह भी पता लगाया कि क्या इन लाभों को सस्ते, विभिन्न प्रकार के आर्टिफिशियल इंटेलिजेंस मॉडलों के साथ प्राप्त किया जा सकता है। जब उन्होंने अपने सिद्धांतों को 'डीपसीक-वी4 फ्लैश' (DeepSeek-V4 Flash) नामक मॉडल पर लागू किया, तो शुरुआती परिणाम मिश्रित थे क्योंकि सटीक नियम इसमें पूरी तरह फिट नहीं बैठे। हालांकि, इस नए मॉडल के लिए विशिष्ट प्रथाओं को अनुकूलित करने में थोड़े से पैसे—तीस डॉलर से कम—खर्च करके, वे इसकी प्रदर्शन क्षमता को 82.7 प्रतिशत से बढ़ाकर 88.1 प्रतिशत करने में सक्षम रहे। इस परिणाम को सिद्ध करने की कुल लागत, अनुकूलन और अंतिम परीक्षण सहित, लगभग बावन डॉलर थी। इसके विपरीत, इसी तरह के उच्च-स्तरीय परिणाम के लिए सबसे महंगे सार्वजनिक सबमिशन की लागत लगभग छह सौ डॉलर थी। यह सुझाव देता है कि एक बेहतर निष्पादन प्रणाली में निवेश करना केवल सबसे शक्तिशाली मॉडल खरीदने की तुलना में कहीं अधिक लागत प्रभावी हो सकता है।
शोधकर्ताओं ने व्यावसायिक वर्कफ़्लो से जुड़े कार्यों के एक अलग सेट पर भी अपने सिस्टम का परीक्षण किया, जैसे बजट को मंजूरी देना या मशीनरी चलाना। यहाँ, परिणामों ने दिखाया कि नियम तब सबसे अच्छा काम करते हैं जब वे काम की विशिष्ट प्रकृति से मेल खाते हैं। उन कार्यों के लिए जिनमें नियमों के सख्त पालन और स्पष्ट हैंडऑफ की आवश्यकता थी, सिस्टम ने भारी सुधार किया, कभी-कभी सफलता दर को दोगुना कर दिया। हालांकि, उन कार्यों के लिए जो संरचना में बहुत भिन्न थे, यदि नियम बहुत कठोर थे या प्रक्रिया के गलत हिस्से पर लागू थे, तो सिस्टम ने कभी-कभी चीजों को बदतर बना दिया। इसने शोधकर्ताओं को सिखाया कि कुंजी हर संभावित स्थिति के लिए नियमों की एक विशाल सूची रखना नहीं है, बल्कि उन विशिष्ट सीमाओं की पहचान करना है जहाँ त्रुटियाँ होने की सबसे अधिक संभावना है और केवल वहीं जाँच लागू करना है।
अंततः, यह कार्य बताता है कि आर्टिफिशियल इंटेलिजेंस की विश्वसनीयता इस बात पर उतनी ही निर्भर करती है जितना कि इस पर कि हम उसके काम को कैसे प्रबंधित करते हैं, न कि इस पर कि मॉडल कितना स्मार्ट है। शोधकर्ताओं ने सक्षम एजेंटों के विफल होने के तीन मुख्य कारण पहचाने: उनके पास निर्णय के समय सही ज्ञान की कमी होती है, वे पिछले प्रयासों से सीखे गए सबक भूल जाते हैं, या वे उस प्रक्रिया का पालन करने में विफल रहते हैं जिसे वे जानते हैं। उनका सिस्टम इन मुद्दों को संबोधित करता है—वर्तमान चरण का एक ताजा, स्पष्ट रिकॉर्ड रखकर, एक वर्जन्ड दस्तावेज़ में सबक संग्रहीत करके जिसे पुन: उपयोग किया जा सके, और आगे बढ़ने से पहले एजेंट को अपना काम सिद्ध करने के लिए मजबूर करके। निष्कर्ष बताते हैं कि हमें जटिल समस्याओं को हल करने के लिए अगली पीढ़ी के सुपर-इंटेलिजेंट मॉडलों की प्रतीक्षा करने की आवश्यकता नहीं है। इसके बजाय, हमारे पास मौजूद मॉडलों को निर्देशित करने के लिए बेहतर सिस्टम बनाकर, हम सक्षम लेकिन अविश्वसनीय एजेंटों को मजबूत, काम पूरा करने वाली मशीनों में बदल सकते हैं। आगे का रास्ता केवल दिमाग को बड़ा बनाने के बारे में नहीं है, बल्कि काम के दौरान उसे ले जाने के लिए एक बेहतर शरीर बनाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।