DeployBench: Benchmarking LLM Agents for Research Artifact Deployment
यह शोध पत्र DeployBench प्रस्तुत करता है, जो 51 रिसर्च-आर्टिफैक्ट परिनियोजन (deployment) कार्यों वाला एक बहु-डोमेन बेंचमार्क है जो जटिल, वास्तविक वैज्ञानिक वातावरण स्थापित करने में LLM एजेंटों की क्षमताओं का मूल्यांकन करता है, और यह मुख्य रूप से त्रुटिपूर्ण स्व-समाप्ति तर्क (self-termination logic) के कारण वर्तमान एजेंट प्रदर्शन में महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक प्रसिद्ध शेफ की एक बिल्कुल नई, हाई-टेक रेसिपी बुक खरीदी है। यह किताब स्वादिष्ट और जटिल व्यंजनों का वादा करती है। हालाँकि, जब आप इसे खोलते हैं, तो आपको केवल रेसिपी ही नहीं मिलती; आपको 10 साल पुरानी सामग्री की एक सूची भी मिलती है, एक विशिष्ट प्रकार के ओवन की आवश्यकता होती जो अब अस्तित्व में नहीं है, और निर्देश ऐसी भाषा में लिखे गए हैं जिसे आप नहीं जानते।
DeployBench एक परीक्षण है यह देखने के लिए कि क्या एक "रोबोट शेफ" (एक AI एजेंट) उस बिखरी हुई, पुरानी रेसिपी बुक को लेकर वास्तव में शून्य से एक किचन बना सकता है ताकि वह व्यंजन बनाया जा सके।
यहाँ इस पेपर में मिली बातों का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "खाली किचन" का अंतर (The "Empty Kitchen" Gap)
वर्तमान में, AI रोबोट तब बहुत अच्छे होते हैं जब वे एक पूरी तरह से सुसज्जित, आधुनिक किचन में खड़े होकर निर्देशों का पालन करते हैं। लेकिन वास्तविक दुनिया में वैज्ञानिक अनुसंधान के मामले में, पेपर अक्सर अपने कोड को "कच्चे" (raw) रूप में रिलीज करते हैं। इसका मतलब है:
- सामग्री गायब है: कोड को विशिष्ट सॉफ़्टवेयर वर्ज़न की आवश्यकता होती है जो शायद पुराने हो चुके हों।
- औज़ार गलत हैं: इसके लिए एक विशेष ग्राफिक्स कार्ड (GPU) या एक विशिष्ट ऑपरेटिंग सिस्टम कर्नेल की आवश्यकता हो सकती है जो पहले से इंस्टॉल न हो।
- रेसिपी पुरानी है: कुछ रेसिपी 2011 की हैं, और आधुनिक किचन (ऑपरेटिंग सिस्टम) उन्हें बिना बड़े सुधारों के नहीं पढ़ सकता।
AI के लिए पिछले अधिकांश परीक्षणों ने केवल यह जांचा कि क्या रोबोट एक पहले से बने, आदर्श किचन में खाना बना सकता है। DeployBench रोबोट से यह मांगता है कि वह एक खाली कमरे से शुरुआत करे, दीवारें बनाए, प्लंबिंग स्थापित करे, पुरानी सामग्री खोजे, और उसके बाद भोजन पकाए।
2. परीक्षण: 51 अलग-अलग "व्यंजन"
शोधकर्ताओं ने DeployBench बनाया है, जो 51 विभिन्न कार्यों की एक चुनौती है। ये कार्य 51 अलग-अलग युगों और शैलियों की रेसिपी की तरह हैं:
- मेन्यू: 25 AI/ML रेसिपी, 19 कंप्यूटर सिस्टम रेसिपी, और 7 वैज्ञानिक कंप्यूटिंग रेसिपी।
- कठिनाई: कुछ आसान हैं (जैसे टोस्ट बनाना), कुछ मध्यम हैं (जैसे केक बेक करना), और कुछ कठिन हैं (जैसे रॉकेट इंजन बनाना)।
- ट्विस्ट: कुछ रेसिपी के लिए रोबोट को शून्य से एक कस्टम ओवन (लिनक्स कर्नेल) बनाना पड़ता है, और कुछ रेसिपी को ठीक करने की आवश्यकता होती है जो फोर्ट्रान (Fortran) या C++ जैसी भाषाओं में लिखी गई हैं जिन्हें एक दशक से अपडेट नहीं किया गया है।
रोबोट को एक खाली कंप्यूटर (एक "फ्रेश क्लाउड VM") दिया जाता है और उसे इसे एक ऐसे कार्यशील वातावरण में बदलना होता है जहाँ उस पेपर का विशिष्ट प्रयोग वास्तव में चल सके और सही परिणाम दे सके।
3. परिणाम: रोबोट अभी भी सीख रहे हैं
शोधकर्ताओं ने आज उपलब्ध चार सबसे स्मार्ट AI रोबोटों का परीक्षण किया। उनका प्रदर्शन इस प्रकार रहा:
- सबसे अच्छा रोबोट: लगभग 51% व्यंजन सही ढंग से बना पाया।
- सबसे खराब रोबोट: केवल 7.8% सही बना पाया।
यहाँ तक कि "सबसे अच्छा" रोबोट भी आधी बार विफल रहा। यह दर्शाता है कि जबकि AI कोड लिखने में अच्छा हो रहा है, यह उस कोड को चलाने के लिए "एनवायरनमेंट सेट अप" करने में अभी भी बहुत खराब है।
4. वे क्यों विफल हुए? "झूठा समापन" की समस्या (The "False Finish" Problem)
सबसे दिलचस्प खोज यह नहीं थी कि रोबोट सॉफ़्टवेयर इंस्टॉल नहीं कर पा रहे थे; बल्कि यह थी कि उन्हें लगता था कि वे काम पूरा कर चुके हैं जबकि वे नहीं थे।
कल्पना कीजिए कि एक रोबोट शेफ सब्जियां काटने का काम पूरा करता है, काउंटर की ओर देखता है, कहता है, "मेरा काम हो गया!" और चला जाता है, भले ही चूल्हा अभी भी ठंडा हो और ओवन बंद हो।
- समस्या: 154 विफलताओं में से 97 मामलों में, रोबोट ने खुद को इसलिए रोक दिया क्योंकि उसने एक "त्वरित जांच" (जैसे यह देखना कि क्या कोई फ़ाइल मौजूद है) चलाई और सोचा, "ठीक है, किचन तैयार है।"
- वास्तविकता: रोबोट की जांच बहुत आसान थी। उसने वास्तव में उस विशिष्ट व्यंजन को पकाने की कोशिश नहीं की थी जिसका पेपर में उल्लेख किया गया था। उसने केवल यह जांचा कि क्या सामग्री काउंटर पर है, न कि यह कि क्या भोजन वास्तव में खाने योग्य है।
पेपर इसे "पूर्णता निर्णय" (Completion Judgment) कहता है। रोबोट किचन बनाने में अच्छे हैं, लेकिन वे यह जानने में खराब हैं कि किचन वास्तव में विशिष्ट काम के लिए कब तैयार है।
5. "लेगेसी" की चुनौती (The "Legacy" Challenge)
कुछ कार्यों में बहुत पुराना कोड (2011-2018) शामिल था।
- उपमा: यह 1990 के वीसीआर (VCR) को आधुनिक टीवी के साथ उपयोग करने की कोशिश करने जैसा है। आप इसे बस प्लग इन नहीं कर सकते; आपको एक कस्टम एडेप्टर बनाना होगा।
- निष्कर्ष: AI यहाँ संघर्ष करता दिखा। कभी-कभी, केवल कोड को "पैच" करना पर्याप्त नहीं था; रोबमा को पुरानी दुनिया और नई दुनिया के बीच के अंतर को पाटने के लिए नया कोड लिखना पड़ता था। केवल सबसे मजबूत रोबोट ही इसे सफलतापूर्वक करने में सक्षम रहा।
सारांश
DeployBench AI के लिए एक वास्तविकता की जाँच है। यह दिखाता है कि हालांकि AI एजेंट कोड लिख सकते हैं, वे अभी तक इतने स्वायत्त नहीं हैं कि वे एक रिसर्च पेपर ले सकें, शून्य से एक कंप्यूटर बना सकें, पुराने सॉफ़्टवेयर को ठीक कर सकें, और बिना मानवीय मदद के प्रयोग को सफलतापूर्वक चला सकें। सबसे बड़ी बाधा केवल तकनीकी कौशल नहीं है; बल्कि यह रोबोट की सटीक रूप से यह निर्णय लेने की क्षमता है कि उसने वास्तव में अपना काम कब पूरा कर लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।