ResearchEnvBench: Benchmarking Agents on Environment Synthesis for Research Code Execution
यह शोधपत्र ResearchEnvBench प्रस्तुत करता है, जो अनुसंधान कोड के लिए जटिल निष्पादन वातावरण (execution environments) को संश्लेषित करने की स्वायत्त एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो निर्भरता समाधान (dependency resolution) और संस्करण प्रबंधन (version management) में महत्वपूर्ण वर्तमान सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने इंटरनेट पर मिली एक जटिल, शानदार रेसिपी बनाने के लिए एक सुपर-स्मार्ट रोबोट शेफ को काम पर रखा है।
अतीत में, जब हमने इन रोबोट शेफ का परीक्षण किया, तो हमने उन्हें एक पूरी तरह से सुसज्जित और पहले से तैयार रसोई दी थी। चाकू तेज किए गए थे, मसाले मापे गए थे, और चूल्हा पहले से ही गर्म था। परीक्षण केवल यह था: "क्या आप प्याज काट सकते हैं और बर्तन में चला सकते हैं?"
लेकिन वास्तविक दुनिया में, किसी रेसिपी को सफल बनाना शायद ही कभी इतना आसान होता है। आपको रेसिपी मिल सकती है, लेकिन जब आप खाना बनाने की कोशिश करते हैं, तो आपको एहसास होता है कि:
- आपके पास वह विशिष्ट प्रकार का पैन नहीं है जिसकी रेसिपी में मांग की गई है।
- आपने जो मसाला खरीदा है वह 2019 का है, लेकिन रेसिपी को 2024 वाले संस्करण की आवश्यकता है।
- चूल्हे को एक विशिष्ट वोल्टेज एडाप्टर की आवश्यकता है जो आपके पास नहीं है।
- रेसिपी मानती है कि आपके पास भारी काम में मदद करने के लिए एक सहायक (sous-chef) है, लेकिन आप अकेले खाना बना रहे हैं।
यह पेपर "ResearchEnvBench" पेश करता है, एक नया परीक्षण जो रोबोट शेफ को खाना बनाना शुरू करने से पहले खुद अपनी रसोई बनाने के लिए मजबूर करता है।
समस्या: "यह मेरे सिस्टम पर चल रहा है" वाला जाल (The "It Works on My Machine" Trap)
वैज्ञानिक और शोधकर्ता आर्टिफिशियल इंटेलिजेंस (AI) के लिए कोड (रेसिपी) लिखते हैं। ये कोड अक्सर अविश्वसनीय रूप से जटिल होते हैं, जिन्हें विशिष्ट ग्राफिक्स कार्ड (GPUs), विशिष्ट सॉफ्टवेयर संस्करणों और कस्टम टूल्स की आवश्यकता होती है।
वर्तमान AI एजेंट (रोबोट शेफ) कोड को ठीक करने में बहुत अच्छे हैं यदि वातावरण पहले से सेट हो। लेकिन यदि आप उनसे स्वयं वातावरण सेट करने के लिए कहते हैं, तो वे अक्सर विफल हो जाते हैं। वे कह सकते हैं, "हो गया! सब कुछ तैयार है!" जबकि वास्तव में, जैसे ही वे इसे चलाने की कोशिश करेंगे, कोड क्रैश हो जाएगा।
समाधान: "सत्य का पिरामिड" (The "Pyramid of Truth")
लेखकों ने ResearchEnvBench नामक एक नया बेंचमार्क बनाया है। केवल यह जांचने के बजाय कि क्या रोबोट ने सामग्री इंस्टॉल की है, वे यह जांचते हैं कि क्या रोबोट वास्तव में भोजन पका सकता है।
वे एजेंटों का परीक्षण करने के लिए "वेरिफिकेशन के पिरामिड" का उपयोग करते हैं, जो आसान से असंभव की ओर बढ़ता है:
- स्तर 1 (चेकलिस्ट): क्या रोबले ने रेसिपी पढ़ी और सामग्री की सूची बनाई? (स्टैटिक चेक: क्या कोड में कुछ शब्द गायब हैं?)
- स्तर 2 (ड्राई रन): क्या रोबोट चूल्हा जलाए बिना काउंटर पर सामग्री को मिला सकता है? (क्या कोड एक बुनियादी कंप्यूटर पर चलता है?)
- स्तर 3 (हार्डवेयर मैच): क्या रोबोट को पता है कि कौन सा चूल्हा इस्तेमाल करना है? (क्या सॉफ्टवेयर विशिष्ट ग्राफिक्स कार्ड ड्राइवरों से मेल खाता है?)
- स्तर 4 (असली कुकिंग): क्या रोबोट वास्तव में एक सिंगल बर्नर पर व्यंजन पका सकता है? (क्या कोड वास्तव में एक GPU पर चलता है?)
- स्तर 5 (दावत): क्या रोबोट शेफ की पूरी टीम के साथ मिलकर व्यंजन पका सकता है? (क्या कोड एक साथ कई GPUs पर चलता है?)
सबसे बड़ा आश्चर्य: "भ्रम" का अंतर (The "Hallucination" Gap)
सबसे दिलचस्प खोज यह है कि रोबोट यह स्वीकार करने में बहुत खराब हैं कि वे भ्रमित हैं।
- परिदृश्य: रोबोट 50 पैकेज इंस्टॉल करता है। वह स्क्रीन को देखता है, कोई लाल एरर मैसेज नहीं देखता, और आत्मविश्वास से कहता है, "मैं खाना बनाने के लिए तैयार हूँ!"
- वास्तविकता: रोबोट ने वास्तव में खाना नहीं बनाया। उसने बस यह मान लिया कि क्योंकि सामग्री काउंटर पर है, इसलिए भोजन सफल होगा।
- परिणाम: जब शोधकर्ताओं ने रोबोट को वास्तव में कोड चलाने के लिए मजबूर किया, तो वह क्रैश हो गया। रोबोट ने "भ्रम" (hallucinated) किया था कि वह सफल रहा।
पेपर में, उन्होंने पाया कि सबसे अच्छे AI एजेंट भी केवल 37% समय ही कोड को वास्तव में कई GPUs पर चलाने में सफल रहे। बाकी समय, वे केवल अनुमान लगा रहे थे।
यह क्यों महत्वपूर्ण है
यह केवल कोड को ठीक करने के बारे में नहीं है; यह पुनरुत्पादकता (reproducibility) के बारे में है।
- यदि कोई वैज्ञानिक एक क्रांतिकारी खोज प्रकाशित करता है, तो अन्य वैज्ञानिकों को उस कोड को सत्यापित करने के लिए उसे चलाने में सक्षम होना चाहिए।
- यदि AI एजेंट अपने वातावरण को सही ढंग से सेट नहीं कर सकते, तो हम उनके प्रयोगों पर भरोसा नहीं कर सकते।
- यह बेंचमार्क AI को अनुमान लगाने के बजाय सत्यापन करने के लिए मजबूर करता है। यह एक रोबोट के "मुझे लगता है कि मैं पुल बना सकता हूँ" कहने और एक रोबोट द्वारा वास्तव में ट्रक चलाकर यह साबित करने के बीच का अंतर है कि वह पुल टिकाऊ है।
निष्कर्ष (The Takeaway)
पेपर का तर्क है कि हमें AI को "ईजी मोड" (पहले से कॉन्फ़िगर की गई रसोई) पर टेस्ट करना बंद करना चाहिए और उन्हें "हार्ड मोड" (शून्य से रसोई बनाना) पर टेस्ट करना शुरू करना चाहिए। जब तक AI एजेंट विश्वसनीय रूप से अपने स्वयं के जटिल, हार्डवेयर-भारी वातावरण को सेट नहीं कर लेते, तब तक वे वैज्ञानिक अनुसंधान की जिम्मेदारी लेने के लिए तैयार नहीं हैं।
संक्षेप में: रोबोट निर्देशों का पालन करने में बहुत अच्छे हैं, लेकिन वे वर्तमान में उन चरणों (stages) को बनाने में बहुत खराब हैं जहाँ उन निर्देशों को लागू किया जाना है। ResearchEnvBench यह देखने के लिए नया परीक्षण है कि क्या वे अंततः उस मंच (stage) को बनाना सीख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।