SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

विज्ञान हमेशा से उपकरणों पर निर्भर रहा है: दूर के सितारों को प्रकट करने वाला दूरबीन, कोशिकाओं की छिपी दुनिया को उजागर करने वाला सूक्ष्मदर्शी, और पदार्थ के ताने-बाने की जांच करने वाला कण त्वरक (पार्टिकल एक्सेलरेटर)। आज, एक नए प्रकार का उपकरण अपरिहार्य हो गया है, जो प्रयोगशाला के दराज में नहीं बल्कि कंप्यूटर कोड के डिजिटल क्षेत्र में रहता है। यह सॉफ्टवेयर अब केवल एक वैज्ञानिक के लिए गणना करने वाला सहायक मात्र नहीं है; यह स्वयं एक उपकरण बन गया है। जब एक शोधकर्ता एक नई दवा का अनुकरण (सिमुलेशन) करता है, जलवायु का मॉडल बनाता है, या किसी दूरस्थ आकाशगंगा के प्रकाश का विश्लेषण करता है, तो वे ऐसे प्रोग्राम चला रहे होते हैं जो उस लेंस की तरह कार्य करते हैं जिसके माध्यम से वे वास्तविकता को देखते हैं। यदि कोड में कोई त्रुटि है, तो परिणाम केवल एक कंप्यूटर त्रुटि नहीं है; यह साक्ष्य का एक दूषित हिस्सा है जो एक वैज्ञानिक निष्कर्ष को कमजोर कर सकता है।

वर्षों से, शोधकर्ता कृत्रिम बुद्धिमत्ता (AI) को इन टूटे हुए प्रोग्रामों को ठीक करना सिखाने का प्रयास कर रहे हैं। उन्होंने यह देखने के लिए परीक्षण बनाए हैं कि क्या एक कंप्यूटर बग रिपोर्ट को पढ़ सकता है और सॉफ्टवेयर की मरम्मत के लिए एक पैच लिख सकता है। इन परीक्षणों ने दिखाया है कि मशीनें सरल कोडिंग गलतियों को ठीक करने में बेहतर हो रही हैं। हालाँकि, एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: क्या ये बुद्धिमान प्रणालियाँ जटिल, उच्च-दांव वाले वैज्ञानिक सॉफ्टवेयर की दुनिया को संभाल सकती हैं? इस क्षेत्र में, एक सुधार को केवल प्रोग्राम चलाने के लिए पर्याप्त नहीं होना चाहिए; इसे उन नाजुक भौतिकी, रसायन विज्ञान या जीव विज्ञान के नियमों को संरक्षित करना चाहिए जिन्हें कोड दर्शाने की कोशिश कर रहा है। एक ऐसा सुधार जो सॉफ्टवेयर को तेज़ी से चलाने के लिए तो ठीक है लेकिन वैज्ञानिक अर्थ को बदल देता है, वह एक विफलता है, भले ही कंप्यूटर कहे कि उसने परीक्षण पास कर लिया है।

शोधकर्ताओं के एक दल ने 'SWE-bench Science' नामक एक नया परीक्षण क्षेत्र बनाकर इस प्रश्न को हल किया है। उन्होंने रसायन विज्ञान और जीव विज्ञान से लेकर खगोल विज्ञान और सिविल इंजीनियरिंग तक, 20 विभिन्न क्षेत्रों में उपयोग किए जाने वाले 98 अलग-अलग सॉफ्टवेयर प्रोजेक्ट्स से 119 वास्तविक दुनिया के कार्य एकत्र किए। ये कार्य सरल अभ्यास नहीं थे; इन्हें वास्तविक समस्याओं से लिया गया था जिनका वैज्ञानिकों ने सामना किया था, जैसे कि एक सिमुलेशन का किसी क्रिस्टल के लिए गलत ऊर्जा मान उत्पन्न करना या एक डेटा विश्लेषण उपकरण द्वारा जैविक नमूने के निर्देशांकों (कोऑर्डिनेट्स) की गलत व्याख्या करना। शोधकर्ताओं ने इन चुनौतियों को तीन प्रकारों में व्यवस्थित किया। कुछ ज्ञात बगों की सीधी मरम्मत थे, अन्य में AI को एक विशेषज्ञ अन्वेषक की तरह कार्य करने की आवश्यकता थी ताकि यह पता लगाया जा सके कि वैज्ञानिक परिणाम गलत क्यों दिख रहा था, और शेष कार्यों में AI को यह समझने की आवश्यकता थी कि एक विशाल सॉफ्टवेयर सिस्टम के विभिन्न हिस्से एक पूर्ण वर्कफ़्लो को पूरा करने के लिए कैसे आपस में जुड़ते हैं।

इस प्रयोग के परिणाम प्रकट करने वाले थे। आज उपलब्ध सबसे उन्नत कोडिंग एजेंट भी काफी संघर्ष कर रहे थे। सबसे अच्छा प्रदर्शन करने वाली प्रणाली, जो एक शक्तिशाली कोडिंग सहायक से लैस एक परिष्कृत मॉडल थी, केवल आधे से कम कार्यों को सही ढंग से हल कर पाई। यह निम्न सफलता दर वर्तमान कृत्रिम बुद्धिमत्ता की क्षमता और वैज्ञानिक सॉफ्टवेयर को बनाए रखने के लिए आवश्यक कौशल के बीच एक गहरे अंतर को रेखांकित करती है। शोधकर्ताओं ने पाया कि जब ये प्रणालियाँ विफल हुईं, तो वे चार अनुमानित तरीकों से विफल हुईं। अक्सर, AI के पास उस विशिष्ट वैज्ञानिक ज्ञान की कमी थी जो समस्या को समझने के लिए आवश्यक था, जिससे इसने ऐसे सुधार प्रस्तावित किए जो कंप्यूटर के लिए तो तर्कसंगत थे लेकिन प्रकृति के नियमों का उल्लंघन करते थे। कभी-कभी, सिस्टम केवल उस सतही लक्षण को ठीक करता था जिसे वह देख सकता था, जैसे कि एक गलत दिखने वाली संख्या, बिना त्रुटि के मूल कारण तक पहुँचे। अन्य मामलों में, सुधार ने प्रोग्राम के एक हिस्से को तो ठीक कर दिया लेकिन दूसरे हिस्से के साथ उसके संबंध को तोड़ दिया, जिससे बड़े सिस्टम में मरम्मत का एकीकरण विफल हो गया। अंत में, AI अक्सर एक नए मामले में वैज्ञानिक सिद्धांत लागू करने में विफल रहा, वह दिए गए विशिष्ट उदाहरण पर ही अटक गया और अपने समाधान का सामान्यीकरण करने में असमर्थ रहा।

वैज्ञानिक ज्ञान की भूमिका को समझने के लिए, शोधकर्ताओं ने एक विशिष्ट प्रयोग किया। उन्होंने कार्यों के एक उपसमूह को दो बार चलाया: एक बार AI को शामिल विज्ञान के बारे में अतिरिक्त पृष्ठभूमि जानकारी दी गई, और एक बार इसके बिना। परिणामों ने दिखाया कि यह अतिरिक्त जानकारी कोई जादुई समाधान नहीं थी। कुछ मजबूत AI मॉडलों के लिए, वैज्ञानिक संदर्भ प्रदान करने से वास्तव में उनके समस्या को पूरी तरह से हल करने की संभावना थोड़ी कम हो गई, शायद इसलिए क्योंकि अतिरिक्त पाठ ने उन्हें विचलित कर दिया या उन्हें अपने स्वयं के विचारों का परीक्षण करने के बजाय प्रदान किए गए स्पष्टीकरण पर बहुत अधिक निर्भर होने के लिए प्रेरित किया। कमजोर मॉडलों के लिए, अतिरिक्त जानकारी मददगार रही, लेकिन इसके लिए उन्हें अधिक कंप्यूटिंग शक्ति की आवश्यकता पड़ी। यह सुझाव देता है कि केवल AI को अधिक तथ्य खिलाने से बेहतर मरम्मत की गारंटी नहीं मिलती है; प्रणाली को उन तथ्यों को कोड से जोड़ने और निष्पादन के माध्यम से उन्हें सत्यापित करने में सक्षम होना चाहिए।

अध्ययन यह निष्कर्ष निकालता है कि जबकि कृत्रिम बुद्धिमत्ता सामान्य सॉफ्टवेयर इंजीनियरिंग में प्रगति कर रही है, वैज्ञानिक कंप्यूटिंग की अनूठी मांगें एक कठिन चुनौती बनी हुई हैं। वैज्ञानिक कोड को ठीक करने के लिए उस समझ के स्तर की आवश्यकता होती है जो सिंटैक्स और तर्क से परे है; इसके लिए उन भौतिक और सैद्धांतिक सिद्धांतों की समझ की आवश्यकता होती है जिन्हें कोड आत्मसात करता है। जब तक ये प्रणालियाँ विश्वसनीय रूप से एक ऐसे प्रोग्राम के बीच अंतर नहीं कर पातीं जो केवल चलता है और एक ऐसे प्रोग्राम के बीच जो वैज्ञानिक रूप से वैध है, तब तक वैज्ञानिक सॉफ्टवेयर के रखरखाव का कार्य मानव विशेषज्ञों का काम बना रहेगा। नया बेंचमार्क स्पष्ट रूप से दर्शाता है कि ये प्रणालियाँ आज कहाँ खड़ी हैं, यह दिखाते हुए कि पूर्णतः स्वायत्त वैज्ञानिक सॉफ्टवेयर मरम्मत का मार्ग अभी भी लंबा है और जटिल बाधाओं से भरा है।