ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java
यह शोधपत्र ScarfBench पेश करता है, जो एंटरप्राइज़ जावा एप्लिकेशन्स को Spring, Jakarta EE और Quarkus के बीच व्यवहार-संरक्षण वाले क्रॉस-फ्रेमवर्क माइग्रेशन करने की AI कोडिंग एजेंट्स की क्षमता का मूल्यांकन करने के लिए एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल इस जटिल रिफैक्टरिंग कार्य के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत पुराना, अच्छी तरह से बना हुआ घर है। इसमें दशकों से लोग रह रहे हैं, और यह अंदर रहने वाले परिवार के लिए पूरी तरह से काम करता है। लेकिन मोहल्ला बदल रहा है। पुरानी सड़कों (पुराने सॉफ़्टवेयर फ्रेमवर्क) को पक्का किया जा रहा है, और नए, तेज़ हाईवे (आधुनिक फ्रेमवर्क) बनाए जा रहे हैं। परिवार अपने फर्नीचर को ले जाना चाहता है और अपनी दैनिक दिनचर्या को बिल्कुल वैसा ही रखना चाहता है, लेकिन उन्हें एक ऐसे घर में जाना होगा जो पूरी तरह से अलग नींव, अलग प्लंबिंग, अलग बिजली की वायरिंग और अलग दरवाज़ों के हैंडल पर बना है।
यही वह समस्या है जिसे SCARFBENCH हल करने की कोशिश कर रहा है।
समस्या: केवल पेंट करना नहीं, बल्कि घर को स्थानांतरित करना
कंप्यूटर सॉफ़्टवेयर की दुनिया में, कई बड़ी कंपनियाँ अपने सिस्टम को "जावा" (Java) पर चलाती हैं, जो एक लोकप्रिय प्रोग्रामिंग भाषा है। ये सिस्टम अक्सर तीन विशिष्ट "फ्रेमवर्क्स" (इन्हें अलग-अलग वास्तुशिल्प शैलियों या ब्लूप्रिंट की तरह समझें) पर बने होते हैं: Spring, Jakarta EE, और Quarkus।
समय के साथ, कंपनियाँ पैसा बचाने या तेज़ी से चलने के लिए एक शैली से दूसरी शैली में बदलना चाहती हैं। लेकिन आप केवल पेंट बदलकर ऐसा नहीं कर सकते। आपको पूरा घर स्थानांतरित करना होगा।
- चुनौती: यह केवल कुछ शब्दों को बदलने के बारे में नहीं है। आपको यह फिर से लिखना होगा कि घर की वायरिंग कैसे की गई है, दरवाज़े कैसे खुलते हैं, और पानी कैसे बहता है, और यह भी सुनिश्चित करना होगा कि अंदर रहने वाला परिवार उनके दैनिक जीवन में एक भी अंतर महसूस न करे।
- वर्तमान स्थिति: विशेषज्ञ कहते हैं कि यह अविश्वसनीय रूप से कठिन है। अब तक, किसी के पास यह परीक्षण करने का कोई अच्छा तरीका नहीं था कि क्या आर्टिफिशियल इंटेलिजेंस (AI) यह काम कर सकता है।
समाधान: SCARFBENCH (द "मूविंग टेस्ट")
लेखकों ने एक विशाल परीक्षण बनाया है जिसे SCARFBENCH कहा जाता है। इसे सॉफ़्टवेयर के लिए एक "मूविंग सिम्युलेटर" (स्थानांतरण सिम्युलेटर) समझें।
- सेटअप: उन्होंने एक ही शैली (जैसे, Spring) में बने 34 अलग-अलग "घर" (सॉफ़्टवेयर एप्लिकेशन) लिए।
- लक्ष्य: उन्होंने AI एजेंटों (स्मार्ट कंप्यूटर प्रोग्रामों) से इन्हीं सटीक घरों को एक अलग शैली (जैसे, Quarkus या Jakarta) में फिर से बनाने के लिए कहा, जिससे परिवार की दैनिक दिनचर्या (सॉफ़्टवेयर का व्यवहार) बिल्कुल वैसी ही बनी रहे।
- प्रमाण: उन्होंने केवल AI से यह नहीं पूछा, "क्या आपने पूरा कर लिया?" बल्कि उन्होंने एक सख्त "मौखिक परीक्षा" (टेस्ट सुइट) बनाई। नए घर को निम्नलिखित शर्तों को पूरा करना था:
- उसे बिल्डिंग इंस्पेक्टर को पास करना था (कंपाइल होना)।
- लाइट और पानी चालू होना चाहिए था (डिप्लॉय होना)।
- परिवार को ठीक वैसे ही मुख्य दरवाज़े से अंदर जाने, लिविंग रूम में बैठने और टीवी चालू करने में सक्षम होना चाहिए जैसा वे पहले करते थे (व्यवहार संबंधी परीक्षण पास करना)।
परिणाम: AI अभी भी घर शिफ्ट करना सीख रहा है
शोधकर्ताओं ने आज उपलब्ध पाँच सबसे स्मार्ट AI कोडिंग एजेंटों का परीक्षण किया। यहाँ उन्हें क्या पता चला:
- स्कोर बहुत कम है: सबसे अच्छे AI ने भी केवल लगभग 12% से 15% घरों को ही पूरी तरह से सफलतापूर्वक स्थानांतरित किया।
- "नकली सफलता" का जाल: कई AI ऐसे घर बनाने में सक्षम थे जो कागज़ पर अच्छे दिखते थे और यहाँ तक कि लाइट भी जला देते थे (वे कंपाइल और डिप्लॉय हो गए), लेकिन जब परिवार ने उनका उपयोग करने की कोशिश की, तो दरवाज़े नहीं खुले या पानी नहीं बहा। AI ब्लूप्रिंट के शब्दों का अनुवाद तो कर सकता था, लेकिन वह घर के तर्क (लॉजिक) को नहीं समझ सका।
- कुछ बदलाव अधिक कठिन हैं: एक शैली से दूसरी शैली में जाना कुछ मामलों में आसान था। Jakarta शैली में बदलना सबसे कठिन था; AI आधे से अधिक प्रयासों में घर बनाने (कंपाइल करने) में भी विफल रहा।
- एक सफलता: 204 अलग-अलग स्थानांतरण कार्यों में से, केवल एक कार्य को AI द्वारा पूरी तरह से सफलतापूर्वक पूरा किया गया था, जहाँ नया घर पुराने घर की तरह ही काम कर रहा था।
यह क्यों महत्वपूर्ण है
यह पेपर यह नहीं कहता कि AI बेकार है। यह कहता है कि जबकि AI कोड लिखने में अच्छा हो रहा है, यह जटिल प्रणालियों को री-आर्किटेक्ट (पुनर्गठन) करने में अभी भी बहुत खराब है। यह एक ऐसे रोबोट की तरह है जो कविता लिख सकता है, लेकिन यदि आप उससे अपने पूरे किचन को एक नए घर में ले जाने और फ्रिज को चालू रखने के लिए कहते हैं, तो वह शायद फ्रिज को बेडरूम में रख देगा।
लेखकों ने इस "मूविंग सिम्युलेटर" (बेंचमार्क) को जारी किया है ताकि अन्य शोधकर्ता भविष्य में AI को इन जटिल बदलावों को बेहतर ढंग से करने के लिए सिखा सकें। वे अनिवार्य रूप से कह रहे हैं, "यहाँ एक मापने का पैमाना है; इसका उपयोग यह देखने के लिए करें कि क्या आपका नया AI वास्तव में घर को स्थानांतरित कर सकता है, न कि केवल दीवारों को पेंट कर सकता है।"
संक्षेप में: SCARFBENCH एक वास्तविकता की जाँच है। यह दिखाता है कि जबकि AI छोटे कार्यों के लिए महान है, पूरे सॉफ़्टवेयर सिस्टम को एक आधुनिक फ्रेमवर्क से दूसरे में बिना उन्हें तोड़े स्थानांतरित करना अभी भी एक ऐसा काम है जिसके लिए मानव-स्तर की समझ की आवश्यकता होती है, और वर्तमान AI अभी वहां तक नहीं पहुँचा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।