RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository
RepoGenesis README से पूर्ण कोडबेस तक एंड-टू-एंड माइक्रोसर्विस रिपॉजिटरी जनरेशन के लिए पहला बहुभाषी बेंचमार्क पेश करता है, जो यह प्रकट करता है कि जबकि वर्तमान एजेंट और IDE उच्च API कवरेज और परिनियोजन सफलता प्राप्त करते हैं, वे अभी भी आर्किटेक्चरल सुसंगतता और क्रॉस-फाइल निरंतरता के लिए संघर्ष करते हैं, एक ऐसा अंतर जिसे इस डेटासेट पर मॉडलों को फाइन-ट्यून करके संबोधित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसे अभी-अभी एक जटिल, बहु-कोर्स वाले भोज (banquet) के लिए एक विस्तृत रेसिपी कार्ड सौंपा गया है। आपका लक्ष्य केवल एक प्याज काटना या एक अंडा तलना नहीं है (जो कि अधिकांश वर्तमान AI कोडिंग टेस्ट पूछते हैं); आपका लक्ष्य शून्य से पूरा रेस्टोरेंट बनाना है, जिसमें किचन का लेआउट, प्लंबिंग, मेनू, वेटस्टाफ और वास्तविक भोजन शामिल है, और यह भी सुनिश्चित करना है कि लाइटें जलें और ग्राहक वास्तव में खाना खा सकें।
यह बिल्कुल वही है जो RepoGenesis पेपर के बारे में है।
यहाँ शोध का सरल शब्दों में विवरण दिया गया है:
1. समस्या: "लेगो ब्रिक" बनाम "किला"
लंबे समय से, AI कोडिंग सहायकों का परीक्षण छोटे कार्यों पर किया जाता रहा है।
- पुराने टेस्ट: "दो संख्याओं को जोड़ने वाला एक फंक्शन लिखें" या "कोड की इस एक टूटी हुई लाइन को ठीक करें।" यह एक रोबोट से एक एकल लेगो ब्रिक बनाने के लिए कहने जैसा है।
- वास्तविकता: वास्तविक सॉफ्टवेयर विकास एक पूरा किला बनाने जैसा है। आपको आर्किटेक्चर डिजाइन करना होता है, डिपेंडेंसीज (ईंटों के बीच का मसाला) को मैनेज करना होता है, और यह सुनिश्चित करना होता है कि हर कमरा पूरी तरह से जुड़ा हो।
- अंतराल (Gap): मौजूदा AI टूल्स ब्रिक्स बनाने में बेहतरीन हैं, लेकिन जब उन्हें पूरा किला बनाने के लिए कहा जाता है, तो वे अक्सर विफल हो जाते हैं। वे एक सुंदर मीनार बना सकते हैं जो इसलिए ढह जाती है क्योंकि उसका आधार गायब है, या वे एक ऐसा किचन बना सकते हैं जिसमें प्लंबिंग ही नहीं है।
2. समाधान: RepoGenesis ("ग्रैंड चैलेंज")
शोधकर्ताओं ने एक नया बेंचमार्क बनाया है जिसे RepoGenesis कहा जाता है। इसे एक बड़े, कठोर कुकिंग कॉम्पिटिशन के रूप में समझें।
- कार्य: AI को एक "रेसिपी कार्ड" (एक README फ़ाइल जो वेब सर्विस का वर्णन करती है) दिया जाता है और उसे एक पूर्ण, कार्यशील सॉफ्टवेयर रिपॉजिटरी जेनरेट करनी होती है। इसमें सारा कोड, कॉन्फ़िगरेशन फ़ाइलें और सर्वर शुरू करने के निर्देश शामिल हैं।
- पैमाना: उन्होंने 106 अलग-अलग "रेसिपी" (रिपॉजिटरी) बनाईं, जो सरल कार्यों (जैसे "रॉक, पेपर, सिज़र्स" गेम) से लेकर जटिल सिस्टम (जैसे फ़ाइल प्रबंधन सेवा या उपयोगकर्ता प्रमाणीकरण प्लेटफॉर्म) तक फैली हुई हैं।
- भाषाएँ: उन्होंने Python (एक लचीली, तेज़-पकने वाली रसोई की तरह) और Java (एक सख्त, औद्योगिक-ग्रेड फैक्ट्री की तरह) दोनों का परीक्षण किया।
- गुणवत्ता नियंत्रण: प्रतियोगिता शुरू होने से पहले, शोधकर्ताओं ने एक "रिव्यू-रिबटल" प्रक्रिया का उपयोग किया। कल्पना कीजिए कि तीन विशेषज्ञ जज टेस्ट डिश का स्वाद चख रहे हैं, स्कोर के बारे में बहस कर रहे हैं, और एक हेड शेफ (एक इंसान) अंतिम निर्णय लेता है ताकि परीक्षण निष्पक्ष और सटीक रहे।
3. प्रतियोगिता: कौन आया?
उन्होंने अपने चुनौतियों के खिलाफ सर्वश्रेष्ठ AI कोडिंग एजेंट्स और कमर्शियल IDEs (जैसे GitHub Copilot, Cursor, और Antigravity) को आमने-सामने खड़ा किया।
परिणाम चौंकाने वाले थे:
- "डिप्लॉयबिलिटी" विरोधाभास: AI रेस्टोरेंट शुरू करने में आश्चर्यजनक रूप से अच्छा था। कई सिस्टम लाइट जला सकते थे और सर्वर चला सकते थे (उच्च "डिप्लॉयमेंट सक्सेस रेट")।
- "फंक्शनैलिटी" की विफलता: हालाँकि, एक बार जब रेस्टोरेंट खुल गया, तो खाना अक्सर खाने योग्य नहीं था। AI अक्सर फीचर्स को सही ढंग से लागू करने में विफल रहा।
- स्कोर: यहाँ तक कि सबसे अच्छे AI (टॉप-टियर मॉडल के साथ Copilot) भी पहली कोशिश में केवल 23% कार्यों को पूरी तरह से सही कर पाए।
- उपमा: यह एक ऐसी AI बनाने जैसा है जो एक कार बना सकती है जो शुरू होती है और सड़क पर चलती है, लेकिन ब्रेक काम नहीं करते, रेडियो गायब है, और सीटें कार्डबोर्ड की बनी हैं।
4. वे कहाँ विफल हुए? (क्यों?)
शोधकर्ताओं ने विफलताओं का विश्लेषण किया और पाया कि AI को किला बनाने में तीन कारणों से संघर्ष करना पड़ा:
- क्रॉस-फ़ाइल कंसिस्टेंसी (द "लॉस्ट सॉक" समस्या): AI ने एक फ़ाइल में ऐसा कोड लिखा जो कहता था "नीला दरवाजा उपयोग करें," लेकिन दूसरी फ़ाइल में, उसने लिखा "लाल दरवाजा उपयोग करें।" फ़ाइलें एक-दूसरे से सही ढंग से बात नहीं कर पा रही थीं।
- आर्किटेक्चरल कोहेरेंस (द "खराब ब्लूप्रिंट"): AI ने एक ऐसा सिस्टम डिजाइन किया जहाँ किचन छत पर था और डाइनिंग रूम बेसमेंट में था। संरचना का कोई अर्थ नहीं था।
- डिपेंडेंसी मैनेजमेंट (द "गायब सामग्री"): AI ने "केसर" (Saffron) के लिए एक रेसिपी लिखी, लेकिन यह भूल गया कि सिस्टम को केसर खरीदने के लिए कहना है। कोड सही दिख रहा था, लेकिन जब इसे चलाने की कोशिश की गई तो यह क्रैश हो गया।
5. सिल्वर लाइनिंग: फाइन-ट्यूनिंग काम करती है
शोधकर्ताओं ने एक ओपन-सोर्स मॉडल (Qwen3-8B) को विशेष रूप से उनके नए बेंचमार्क डेटा पर "ट्रेन" किया।
- परिणाम: इस विशेष AI, जिसे GenesisAgent कहा जाता है, लगभग सबसे महंगे, टॉप-टियर कमर्शियल मॉडल्स (जैसे GPT-5 mini) के बराबर प्रदर्शन करने में सक्षम रहा।
- सबक: यह साबित करता है कि यदि आप AI को सही प्रकार का "होमवर्क" (उच्च-गुणवत्ता वाले, वास्तविक दुनिया के उदाहरण) देते हैं, तो वह केवल स्निपेट्स लिखने के बजाय पूरे सॉफ्टवेयर सिस्टम बनाने में सीख सकता है।
सारांश
RepoGenesis AI उद्योग के लिए एक वेक-अप कॉल है। यह दिखाता है कि जबकि AI कोड के छोटे टुकड़े लिखने में बहुत अच्छा हो रहा है, यह अभी भी एक सॉफ्टवेयर आर्किटेक्ट बनने के लिए संघर्ष कर रहा है जो शून्य से एक पूर्ण, कार्यशील सिस्टम को डिजाइन, बिल्ड और डिप्लॉय कर सके।
यह पेपर "परीक्षा" (बेंचमार्क) और "स्टडी गाइड" (डेटासेट) प्रदान करता है ताकि AI को केवल ईंटें बनाने के बजाय पूरा किला बनाने में बेहतर होने में मदद मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।