Project Prometheus: Bridging the Intent Gap in Agentic Program Repair via Reverse-Engineered Executable Specifications
यह शोध पत्र \textsc{Prometheus} को प्रस्तुत करता है, जो एक नवीन एजेंटिक फ्रेमवर्क है जो विफलता रिपोर्टों (failure reports) से निष्पादन योग्य गेरकिन (Gherkin) विशिष्टताओं को रिवर्स-इंजीनियर करके और उन्हें 'रिक्वायरमेंट क्वालिटी एश्योरेंस' लूप के माध्यम से सत्यापित करके स्वचालित प्रोग्राम रिपेयर में इरादे के अंतर (intent gap) को पाटता है, जिससे Defects4J बेंचमार्क पर 93.97% सही पैच दर प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर आर्किटेक्ट हैं जिसने अपने घर में लीक को ठीक करने के लिए एक बहुत ही कुशल, सुपर-फास्ट कंस्ट्रक्शन क्रू (AI एजेंट्स) को काम पर रखा है।
समस्या: "बर्सेकर" बिल्डर (The Berserker Builder)
अतीत में, आप क्रू से कहते, "रसोई में एक लीक है, कृपया इसे ठीक करें।"
क्रू, जो अविश्वसनीय रूप से स्मार्ट है लेकिन जिसमें सामान्य समझ (common sense) की कमी है, घबरा जाता। वे शायद पूरी रसोई की दीवार गिरा देते, प्लंबिंग को फायर होज़ से बदल देते, और यह सुनिश्चित करने के लिए कि लीक खत्म हो गया है, लिविंग रूम में एक स्विमिंग पूल भी लगा देते। उन्होंने लक्षण (पानी) को तो ठीक कर दिया लेकिन घर (कोड) को नष्ट कर दिया। यही वह चीज़ है जिसे पेपर में "इंटेंट गैप" (Intent Gap) कहा गया है। बिल्डर्स जानते हैं कि कैसे निर्माण करना है, लेकिन वे वास्तव में यह नहीं समझते कि आप वास्तव में क्या चाहते थे।
समाधान: प्रोमेथियस (Prometheus)
इस पेपर के लेखक, योंगचाओ वांग और झिकिउ हुआंग ने एक नया सिस्टम बनाया जिसे प्रोमेथियस कहा जाता है। बिल्डर्स को अनुमान लगाने देने के बजाय, प्रोमेथियस एक सख्त, विवरण-उन्मुख प्रोजेक्ट मैनेजर के रूप में कार्य करता है जो एक बहुत ही विशिष्ट भाषा बोलता है।
प्रोमेथियस कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:
1. जासूस (द आर्किटेक्ट)
बिल्डर्स द्वारा एक भी ईंट छूने से पहले, प्रोमेथियस एक जासूस (Detective) को भेजता है।
- पुराना तरीका: जासूस बस कहता, "दीवार गीली है।" (अस्पष्ट!)
- प्रोमेथियस का तरीका: जासूस लीक का विश्लेषण करता है और एक सख्त नियम पुस्तिका (जिसे Gherkin Specification कहा जाता है) लिखता है। यह कहता है: "यदि पानी पाइप से टकराता है, तो इसे रुकना चाहिए। यदि पाइप सूखा है, तो दीवार सूखी रहनी चाहिए। लिविंग रूम को न छुएं।"
- उपमा: यह एक अव्यवस्थित शिकायत को एक सटीक कानूनी अनुबंध में अनुवाद करने जैसा है। अब बिल्डर्स अनुमान नहीं लगा सकते; उन्हें अनुबंध का ठीक उसी तरह पालन करना होगा।
2. गुणवत्ता निरीक्षक (द इंजीनियर)
यही इस पेपर का गुप्त मंत्र (secret sauce) है। बिल्डर्स के काम शुरू करने से पहले, निरीक्षक (Inspector) नियम पुस्तिका की जांच करता है।
- निरीक्षक नियम पुस्तिका लेता है और इसे टूटे हुए घर के विरुद्ध टेस्ट करता है (यह सुनिश्चित करने के लिए कि नियम वास्तव में लीक को पकड़ लेता है)।
- फिर, निरीक्षक इसे एक परफेक्ट घर (जिसे मूल मालिक ने ठीक किया था) के विरुद्ध टेस्ट करता है ताकि यह सुनिश्चित हो सके कि नियम पुस्तिका सही समाधान का वर्णन करती है।
- उपमा: कल्पना कीजिए कि एक शेफ खाना पकाने से पहले रेसिपी को चखता है। यदि रेसिपी कहती है "नमक डालें" लेकिन डिश में चीनी की आवश्यकता है, तो निरीक्षक इसे खाना खराब होने से पहले ही पकड़ लेता है। यह बिल्डर्स को गलत निर्देश का पालन करने से रोकता है।
3. सर्जन (द फिक्सर)
अब, बिल्डर्स काम शुरू करते हैं। लेकिन वे अब अराजक "बर्सेकर" नहीं हैं। एक सख्त नियम पुस्तिका और एक सत्यापित योजना के कारण, वे सर्जन (Surgeons) की तरह कार्य करते हैं।
- वे बहुत ही सूक्ष्म और सटीक कट लगाते हैं। वे केवल लीक को ठीक करते हैं। वे लिविंग रूम को नहीं छूते।
- परिणाम: पेपर में पाया गया कि इस पद्धति ने 94% बग्स को ठीक किया, जबकि पुराने "अनुमान लगाने" वाले तरीके ने केवल लगभग 76% को ठीक किया। इससे भी महत्वपूर्ण बात यह है कि, वास्तव में कठिन, जटिल बग्स के लिए, प्रोमेथियस उन 74% मामलों को भी बचा सका जिन्हें पुराना तरीका छोड़ देता था।
यह क्यों मायने रखता है (द "आहा!" मोमेंट)
पेपर ने एक आश्चर्यजनक बात खोजी: समस्या यह नहीं थी कि बिल्डर्स पर्याप्त स्मार्ट नहीं थे; समस्या यह थी कि निर्देश बहुत अस्पष्ट थे।
- पुराना दृष्टिकोण: "बग को ठीक करो!" (परिणाम: बिल्डर कल्पना करने लगता है और चीजें बिगाड़ देता है)।
- नया दृष्टिकोण: "यहाँ इस फिक्स के लिए एक स्टेप-बाय-स्टेप अनुबंध है कि बग क्या है और यह कैसे व्यवहार करना चाहिए। अब, इसे ठीक करें।" (परिणाम: बिल्डर एक जीनियस बन जाता है)।
"डिजिटल आर्कियोलॉजी" की चुनौती
पेपर स्वीकार करता है कि इसका एक नुकसान है: "निरीक्षक" को बहुत अधिक समय और कंप्यूटिंग पावर की आवश्यकता होती है। यह एक पुरातत्वविद् को पुरानी मिट्टी की परतों को खोदने के लिए काम पर रखने जैसा है ताकि निर्माण करने से पहले ब्लूप्रिंट सही हो सके। लेकिन लेखक तर्क देते हैं कि यह सार्थक है क्योंकि यह बिल्डर्स को बड़े, गलत सुधारों पर समय और पैसा बर्बाद करने से रोकता है।
भविष्य
लेखकों का मानना है कि AI कोडिंग का भविष्य इसे "स्मार्टर" या "बड़ा" बनाने के बारे में नहीं है। यह AI को बेहतर सवाल पूछना सिखाने के बारे में है।
- यह पूछने के बजाय कि, "क्या आप इसे ठीक कर सकते हैं?"
- हमें पूछना चाहिए, "क्या आप इस फिक्स के लिए एक परफेक्ट नियम पुस्तिका लिख सकते हैं, और फिर उसका पालन कर सकते हैं?"
संक्षेप में: प्रोमेथियस AI को अनुमान लगाना बंद करने और एक सत्यापित, स्टेप-बाय-स्टेप अनुबंध का पालन करना सिखाता है। यह एक अराजक विध्वंस दल (demolition crew) को एक सटीक सर्जिकल टीम में बदल देता है, जिससे सॉफ्टवेयर को "ओवर-इंजीनियरिंग" और टूटने से बचाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।