AutoReSpec: A Framework for Generating Specification using Large Language Models
AutoReSpec एक सहयोगात्मक ढांचा है जो जावा प्रोग्रामों के लिए स्वचालित रूप से सत्यापन योग्य औपचारिक विनिर्देश (formal specifications) उत्पन्न करने के लिए अनुकूलन योग्य प्रॉम्प्टिंग और वैलिडेटर फीडबैक के साथ लार्ज लैंग्वेज मॉडल्स को गतिशील रूप से चुनता है और जोड़ता है, जिससे मौजूदा विधियों की तुलना में बेहतर सफलता दर, पूर्णता और दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर आर्किटेक्ट हैं जो एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं। आपके पास एक शानदार ब्लूप्रिंट (कोड) है, लेकिन एक भी ईंट रखने से पहले, आपको नियमों का एक सेट (स्पेसिफिकेशन) चाहिए जो यह साबित करे कि इमारत ढहेगी नहीं, लिफ्ट काम करेगी और फायर एग्जिट सुरक्षित हैं।
सॉफ्टवेयर की दुनिया में, इन नियमों को लिखना बेहद कठिन काम है। इसके लिए कोडिंग कौशल और उन्नत गणितीय तर्क (math logic) के एक दुर्लभ मिश्रण की आवश्यकता होती है। यदि आप एक छोटा सा प्रतीक भी गलत करते हैं, तो पूरा प्रमाण विफल हो जाता है।
लंबे समय तक, हमने इन नियमों को हमारे लिए लिखने के लिए AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग करने की कोशिश की है। इस AI को एक बहुत ही स्मार्ट, बहुत तेज़ इंटर्न की तरह समझें जिसने लाइब्रेरी की हर किताब पढ़ ली है। लेकिन समस्या यह है कि यह इंटर्न सरल कार्यों के लिए बहुत अच्छा है, लेकिन जटिल, घुमावदार तर्क (जैसे कोड में लूप्स) को समझने में अक्सर भ्रमित हो जाता है। कभी-कभी, इंटर्न एक ऐसा नियम लिख देता है जो देखने में तो अच्छा लगता है लेकिन वास्तव में निरर्थक होता है, या वह अपनी ही गलतियों को सुधारने के प्रयास में एक लूप में फंस जाता है, जिससे समय और पैसा बर्बाद होता है।
AutoReSpec एक नया फ्रेमवर्क है जिसे इसे ठीक करने के लिए डिज़ाइन किया गया है। यह एक साधारण इंटर्न से अपग्रेड होकर एक अत्यधिक कुशल, दो-सदस्यीय निर्माण टीम में बदलने जैसा है जो काम को पूरी तरह से करने के लिए मिलकर काम करती है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "स्मार्ट डिस्पैचर" (डायनेमिक सिलेक्शन)
कल्पना कीजिए कि आपके पास अलग-अलग औजारों वाला एक टूलबॉक्स है: एक हथौड़ा, एक पेचकश और एक लेजर कटर। यदि आपको तस्वीर टांगनी है, तो आप लेजर कटर का उपयोग नहीं करेंगे; आप हथौड़े का उपयोग करेंगे।
पुराने AI टूल्स हर काम के लिए (चाहे वह सरल कार्य हो या जटिल गगनचुंबी इमारत) एक ही "हथौड़े" (एक ही AI मॉडल) का उपयोग करने की कोशिश करते थे।
AutoReSpec एक स्मार्ट डिस्पैचर की तरह कार्य करता है। शुरू करने से पहले, यह कोड (काम) को देखता है और पूछता है: "क्या यह एक सरल कार्य है या एक जटिल लूप?"
- यदि यह सरल है, तो यह काम करने के लिए एक तेज़, सस्ते AI (जैसे एक स्थानीय ओपन-सोर्स मॉडल) को चुनता है।
- यदि यह जटिल है, तो इसे पता है कि ज़रूरत पड़ने पर एक शक्तिशाली, महंगे AI (जैसे एक टॉप-टियर कमर्शियल मॉडल) को बुलाना है।
2. "ड्राफ्टिंग फेज" (प्राइमरी LLM)
पहला AI (प्राइमरी) नियमों को लिखने की कोशिश करता है। यह एक जूनियर आर्किटेक्ट द्वारा ब्लूप्रिंट स्केच करने जैसा है।
- यह नियम लिखता है।
- एक वैलिडेटर (एक सख्त बिल्डिंग इंस्पेक्टर) तुरंत नियमों की जांच करता है।
- यदि नियम गलत हैं, तो इंस्पेक्टर ठीक बताता है कि त्रुटि कहाँ है (जैसे, "आप यह जांचना भूल गए कि लिफ्ट का दरवाजा बंद है या नहीं")।
3. "रिफाइनमेंट लूप" (कन्वर्सेशनल करेक्शन)
हार मानने के बजाय, प्राइमरी AI इंस्पेक्टर की बात सुनता है, गलती सुधारता है, और फिर से प्रयास करता है। यह एक बातचीत के रूप में तब तक चलता रहता है जब तक कि नियम एकदम सही न हो जाएं या उसके प्रयास समाप्त न हो जाएं।
4. "सीनियर आर्किटेक्ट" (कोलेबोरेटिव फॉलबैक)
यही असली जादू है। यदि प्राइमरी AI प्रयास करता रहता है लेकिन फिर भी नियमों को सही नहीं कर पाता (शायद तर्क बहुत कठिन है), तो AutoReSpec अपना पहिया घुमाना जारी नहीं रखता।
यह कहता है, "ठीक है, हम फंस गए हैं। चलिए सीनियर आर्किटेक्ट को बुलाते हैं।"
यह सीनियर आर्किटेक्ट (कोलेबोरेटिव LLM) एक अलग, अधिक शक्तिशाली AI है। लेकिन यहाँ ट्विस्ट यह है: यह पिछले असफल प्रयासों का पूरा जटिल इतिहास नहीं देखता है।
- सिस्टम सीनियर आर्किटेक्ट को केवल अंतिम विफल ड्राफ्ट और इंस्पेक्टर के विशिष्ट नोट्स देता है।
- इससे सीनियर आर्किटेक्ट को बिना पिछले गलतियों से भ्रमित हुए, ताज़ा नज़रिए से समस्या को देखने की अनुमति मिलती है। यह विशेष रूप से त्रुटि को ठीक करने पर ध्यान केंद्रित करता है।
यह बेहतर क्यों है? (परिणाम)
लेखकों ने 72 वास्तविक दुनिया के और जटिल कंप्यूटर प्रोग्रामों पर इस सिस्टम का परीक्षण किया।
- पुराने तरीके (केवल एक AI का उपयोग करना) अक्सर विफल हो जाते थे, जटिल लूप्स पर अटक जाते थे या सिंटैक्स संबंधी त्रुटियां करते थे। वे एक अकेले व्यक्ति की तरह थे जो एक ऐसे रिंच (wrench) से टूटे हुए इंजन को ठीक करने की कोशिश कर रहा है जो फिट ही नहीं बैठता।
- AutoReSpec 72 में से 67 मामलों में सफल रहा।
- यह तेज़ था (लग लगभग 27% समय बचाना) और सस्ता था क्योंकि इसने महंगी "सीनियर आर्किटेक्ट" को तभी बुलाया जब वास्तव में आवश्यक था।
बड़ी तस्वीर
AutoReSpec को सॉफ्टवेयर सुरक्षा के लिए एक स्मार्ट असेंबली लाइन के रूप में समझें।
- यह केवल एक जीनियस पर निर्भर नहीं है; यह सही काम के लिए सही उपकरण पर निर्भर है।
- यह एक फीडबैक लूप (जैसे छात्र को सुधारने वाला शिक्षक) का उपयोग करता है ताकि गलतियों को सुधारा जा सके।
- इसके पास एक सेफ्टी नेट (दूसरा AI) है जो उन कठिन समस्याओं को पकड़ लेता है जिन्हें पहला AI हल नहीं कर सकता।
गति, लागत-दक्षता और "दो-सदस्यीय टीम" दृष्टिकोण को जोड़कर, AutoReSpec उन सुरक्षा नियमों को स्वचालित रूप से उत्पन्न करना संभव बनाता है जो हमारे सॉफ्टवेयर को क्रैश होने से बचाते हैं, जिससे हमारी डिजिटल दुनिया अधिक सुरक्षित और विश्वसनीय बनती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।