LLM-Based Static Verification of Code Against Natural-Language Requirements: An Industrial Experience Report
यह शोध पत्र इंटेलिजेंट-व्हीकल साइबर सुरक्षा में एक दो-चरणीय LLM-आधारित वर्कफ़्लो पर एक औद्योगिक अनुभव रिपोर्ट प्रस्तुत करता है जो प्राकृतिक-भाषा आवश्यकताओं से सत्यापन योग्य नियमों को निकालता है और कार्यान्वयन की शुद्धता को स्थैतिक रूप से सत्यापित करने के लिए उनके विरुद्ध कोड का ऑडिट करता है, जिससे रनटाइम निष्पादन की आवश्यकता के बिना पारंपरिक स्टेटिक एनालिसिस और टेस्ट ऑरेकल समस्या की सीमाओं को संबोधित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-टेक कार बना रहे हैं, और आपके पास एक विशाल निर्देश पुस्तिका (instruction manual) है जो साधारण अंग्रेजी में लिखी गई है और इंजीनियरों को बताती है कि कार का सुरक्षा तंत्र (security system) वास्तव में कैसे काम करना चाहिए। समस्या यह है कि इंजीनियर उन निर्देशों के आधार पर वास्तविक कंप्यूटर कोड लिखते हैं, और कभी-कभी, वे अर्थ को गलत समझ लेते हैं, भले ही कोड अपने आप में बिल्कुल सही दिखे।
यह शोध पत्र इस बारे में है कि कैसे इन "अर्थ संबंधी गलतियों" को कार बनने से पहले ही पकड़ा जा सकता है, जिसके लिए एक विशेष प्रकार के आर्टिफिशियल इंटेलिजेंस (AI) जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है, का उपयोग किया गया है।
यहाँ यह प्रक्रिया सरल चरणों में दी गई है:
समस्या: "गलत गणित" वाली गलती
एक मानक कोड चेकर (जैसे Coverity या SonarQube) को कंप्यूटर कोड के स्पेलचेकर की तरह समझें। यह स्पेलिंग की गलतियों, मिसिंग कॉमा, या खतरनाक सुरक्षा खामियों को खोजने में बहुत अच्छा है। लेकिन यह यह नहीं बता सकता कि आपने गलत कहानी लिख दी है।
उपमा: कल्पना कीजिए कि एक रेसिपी कहती है, "केक बनाने के लिए, आपको अंडों को आटे से गुणा (multiply) करना चाहिए।" यदि शेफ गलती से अंडों और आटे को जोड़ने (add) का कोड लिख देता है, तो स्पेलचेकर इसे नहीं पकड़ पाएगा। व्याकरण एकदम सही है, और सामग्री भी सुरक्षित है, लेकिन केक आपदा बन जाएगा। यह शोध पत्र सॉफ्टवेयर लॉजिक में होने वाली ऐसी ही "गलत गणित" वाली गलतियों को खोजने के बारे में है।
समाधान: एक दो-चरणीय AI जासूसी टीम
एक ही विशाल AI से पूरे मैनुअल को पढ़ने और एक साथ कोड की जांच करने के लिए कहने के बजाय (जिससे भ्रम या "हैलुसिनेशन" हो सकता है), लेखकों ने एक दो-चरणीय टीम बनाई है।
चरण 1: "रूल माइनर" (अनुवादक)
सबसे पहले, एक AI एजेंट प्राकृतिक भाषा की आवश्यकताओं (मैनुअल) को पढ़ता है। इसका काम एक सख्त संपादक की तरह कार्य करना है।
- यह क्या करता है: यह अस्पष्ट अंग्रेजी वाक्यों को "सत्यापनीय नियमों" (Verifiable Rules) की एक सख्त सूची में अनुवादित करता है।
- सावधानी: यदि मैनुअल में कुछ भ्रमित करने वाला, विरोधाभासी या जांचने में असंभव (जैसे "पासवर्ड को मजबूत बनाएं" बिना यह बताए कि "मजबूत" का क्या मतलब है) लिखा है, तो यह AI अनुमान नहीं लगाता। इसके बजाय, यह इसे एक "प्रॉब्लम नोट" (Problem Note) के रूप में चिह्नित करता है।
- रूपक: इसे एक ऐसे अनुवादक के रूप में सोचें जो किसी ऐसे वाक्य का अनुवाद करने से इनकार कर देता है जिसका कोई अर्थ न हो। अर्थ बनाने के बजाय, वह हाशिए पर एक नोट लिखता है: "अनुवादक की टिप्पणी: यह वाक्य विरोधाभासी है। कृपया स्पष्ट करें।"
- ट्रिक: यह सुनिश्चित करने के लिए कि AI सुसंगत रहे, वे इसे थोड़े अलग सेटिंग्स के साथ कई बार चलाते हैं और परिणामों को मिला देते हैं, जिससे यह सुनिश्चित होता है कि वे कोई नियम न छोड़ दें।
चरण 2: "कोड ऑडिटर" (निरीक्षक)
एक बार जब नियमों को साफ कर लिया जाता है, तो दूसरा AI एजेंट वास्तविक कंप्यूटर कोड को देखता है।
- यह क्या करता है: यह जांचता है कि क्या कोड चरण 1 में बनाए गए नियमों की सख्त सूची का पालन करता है। यह केवल कीवर्ड्स को नहीं देखता; यह लॉजिक (तर्क) को देखता है।
- रूपक: यह एक बिल्डिंग इंस्पेक्टर की तरह है जो चेक कर रहा है कि घर ब्लूप्रिंट के अनुसार बना है या नहीं। यदि ब्लूप्रिंट में कहा गया था कि "दरवाजा अंदर की ओर खुलना चाहिए," और कोड ने ऐसा दरवाजा बनाया जो बाहर की ओर खुलता है, तो इंस्पेक्टर उसे पकड़ लेगा, भले ही दरवाजा उच्च गुणवत्ता वाली लकड़ी का बना हो।
- परिणाम: यह एक रिपोर्ट तैयार करता है जिसमें लिखा होता है, "कोड का यह हिस्सा नियम से मेल खाता है," या "यह हिस्सा नियम का उल्लंघन करता है।"
उन्होंने क्या पाया (केस स्टडी)
टीम ने एक वास्तविक प्रोजेक्ट पर इसका परीक्षण किया: कार के वाई-फाई (Wi-Fi) का सुरक्षा तंत्र।
- मैनुअल के मामले में: उन्होंने पाया कि मूल आवश्यकताओं में छिपे हुए विरोधाभास थे। उदाहरण के लिए, एक नियम विशिष्ट वर्णों (characters) वाले पासवर्ड की मांग करता था, लेकिन एक उदाहरण दिया गया जिसमें वे वर्ण नहीं थे। AI ने इस विरोधाभास को तुरंत पकड़ लिया, जबकि इंसान इसे एक साल से अधिक समय से नहीं देख पाए थे।
- कोड के मामले में: उन्होंने कोड में एक उच्च-प्राथमिकता वाला बग पाया जहाँ सिस्टम गलत स्थिति (condition) के आधार पर वाई-फाई हॉटस्पॉट को बंद कर देता था (कोड यह चेक कर रहा था कि क्या डिवाइस खाली/idle है, जबकि नियम के अनुसार उसे यह चेक करना चाहिए था कि क्या पूरा सिस्टम खाली है)।
- सफलता दर: वे इस पद्धति का उपयोग करके 50% से अधिक आवश्यकताओं को सत्यापित करने में सक्षम थे। ये वे आवश्यकताएं हैं जिन्हें खोजने के लिए आमतौर पर सॉफ्टवेयर चलाने और कई दिनों तक परीक्षण करने की आवश्यकता होती है। इस पद्धति ने केवल टेक्स्ट और कोड को पढ़कर उन्हें ढूंढ निकाला।
यह क्यों महत्वपूर्ण है?
- शिफ्ट लेफ्ट (Shift Left): यह "चेकिंग" चरण को प्रोजेक्ट के बिल्कुल शुरुआती दौर में ले आता है (टाइमलाइन पर "बाएं" खिसका देता है)। आपको इन त्रुटियों को खोजने के लिए कोड को कंपाइल करने या कार चलाने की आवश्यकता नहीं है।
- "ओरेकल" (Oracle) की समस्या: टेस्टिंग में, एक "ओरेकल" वह तरीका है जिससे पता चलता है कि परिणाम सही है या नहीं। अक्सर, यह जानना कठिन होता है कि सही उत्तर क्या होना चाहिए। यह AI एक स्मार्ट ओरेकल के रूप में कार्य करता है क्योंकि यह केवल आउटपुट के बारे में नहीं, बल्कि आवश्यकताओं के इरादे (intent) के बारे में तर्क करता है।
- प्रतिस्थापन नहीं: लेखक स्पष्ट हैं: यह मानव परीक्षण का विकल्प नहीं है। यह एक सहायक उपकरण है जो उन जटिल लॉजिक त्रुटियों को पकड़ता है जिन्हें मानक उपकरण छोड़ देते हैं, जिससे समय और धन की बचत होती है।
संक्षेप में: यह शोध पत्र दिखाता है कि अस्पष्ट निर्देशों को सख्त नियमों में बदलने के लिए AI का उपयोग करके, और फिर उन नियमों के विरुद्ध कोड की जांच करके, हम सॉफ्टवेयर में "लॉजिक एरर्स" को पहले से कहीं अधिक प्रभावी ढंग से और जल्दी पकड़ सकते हैं। यह एक सुपर-स्मार्ट एडिटर और एक सुपर-स्मार्ट इंस्पेक्टर को मिलकर काम करने जैसा है ताकि यह सुनिश्चित हो सके कि कहानी स्क्रिप्ट से मेल खाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।