PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs
यह शोध पत्र PROVE-RT को प्रस्तुत करता है, जो एक LLM-सहायता प्राप्त फ्रेमवर्क है जो डिपेंडेंसी-अवेयर स्केचेस, डॉक्यूमेंट रिट्रीवल और स्टेज्ड जनरेशन का उपयोग करके रीयल-टाइम शेड्यूलेबिलिटी विश्लेषण के लिए मैकेनाइज्ड PROSA/ROCQ स्क्रिप्ट्स के निर्माण को सफलतापूर्वक स्वचालित करता है, और 44.7% की सफलता दर प्राप्त करता है जहाँ डायरेक्ट प्रॉम्प्टिंग विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल क्लॉकवर्क मशीन बना रहे हैं जहाँ हर एक गियर को बिल्कुल सही क्षण पर घूमना चाहिए। यदि एक छोटा सा गियर भी फिसल जाता है, तो पूरी मशीन रुक जाती है, और वास्तविक दुनिया में, इसका अर्थ यह हो सकता है कि एक सेल्फ-ड्राइविंग कार स्टॉप साइन (स्टॉप साइन) को मिस कर देती है या एक पेसमेकर धड़कन छोड़ने में विफल हो जाता है। यह रियल-टाइम सिस्टम्स की दुनिया है: ऐसे कंप्यूटर जिन्हें न केवल सही ढंग से, बल्कि समय पर काम करना होता है। दशकों से, इंजीनियरों ने यह जाँचने के लिए कि क्या ये मशीनें काम करेंगी, कागज पर लंबे, जटिल गणितीय प्रमाण (math proofs) लिखे हैं, जैसे कोई जासूस नोटबुक और पेंसिल के साथ रहस्य सुलझा रहा हो। लेकिन जैसे-जैसे ये मशीनें अधिक जटिल होती जा रही हैं, वे कागजी प्रमाण अव्यवस्थित, जाँचने में कठिन और गलत होने के प्रति संवेदनशील होते जा रहे हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने एक "डिजिटल प्रूफ-चेकर" (एक उपकरण जिसे PROSA/ROCQ कहा जाता है) का आविष्कार किया है जो एक अत्यंत सख्त रोबोट जज की तरह कार्य करता है। यह रोबोट गणित को पढ़ सकता है और कह सकता है, "हाँ, यह 100% सत्य है," या "नहीं, आपने यहाँ गलती की है।" समस्या क्या है? इस रोबोट के लिए निर्देश लिखने के लिए एक इंसान को सिखाना अविश्वसनीय रूप से कठिन, धीमा और गणित एवं कंप्यूटर कोड दोनों की पीएचडी-स्तर की समझ की आवश्यकता वाला कार्य है।
यहाँ PROVE-RT आता है, एक नया टूल जो एक "स्मार्ट AI असिस्टेंट" (एक लार्ज लैंग्वेज मॉडल) को हमारे लिए इन रोबोट निर्देशों को लिखना सिखाने की कोशिश करता है। इसे एक बहुत ही बुद्धिमान लेकिन थोड़े भ्रमित इंटर्न को काम पर रखने जैसा समझें, जो गणित तो बहुत जानता है लेकिन उसने इस विशिष्ट क्लॉकवर्क मशीन के लिए कभी नियम पुस्तिका नहीं देखी है। यदि आप इंटर्न से केवल "प्रमाण लिखें" कहेंगे, तो वह ऐसे नियम बना सकता है जो सुनने में तो अच्छे लगते हैं लेकिन वास्तव में गलत होते हैं। PROVE-RT वह चतुर मैनेजर है जो केवल उसे खाली पन्ना नहीं देता। इसके बजाय, मैनेजर उसे योजना का एक चरण-दर-चरण रेखाचित्र (sketch), आवश्यक नियम पुस्तिका के सटीक पृष्ठों का ढेर और अपना काम जमा करने से पहले उसे जाँचने की एक प्रणाली देता है। शोध पत्र बताता है कि अकेले AI इस विशिष्ट कार्य के लिए बहुत खराब है (1% से भी कम बार सही होना), लेकिन इस "मैनेजर" सिस्टम की मदद से, AI इन कार्यों के लिए लगभग 45% मामलों में सफलतापूर्वक सही निर्देश लिख सकता है। यह अभी तक सब कुछ हल करने वाली कोई जादुई छड़ी नहीं है, लेकिन यह हमारे सुरक्षित, अधिक विश्वसनीय मशीन बनाने में कंप्यूटरों की मदद करने की दिशा में एक बड़ी छलांग है।
समस्या: "पेपर प्रूफ" की बाधा (The "Paper Proof" Bottleneck)
लंबे समय से, इंजीनियर अपने रियल-टाइम सिस्टम्स को सुरक्षित सिद्ध करने के लिए "पेन-एंड-पेपर" प्रमाणों का उपयोग करते रहे हैं। यह एक नैपकिन पर ब्लूप्रिंट बनाकर गगनचुंबी इमारत बनाने की कोशिश करने जैसा है। यह छोटे भवनों के लिए काम करता है, लेकिन जब आप एक गगनचुंबी इमारत तक पहुँचते हैं, तो नैपकिन अव्यवस्थित हो जाता है, और उस छोटी सी गलती को ढूँढना कठिन हो जाता है जो पूरी संरचना को ढहा सकती है।
इसे ठीक करने के लिए, शोधकर्ताओं ने PROSA बनाया, जो नियमों और प्रमाणों की एक डिजिटल लाइब्रेरी है जिसे एक कंप्यूटर चेक कर सकता है। यह नैपकिन से अपग्रेड होकर एक 3D सिमुलेशन की तरह है जहाँ कंप्यूटर आपको तुरंत बता देता है कि कोई बीम (beam) कमजोर है या नहीं। लेकिन यहाँ एक पेंच है: इस 3D सिमुलेशन के लिए कोड लिखना अविश्वसनीय रूप से कठिन है। इसके लिए एक मानव विशेषज्ञ की आवश्यकता होती है जो अपने अव्यवस्थित नैपकिन रेखाचित्रों को एक कठोर, कंप्यूटर-पठनीय भाषा में अनुवाद कर सके। यह इतना कठिन है कि डिज़ाइन में मामूली बदलाव भी कोड को तोड़ सकते हैं, जिससे घंटों का उबाऊ पुन: लेखन (re-writing) करना पड़ता है।
समाधान: PROVE-RT (द "स्मार्ट मैनेजर")
लेखकों ने महसूस किया कि जबकि AI (लार्ज लैंग्वेज मॉडल्स) कोड लिखने और गणित की समस्याओं को हल करने में माहिर है, लेकिन बिना मदद के इस विशिष्ट "रोबोट जज" (PROSA) के लिए कोड लिखने के मामले में वह भ्रमित हो जाता है। AI को विशिष्ट शब्दावली या नियमों के सख्त क्रम का ज्ञान नहीं है।
इसलिए, उन्होंने PROVE-RT बनाया, जो एक ढांचा (framework) है जो अव्यवस्थित मानवीय विचारों और कठोर कंप्यूटर कोड के बीच एक सेतु का कार्य करता है। उन्होंने केवल AI को "यह करने" के लिए नहीं कहा। इसके बजाय, उन्होंने काम को चार अलग-अलग चरणों में विभाजित किया, जैसे कि एक फैक्ट्री असेंबली लाइन:
- द स्केच (The Sketch): सबसे पहले, सिस्टम मूल कागजी प्रमाण को लेता है और एक AI का उपयोग करके उसे एक स्पष्ट, चरण-दर-चरण "अनौपचारिक स्केच" में बदल देता है। यह एक जटिल कानूनी अनुबंध को एक सरल बुलेटेड सूची में बदलने जैसा है कि क्या करने की आवश्यकता है।
- द लाइब्रेरी सर्च (The Library Search): इसके बाद, सिस्टम PROSA के एक विशाल पुस्तकालय में से उन सटीक नियमों और उदाहरणों को खोजता है जिनकी उस विशिष्ट चरण के लिए AI को आवश्यकता है। यह मैनेजर द्वारा इंटर्न को नियम पुस्तिका का वह विशिष्ट पृष्ठ थमाने जैसा है जिसकी उसे आवश्यकता है, बजाय इसके कि उसे अनुमान लगाने दिया जाए।
- द स्केलेटन (The Skeleton): इसके बाद AI कोड का "कंकाल" (skeleton) तैयार करता है। यह संरचना है: वेरिएबल्स के नाम, डेटा के प्रकार और समस्या का विवरण। महत्वपूर्ण रूप से, AI वास्तविक "प्रमाण" वाले हिस्से को खाली छोड़ देता है (जिसे "Admitted" के रूप में चिह्नित किया जाता है, जिसका अर्थ है "विश्वास रखें, मैं इसे बाद में भर दूँगा")। यह सुनिश्चित करता है कि AI कठिन गणित करने से पहले संरचना सही हो।
- द फिनिश (The Finish): अंत में, AI खाली प्रमाण वाले हिस्सों को भरता है। यदि कंप्यूटर जज कहता है, "यह कंपाइल नहीं हो रहा है," तो सिस्टम उस त्रुटि संदेश का उपयोग करके AI को बताता है, "फिर से प्रयास करें, लेकिन इस विशिष्ट गलती को ठीक करें।"
उन्होंने क्या पाया (परिणाम)
टीम ने 1,191 रियल-टाइम सिस्टम पेपर्स के एक विशाल संग्रह पर इस सिस्टम का परीक्षण किया, जिससे उनके टूल को प्रशिक्षित और परीक्षण करने के लिए 13,000 से अधिक "स्केच" का एक डेटासेट तैयार हुआ। उन्होंने PRO-RT की तुलना सीधे कोड लिखने के लिए सर्वश्रेष्ठ AI मॉडल्स का उपयोग करने के तरीके से की।
परिणाम चौंकाने वाले थे। जब उन्होंने केवल AI को सीधे कोड लिखने के लिए कहा (डाइरेक्ट प्रॉम्पटिंग विधि), तो वह लगभग पूरी तरह विफल रहा। एक मॉडल के साथ सफलता दर 0% थी और दूसरे के साथ केवल 0.33%। AI ऐसे नियम बना रहा था जो दिखने में तो PROSA जैसे थे, लेकिन वास्तव में सिस्टम के भीतर काम नहीं करते थे।
हालाँकि, जब उन्होंने PROVE-RT "मैनेजर" सिस्टम का उपयोग किया, तो सफलता दर बढ़कर 44.7% हो गई। इसका अर्थ है कि AI ने परीक्षण किए गए जटिल शेड्यूलिंग समस्याओं में से लगभग आधे के लिए एक कार्यात्मक, कंप्यूटर-चेक्ड प्रमाण सफलतापूर्वक तैयार किया।
यह क्यों महत्वपूर्ण है
शोध पत्र सुझाव देता है कि हम केवल AI पर यह भरोसा नहीं कर सकते कि वह रियल-टाइम सिस्टम्स जैसे विशिष्ट क्षेत्र के बारे में सब कुछ "जानता" है। AI को मार्गदर्शन की आवश्यकता है। समस्या को विभाजित करके, AI को सही संदर्भ (रिट्रीवल) देकर, और उसके काम की चरणों में जाँच करके (पहले कंकाल, फिर प्रमाण), हम एक भ्रमित AI को एक सहायक में बदल सकते हैं।
लेखक नोट करते हैं कि हालांकि 44.7% एक अच्छी शुरुआत है, लेकिन यह अभी भी पूर्ण नहीं है। सिस्टम अभी भी सबसे जटिल समस्याओं के साथ संघर्ष करता है जिनमें लंबी निर्भरताओं (dependencies) की श्रृंखला होती है (जैसे कि 100 मंजिलों वाली एक गगनचुंबी इमारत जहाँ हर मंजिल नीचे वाली मंजिल पर निर्भर करती है)। लेकिन यह कार्य सिद्ध करता है कि सही उपकरणों के साथ, हम इन सुरक्षा-महत्वपूर्ण प्रमाणों के निर्माण को स्वचालित करने की दिशा में बढ़ सकते हैं, जिससे हमारे रियल-टाइम सिस्टम अधिक सुरक्षित और प्रमाणित करना आसान हो जाएगा। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ कंप्यूटर हमें यह साबित करने में मदद करेंगे कि हमारी मशीनें विफल नहीं होंगी, बजाय इसके कि हम खुद इसे साबित करने के लिए संघर्ष करते रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।