The Machine Proposes. The Proof Disposes: Neuro-Symbolic Synthesis of Formally Verified Markov Usage Models from Natural Language Requirements
यह शोध पत्र न्यूरो-सिम्बॉलिक MBST (Neuro-Symbolic MBST) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो L* लर्निंग, व्याकरण-प्रतिबंधित LLMs और कॉनवेक्स ऑप्टिमाइज़ेशन (convex optimization) को एकीकृत करके प्राकृतिक भाषा की आवश्यकताओं से औपचारिक रूप से सत्यापित मार्कोव उपयोग मॉडलों के संश्लेषण को स्वचालित करता है, जिससे उच्च-सटीक दोष पहचान और कवरेज प्राप्त होता है जो शुद्ध-न्यूरल बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है और सुरक्षा-महत्वपूर्ण प्रणालियों के लिए मैन्युअल मॉडलिंग बाधाओं को समाप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना या वेबसाइट नेविगेट करना सिखाने की कोशिश कर रहे हैं। इसे सुरक्षित रूप से करने के लिए, आपको हर उस संभावित कदम का एक नक्शा चाहिए जो रोबोट ले सकता है। सॉफ्टवेयर टेस्टिंग की दुनिया में, इस नक्शे को "यूसेज मॉडल" (usage model) कहा जाता है। यह एक फ्लोचार्ट की तरह है जो दिखाता है कि सिस्टम किस स्थिति (state) में हो सकता है (जैसे "ब्रेकिंग" या "शॉपिंग कार्ट फुल") और एक स्थिति से दूसरी स्थिति में जाने की संभावना (probability) क्या है (जैसे "80% संभावना है कि उपयोगकर्ता 'बाय' पर क्लिक करेगा")।
द दशकों से, विशेषज्ञ इन नक्शों का उपयोग "सांख्यिकीय परीक्षणों" (statistical tests) को चलाने के लिए करते रहे हैं। कोड के केवल एक बार काम करने की जाँच करने के बजाय, वे सिस्टम के माध्यम से हजारों यादृच्छिक यात्राओं (random journeys) का अनुकरण करने के लिए नक्शे का उपयोग करते हैं। यदि नक्शा सटीक है, तो परीक्षण उन छिपे हुए बग्स को ढूंढ लेंगे जो केवल दुर्लभ और पेचीदा स्थितियों में दिखाई देते हैं। हालाँकि, एक बहुत बड़ी समस्या है: इन नक्शों को हाथ से बनाना धीमा, उबाऊ और मानवीय त्रुटियों के प्रति संवेदनशील है। यह पूरी तरह से अंधे होकर एक पूरे शहर का विस्तृत नक्शा बनाने की कोशिश करने जैसा है। हाल ही में, हमारे पास एक नया उपकरण आया है: आर्टिफिशियल इंटेलिजेंस (AI) जो टेक्स्ट पढ़ सकता है और अनुमान लगा सकता है कि नक्शा कैसा दिखना चाहिए। लेकिन यहाँ एक पेंच है: AI नक्शे के आकार का अनुमान लगाने में तो अच्छा है, लेकिन संख्याओं को सही करने में बहुत खराब है। यह एक ऐसा रास्ता बना सकता है जो अस्तित्व में ही नहीं है, या कह सकता है कि बारिश की संभावना 150% है (जो कि असंभव है)। यह शोध पत्र पूछता है: क्या हम AI की रचनात्मकता को एक सख्त गणितीय "नियम पुस्तिका" के साथ जोड़कर स्वचालित रूप से एक आदर्श नक्शा बना सकते हैं?
शोध पत्र, जिसका शीर्षक "द मशीन प्रोपोजीज, द प्रूफ डिस्पोज़ेस" (The Machine Proposes. The Proof Disposes) है, NeSy-MBST नामक एक नया सिस्टम पेश करता है। इसे एक रचनात्मक लेखक और एक सख्त गणित के शिक्षक के बीच टीम-अप के रूप में समझें। "लेखक" एक लार्ज लैंग्वेज मॉडल (LLM) है, एक AI जो प्राकृतिक भाषा की आवश्यकताओं (जैसे "उपयोगकर्ता को कार्ट में आइटम जोड़ने में सक्षम होना चाहिए") को पढ़ता है और सिस्टम के ड्राफ्ट मैप का प्रस्ताव देता है। "गणित का शिक्षक" एक सिम्बोलिक सॉल्वर (symbolic solver) है, एक कंप्यूटर प्रोग्राम जो ड्राफ्ट की गणित के नियमों के विरुद्ध जाँच करता है।
यह टीम मिलकर कैसे काम करती है:
- प्रस्ताव (The Proposal): AI आवश्यकताओं को पढ़ता है और स्टेट्स (states) और ट्रांजिशन (transitions) का खाका तैयार करता है। यह तेज़ है और मानवीय भाषा को अच्छी तरह समझता है।
- प्रमाण (The Proof): गणित का शिक्षक तुरंत उस खाके की जाँच करता है। क्या AI ने कोई ऐसा ट्रांजिशन बना दिया जो भौतिक रूप से असंभव है? क्या वह कोई चरण भूल गया? शिक्षक कहता है, "नहीं, वह सड़क मौजूद नहीं है," या "आपने एक मोड़ छोड़ दिया।"
- सुधार (The Fix): AI फीडबैक प्राप्त करता है, नक्शे को ठीक करता है, और फिर से प्रयास करता है।
- संख्याएँ (The Numbers): एक बार जब नक्शे का आकार एकदम सही हो जाता है, तो गणित का शिक्षक नियंत्रण संभाल लेता है और संभावनाओं (probabilities) को असाइन करता है। AI द्वारा संख्याओं का अनुमान लगाने के बजाय (जिससे अक्सर गलतियाँ होती हैं), शिक्षक एक "कॉन्वेक्स ऑप्टिमाइज़र" (convex optimizer) का उपयोग करके सटीक संभावनाओं की गणना करता है ताकि वे 100% सही ढंग से जुड़ सकें और वास्तविक दुनिया के उपयोग को दर्शा सकें।
शोधकर्ताओं ने इस प्रणाली का परीक्षण दो प्रकार की चुनौतियों पर किया: एक स्वायत्त वाहन (एक सेल्फ-ड्राइविंग कार सिस्टम) और दो ई-कॉमर्स वेबसाइटें (एक यूजर शॉपिंग पेज और एक एडमिन डैशबोर्ड)। उन्होंने अपने इस नए "टीम-अप" सिस्टम की तुलना केवल AI के उपयोग और पारंपरिक मैनुअल तरीकों से की।
परिणाम प्रभावशाली थे। केवल AI का उपयोग करने पर, सिस्टम महत्वपूर्ण पथों (paths) में से लगभग आधे को मिस कर देता था और नक्शे की संरचना में त्रुटियाँ करता था। लेकिन NeSy-MBST टीम-अप के साथ, सिस्टम ने 0.9125 का स्कोर प्राप्त किया, जहाँ 0.90 वह सुरक्षा थ्रेशोल्ड है जो सेल्फ-ड्राइविंग कारों जैसे महत्वपूर्ण सिस्टम के लिए आवश्यक है। इसका अर्थ यह है कि AI अकेला पर्याप्त नहीं था, लेकिन टीम-अप ने सुरक्षा परीक्षण पास कर लिया।
विशेष रूप से, नया सिस्टम 85.7% संभावित ट्रांजिशन्स (वे पथ जिनसे सिस्टम गुजर सकता है) को कवर करने में सफल रहा, जबकि केवल AI वाला संस्करण केवल 50% को कवर कर पाया। यह 35.7 प्रतिशत अंक का भारी लाभ है। सरल शब्दों में, नया सिस्टम संभावित बग्स की बहुत अधिक विविधता खोज सका क्योंकि इसने उन "डेड एंड्स" (बंद रास्तों) या "असंभव सड़कों" को नहीं छोड़ा जिन्हें अकेला AI बार-बार भ्रमित होकर (hallucinating) बना रहा था।
शोध पत्र ने यह भी देखा कि सिस्टम ने संख्याओं को कितनी अच्छी तरह से प्राप्त किया। इसने AI के अनुमानों और वास्तविक गणित के बीच के अंतर को मापने के लिए जेन्सन-शैनन डायवर्जेंस (Jensen–Shannon divergence) नामक मीट्रिक का उपयोग किया। नया सिस्टम 0.012 का स्कोर प्राप्त करता है, जो पूर्णता के अत्यंत करीब है, जबकि केवल AI वाला संस्करण 0.157 के साथ बहुत दूर था। यह सिद्ध करता है कि गणित के शिक्षक ने AI की खराब गणित को सफलतापूर्वक ठीक कर दिया।
शोधकर्ताओं ने यह देखने के लिए एक विशेष प्रयोग चलाया कि टीम के किस हिस्से ने सबसे अधिक काम किया, जिसे "एब्लेशन स्टडी" (ablation study) कहा जाता है। उन्होंने पाया कि सिम्बोलिक वेरिफिकेशन लूप (नक्शे की संरचना की जाँच करने वाला गणित का शिक्षक) मुख्य कारण था जिससे सिस्टम ने इतने अधिक पथ खोजे। कॉन्वेक्स ऑप्टिमाइज़र (संभावनाओं की गणना करने वाला गणित का शिक्षक) मुख्य कारण था जिससे संख्याएँ इतनी सटीक थीं। क्लोज्ड-लूप फीडबैक (टेस्ट चलाने से सीखने वाला सिस्टम) ने थोड़ा बहुत मदद की, लेकिन असली जादू शुरुआती टीम-अप में था।
निष्कर्षतः, यह शोध पत्र सुझाव देता है कि हमें AI की गति और मानव विशेषज्ञों की सुरक्षा के बीच किसी एक को चुनने की आवश्यकता नहीं है। AI को विचार प्रस्तावित करने देने और एक सख्त गणितीय प्रणाली को उन्हें सत्यापित और संशोधित करने देने से, हम ऐसे सॉफ्टवेयर टेस्टिंग मैप बना सकते हैं जो बनाने में तेज़ और महत्वपूर्ण सिस्टम के लिए सुरक्षित दोनों हैं। लेखक नोट करते हैं कि हालांकि यह उनके द्वारा परीक्षण किए गए सिस्टम (42 स्टेट्स तक) के लिए बहुत अच्छा काम करता है, लेकिन यह देखने के लिए कि क्या यह विशाल, जटिल औद्योगिक सिस्टम तक स्केल कर सकता है, और अधिक काम की आवश्यकता है। लेकिन फिलहाल, उन्होंने दिखाया है कि "द मशीन प्रोपोजीज" एक शानदार शुरुआत है, जब तक कि "द प्रूफ डिस्पोज़ेस" अंतिम नक्शा उपयोग करने से पहले किसी भी गलती को हटा दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।