Faithful Autoformalization of Natural Language Assertions
यह शोध पत्र मोंटी (Monty) को प्रस्तुत करता है, जो एक ऑटोफॉर्मलाइजेशन फ्रेमवर्क है जो नवीन कन्फ़ॉर्मेंस (conformance) और वैलिडिटी (validity) स्कोर का उपयोग करके LLM-जनित आउटपुट को फ़िल्टर करके प्राकृतिक भाषा से निष्पादन योग्य एसेर्शन (assertions) के संश्लेषण की सटीकता में सुधार करता है, जिससे नेइव ट्रांसलेशन (naive translation) विधियों की तुलना में औसतन 20-पॉइंट तक की प्रिसिजन (precision) वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अनुवादक की दुविधा: जब कोड मानवीय शब्दों से मिलता है
कल्पना कीजिए कि आप एक विशाल डिजिटल शहर बना रहे हैं। यातायात को सुचारू रखने और इमारतों को खड़ा रखने के लिए, हर सड़क के कोने और गगनचुंबी इमारत को एक नियम पुस्तिका की आवश्यकता होती है। सॉफ्टवेयर की दुनिया में, इन नियम पुस्तिकाओं को "औपचारिक विनिर्देश" (formal specifications) कहा जाता है। ये सटीक, गणितीय निर्देश हैं जो कंप्यूटर को बताते हैं कि कोड का एक हिस्सा वास्तव में क्या करने के लिए है और उसे क्या कभी नहीं करना चाहिए। इन्हें डिजिटल दुनिया के अटूट भौतिक नियमों के रूप में सोचें। समस्या यह है कि इन नियमों को लिखना अविश्वसनीय रूप से कठिन है। इसके लिए ऐसी सटीकता की आवश्यकता होती है जो पूरी तरह से एक अलग भाषा बोलने जैसा लगता है, एक ऐसी भाषा जो अधिकांश मानव प्रोग्रामर के लिए उबाऊ और त्रुटिपूर्ण है।
"ऑटोफॉर्मलाइजेशन" (Autoformalization) की समस्या से मिलिए। यह एक इंसान के अव्यवस्थित, प्राकृतिक भाषा के विचार—जैसे "लिस्ट को बहुत बड़ा न होने दें"—को स्वचालित रूप से उस सख्त, गणितीय कोड में अनुवाद करने की खोज है। वर्षों से, वैज्ञानिकों ने आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने की कोशिश की है, ताकि वे अनुवादक के रूप में कार्य कर सकें। ये AI मॉडल उन बहुभाषी विशेषज्ञों की तरह हैं जिन्होंने लगभग सब कुछ पढ़ा है। वे अनुमान लगाने में माहिर हैं कि किसी वाक्य का अर्थ क्या है। लेकिन यहाँ एक पेंच है: जब आप एक AI से एक अस्पष्ट मानवीय विचार को एक सख्त कानूनी अनुबंध में अनुवाद करने के लिए कहते हैं, तो वह अक्सर 'हैलुसिनेट' (hallucinate) करता है। वह ऐसे नियम बना सकता है जो अस्तित्व में ही नहीं हैं, एक सूक्ष्म विवरण को छोड़ सकता है जो पूरे सिस्टम को तोड़ देता है, या आत्मविश्वास के साथ एक "शायद" को "निश्चित रूप से" में बदल सकता है। मुख्य प्रश्न जिसका यह पेपर समाधान करता है वह यह है: जब दांव ऊंचे हों और मानवीय निर्देश धुंधले हों, तो हम एक AI अनुवादक पर भरोसा कैसे करें?
मोंटी से मिलिए: वह जासूस जो AI का होमवर्क चेक करता है
यह पेपर मोंटी (Monty) नामक एक नया फ्रेमवर्क पेश करता है, जो AI द्वारा जनरेट किए गए कोड नियमों के लिए एक संदेही, विस्तार-उन्मुख संपादक के रूप में डिज़ाइन किया गया है। लेखक, जो विस्कॉन्सिन-मैडिसन और इलिनॉय विश्वविद्यालय के शोधकर्ता हैं, ने महसूस किया कि केवल एक AI से एक वाक्य को कोड में अनुवाद करने के लिए कहना पर्याप्त नहीं है। यदि आप AI से अनुवाद करने के लिए कहते हैं "लिस्ट खाली होनी चाहिए," तो वह अनुमान लगा सकता है कि इसका मतलब "लिस्ट में शून्य आइटम हैं" या "लिस्ट में बिल्कुल भी आइटम नहीं हैं।" दोनों सही लगते हैं, लेकिन कंप्यूटर कोड में, उनके अर्थ बहुत अलग हो सकते हैं।
मोंटी केवल AI द्वारा दिए गए पहले उत्तर पर भरोसा नहीं करता है। इसके बजाय, यह एक जासूस की तरह काम करता है जो परीक्षणों की एक श्रृंखला चलाता है। कहानी इस प्रकार आगे बढ़ती है:
1. AI संदिग्धों की एक भीड़ तैयार करता है
सबसे पहले, मोंटी एक लार्ज लैंग्वेज मॉडल से एक प्राकृतिक-भाषा वाले कथन (एक मानवीय वाक्य) को औपचारिक कोड में अनुवाद करने के लिए कहता है। AI केवल एक उत्तर नहीं देता; यह "कैंडिडेट" (उम्मीदवार) अनुवादों की एक पूरी भीड़ उत्पन्न करता है। कुछ एकदम सही हो सकते हैं, कुछ थोड़े गलत हो सकते हैं, और कुछ पूरी तरह से गलत हो सकते हैं।
2. "फज़" टेस्ट: कोड को तोड़ना
इसके बाद, मोंटी इन कैंडिडेट अनुवादों को "फज़िंग" (fuzzing) नामक एक स्ट्रेस टेस्ट से गुजारता है। कल्पना कीजिए कि एक रोबोट कोड पर यादृच्छिक, जंगली इनपुट फेंक रहा है ताकि यह देखा जा सके कि क्या वह क्रैश होता है या अजीब व्यवहार करता है।
- यदि कोई कैंडिडेट अनुवाद कंप्यूटर को क्रैश कर देता है या एरर देता है, तो मोंटी उसे तुरंत बाहर कर देता है।
- यदि अनुवाद काम करता है लेकिन मूल मानवीय वाक्य के तर्क से मेल नहीं खाता, तो उसे कम स्कोर दिया जाता है।
- महत्वपूर्ण बात यह है कि मोंटी यह मानकर नहीं चलता कि मानवीय वाक्य सही है। कभी-कभी, एक प्रोग्रामर एक ऐसा नियम लिखता है जो वास्तव में गलत होता है (एक "बग्गी" नियम)। मोंटी इतना स्मार्ट है कि वह समझ सके कि एक "बग्गी" नियम का "वैध" अनुवाद अभी भी एक बग ही है। यह सबसे संभावित सही अनुवाद और सबसे संभावित गलत अनुवाद दोनों को देखता है ताकि यह देख सके कि कौन सा संदर्भ में फिट बैठता है।
3. "क्लॉज कवरेज" चेक: रिवर्स ट्रांसलेशन
यही मोंटी का गुप्त हथियार है। यह जांचने के लिए कि क्या AI अनुवाद वास्तव में वफादार है, मोंटी क्लॉज़ल कवरेज (clausal coverage) नामक एक चतुर तकनीक का उपयोग करता है। यह AI के औपचारिक कोड को लेता है और AI से ही इसे साधारण अंग्रेजी में वापस अनुवाद करने के लिए कहता है। फिर, यह नए अंग्रेजी वाक्य की तुलना मूल मानवीय वाक्य से करता है।
- क्या AI ने मूल वाक्य का कोई हिस्सा छोड़ दिया?
- क्या उसने कुछ ऐसा जोड़ दिया जो वहां नहीं था?
- क्या उसने अर्थ बदल दिया?
AI एक जज के रूप में कार्य करता है, और यह स्कोर देता है कि वाक्यों के हिस्से (clauses) कितनी अच्छी तरह मेल खाते हैं। यदि बैक-ट्रांसलेशन में कोई महत्वपूर्ण विवरण गायब है, तो स्कोर गिर जाता है, और उस कैंडिडेट को फ़िल्टर कर दिया जाता है।
4. अंतिम मुकाबला: एक्टिव लर्निंग
कभी-कभी, AI दो ऐसे उम्मीदवार बनाता है जो दोनों ही एकदम सही दिखते हैं और सभी परीक्षणों में पास हो जाते हैं, लेकिन उनका अर्थ थोड़ा अलग होता है। यहीं पर मानवीय भाषा की "अस्पष्टता" बाधा बनती है। ऐसे दुर्लभ मामलों में, मोंटी अनुमान नहीं लगाता। यह एक्टिव लर्निंग (active learning) का उपयोग करता है। यह एक विशिष्ट परिदृश्य (एक "डिस्टिंग्विशिंग वैल्यूएशन") ढूंढता है जहाँ दोनों उम्मीदवार अलग तरह से व्यवहार करेंगे। फिर, यह एक इंसान (या एक सिम्युलेटेड ऑरेकल) से एक सरल प्रश्न पूछता है: "इस विशिष्ट मामले में, आपका वास्तव में मतलब क्या था?" इंसान विजेता को चुनता है, और मोंटी सही अनुवाद को लॉक कर देता है।
मोंटी ने क्या पाया
शोधकर्ताओं ने जावा कोड (जो एक लोकप्रिय प्रोग्रामिंग भाषा है) से संबंधित 541 विभिन्न कार्यों पर मोंटी का परीक्षण किया। उन्होंने ऐसे डेटासेट का उपयोग किया जिसमें पूरी तरह से लिखे गए नियम और जानबूझकर तोड़े गए नियम दोनों शामिल थे, ताकि यह देखा जा सके कि क्या मोंटी वास्तविक जीवन की अव्यवस्था को संभाल सकता है।
परिणाम उत्साहजनक थे। जब उन्होंने मोंटी की मदद के बिना AI को स्वाभाविक रूप से अनुवाद करने दिया, तो सटीकता ठीक थी लेकिन पूर्ण नहीं थी। उदाहरण के लिए, Qwen2.5-Coder नामक एक विशिष्ट मॉडल का उपयोग करते हुए, कच्चे AI ने एक डेटासेट पर लगभग 75% बार अनुवाद सही किया। लेकिन जब मोंटी ने जवाबों को फ़िल्टर करने और जांचने के लिए हस्तक्षेप किया, तो वह सटीकता बढ़कर 91.6% हो गई। दूसरे डेटासेट पर, यह 64% से बढ़कर 85% हो गई।
पेपर सुझाव देता है कि मोंटी विशेष रूप से "प्रिसिजन" (सटीकता) की समस्या को ठीक करने में अच्छा है। इसका मतलब है कि जब मोंटी कहता है, "यहाँ सही नियम है," तो आप उस पर बहुत अधिक भरोसा कर सकते हैं बजाय इसके कि आप केवल एक AI से पूछें और उसके पहले उत्तर को स्वीकार कर लें। यह बिना बहुत अधिक सही उत्तरों को फेंके (उच्च "रिकॉल" बनाए रखते हुए) यह करने में सफल रहा।
मोंटी क्या नहीं करता है
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं कर रहा है। मोंटी कोई जादुई छड़ी नहीं है जो हर प्रोग्रामिंग समस्या को हल कर देती है।
- यह पूरे सॉफ़्टवेयर प्रोजेक्ट के उच्च-स्तरीय "इरादे" (intent) को समझने की कोशिश नहीं करता है (जैसे "मेरे लिए एक सोशल मीडिया ऐप बनाओ")। यह सख्ती से व्यक्तिगत कोड के हिस्सों के लिए विशिष्ट, स्थानीयकृत नियमों के अनुवाद पर ध्यान केंद्रित करता है।
- यह यह दावा नहीं करता कि इसने अस्पष्टता की समस्या को हमेशा के लिए हल कर दिया है। कभी-कभी, मानवीय इनपुट इतना अस्पष्ट होता है कि मोंटी को भी स्पष्टीकरण के लिए इंसान की मदद लेनी पड़ती है।
- लेखक स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि हमें यह मान लेना चाहिए कि प्रोग्रामर द्वारा लिखा गया हर नियम सही है। कई पुराने उपकरण यह मान लेते थे कि यदि कोई नियम लिखा गया है, तो वह सत्य ही होगा। मोंटी इसे खारिज करता है, यह दिखाते हुए कि कभी-कभी लक्ष्य उस नियम को खोजना होता है जो विफल होता है, जिससे यह साबित होता है कि कोड बग्गी है।
निष्कर्ष
अंततः, मोंटी यह सुझाव देता है कि कोडिंग का भविष्य केवल AI को काम करने के लिए कहने के बारे में नहीं है। यह एक ऐसा सिस्टम बनाने के बारे में है जहाँ AI विचार उत्पन्न करता है, लेकिन एक स्मार्ट, कठोर प्रक्रिया उन्हें वास्तविकता के विरुद्ध जांचती है। AI की रचनात्मकता को परीक्षण की संदेहशीलता और "रिवर्स ट्रांसलेशन" की सटीकता के साथ जोड़कर, मोंटी यह दिखाता है कि सॉफ्टवेयर को सुरक्षित और अधिक विश्वसनीय बनाने के लिए एक रास्ता मौजूद है, जो डेवलपर्स के बिखरे हुए, अस्पष्ट विचारों को डिजिटल दुनिया के स्वच्छ, अटूट नियमों में बदल देता है। पेपर सुझाव देता है कि हालांकि हम अभी वहां नहीं पहुंचे हैं, लेकिन यह "अपना काम खुद जांचने" वाला दृष्टिकोण सॉफ्टवेयर विकास में AI को एक भरोसेमंद साथी बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।