TLA-Bench: An Execution-Grounded Benchmark and Dataset for Natural-Language to TLA+ Specification Generation
TLA-Bench एक निष्पादन-आधारित (execution-grounded) बेंचमार्क पेश करता है जिसमें 403 मॉडल-चेक्ड स्पेसिफिकेशन शामिल हैं जो LLM-जनरेटेड TLA कोड के मूल्यांकन में एक विस्तृत "करेक्टनेस एनवेलप" (correctness envelope) को प्रकट करता है, यह प्रदर्शित करते हुए कि वर्तमान मॉडल वास्तव में सही स्पेसिफिकेशन उत्पन्न करने की तुलना में सिंटैक्टिक रूप से वैध लेकिन सिमेंटिक रूप से गलत स्पेसिफिकेशन बहुत अधिक बार उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही जटिल केक की रेसिपी लिखना सिखा रहे हैं। आप रोबोट को एक विवरण देते हैं जैसे, "एक ऐसा केक बनाओ जो फूले, जले नहीं, और जिसके ठीक तीन लेयर्स हों।" रोबोट निर्देशों की एक सूची निकाल देता है। अब, आपको कैसे पता चलेगा कि रोबोट ने वास्तव में अच्छा काम किया है? यदि आप केवल यह देखते हैं कि निर्देश एक वास्तविक रेसिपी की तरह दिखते हैं या नहीं, तो आप धोखा खा सकते हैं; रोबोट एक सुंदर कविता लिख सकता है जो रेसिपी जैसी दिखती है लेकिन कहती है "ओवन को खा लो।" यदि आप केवल किसी इंसान से इसे पढ़ने के लिए कहते हैं, तो वे एक छोटी सी गलती को मिस कर सकते हैं जिसके कारण केक फट सकता है।
यही कंप्यूटर विज्ञान में "फॉर्मल वेरिफिकेशन" (formal verification) की चुनौती है। यह सुनिश्चित करने के बारे में है कि कंप्यूटर प्रोग्राम बिल्कुल वही करें जो उन्हें करना चाहिए, जिसमें त्रुटि की कोई गुंजाइश न हो। इस पेपर में उपयोग की जाने वाली भाषा, जिसे TLA+ कहा जाता है, जटिल प्रणालियों (जैसे ट्रैफिक लाइट या इंटरनेट सर्वर) के लिए एक सुपर-सटीक, गणितीय रेसिपी बुक की तरह है। मुख्य सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या आर्टिफिशियल इंटेलिजेंस (AI) एक साधारण अंग्रेजी विवरण को पढ़कर इन पूर्ण गणितीय रेसिपीज़ को लिख सकता है? इसका उत्तर महत्वपूर्ण है क्योंकि यदि AI गणित को सही नहीं कर सकता, तो हम भविष्य की तकनीक के लिए सुरक्षा प्रणालियों को डिजाइन करने के लिए इस पर भरोसा नहीं कर सकते।
AI रेसिपीज़ के लिए "ट्रुथ-ओ-मीटर" (Truth-O-Meter)
लॉयोला यूनिवर्सिटी शिकागो के शोधकर्ताओं की एक टीम ने अनुमान लगाना बंद करने और परीक्षण करना शुरू करने का निर्णय लिया। उन्होंने एक नया प्लेग्राउंड बनाया जिसे TLA+-Bench कहा जाता है। इसे एक विशाल, स्वचालित रसोईघर के रूप में सोचें जहाँ वे परीक्षण कर सकें कि AI द्वारा लिखी गई रेसिपी वास्तव में काम करती है या नहीं।
इस पेपर से पहले, यह जांचना कि AI ने एक अच्छी TLA+ स्पेसिफिकेशन लिखी है या नहीं, केक को उसकी फ्रॉस्टिंग देखकर परखने जैसा था। शोधकर्ता यह देखते थे कि क्या AI का आउटपुट किसी मानव-लिखित उदाहरण के समान दिखता है या क्या इसे कंप्यूटर द्वारा पढ़ा जा सके (एक "पार्से")। लेकिन सुंदर दिखने का मतलब यह नहीं है कि केक ढहेगा नहीं। पुराने तरीके बहुत आसान थे और उन्होंने AI को वास्तव में जितना स्मार्ट है, उससे कहीं अधिक स्मार्ट दिखाया।
यह नया बेंचमार्क अलग है। यह एक "ट्रुथ-ओ-मीटर" का उपयोग करता है जिसे मॉडल चेकर (model checker) कहा जाता है। केवल रेसिपी को देखने के बजाय, ट्रुथ-ओ-मीटर वास्तव में एक सिमुलेशन में केक बनाने की कोशिश करता है। यह सिस्टम द्वारा उठाए जा सकने वाले हर एक संभावित कदम से गुजरता है ताकि यह देखा जा सके कि नियम कायम रहते हैं या नहीं। यदि AI कोई गलती करता है, तो सिमुलेशन क्रैश हो जाता है, और ट्रुथ-ओ-मीटर कहता है, "नहीं, यह गलत है।"
बड़ी खोज: "करेक्टनेस एनवेलप" (Correctness Envelope)
सबसे आश्चर्यजनक खोज जो शोधकर्ताओं ने की, वह यह है कि केवल एक नंबर नहीं है जो आपको बताता है कि AI कितना अच्छा है। यह एक रेंज की तरह है, जिसे वे करेक्टनेस एनवेलप कहते हैं।
कल्पना कीजिए कि आप AI को एक रेसिपी लिखने के लिए कहते हैं।
- आसान ग्रेड: यदि आप केवल पूछते हैं, "क्या AI ने कुछ ऐसा लिखा जो रेसिपी जैसा दिखता है?" तो AI की सफलता दर 10% है।
- कठिन ग्रेड: यदि आप पूछते हैं, "क्या AI ने ऐसी रेसिपी लिखी जो वास्तव में काम करती है जब आप उसे बनाने की कोशिश करते हैं?" तो सफलता दर गिर जाती है।
- सबसे कठिन ग्रेड: यदि आप पूछते, "क्या AI ने ऐसी रेसिपी लिखी जो काम भी करती है और वास्तव में कुछ उपयोगी भी करती है (केवल एक उबाऊ, खाली केक नहीं)?" तो सफलता दर तेजी से गिरकर 1.7% रह जाती है।
पेपर दिखाता है कि आपके ग्रेडिंग के कितने सख्त होने पर, AI का स्कोर नाटकीय रूप से बदल सकता है। यदि आप AI को उन सामग्रियों के सटीक नाम बताते हैं जिन्हें उसे उपयोग करने की आवश्यकता है, तो उसका स्कोर बढ़कर 18.7% हो जाता है। लेकिन यदि आप AI को अपने नाम खुद सोचने के लिए मजबूर करते हैं, तो यह गिरकर 10% हो जाता है। और यदि आप मांग करते हैं कि रेसिपी वास्तव में कुछ जटिल करे, तो यह गिरकर 1.7% तक पहुँच जाता है।
इसका मतलब है कि पिछले अध्ययन, जो केवल "आसान ग्रेड" को देखते थे, एक छात्र को गणित की समस्या जैसा दिखने वाले वाक्य लिखने के लिए A+ देने के समान थे, भले ही गणित गलत हो। नया बेंचमार्क प्रकट करता है कि AI वास्तव में असली गणित करने में संघर्ष कर रहा है।
परिणाम: लिखने में अच्छे, हल करने में बुरे
शोधकर्ताओं ने कई अलग-अलग AI मॉडल का परीक्षण किया, जिनमें बड़े, फैंसी मॉडल (जैसे GPT-5 और Claude Opus) और कुछ ओपन-सोर्स मॉडल शामिल थे। यहाँ उनका निष्कर्ष है:
- "दिखावा करने" की समस्या (The "Fake It" Problem): प्रत्येक AI मॉडल वैध TLA+ (सिंटैक्स जिसे कंप्यूटर पढ़ सकता है) लिखने में सही TLA+ (लॉजिक जो वास्तव में काम करता है) की तुलना में बहुत बेहतर था। सबसे अच्छा AI 87% बार वैध कोड लिख सकता था, लेकिन यह लॉजिक को केवल 16% बार ही सही कर पाया। ओपन-सोर्स मॉडल और भी खराब थे, जो 1% से भी कम बार सही कर पाए।
- कठिनाई की खाई (The Difficulty Cliff): जैसे-जैसे समस्याएं कठिन होती जाती हैं, AI बहुत खराब होता जाता है। सरल, बुनियादी कार्यों पर, AI ने लगभग 25% सही किया। लेकिन इंटरमीडिएट और एडवांस कार्यों पर, सफलता दर गिरकर 2% रह गई। यह एक ऐसे छात्र की तरह है जो 2+2 जोड़ सकता है लेकिन कैलकुलस का सवाल आते ही पूरी तरह फेल हो जाता है।
- "नाम का खेल" (The "Name Game"): गलतियों का एक बड़ा हिस्सा इसलिए हुआ क्योंकि AI वेरिएबल्स के नाम गलत कर रहा था। यदि आपने AI को सामग्रियों के नाम दिए (इंटरफेस), तो इसने बेहतर प्रदर्शन किया। यह सुझाव देता है कि AI लॉजिक समझने में उतना विफल नहीं हो रहा है जितना कि वह विशिष्ट 'लेबल' को याद रखने में विफल हो रहा है।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि हम अभी इन सुरक्षा-महत्वपूर्ण प्रणालियों को लिखने के लिए AI पर भरोसा नहीं कर सकते। "ट्रुथ-ओ-मीटर" दिखाता है कि हालांकि AI एक पूर्ण स्पेसिफिकेशन के दिखावे की नकल कर सकता है, लेकिन यह अक्सर सिस्टम के व्यवहार की वास्तविकता को पकड़ने में विफल रहता है।
शोधकर्ताओं ने अपना डेटासेट, "ट्रुथ-ओ-मीटर" टूल्स और सभी परीक्षण परिणाम जारी किए हैं ताकि अन्य वैज्ञानिक इनका उपयोग कर सकें। वे यह नहीं कह रहे हैं कि AI बेकार है; वे कह रहे हैं कि हमें इसे मापने का एक बेहतर तरीका चाहिए। ठीक वैसे ही जैसे आप किसी रोबोट को बस चलाने के लिए तब तक नहीं छोड़ेंगे जब तक कि वह केवल लिखित परीक्षा ही नहीं, बल्कि वास्तविक ड्राइविंग टेस्ट भी पास न कर ले, हमें यह सुनिश्चित करने की आवश्यकता है कि AI हमारे भविष्य की प्रणालियों को डिजाइन करने से पहले "एग्जीक्यूशन टेस्ट" पास करे। "सही दिखने" और "सही होने" के बीच का अंतर बहुत बड़ा है, और TLA+-Bench वह टूल है जो अंततः मापता है कि वह अंतर वास्तव में कितना बड़ा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।