Can LLMs Reason Like Automated Theorem Provers for Rust Verification? VCoT-Bench: Evaluating via Verification Chain of Thought
यह शोधपत्र VCoT-Lift प्रस्तुत करता है, जो एक ऐसा ढांचा है जो निम्न-स्तरीय सॉल्वर रीजनिंग को मानव-पठनीय वेरिफिकेशन चेन-ऑफ-थॉट (Verification Chain-of-Thought) चरणों में रूपांतरित करता है ताकि VCoT-Bench बनाया जा सके, जो एक व्यापक बेंचमार्क है और यह प्रकट करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स में कठोर रस्ट (Rust) प्रोग्राम वेरिफिकेशन के लिए ऑटोमेटेड थ्योरम प्रूवर्स जैसी सुदृढ़ रीजनिंग क्षमताओं का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "ब्लैक बॉक्स" की समस्या
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो आपके लिए कोड लिखता है। आप उससे एक सेल्फ-ड्राइविंग कार के लिए प्रोग्राम लिखने को कहते हैं, और वह कहता है, "हो गया! यह रहा कोड।"
यह सुनिश्चित करने के लिए कि कोड सुरक्षित है, आप इसे एक फॉर्मल वेरिफायर (जैसे कि Z3 नाम का एक सख्त गणित शिक्षक) के माध्यम से चलाते हैं। शिक्षक हर एक तार्किक चरण (logical step) की जांच करता ताकि यह सुनिश्चित हो सके कि कार दुर्घटनाग्रस्त न हो।
- पुराना तरीका: शिक्षक केवल एक ग्रेड देता है: पास (Pass) या फेल (Fail)।
- समस्या: यदि रोबोट को "पास" मिलता है, तो हमें यह नहीं पता चलता कि क्यों। क्या उसने वास्तव में गणित को समझा? या क्या उसने सिर्फ सही शब्दों का अनुमान लगाया जो समाधान की तरह दिखते थे? यह एक छात्र द्वारा गणित की परीक्षा में उत्तर का अनुमान लगाने जैसा है और भाग्यवश सही होने जैसा है। हम यह नहीं बता सकते कि उन्होंने वास्तव में विषय को सीखा है या नहीं।
समाधान: "ब्लैक बॉक्स" को खोलना
इस पेपर के लेखक कहते हैं, "हमें छात्र का रफ वर्क (scratch work) देखने की जरूरत है।" वे चेन ऑफ थॉट (Chain of Thought) देखना चाहते हैं—वह चरण-दर-चरण तर्क जिसका उपयोग रोबोट ने यह सिद्ध करने के लिए किया कि कोड सुरक्षित है।
वे इसे वेरिफिकेशन चेन ऑफ थॉट (Verification Chain of Thought - VCoT) कहते हैं।
उपमा: अनुवादक और वास्तुकार (The Translator and the Architect)
असली "गणित शिक्षक" (Z3 सॉल्वर) एक बहुत ही अजीब, रोबोटिक भाषा बोलता है। एक साधारण प्रोग्राम के लिए इसका प्रमाण 10,000 पंक्तियों लंबा होता है और इसमें ज्यादातर "5 बराबर 5 है" जैसी तुच्छ चीजें होती हैं। इसे पढ़ना इंसान के लिए असंभव है।
लेखकों ने एक नया टूल बनाया जिसे VCoT-Lift कहा जाता है। इस टूल को एक मास्टर ट्रांसलेटर के रूप में समझें:
- यह रोबोटिक, 10,000-पंक्ति वाले प्रमाण को लेता है।
- यह शोर (noise) को फ़िल्टर करता है (जैसे "5 बराबर 5" वाली चीजें)।
- यह शेष तर्क को स्पष्ट, मानव-पठनीय चरणों में अनुवादित करता है, जैसे कि एक अच्छी तरह से लिखा गया निबंध जो समझाता है कि कोड क्यों काम करता है।
अब, केवल "पास" देखने के बजाय, हम वह वास्तविक निबंध देख सकते हैं जो रोबोट ने लिखा है।
परीक्षण: VCoT-Bench
एक बार जब उनके पास ये "परफेक्ट निबंध" (ग्राउंड ट्रुथ) बनाने के लिए यह टूल तैयार हो गया, तो उन्होंने VCoT-Bench नामक एक टेस्ट बनाया।
इसे कहानी के "रिक्त स्थान भरें" (Fill in the Blanks) के खेल के रूप में कल्पना करें।
- वे एक परफेक्ट प्रमाण (कहानी) लेते हैं।
- वे कहानी के कुछ हिस्से निकाल देते हैं (ये "प्रूफ होल्स" या प्रमाण के छेद हैं)।
- वे AI से पूछते हैं: "क्या आप कहानी को सही ढंग से पूरा करने के लिए गायब हिस्सों को लिख सकते हैं?"
उन्होंने इसे तीन तरीकों से परखा:
- हमने कितना हटाया? (क्या हमने कहानी का 10% हटाया या 90%?)
- यह किस तरह की कहानी थी? (क्या यह एक "लूप" की कहानी थी, एक "असर्शन" की कहानी थी, या एक "लेम्मा" की कहानी थी?)
- छेद कहाँ था? (क्या गायब हिस्सा शुरुआत में था, बीच में था, या अंत में?)
परिणाम: रोबोट नाजुक है
शोधकर्ताओं ने 10 सबसे स्मार्ट उपलब्ध AI मॉडलों का परीक्षण किया। परिणाम चौंकाने वाले थे।
1. "कॉन्टेक्स्ट क्रच" (Context Crutch - संदर्भ का सहारा/नाजुकता)
जब AI को एक ऐसी कहानी दी गई जिसमें केवल एक छोटा सा छेद (10% गायब) था, तो इसने ठीक-ठाक प्रदर्शन किया। लेकिन जैसे ही उन्होंने कहानी का 40% से अधिक हिस्सा हटा दिया, AI पूरी तरह से ध्वस्त हो गया।
- उपमा: यह उस छात्र की तरह है जो गणित की समस्या हल कर सकता है यदि आप उसे पहले तीन चरण दे दें। लेकिन यदि आप उन्हें बिना सेटअप के शुरू से या बीच में से भरने के लिए कहें, तो वे जम जाते हैं। वे गणित नहीं कर रहे हैं; वे केवल पैटर्न को याद कर रहे हैं।
2. "बीच का हिस्सा" सबसे कठिन है
AI शुरुआत और अंत में आश्चर्यजनक रूप से अच्छा था, लेकिन बीच में बहुत खराब था।
- उपमा: शुरुआत मेज सजाने जैसा है (आसान पैटर्न)। अंत "द एंड" कहने जैसा है (आसान पैटर्न)। बीच का हिस्सा वह है जहाँ वास्तविक खाना पकाया जाता है—सामग्री को जोड़ना, आंच को नियंत्रित करना और समय का ध्यान रखना। AI बीच में खो जाता है क्योंकि वह समय के साथ प्रोग्राम की स्थिति (state) को ट्रैक नहीं कर पाता।
3. बड़ा होना हमेशा बेहतर नहीं होता
कभी-कभी, सबसे बड़े, सबसे महंगे AI मॉडल सरल और छोटे मॉडलों की तुलना में खराब प्रदर्शन करते हैं।
- उपमा: बड़े मॉडल उन अति-उत्साही छात्रों की तरह थे जो केवल एक वाक्य लिखने के लिए कहे जाने पर उपन्यास लिखना शुरू कर देते हैं। वे "सोचने" और अतिरिक्त शब्द जोड़ने के चक्कर में इतने उलझ गए कि उन्होंने गलतियाँ कर दीं। सरल मॉडल सीधे उत्तर दे देते थे।
निष्कर्ष: हमें अभी लंबा रास्ता तय करना है
पेपर यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल अभी तक सच्चे "रीज़नर" (तर्क करने वाले) नहीं हैं।
वे एक प्रमाण के स्वरूप (look of a proof) की नकल करने में उत्कृष्ट हैं। वे ऐसा कोड लिख सकते हैं जो दिखने में प्रमाणित लगता है। लेकिन वे एक मानव गणितज्ञ या समर्पित प्रमेय सिद्ध करने वाले (theorem prover) की तरह तर्क की तार्किक श्रृंखला का निर्माण नहीं कर सकते।
मुख्य बात (The Takeaway):
हम केवल AI से "सुरक्षित कोड लिखने" के लिए कहकर उस पर भरोसा नहीं कर सकते। हमें उन्हें अपना काम दिखाने के लिए मजबूर करना होगा। जब तक वे बिना मदद के कहानी के "बीच के हिस्से" को लगातार नहीं भर पाते, वे अभी भी केवल बहुत अच्छे अनुमान लगाने वाले हैं, सच्चे तार्किक विचारक नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।