FormalProofBench: Can Models Write Graduate Level Math Proofs That Are Formally Verified?
यह शोधपत्र FormalProofBench को पेश करता है, जो Lean 4 में औपचारिक रूप से सत्यापित स्नातक-स्तरीय गणितीय प्रमाण उत्पन्न करने की एआई मॉडलों की क्षमता का मूल्यांकन करने के लिए एक निजी बेंचमार्क है, जो यह प्रकट करता है कि सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल केवल 33.5% सटीकता प्राप्त करता है और टूल के उपयोग, विफलता के तरीकों और दक्षता का एक व्यापक विश्लेषण प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो रोबोट्स की एक ऐसी कक्षा को गणित का टेस्ट ले रहे हैं जो बहुत बुद्धिमान हैं, लेकिन कभी-कभी अति-आत्मविश्वासी भी हो जाते हैं।
अतीत में, इन रोबोट्स (AI मॉडल्स) का परीक्षण उन गणितीय समस्याओं पर किया जाता था जहाँ उन्हें केवल साधारण अंग्रेजी में अपना समाधान लिखना होता था। यह ऐसा था जैसे उनसे किसी पहेली को हल करने के तरीके पर निबंध लिखने के लिए कहना। वे बहुत प्रभावशाली लग सकते थे, बड़े शब्दों और तार्किक दिखने वाले वाक्यों का उपयोग कर सकते थे। लेकिन, ठीक वैसे ही जैसे एक छात्र जिसने वास्तव में गणित किए बिना केवल प्रमाण के 'वाइब' (vibe) को याद कर लिया हो, वे सूक्ष्म, घातक गलतियों को छिपा सकते थे। एक मानव शिक्षक एक छोटी सी गलती को मिस कर सकता था, और रोबोट को पास होने वाला ग्रेड मिल जाता भले ही उसका उत्तर गलत होता।
नया टेस्ट: "FormalProofBench"
लेखकों ने एक नया, बहुत अधिक सख्त टेस्ट बनाया है जिसे FormalProofBench कहा जाता है। निबंध लिखने के बजाय, अब रोबोट्स को Lean 4 नामक एक बहुत ही सख्त, निर्दयी भाषा में कोड लिखना होता है।
Lean 4 को एक अति-सख्त रोबोट रेफरी के रूप में सोचें जो कभी सोता नहीं और न ही कभी गलतियाँ करता है।
- यदि रोबोट के प्रमाण में एक भी छोटी सी तार्किक कमी, एक छूटा हुआ स्टेप, या गलत परिभाषा है, तो रेफरी तुरंत चिल्लाएगा, "FAIL!" और खेल रोक देगा।
- यहाँ "शायद" के लिए कोई जगह नहीं है, "यह सही लगता है" या "मुझे लगता है कि यह सही है" जैसा कुछ भी नहीं चलेगा। यह बाइनरी है: पास या फेल।
सेटअप: एक 40-टर्न की पहेली
यह टेस्ट केवल एक बार का सवाल नहीं है। यह एक वीडियो गेम लेवल की तरह है जहाँ रोबोट के पास स्नातक-स्तर (graduate-level) की गणितीय समस्या को हल करने के लिए 40 टर्न होते हैं।
- टूल्स (औज़ार): रोबोट के पास एक टूलबॉक्स है। वह एक विशाल डिजिटल लाइब्रेरी (Mathlib) में नियम देख सकता है, यह देखने के लिए छोटे टेस्ट कोड चला सकता है कि क्या कोई स्टेप काम करता है, और फिर अंत में अपना उत्तर सबमिट कर सकता है।
- लक्ष्य: रोबोट को एक जटिल गणितीय समस्या (जैसे प्रायिकता या बीजगणित के बारे में एक प्रमेय सिद्ध करना) को Lean कोड में अनुवादित करना होगा जिसे रेफरी स्वीकार करे।
परिणाम: रोबोट बेहतर हो रहे हैं, लेकिन अभी भी लड़खड़ा रहे हैं
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे Claude, GPT-5, और Gemini) का 200 कठिन समस्याओं पर परीक्षण किया। यहाँ उन्हें क्या पता चला:
- "सोचने वाले" मॉडल्स जीतते हैं: सबसे अच्छे रोबोट, Claude Opus 4.5 ने, लगभग 33.5% समस्याओं को हल करने में सफलता प्राप्त की। यह कम लग सकता है, लेकिन याद रखें: ये स्नातक-स्तर की गणितीय समस्याएँ हैं जिनमें मानव पीएचडी छात्र भी संघर्ष करते हैं।
- गिरावट (The Drop-Off): शीर्ष मॉडल के बाद, स्कोर में भारी गिरावट आई। अगले सर्वश्रेष्ठ मॉडल्स ने केवल 18% या उससे कम हल किया।
- सीक्रेट सॉस (टूल का उपयोग): इस पेपर ने एक दिलचस्प पैटर्न की खोज की। जो रोबोट सबसे अच्छा प्रदर्शन कर रहे थे, वे केवल "गहराई से सोच" नहीं रहे थे; वे इटरेशन (दोहराव) कर रहे थे।
- खराब रणनीति: कुछ रोबोट मदद के लिए लाइब्रेरी से बार-बार पूछते रहे (सर्च करते रहे), एक लूप में फंस गए, जैसे कोई व्यक्ति हर दराज में चाबी ढूंढ रहा हो बिना कभी दरवाजे को आज़माए।
- अच्छी रणनीति: विजेताओं ने "Run Code" टूल का लगातार उपयोग किया। उन्होंने एक स्टेप आज़माया, उसे फेल होते देखा, उसे ठीक किया, फिर से आज़माया, फिर से फेल होते देखा, और फिर से ठीक किया। उन्होंने प्रमाण को एक डिबगिंग सत्र (debugging session) की तरह माना। वे जितना अधिक "कोड रन" करते और फीडबैक प्राप्त करते, वे उतने ही बेहतर होते जाते।
यह क्यों मायने रखता है?
इसे मानव अंतर्ज्ञान (human intuition) और मशीनी निश्चितता (machine certainty) के बीच का एक सेतु समझें।
- अभी, AI स्मार्ट दिखने में बहुत अच्छा है ( "निबंध" वाला चरण)।
- यह टेस्ट दिखाता है कि AI कठोर (rigorous) होना सीख रहा है।
यदि AI अंततः इस टेस्ट को उच्च स्कोर के साथ पास कर सकता है, तो इसका मतलब है कि हमारे पास केवल ऐसे रोबोट नहीं होंगे जो गणित के बारे में बात करते हैं; हमारे पास ऐसे रोबोट होंगे जो बिना किसी गलती के नए गणितीय सत्यों को सिद्ध (prove) कर सकते हैं। यह मानव गणितज्ञों को उनके काम को सत्यापित करने, नए प्रमेय खोजने और यह सुनिश्चित करने में मदद कर सकता है कि विज्ञान की नींव एकदम ठोस है।
संक्षेप में:
पेपर कहता है, "हमने एक सख्त, स्वचालित गणितीय रेफरी बनाया है। सबसे अच्छे AI रोबोट इस टेस्ट को पास करना शुरू कर रहे हैं, लेकिन वे अभी भी गलतियाँ करते हैं। जो सफल होते हैं, वे वे हैं जो केवल अनुमान लगाने के बजाय, प्रयास करने, असफल होने, सुधारने और फिर से प्रयास करने से नहीं डरते।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।