AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification
यह शोध पत्र AdvancedMathBench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क सुइट है जिसमें उन्नत गणितीय प्रमाण निर्माण के मूल्यांकन के लिए ProverBench और प्रमाण सत्यापन के आकलन के लिए VerifierBench के साथ-साथ एक विशेष स्वचालित सत्यापन पाइपलाइन शामिल है, ताकि यह प्रकट किया जा सके कि वर्तमान अत्याधुनिक लार्ज लैंग्वेज मॉडल्स अभी भी स्नातक और डॉक्टरेट स्तर पर कठोर प्रमाणों के निर्माण और सत्यापन में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो हाई स्कूल के गणित के टेस्ट में टॉप कर सकता है, और किसी भी इंसान से कहीं अधिक तेज़ी से कठिन बीजगणित (algebra) और ज्यामिति (geometry) की समस्याओं को हल कर सकता है। आप सोच सकते हैं, "शानदार! यह रोबोट तो गणित का जीनियस है!" लेकिन क्या होगा जब आप इसे पीएचडी-स्तर की गणित की समस्या देते हैं? क्या यह वास्तव में तर्क (logic) को समझता है, या यह सिर्फ अंतिम संख्या का अनुमान लगा रहा है और सही होने की उम्मीद कर रहा है?
यही वह चीज़ है जिसकी जांच AdvancedMathBench नामक एक नया अध्ययन करता है। शोधकर्ताओं ने एक विशेष "मैथ जिम" बनाया है यह परीक्षण करने के लिए कि क्या AI मॉडल दो बहुत कठिन काम कर सकते हैं: शुरुआत से एक सटीक गणितीय प्रमाण (proof) लिखना और यह जांचना कि क्या किसी और का प्रमाण वास्तव में सही है।
"प्रूफ" का मतलब केवल उत्तर नहीं, बल्कि पूरी प्रक्रिया है
अधिकांश AI गणित टेस्ट मल्टीपल-चॉइस क्विज़ की तरह होते हैं। रोबोट को बस सही अक्षर (A, B, C, या D) चुनना होता है या अंतिम संख्या लिखनी होती है। यदि उत्तर सही है, तो रोबोट को गोल्ड स्टार मिल जाता है।
लेकिन उन्नत गणित केवल अंतिम संख्या के बारे में नहीं है; यह उस यात्रा के बारे में है। यह एक शेफ से केक बनाने के लिए कहने जैसा है, जिसमें न केवल स्वादिष्ट केक परोसना हो, बल्कि यह भी लिखना हो कि उन्होंने प्रत्येक सामग्री क्यों डाली और यह साबित करना हो कि केक गिरेगा नहीं। यदि रेसिपी में कोई छिपी हुई गलती है (जैसे चीनी की जगह नमक का उपयोग करना), तो केक शुरू में ठीक लग सकता है, लेकिन वह बर्बाद हो चुका है।
पेपर का तर्क है कि वर्तमान AI बेंचमार्क बहुत आसान हैं क्योंकि वे केवल अंतिम उत्तर की जांच करते हैं। वे "रेसिपी" वाले हिस्से को छोड़ देते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने AdvancedMathBench बनाया है, जो AI को मजबूर करता है कि वह गणित की समस्या की पूरी कहानी लिखे और फिर जांचे कि क्या वह कहानी समझ में आती है।
दो बड़ी चुनौतियाँ
1. "लेखक" का परीक्षण (ProverBench)
सबसे पहले, उन्होंने AI को एक गणितज्ञ के रूप में कार्य करने और एक पूर्ण प्रमाण लिखने के लिए कहा। उन्होंने इसे 245 समस्याएँ दीं, जो दो स्तरों में विभाजित थीं:
- अंडरग्रेजुएट (UG): एक कठिन कॉलेज फाइनल एग्जाम की तरह।
- डॉक्टोरल क्वालिफाइंग (QE): उस सुपर-हार्ड टेस्ट की तरह जिसे आपको पीएचडी बनने के लिए पास करना होता है।
परिणाम: यहाँ तक कि सबसे स्मार्ट AI मॉडल भी संघर्ष करते दिखे। सबसे अच्छा मॉडल, GPT-5.5-xhigh, कॉलेज-स्तर की समस्याओं पर 64.5 का स्कोर प्राप्त करता है। लेकिन जब वे पीएचडी-स्तर की समस्याओं पर पहुँचे, तो इसका स्कोर गिरकर 48.9 हो गया।
यह सुझाव देता है कि हालांकि AI उच्च विद्यालय के गणित में अच्छा है, लेकिन उन्नत अनुसंधान के लिए आवश्यक गहरे, कठोर तर्क को संभालने के लिए उसे अभी लंबा रास्ता तय करना है। पेपर का सुझाव है कि केवल सही उत्तर प्राप्त करना पर्याप्त नहीं है; मॉडल को एक ठोस तर्क बनाना होगा, और अभी भी यह कठिन चरणों में लड़खड़ा रहा है।
2. "संपादक" का परीक्षण (VerifierBench)
इसके बाद, उन्होंने AI को एक सख्त संपादक के रूप में कार्य करने के लिए कहा। उन्होंने इसे अन्य मॉडलों द्वारा लिखे गए 888 प्रमाण दिए (कुछ सही थे, कुछ छिपे हुए जाल से भरे थे) और पूछा: "क्या यह प्रमाण वैध है? यदि नहीं, तो गलती कहाँ है?"
परिणाम: यह और भी कठिन था। सबसे अच्छा मॉडल, DeepSeek-V4-Pro, केवल 65.1 (जिसे बैलेंस्ड F1 स्कोर कहा जाता है) तक पहुँच पाया।
यहाँ पेचीदा बात यह है: पेपर में पाया गया कि यदि आप AI से केवल "यह सही है या गलत?" (एक साधारण हाँ/ना) पूछते हैं, तो ऐसा लगता है कि वह काफी अच्छा कर रहा है। लेकिन जब आप उससे क्यों पूछते हैं और विशिष्ट त्रुटि की ओर इशारा करने के लिए कहते हैं, तो इसका प्रदर्शन गिर जाता है।
उदाहरण के लिए, कुछ मॉडल इतने उत्सुक थे कि वे "हाँ, यह सही है!" कह दें, कि उन्होंने स्पष्ट गलतियों को भी मिस कर दिया। एक मॉडल, gpt-oss-120b, ने वैध प्रमाणों के लिए 95.3% बार "हाँ" कहा, लेकिन अमान्य प्रमाणों के लिए उसने केवल 32.0% बार ही "नहीं" कहा। यह एक ऐसे शिक्षक की तरह था जो सबको 'A' ग्रेड दे देता है, भले ही उन्होंने नकल की हो। पेपर का सुझाव है कि असली बाधा सही गणित को पहचानना नहीं है; बल्कि "भरोसेमंद दिखने वाले" लेकिन गलत प्रमाणों में सूक्ष्म, चालाकी भरी गलतियों को पकड़ना है।
उन्होंने परीक्षण को निष्पक्ष कैसे बनाया
आप सोच सकते हैं, "आपको कैसे पता कि AI का प्रमाण वास्तव में अच्छा है?" आप दूसरे AI से नहीं पूछ सकते, क्योंकि वे सभी एक ही तरह की गलतियाँ कर सकते हैं।
इसलिए, शोधकर्ताओं ने एक विशेष ऑटोमैटिक वेरिफिकेशन पाइपलाइन बनाई। इसे विशेषज्ञों की मानव गणितज्ञों की एक टीम के रूप में सोचें जिन्होंने एक सुपर-सटीक रोबोट को प्रमाणों को ग्रेड करना सिखाया।
- उन्होंने हजारों उदाहरण एकत्र किए और वास्तविक विशेषज्ञों से उनकी जांच करवाई।
- उन्होंने अपने रोबोट को "घातक त्रुटियों" (Fatal Errors - वे प्रकार जो पूरे प्रमाण को तोड़ देते हैं) और "सुधार योग्य त्रुटियों" (Recoverable Errors - छोटी गलतियाँ जिन्हें सुधारा जा सकता है) को खोजने के लिए प्रशिक्षित किया।
- उन्होंने एक "निराशावादी" (pessimistic) नियम का उपयोग किया: एक प्रमाण तभी स्वीकार किया जाता है जब आठ अलग-अलग जाँचें सभी कहती हैं कि यह एकदम सही है। यदि एक भी जाँच में कोई दोष मिलता है, तो प्रमाण विफल हो जाता है।
यह प्रणाली इतनी अच्छी थी कि इसने अन्य शीर्ष AI जजों को पछाड़ते हुए, एक टेस्ट सेट पर 82.1 का स्कोर प्राप्त किया जहाँ अन्य मॉडल केवल 70.6 प्राप्त कर सके। यह सुझाव देता है कि गणित AI को वास्तव में परखने के लिए, आपको एक विशेष, कठोर ग्रेडर की आवश्यकता होती है, न कि केवल एक सामान्य चैटबॉट की।
मुख्य निष्कर्ष
पेपर यह नहीं कहता कि AI गणित में "बुरा" है। यह कहता है कि सबसे कठिन, उन्नत गणित के लिए, AI अभी भी सीख रहा है।
- प्रमाण लिखना: सर्वश्रेष्ठ AI कॉलेज-स्तर की समस्याओं पर लगभग 64.5 प्राप्त करता है और पीएचडी-स्तर की समस्याओं पर गिरकर 48.9 हो जाता है।
- प्रमाण की जाँच करना: सर्वश्रेष्ठ AI 65.1 का स्कोर प्राप्त करता है, जिसका अर्थ है कि वह अभी भी कई सूक्ष्म गलतियों को मिस कर देता है।
शोधकर्ता सुझाव देते हैं कि हम अब केवल अंतिम उत्तर को नहीं देख सकते। यदि हम चाहते हैं कि AI वास्तविक वैज्ञानिक खोज में मदद करे, तो उसे एक पूर्ण तार्किक तर्क बनाने में सक्षम होना चाहिए और उतना ही महत्वपूर्ण यह भी कि वह दूसरों के आने से पहले अपनी गलतियों को पकड़ सके। तब तक, "गणित का जीनियस" रोबोट अभी भी सीखने की प्रक्रिया में एक छात्र है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।