MathAdv: What Theorem Provers Know, Reason, Formalize, and Generalize
यह शोध पत्र MathAdv को प्रस्तुत करता है, जो 13 गणितीय डोमेन में फैला एक व्यापक नैदानिक बेंचमार्क है जो औपचारिककरण (formalization) में महत्वपूर्ण बाधाओं, डोमेन-विशिष्ट प्रदर्शन विविधताओं और मजबूती की सीमाओं का मूल्यांकन करने के लिए कई सहायक कार्यों के माध्यम से प्रमेय प्रूवर्स (theorem provers) का परीक्षण करता है जिन्हें अक्सर संचयी सटीकता मेट्रिक्स अस्पष्ट कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
गणित लंबे समय से कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) के लिए अंतिम परीक्षण रहा है। यह केवल तथ्यों को याद रखने या पैटर्न पहचानने से कहीं अधिक की मांग करता है; इसके लिए अमूर्त विचारों को समझने, तर्क की एक श्रृंखला का पालन करने और चरण दर चरण एक निष्कर्ष तक पहुँचने के लिए एक मस्तिष्क की आवश्यकता होती है। वर्षों तक, शोधकर्ताओं ने इन मशीनों का परीक्षण साधारण भाषा में लिखे गए प्रश्नों को हल करने के लिए किया, और केवल यह जांचा कि अंतिम उत्तर सही था या नहीं। लेकिन एक सही उत्तर इस बात की गारंटी नहीं देता कि मशीन ने उस यात्रा को समझा है। एक कंप्यूटर बिना पीछे के तर्क को वास्तव में समझे, केवल सही संख्या का अनुमान लगा सकता है। इसे हल करने के लिए, वैज्ञानिकों ने औपचारिक प्रमेय सिद्ध करने (फॉर्मल थ्योरम प्रूविंग) की ओर रुख किया। यह एक ऐसी विधि है जहाँ मशीन को अपना प्रमाण एक सख्त, कंप्यूटर-पठनीय भाषा में लिखना होता है जो गणित के लिए एक सार्वभौमिक व्याकरण की तरह कार्य करती है। इस प्रणाली में, प्रत्येक चरण को एक प्रोग्राम द्वारा सत्यापित किया जाना चाहिए, जिससे यह सुनिश्चित हो सके कि तर्क सुदृढ़ है और निष्कर्ष अनिवार्य रूप से शुरुआती धारणाओं से निकलता है। यह भाग्यशाली अनुमान की संभावना को समाप्त कर देता है, जिससे मशीन को अपना काम इस तरह दिखाने के लिए मजबूर किया जाता है जिसे नकली बनाना असंभव है।
एक नया अध्ययन एक व्यापक परीक्षण 'मैथएडव' (MathAdv) पेश करता है ताकि यह देखा जा सके कि आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियाँ वास्तव में इस कठोर वातावरण में कैसा प्रदर्शन करती हैं। शोधकर्ताओं ने पाठ्यपुस्तकों और विशेषज्ञ स्रोतों से 321 गणितीय समस्याएं एकत्र कीं, जो बुनियादी बीजगणित और ज्यामिति से लेकर टोपोलॉजी और तरंगों के अध्ययन जैसे उन्नत विषयों तक तेरह विभिन्न क्षेत्रों को कवर करती हैं। उन्होंने मशीनों से केवल इन प्रमेयों को सिद्ध करने के लिए नहीं कहा; बल्कि उन्होंने एक बहु-स्तरीय परीक्षा तैयार की ताकि यह निदान किया जा सके कि मशीनें कहाँ सफल होती हैं और कहाँ विफल होती हैं। औपचारिक प्रमाण लिखने के मुख्य कार्य के साथ-साथ, शोधकर्ताओं ने मॉडलों से बहुविकल्पीय प्रश्न भी पूछे कि कौन सी गणितीय अवधारणाएं प्रासंगिक थीं, बिना किसी कंप्यूटर कोड के साधारण भाषा में समस्याओं को हल करने के लिए कहा, और उन्हीं समस्याओं के उन संस्करणों को हल करने के लिए कहा जिन्हें पूरी तरह से अलग दिखने के लिए फिर से लिखा गया था। इस दृष्टिकोण ने टीम को एक मॉडल की गणित को समझने की क्षमता और उस समझ को कंप्यूटर प्रोग्राम के सख्त नियमों में अनुवाद करने की उसकी क्षमता के बीच अंतर करने की अनुमति दी।
परिणाम प्रकट करते हैं कि कृत्रिम बुद्धिमत्ता की बढ़ती क्षमताओं के बारे में हालिया सुर्खियों के बावजूद, यह पूर्णता से बहुत दूर है। सबसे महत्वपूर्ण निष्कर्ष यह है कि इन मशीनों के लिए सबसे बड़ी बाधा गणितीय ज्ञान की कमी नहीं है, बल्कि उस ज्ञान को एक औपचारिक प्रमाण में अनुवाद करने की कठिनाई है। कई मामलों में, मॉडल सही रणनीति को सही ढंग से पहचान सकते थे और अंतर्निहित अवधारणाओं के बारे में प्रश्नों के उत्तर भी दे सकते थे, फिर भी वे कंप्यूटर भाषा में अंतिम प्रमाण लिखने में विफल रहे। यह वैसा ही है जैसे कोई छात्र एक निबंध में भौतिकी की अवधारणा को पूरी तरह से समझा सकता है लेकिन उसे सिद्ध करने के लिए समीकरण नहीं लिख सकता। अध्ययन में पाया गया कि हालांकि कुछ विशिष्ट प्रणालियों में प्रशिक्षण के साथ सुधार हुआ, लेकिन उनकी समग्र सफलता दर कम रही, जिसमें सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल केवल लगभग बाईस प्रतिशत समस्याओं को हल कर सका। यह सुझाव देता है कि एक गणितीय विचार को समझने और एक सत्यापित प्रमाण बनाने के बीच का अंतर अभी भी एक विशाल खाई है।
शोधकर्ताओं ने यह भी पाया कि जब समस्या की प्रस्तुति बदल जाती है, तो ये मशीनें आश्चर्यजनक रूप से नाजुक हो जाती हैं। जब विशेषज्ञों ने अलग शब्दों या थोड़ी अलग संरचना का उपयोग करके उसी गणितीय चुनौती को फिर से लिखा, तो मॉडल अक्सर इसे हल करने में विफल रहे, भले ही उन्होंने मूल संस्करण को हल किया था। यह इंगिकाता है कि मशीनें समस्या के मूल तर्क के माध्यम से उतनी मजबूती से तर्क नहीं कर रही हैं जितनी उम्मीद की गई थी; इसके बजाय, वे परिचित पैटर्न और विशिष्ट शब्दावली पर निर्भर करती प्रतीत होती हैं। यदि शब्दों में बदलाव होता है, तो समाधान खोजने की उनकी क्षमता ढह जाती है। इसके अलावा, अध्ययन में दिखाया गया कि प्रदर्शन विषय के आधार पर बहुत भिन्न होता है। मॉडल संख्या सिद्धांत (नंबर थ्योरी) और रैखिक बीजगणित (लीनियर अलजेब्रा) जैसे क्षेत्रों में समस्याओं को हल करने में बहुत बेहतर थे, संभवतः इसलिए क्योंकि उन्होंने अपने प्रशिक्षण के दौरान इन विषयों के अधिक उदाहरण देखे थे, लेकिन उन्होंने टोपोलॉजी जैसे क्षेत्रों में बहुत खराब प्रदर्शन किया, जहाँ अवधारणाओं को औपचारिक रूप देना कठिन है और उनके प्रशिक्षण डेटा में वे कम सामान्य हैं।
दिलचस्प रूप से, मशीनों को कैसे निर्देशित किया गया, यह भी अप्रत्याशित तरीकों से मायने रखता था। जब शोधकर्ताओं ने सामान्य-उद्देश्य वाले एआई मॉडलों को किसी समस्या के दृष्टिकोण के बारे में साधारण अंग्रेजी में संकेत दिए, तो उनके प्रदर्शन में सुधार हुआ। हालांकि, उन मॉडलों के लिए जो विशेष रूप से प्रमेय सिद्ध करने के लिए प्रशिक्षित किए गए थे, वही संकेत वास्तव में उन्हें और खराब बना देते थे। यह सुझाव देता है कि विशिष्ट प्रणालियों ने प्रमाण खोजने के लिए अपने स्वयं के आंतरिक पैटर्न पर निर्भर रहना सीख लिया है, और मानवीय व्याख्याएं जोड़ने से उनकी विशिष्ट रणनीतियां भ्रमित हो सकती हैं। अध्ययन निष्कर्ष निकालता है कि हालांकि कृत्रिम बुद्धिमत्ता ने गणितीय तर्क में प्रगति की है, लेकिन वह अभी भी औपचारिक सत्यापन के अंतिम, महत्वपूर्ण चरण के साथ संघर्ष करती है। मशीनें अक्सर रास्ता देख सकती हैं, लेकिन जब उन्हें कंप्यूटर की सख्त, अडिग भाषा में उस पर चलने के लिए कहा जाता है, तो वे लड़खड़ा जाती हैं। यह नैदानिक बेंचमार्क उनकी सीमाओं की एक स्पष्ट तस्वीर प्रदान करता है, जो दिखाता है कि मशीनों में वास्तविक गणितीय तर्क के लिए केवल सही उत्तर प्राप्त करना पर्याप्त नहीं है; इसके लिए एक मजबूत, लचीली समझ की आवश्यकता है जो समस्या को पूछने के तरीके में बदलाव और औपचारिक प्रमाण की कठोरता के बीच जीवित रह सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।