ALPS: Measuring Valid Creativity in Large Language Models with Mathematical Construction
यह शोध पत्र ALPS को प्रस्तुत करता है, जो एक नया बेंचमार्क है जो बड़े भाषा मॉडलों (LLMs) में वैध रचनात्मकता को कठोरता से मापता है, जिसमें उन्हें यादृच्छिक रूप से उत्पन्न समीकरण नियमों के लिए मूल, सत्यापन योग्य गणितीय प्रमाण या रचनाएँ उत्पन्न करने का कार्य दिया जाता है, जिससे यह पता चलता है कि वर्तमान मॉडल निर्माण पक्ष के साथ महत्वपूर्ण रूप से संघर्ष करते हैं और अधिकांश उदाहरण उन्नत स्वचालित प्रूवर्स (automated provers) द्वारा भी अनसुलझे रह जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक वैज्ञानिक परिदृश्य में, आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) डेटा प्रोसेसर की भूमिका से बाहर निकलकर एक खोजकर्ता की भूमिका में कदम रखने लगा है। हम ऐसी मशीनें देख रहे हैं जो नए रासायनिक यौगिक प्रस्तावित कर सकती हैं, नवीन सामग्रियां सुझा सकती हैं, और यहाँ तक कि ऐसे गणितीय अनुमान भी बना सकती हैं जिन पर मनुष्यों ने अभी तक विचार नहीं किया है। यह बदलाव एक गहरा प्रश्न खड़ा करता है: जब कोई मशीन ऐसा उत्तर देती है जो एक बड़ी सफलता जैसा दिखता है, तो हमें कैसे पता चलेगा कि वह वास्तव में रचनात्मक है या केवल उस चीज़ की चतुर पुनरावृत्ति है जिसे उसने अपने प्रशिक्षण के दौरान याद किया था। विज्ञान में वास्तविक रचनात्मकता के लिए दो चीजों की आवश्यकता होती है: समाधान मौलिक होना चाहिए, जिसका अर्थ है कि उसे पहले देखा न गया हो, और वह प्रभावी भी होना चाहिए, जिसका अर्थ है कि वह वास्तव में काम करता है और सामने रखी समस्या को हल करता है। कठिनाई इन गुणों को सत्यापित करने में निहित है। कई क्षेत्रों में, यह निर्णय लेने के लिए कि क्या एक नया विचार वैध है, मानव विशेषज्ञों को परिणाम को देखना पड़ता है और यह तय करना पड़ता है कि वह अच्छा है या नहीं, जो कि एक धीमी और व्यक्तिपरक प्रक्रिया है। गणित में, जहाँ उत्तरों की पूर्ण निश्चितता के साथ जाँच की जा सकती है, चुनौती अलग है: समस्याएँ अक्सर इतनी जटिल होती हैं कि एक कंप्यूटर उत्तर खोजने के लिए हर संभावना की खोज नहीं कर सकता, और समस्याएँ स्वयं अक्सर ऐसे निश्चित समूह होती हैं जिनका अध्ययन मशीन पहले ही कर चुकी हो सकती है।
इस दुविधा को हल करने के लिए, वर्जीनिया विश्वविद्यालय के शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस का परीक्षण करने का एक नया तरीका विकसित किया है, एक बेंचमार्क जिसे वे ALPS कहते हैं। यह प्रणाली "वैध रचनात्मकता" को मापने के लिए डिज़ाइन की गई है, जो मशीन को एक विशिष्ट प्रकार की गणितीय पहेली के सामने रखती है जिसे स्मृति या किसी मानक प्रक्रिया का पालन करके हल नहीं किया जा सकता। ये पहेलियाँ इस बात के नियमों पर आधारित हैं कि वस्तुओं का एक सेट कैसे संयोजित किया जा सकता है। कल्पना कीजिए कि वस्तुओं का एक संग्रह है और उन्हें आपस में मिलाने का एक नियम है। शोधकर्ता एक विशिष्ट नियम, या कानून उत्पन्न करते हैं, जो बताता है कि उन वस्तुओं को कैसे व्यवहार करना चाहिए। मशीन का कार्य यह तय करना है कि: या तो नियम इतना प्रतिबंधात्मक है कि वह सभी वस्तुओं को समान होने के लिए मजबूर करता है, या नियम वस्तुओं की एक जटिल, अनंत संरचना की अनुमति देता है जो शर्त को पूरा करती है। यदि मशीन दावा करती है कि संरचना मौजूद है, तो उसे इसका विवरण बनाना होगा। यदि वह दावा करती है कि वस्तुएं समान होनी चाहिए, तो उसे यह सिद्ध करना होगा कि अन्य कोई संभावना मौजूद नहीं है। इस सेटअप की प्रतिभा यह है कि उत्तरों की जाँच एक कंप्यूटर द्वारा पूर्ण सटीकता के साथ की जा सकती है, जिसमें किसी भी मनुष्य को परिणाम देखने की आवश्यकता नहीं होती। इसके अलावा, यह प्रणाली इन पहेलियों की एक अंतहीन आपूर्ति उत्पन्न कर सकती है, यह सुनिश्चित करते हुए कि मशीन हमेशा एक ऐसी समस्या का सामना करती है जिसे उसने पहले कभी नहीं देखा है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण विभिन्न शक्तिशाली स्वचालित तर्क उपकरणों (ऑटोमेटेड रीजनिंग टूल्स) का उपयोग करके किया, जो तार्किक समस्याओं को हल करने के लिए डिज़ाइन किए गए विशेष कंप्यूटर प्रोग्राम हैं। उन्होंने इन उपकरणों को चार हजार से अधिक उत्पन्न कानूनों के पूल के विरुद्ध चलाया। परिणाम स्पष्ट थे। कंप्यूटिंग शक्ति में भारी वृद्धि के बावजूद, स्वचालित उपकरण केवल एक बहुत छोटे हिस्से को ही हल कर सके। विशेष रूप रूप कि, सर्वश्रेष्ठ उपलब्ध प्रूवर्स (provers) के आठ अलग-अलग विन्यासों के पोर्टफोलियो ने केवल लगभग दो प्रतिशत कानूनों को ही हल किया। जब शोधकर्ताओं ने कंप्यूटिंग बजट को बीस गुना बढ़ाया, तो उन्होंने केवल कुछ ही अतिरिक्त समाधान पाए, और उनमें से कोई भी वे जटिल संरचनाएं नहीं थीं जिन्हें वे खोज रहे थे; वे केवल प्रमाण थे कि वस्तुएं समान होनी चाहिए। यह सुझाव देता है कि इन समस्याओं को हल करने में बाधा कंप्यूटिंग शक्ति की कमी नहीं है, बल्कि प्रत्येक अद्वितीय कानून के लिए विशिष्ट, अनुकूलित संरचनाओं को आविष्कार करने की विधि का अभाव है। मशीन बस शून्य से सही प्रकार की अनंत संरचना बनाने का तरीका नहीं जानती है।
इसके बाद शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स (LLMs) की ओर रुख किया, जो आज उपयोग किए जाने वाले कई संवादात्मक उपकरणों को शक्ति प्रदान करने वाले आर्टिफिशियल इंटेलिजेंस के प्रकार हैं। उन्होंने सबसे मजबूत तर्क मॉडलों का परीक्षण किया, उन्हें वही पहेलियाँ और वही अवसर दिया। उस कार्य की ओर जहाँ मशीन को यह सिद्ध करना था कि सभी वस्तुएं समान हैं, सबसे अच्छे मॉडल लगभग चौदह प्रतिशत मामलों में सफल रहे, लेकिन केवल सरल समस्याओं पर। जहाँ मशीन को एक नई, अनंत संरचना का निर्माण करना था, वहाँ के परिणाम और भी अधिक स्पष्ट थे: कोई भी मॉडल सफल नहीं हुआ। जब मॉडलों ने संरचना बनाने का प्रयास किया, तो वे लगातार दो में से एक तरीके से विफल रहे। या तो उन्होंने एक ऐसी संरचना प्रस्तावित की जो बहुत कठोर थी, जिससे सभी वस्तुएं एक बिंदु में सिमट गईं और इस प्रकार एक जटिल समाधान दिखाने में विफल रहीं, या उन्होंने एक ऐसी संरचना प्रस्तावित की जो बहुत ढीली थी, जो उस कानून के नियमों का पालन करने में विफल रही जिसे वे संतुष्ट करने की कोशिश कर रहे थे। हर मामले में, मशीन नियमों का पालन करने और कुछ नया और जटिल बनाने के बीच संतुलन बनाने में विफल रही।
अध्ययन निष्कर्ष निकालता है कि हालांकि ये आर्टिफिशियल इंटेलिजेंस सिस्टम निर्देश पालन करने और अपने काम की जाँच करने में बेहतर हो रहे हैं, फिर भी वे वैज्ञानिक खोज के मूल कार्य: बाधाओं के सेट के अनुरूप एक नई संरचना का आविष्कार करने में संघर्ष करते हैं। शोधकर्ताओं ने अपना पूरा सिस्टम, पहेलियों को बनाने वाले जनरेटर और उत्तरों की जाँच करने वाले स्वचालित जज सहित, जनता के लिए जारी कर दिया है। यह अन्य वैज्ञानिकों को ताज़ा समस्याओं की कमी के बिना इन मॉडलों का परीक्षण करना और सुधारना जारी रखने की अनुमति देता है। निष्कर्ष बताते हैं कि विज्ञान में AI के लिए आगे का रास्ता केवल मशीनों को अधिक डेटा या अधिक समय देने के बारे में नहीं है, बल्कि उन्हें निर्माण और सत्यापन के एक चक्र में अपने स्वयं के विचारों को प्रस्तावित करने और उन्हें परिष्कृत करने का तरीका सिखाने के बारे में है। जब तक मशीनें विश्वसनीय रूप से इन अनुकूलित समाधानों का निर्माण नहीं कर लेतीं, तब तक वैज्ञानिक खोज में उनकी भूमिका सीमित रहेगी, जो सूचना को संसाधित करने और वास्तव में वैध, मौलिक ज्ञान उत्पन्न करने के बीच के अंतर को पार करने में असमर्थ रहेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।