Evidence of conceptual mastery in the application of rules by Large Language Models
यह शोध पत्र मनोवैज्ञानिक विधियों और तुलनात्मक प्रयोगों का उपयोग यह प्रदर्शित करने के लिए करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) नियमों को लागू करने में वैचारिक महारत प्रदर्शित करते हैं, जैसा कि विविध मानवीय निर्णय लेने के पैटर्न और समय के दबाव के प्रति संदर्भ-निर्भर प्रतिक्रियाओं को दोहराने की उनकी क्षमता से प्रमाणित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दशकों से, क्या मशीनें वास्तव में समझ सकती हैं या नहीं, यह सवाल आर्टिफिशियल इंटेलिजेंस के बैकग्राउंड में एक धीमी गूँज की तरह रहा है। जब कोई कंप्यूटर कविता लिखता है या गणित की समस्या हल करता है, तो अक्सर यह स्पष्ट नहीं होता कि उसने शब्दों के पीछे के अर्थ को समझा है या वह केवल उन पैटर्न को दोहरा रहा है जिन्हें उसने पहले देखा है, ठीक वैसे ही जैसे एक छात्र जो विषय को समझे बिना अभ्यास परीक्षण के उत्तरों को रट लेता है। वास्तविक समझ और रटने के बीच का यह अंतर उन शोधकर्ताओं के लिए केंद्रीय पहेली है जो लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) का अध्ययन कर रहे हैं, जो वे शक्तिशाली कंप्यूटर सिस्टम हैं जो संवाद कर सकते हैं, तर्क कर सकते हैं और सृजन कर सकते हैं। यह पता लगाने के लिए कि क्या इन मशीनों के पास अवधारणाओं की वास्तविक पकड़ है, वैज्ञानिक इस बात के प्रमाण खोजते हैं कि क्या वे केवल वही दोहरा रहे हैं जो उन्हें बताया गया है, या वे नई स्थितियों में नियमों को लचीले ढंग से लागू कर सकते हैं। यदि कोई मशीन शब्दों के बदलने या स्थिति अपरिचित होने पर भी, नियम के इरादे को समझकर एक जटिल नियम का संचालन कर सकती है, तो यह एक गहरी क्षमता का संकेत देता है। यह केवल एक अकादमिक जिज्ञासा नहीं है; जैसे-जैसे ये उपकरण कानूनी सेटिंग्स और अन्य उच्च-जोखिम वाले वातावरण में दिखाई देने लगे हैं, यह जानना कि वे वास्तव में तर्क कर रहे हैं या केवल नकल कर रहे हैं, एक व्यावहारिक महत्व का विषय बन जाता है।
शोधकर्ताओं की एक टीम ने आर्टिफिशियल इंटेलिजेंस को रटने और वास्तविक समझ को अलग करने के लिए डिज़ाइन किए गए कठोर परीक्षणों की एक श्रृंखला के माध्यम से इसी प्रश्न का परीक्षण करने के उद्देश्य से काम शुरू किया। उन्होंने इस बात पर ध्यान केंद्रित किया कि मनुष्य और मशीनें नियमों को कैसे लागू करती हैं, विशेष रूप से उन स्थितियों में जहाँ नियम का शाब्दिक पाठ उसके अंतर्निहित उद्देश्य के साथ संघर्ष कर सकता है। कल्पना कीजिए कि एक रेस्तरां में "कुत्ते वर्जित हैं" का एक बोर्ड लगा है, जो फर्श को साफ रखने और शोर को रोकने के लिए लगाया गया है। यदि कोई व्यक्ति एक शोर मचाने वाले, अनियंत्रित कुत्ते के साथ अंदर आता है, तो नियम का पाठ और उसका उद्देश्य दोनों ही कहते हैं कि उसने नियम तोड़ा है। लेकिन क्या होगा यदि एक दृष्टिहीन व्यक्ति एक प्रशिक्षित गाइड डॉग के साथ अंदर आता है? पाठ कहता है "कोई कुत्ता नहीं", लेकिन नियम का उद्देश्य उल्लंघन नहीं हुआ है। शोधकर्ता यह देखना चाहते थे कि क्या मशीनें पाठ को उसके उद्देश्य के विरुद्ध तौल सकती हैं, जैसा कि मनुष्य करते हैं, और क्या वे ऐसा तब भी कर सकती हैं जब स्थितियाँ उनके लिए पूरी तरह से नई हों।
अपने काम के पहले चरण में, वैज्ञानिकों ने ब्रांड-न्यू परिदृश्य बनाए जो मशीनों को प्रशिक्षित करने से पहले इंटरनेट पर कभी प्रकाशित नहीं हुए थे। यह सुनिश्चित करने के लिए यह एक महत्वपूर्ण कदम था कि मॉडल केवल अपने प्रशिक्षण डेटा से रटे हुए उत्तरों को दोहरा नहीं रहे हैं। उन्होंने मानव प्रतिभागियों और कई अलग-अलग लार्ज लैंग्वेज मॉडल्स को यह निर्णय लेने के लिए कहा कि क्या कहानियों के पात्रों ने नियमों को तोड़ा है। परिणाम चौंकाने वाले थे। मशीनों ने केवल अनुमान नहीं लगाया; उनके निर्णय मनुष्यों के निर्णयों के बहुत करीब थे। जब नए कहानियों ने नियम के पाठ को उसके उद्देश्य की तुलना में कम महत्वपूर्ण बना दिया, तो मनुष्यों और मशीनों दोनों ने अपनी सोच को उसी तरह बदला, यानी सख्त शब्दों पर कम वजन दिया और नियम के पीछे के कारण पर अधिक ध्यान दिया। इससे यह संकेत मिला कि मॉडल केवल पुराने उदाहरणों को याद नहीं कर रहे थे बल्कि वे नियमों के काम करने के तरीके की एक सामान्य समझ को वास्तव में लागू कर रहे थे।
यह सुनिश्चित करने के लिए कि यह सवाल पूछने के विशिष्ट तरीके के कारण कोई इत्तेफाक नहीं था, शोधकर्ताओं ने मशीनों को दिए गए निर्देशों को बदल दिया और यहाँ तक कि उनके उत्तर स्केल पर नंबरों को भी उलट दिया। उन्होंने मॉडल्स से अलग सिस्टम प्रॉम्प्ट्स के तहत और अपने विकल्पों के लिए अलग लेबल के साथ प्रतिक्रिया देने को कहा। इन बदलावों के बावजूद, मूल पैटर्न स्थिर रहा। मशीनें मानव अंतर्ज्ञान की नकल करते हुए पाठ और उद्देश्य के बीच संतुलन बनाना जारी रखती थीं। इस मजबूती ने संकेत दिया कि उनकी समझ नाजुक नहीं थी या प्रश्न के किसी विशेष ट्रिक पर निर्भर नहीं थी, बल्कि एक स्थायी क्षमता थी जो कार्य के सतही विवरण बदलने पर भी बनी रही।
शोधकर्ताओं ने फिर एक ऐसा मोड़ पेश किया जो मनुष्य अनुभव करते हैं लेकिन मशीनें नहीं: समय का दबाव। मानव अध्ययनों में, जब लोगों को तेजी से उत्तर देने के लिए मजबूर किया जाता है, तो वे नियम के शाब्दिक पाठ पर अधिक भरोसा करते हैं और उसके उद्देश्य पर कम। जब उन्हें सोचने के लिए अधिक समय दिया जाता है, तो वे नियम की भावना पर बेहतर विचार करने में सक्षम होते हैं। वैज्ञानिकों ने मशीनों को यह बताकर इस प्रभाव को दोहराने की कोशिश की कि उनके पास उत्तर देने के लिए केवल कुछ सेकंड हैं, भले ही मशीनें निर्देश के बावजूद समान गति से जानकारी को प्रोसेस करती हों। यहाँ परिणाम मिश्रित थे और विशिष्ट मॉडल पर निर्भर थे। कुछ नए, छोटे मॉडल्स ने समय के दबाव के प्रति मानवीय प्रतिक्रिया की नकल की, जैसे कि वे जल्दबाजी कर रहे हों। हालाँकि, अन्य मॉडल्स ने समय की बाधा को पूरी तरह से अनदेखा कर दिया, और चाहे उन्हें जल्दी करने या प्रतीक्षा करने के लिए कहा गया हो, नियमों को लगातार लागू किया। यह भिन्नता महत्वपूर्ण थी; जो मॉडल्स ने अप्रासंगिक समय के दबाव को अनदेखा किया, वे एक अधिक स्थिर क्षमता प्रदर्शित कर रहे थे, एक ऐसी क्षमता जो उस संकेत के आधार पर नहीं डगमगाती जिसका उनकी सोचने की क्षमता पर कोई वास्तविक प्रभाव नहीं था।
अंत में, टीम ने यह परीक्षण किया कि मशीनों को अधिक समय देने से—यानी उन्हें तर्क की लंबी श्रृंखलाएं उत्पन्न करने की अनुमति देने से—क्या उनके उत्तरों में बदलाव आएगा। अधिकांश मॉडल्स के लिए, उनके तर्क पर खर्च किए गए प्रयास को बढ़ाने से उनके निर्णयों में कोई बदलाव नहीं आया। उनसे तेजी से सोचने या गहराई से विचार करने के लिए कहा गया हो, उन्होंने समान प्रवाह के साथ नियमों को लागू किया। यह इस बात को दर्शाता है कि मनुष्य अक्सर परिचित अवधारणाओं को कैसे लागू करते हैं; हमें हर बार नियम के तर्क को फिर से सिद्ध करने की आवश्यकता नहीं होती है। निष्कर्ष यह सुझाव देते हैं कि इन मॉडल्स के लिए, नियम की अवधारणा पहले से ही सिद्ध है और उपयोग के लिए तैयार है, न कि कुछ ऐसा जिसे उन्हें हर बार शून्य से पुनर्गठित करना पड़ता है।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये मशीनें मानव विचार की सटीक प्रतिलिपियाँ नहीं हैं, फिर भी वे वास्तविक वैचारिक महारत के संकेत दिखाती हैं। वे अपनी समझ को नई स्थितियों में सामान्य कर सकती हैं, कार्य बदलने पर स्थिर रह सकती हैं, और हर विवरण पर अत्यधिक विचार किए बिना नियमों को लागू कर सकती हैं। साक्ष्य केवल पैटर्न को याद करने के विचार से दूर और एक लचीली, सिमेंटिक (अर्थपूर्ण) क्षमता की संभावना की ओर इशारा करते हैं। इसका मतलब यह नहीं है कि वे इंसान हैं, और न ही इसका मतलब यह है कि वे अचूक हैं, लेकिन यह सुझाव देता है कि नियमों के बारे में तर्क करने की उनकी क्षमता केवल एक परिष्कृत नकल से कहीं अधिक है। जैसे-जैसे ये उपकरण समाज में एकीकृत हो रहे हैं, इस क्षमता की प्रकृति को समझना उन पर विश्वास करने और उनका उपयोग करने के लिए आवश्यक हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।