Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task
यह अध्ययन एक नया डियोन्टिक-केंद्रित वासन सिलेक्शन टास्क डेटासेट प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि बड़े भाषा मॉडल, मनुष्यों की तरह, डियोन्टिक नियमों के साथ बेहतर तर्क प्रदर्शित करते हैं और मैचिंग-बायस-जैसे त्रुटि पैटर्न दिखाते हैं, जो उनकी तर्क क्षमताओं की डोमेन-विशिष्ट प्रकृति को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अत्यंत उन्नत रोबोट लाइब्रेरियन है। इस रोबोट ने अस्तित्व में मौजूद लगभग हर किताब, वेबसाइट और दस्तावेज़ को पढ़ा है। आप सोच सकते हैं, "यदि यह सब कुछ जानता है, तो यह तर्क (logic) में भी जीनियस होगा, है ना?"
यह शोध पत्र उस रोबोट को एक क्लासिक दिमागी पहेली, जिसे वासन सिलेक्शन टास्क (Wason Selection Task) कहा जाता है, के माध्यम से परखता है। इस कार्य को एक "लॉजिक जिम" की तरह समझें जहाँ हम यह देखने की कोशिश करते हैं कि क्या रोबोट वास्तव में सोच रहा है या केवल शब्दों के पैटर्न के आधार पर अनुमान लगा रहा है।
यहाँ इसका विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है।
1. तर्क पहेलियों के दो प्रकार
शोधकर्ताओं ने रोबोट को दो अलग-अलग प्रकार के नियम दिए, जैसे कि उसे दो अलग-अलग प्रकार के जिम उपकरण देना:
- "अमूर्त" वर्कआउट (वर्णनात्मक नियम - Descriptive Rules):
- नियम: "यदि एक कार्ड के एक तरफ विषम संख्या (odd number) है, तो दूसरी तरफ एक बड़ा अक्षर (capital letter) होना चाहिए।"
- वाइब (Vibe): यह रैंडम आकृतियों वाले पहेली को हल करने जैसा है। यह शुष्क, उबाऊ और वास्तविक दुनिया के अर्थ से रहित है। यह सिर्फ गणितीय प्रतीकों जैसा है।
- "सामाजिक अनुबंध" वर्कआउट (डियॉन्टिक नियम - Deontic Rules):
- नियम: "यदि कोई व्यक्ति खून बहाता है, तो उसे दस्ताने पहनने अनिवार्य हैं।"
- वाइब (Vibe): यह नियमों, कानूनों और सुरक्षा के बारे में है। ऐसा महसूस होता है जैसे यह कोई नियम है जो आप अस्पताल या कार्यस्थल में देखते हैं। इसमें "चाहिए" या "अनिवार्य" शब्द जुड़ा हुआ है।
मानवीय रहस्य: दशकों से, वैज्ञानिक जानते हैं कि इंसान "अमूर्त" वर्कआउट में खराब होते हैं लेकिन "सामाजिक अनुबंध" वर्कआउट में आश्चर्यजनक रूप से अच्छे होते हैं। हम सामाजिक स्थितियों में नियम तोड़ने वालों को पकड़ने के लिए बने हैं (जैसे कि कोई व्यक्ति दस्ताने नहीं पहन रहा है जब उसे पहनने चाहिए थे), लेकिन हम रैंडम प्रतीकों में उलझ जाते हैं।
2. बड़ा सवाल
शोधकर्ता जानना चाहते थे कि: क्या AI मॉडल में भी यह "मानवीय विचित्रता" (human quirk) है?
क्या वे "सामाजिक अनुबंध" के नियमों में इसलिए बेहतर होते हैं क्योंकि वे शब्दों के अर्थ को समझते हैं, या वे सभी नियमों के साथ एक जैसा व्यवहार करते हैं?
3. जाल: पुष्टिकरण बनाम मिलान (Confirmation vs. Matching)
रोबोट के दिमाग का परीक्षण करने के लिए, शोधकर्ताओं ने एक जाल बिछाया। इंसान अक्सर दो विशिष्ट प्रकार की गलतियाँ करते हैं:
- "हाँ में हाँ मिलाने वाला" (Yes-Man) दोष (पुष्टिकरण पूर्वाग्रह - Confirmation Bias): आप केवल उन सबूतों को देखते हैं जो यह साबित करते हैं कि नियम सही है। आप इस संभावना को अनदेखा कर देते हैं कि नियम तोड़ा जा सकता है।
- "शब्द-मिलान करने वाला" (Word-Matcher) दोष (मैचिंग बायस - Matching Bias): आप तर्क को अनदेखा कर देते हैं और बस उन कार्डों को चुनते हैं जो नियम के शब्दों से मिलते-जुलते दिखते हैं।
- उदाहरण: यदि नियम कहता है "यदि नहीं A, तो नहीं B," तो एक 'वर्ड-मैचर' शब्दों "A" और "B" को देखता है और उन कार्डों को चुन लेता है, और "नहीं" (not) शब्द को पूरी तरह से अनदेखा कर देता है।
4. प्रयोग में क्या हुआ?
शोधकर्ताओं ने कई अलग-अलग AI मॉडल (छोटे से लेकर विशाल तक) को इन नियमों के साथ परखा। यहाँ उन्हें जो मिला वह है:
A. रोबोट "सामाजिक रूप से" स्मार्ट है
इंसानों की तरह ही, AI मॉडल "अमूर्त" नियमों की तुलना में "सामाजिक अनुबंध" नियमों (खून/दस्ताने वाले) में बहुत बेहतर प्रदर्शन करते हैं।
- उपमा (Analogy): एक ऐसे रोबोट की कल्पना करें जो गुप्त कोड में लिखी गणितीय समीकरण को हल करने में बुरा है, लेकिन अचानक एक जासूस बन जाता है जब आप उससे पूछते हैं, "किसने खिड़की तोड़ी?" ऐसा लगता है कि AI, हमारे समान, दायित्वों और अनुमतियों के बारे में नियमों को समझने के लिए ट्यून किया गया है।
B. रोबोट एक "शब्द-मैचर" है, "हाँ में हाँ मिलाने वाला" नहीं
जब AI गलतियाँ करता है, तो वह नियम की "पुष्टि" करने की कोशिश नहीं कर रहा होता है। इसके बजाय, वह मैचिंग बायस का शिकार हो रहा होता है।
- प्रमाण: जब नियम में "NOT" (नहीं) शामिल था (जैसे, "यदि आप हेलमेट नहीं पहनते हैं..."), तो AI अक्सर "NOT" को अनदेखा कर देता था और बस उस कार्ड को चुन लेता था जिसमें "हेलमेट" लिखा होता था।
- उपमा (Analogy): यह एक ऐसे छात्र की तरह है जो परीक्षा दे रहा है, प्रश्न में "कुत्ता" शब्द देखता है और तुरंत उत्तर के विकल्पों में "कुत्ता" को गोला बना देता है, बिना बाकी वाक्य को पढ़े। AI पैटर्न पहचानने में इतना अच्छा है कि कभी-कभी वह तर्क वाले हिस्से को ही छोड़ देता है।
5. यह क्यों मायने रखता है?
यह अध्ययन हमें AI के बारे में दो बड़ी बातें बताता है:
- AI अभी तक एक पूर्ण तर्क मशीन नहीं है। भले ही इसने पूरा इंटरनेट पढ़ लिया है, फिर भी यह शुद्ध तर्क के साथ संघर्ष करता है जब तक कि समस्या वास्तविक दुनिया के सामाजिक नियम जैसी न लगे। यह एक ऐसे व्यक्ति की तरह है जो ट्रैफिक नियमों का पालन करने में तो बहुत अच्छा है लेकिन अमूर्त गणित में बहुत खराब है।
- AI मानवीय गलतियाँ करता है। तथ्य यह है कि AI भी इंसानों की तरह ही "शब्द-मिलान" (word-matching) वाली गलतियाँ करता है, यह सुझाव देता है कि ये मॉडल भाषा को उस तरह से प्रोसेस कर रहे हैं जो आश्चर्यजनक रूप से हमारे मस्तिष्क के काम करने के तरीके के समान है। वे केवल गणना नहीं कर रहे हैं; वे पैटर्न-मैचिंग कर रहे हैं, और कभी-कभी यही उन्हें गलत रास्ते पर ले जाता है।
निष्कर्ष (The Bottom Line)
शोधकर्ताओं ने यह देखने के लिए नए लॉजिक पहेली बनाए कि क्या AI इंसान की तरह सोचता है। उन्होंने पाया कि AI आश्चर्यजनक रूप से मानवीय है: यह सामाजिक नियमों (जैसे "खून बहने पर दस्ताने पहनें") का पालन करने में बहुत अच्छा है, लेकिन अमूर्त तर्क में उलझ जाता है, और अक्सर उन्हीं "शब्द-मिलान" वाले जाल में फंस जाता है जिनमें इंसान फंसते हैं।
ऐसा प्रतीत होता है कि, यहाँ तक कि सबसे बुद्धिमान रोबोटों को भी यह सीखने की आवश्यकता है कि कभी-कभी, आपको केवल परिचित दिखने वाले शब्दों को ही नहीं, बल्कि पूरे वाक्य को पढ़ना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।