The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans
यह शोध पत्र "रिडल रिडल" (riddle riddle) प्रतिमान को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जहाँ मनुष्य समस्या की सामग्री के अनुसार अपनी तर्क रणनीतियों को लचीले ढंग से अनुकूलित करते हैं, वहीं बड़े भाषा मॉडल अक्सर पैटर्न मिलान और सतही विशेषताओं पर निर्भर होते हैं, जिससे वे शाब्दिक समस्याओं पर भी अनुचित रूप से आविष्कारशील तर्क लागू कर देते हैं और यह सुझाव देते हैं कि वास्तविक पहेलियों पर उनका मजबूत प्रदर्शन स्मृति पुनर्प्राप्ति के बजाय लचीले तर्क से उत्पन्न हो सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको पहेलियाँ सुलझानी हैं। कुछ पहेलियाँ कठिन पहेलियाँ (riddles) हैं जिनमें लीक से हटकर सोचने की आवश्यकता होती है, जबकि कुछ बिल्कुल पहेलियों जैसी ही दिखती हैं लेकिन वास्तव में वे केवल साधारण गणित के प्रश्नों का छद्म रूप हैं।
यह शोध पत्र एक नया तरीका पेश करता है जिससे यह परीक्षण किया जा सके कि AI (लार्ज लैंग्वेज मॉडल्स) वास्तव में मनुष्यों की तुलना में कितने बुद्धिमान हैं। वे इसे "रिडल रिडल" (Riddle Riddle) प्रतिमान कहते हैं।
यहाँ इसका सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला:
सेटअप: "ट्रिक" बनाम "लिटरल" (The "Trick" vs. The "Literal")
शोधकर्ताओं ने दो प्रकार के प्रश्न बनाए जो सतह पर लगभग एक जैसे दिखते हैं:
- असली पहेली (The Trick):
- उदाहरण: "एक काउबॉय शुक्रवार (Friday) को शहर में आता है, तीन दिन रुकता है, और शुक्रवार को ही बाहर जाता है। यह कैसे संभव है?"
- उत्तर: आपको यह समझना होगा कि "फ्राइडे" उसके घोड़े का नाम है, न कि सप्ताह का दिन। इसके लिए रचनात्मक सोच की आवश्यकता है।
- "रिडल रिडल" (The Literal):
- उदाहरण: "एक काउबॉय शुक्रवार (Friday) को शहर में आता है, तीन दिन रुकता है, और सोमवार (Monday) को बाहर जाता है। यह कैसे संभव है?"
- उत्तर: यह केवल साधारण गणित है। शुक्रवार + 3 दिन = सोमवार। किसी ट्रिक की आवश्यकता नहीं है। इसके लिए शाब्दिक (literal) सोच की आवश्यकता है।
मुख्य बात यह है कि दोनों प्रश्न एक जैसे ही दिखते हैं। उनका वाक्य विन्यास और लय समान है। एकमात्र अंतर यह है कि क्या किसी "ट्रिक" की वास्तव में आवश्यकता है या नहीं।
प्रयोग
शोधकर्ताओं ने इन्हें हल करने के लिए दो समूहों को कहा:
- समूह 1: आज उपलब्ध नौ सबसे स्मार्ट AI मॉडल (जैसे GPT-5, Claude, Gemini, आदि)।
- समूह 2: 100 वयस्क मनुष्य।
परिणाम: एक पूर्ण उलटाव (A Perfect Reversal)
परिणाम एक दर्पण की तरह थे, लेकिन उसका प्रतिबिंब उल्टा था।
1. AI ने कैसे व्यवहार किया: "पहले देखने वाला" हल करने वाला (The "Look-First" Solver)
AI मॉडल असली पहेलियों में बहुत अच्छे थे (85% सही), लेकिन वे "रिडल रिडल" में संघर्ष कर गए (केवल 50% सही)।
- क्या हुआ: जब AI ने एक प्रश्न देखा जो एक पहेली जैसा दिखता था, तो उसने तुरंत मान लिया, "आह, यह ज़रूर एक ट्रिक है! मुझे अपनी रचनात्मक, लीक से हटकर सोचने वाली बुद्धि का उपयोग करना चाहिए।"
- गलती: भले ही प्रश्न एक साधारण गणित का सवाल था (रिडल रिडल), AI ने अभी भी एक छिपी हुई ट्रिक खोजने की कोशिश की। यह एक ऐसे जासूस की तरह था जो एक बंद दरवाजे को देखता है और तुरंत मान लेता है कि वहाँ एक गुप्त सुरंग है, भले ही दरवाजा बस खुला और बिना ताले का हो। AI इस बात का इतना आदी था कि पहेलियों में ट्रिक्स होती हैं, कि वह उन्हें खोजना बंद नहीं कर सका।
2. मनुष्यों ने कैसे व्यवहार किया: "लिटरल-फर्स्ट" हल करने वाला (The "Literal-First" Solver)
मनुष्यों ने बिल्कुल विपरीत पैटर्न दिखाया। वे "रिडल रिडल" में बहुत अच्छे थे (80% सही) लेकिन वे असली पहेलियों में संघर्ष कर गए (50% सही)।
- क्या हुआ: मनुष्य स्वाभाविक रूप से चीजों को शाब्दिक रूप से लेने की ओर प्रवृत्त होते हैं। जब उन्होंने "शुक्रवार + 3 दिन = सोमवार" वाला प्रश्न देखा, तो उन्होंने इसे तुरंत हल कर दिया।
- गलती: जब असली पहेली (घोड़ा जिसका नाम फ्राइडे है) के सामने आए, तो मनुष्य अक्सर इस विचार में फंस गए, "रुको, फ्राइडे सप्ताह का एक दिन है, इसलिए यह असंभव है!" उन्हें अपनी शाब्दिक सोच को बदलने के लिए अधिक मेहनत करनी पड़ी ताकि वे ट्रिक को समझ सकें।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि AI अभी भी वास्तव में लचीले ढंग से "तर्क" (reasoning) नहीं कर पा रहा है।
- मनुष्य लचीले हैं लेकिन आलसी हैं। वे सरल, शाब्दिक उत्तरों को प्राथमिकता देते हैं और केवल तभी "रचनात्मक मोड" में स्विच करते हैं जब वे महसूस करते हैं कि वे फंस गए हैं।
- AI इसके विपरीत है। उसने याद कर लिया है कि "पहेली जैसा ढांचा = रचनात्मक उत्तर।" वह वास्तव में यह जाँच नहीं करता कि रचनात्मक उत्तर की आवश्यकता है या नहीं; वह बस प्रश्न के आकार को देखता है और स्वचालित रूप से "रचनात्मक टूलबॉक्स" निकाल लेता है।
लेखक इसे "तर्क का भ्रम" (Illusion of Reasoning) कहते हैं। ठीक वैसे ही जैसे कोई व्यक्ति चित्र में एक दृश्य भ्रम देख सकता है भले ही रेखाएं वास्तव में अलग लंबाई की हों, AI एक पहेली की ट्रिक "देखता" है भले ही वह केवल एक साधारण गणित का सवाल हो।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI प्रसिद्ध पहेलियों पर सही उत्तर दे सकता है, लेकिन यह केवल याद की गई बातों को दोहरा रहा है या एक कठोर नियम का पालन कर रहा है ("यदि यह पहेली जैसा दिखता है, तो ट्रिक का उपयोग करें")। उसने अभी तक वह मानवीय कौशल नहीं सीखा है जो यह पूछने के लिए रुकता है, "क्या इस समस्या को वास्तव में एक ट्रिक की आवश्यकता है, या मैं इसे सामान्य रूप से हल कर सकता हूँ?"
संक्षेप में: AI हर बार बॉक्स के बाहर सोचता है जब बॉक्स पर "पहेली" का लेबल लगा होता है, भले ही बॉक्स खाली हो। मनुष्य आमतौर पर बॉक्स के अंदर ही रहते हैं, और केवल तभी बाहर देखते हैं जब उन्हें आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।