The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI
यह शोध पत्र नाज़ोनाज़ो बेंचमार्क (NazoNazo Benchmark) का परिचय देता है, जो जापानी पहेलियों का एक ऐसा डेटासेट है जिसे बड़े भाषा मॉडलों (LLMs) में एक "मेटाकॉग्निटिव बॉटलनेक" (metacognitive bottleneck) को उजागर करने के लिए डिज़ाइन किया गया है जहाँ वे सत्यापन विफलताओं के कारण अक्सर सही मध्यवर्ती उम्मीदवारों का समर्थन करने में विफल रहते हैं, जो कि एक महत्वपूर्ण अंतर को प्रकट करता है जो जनरेशन (generation) और स्व-मूल्यांकन (self-evaluation) के बीच होता है जिसे मानक बेंचमार्क नहीं पकड़ पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आपको लग सकता है कि सबसे कठिन हिस्सा केवल तथ्यों को जानना है, जैसे कि शब्दकोश या इतिहास की किताब को याद करना। लेकिन सोचने का एक और अधिक पेचीदा प्रकार है जिसे "तर्क" (reasoning) कहा जाता है, जहाँ आपको एक समस्या को देखना होता है, यह महसूस करना होता है कि आपका पहला अनुमान गलत है, और अचानक एक बिल्कुल नए तरीके से उत्तर देखना होता है। यह पहेली के टुकड़ों के ढेर को देखने जैसा है, जहाँ आप सोचते हैं कि वे फिट नहीं बैठ रहे हैं, और फिर अचानक आपको एहसास होता है कि आपने एक टुकड़ा उल्टा पकड़ा हुआ था। वैज्ञानिक इसे "अंतर्दृष्टि" (insight) कहते हैं।
अब, कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या एक रोबोट यह कर सकता है। आप इसे केवल गणित का टेस्ट नहीं दे सकते, क्योंकि रोबोट गणित में बहुत अच्छे होते हैं लेकिन वे शायद अपने प्रशिक्षण से उत्तरों को रट रहे होंगे। आपको एक ऐसा परीक्षण चाहिए जो उन्हें रचनात्मक रूप से सोचने और अपने काम की जाँच करने के लिए मजबूर करे। यहीं पर "मेटाकॉग्निशन" (metacognition) का विचार आता है। मेटाकॉग्निशन को अपने भीतर के एक 'सुपरवाइजर' के रूप में सोचें। यह मस्तिष्क का वह हिस्सा है जो कहता है, "रुको, मुझे सही उत्तर मिल गया है, लेकिन मुझे यकीन नहीं है कि क्या मुझे यहीं रुक जाना चाहिए या आगे तलाश जारी रखनी चाहिए।" यदि रोबोट अपने स्वयं के सुपरवाइजर पर भरोसा नहीं कर सकता, तो वह समाधान पा तो सकता है लेकिन खुद को ही गलत उत्तर देने के लिए मना लेगा।
यह बिल्कुल वही है जो जापान के शोधकर्ताओं की एक टीम जांचना चाहती थी। वे जानना चाहते थे: क्या हमारे सबसे स्मार्ट AI मॉडल वास्तव में इस तरह की रचनात्मक सोच में बेहतर हो रहे हैं, या वे केवल सही उत्तर का अनुमान लगाने में बेहतर हो रहे हैं क्योंकि उन्होंने पहले भी ऐसे मिलते-जुलते प्रश्न देखे हैं? यह पता लगाने के लिए, उन्होंने जापानी पहेलियों का उपयोग करके एक विशेष परीक्षण बनाया और पाया कि ये मशीनें वास्तव में कैसे सोचती हैं।
पहेली परीक्षण: क्या AI "अहा!" वाले क्षण को हल कर सकता है?
शोधकर्ता, मसाहारु मिज़ुमोटो और उनकी टीम के नेतृत्व में, जापानी बच्चों की पहेलियों के एक क्लासिक प्रकार जिसे नाज़ोनोज़ा (nazonazo) कहा जाता है, का उपयोग करने का निर्णय लेते हैं। ये आपकी सामान्य "चार पैर और भौंकने वाले जानवर" वाली प yaitu नहीं हैं। ये पेचीदा शब्द पहेलियाँ हैं जो अक्सर शब्दों के खेल (puns), अक्षरों को तोड़ने, या संख्याओं को एक नए तरीके से देखने पर आधारित होती हैं। इन्हें इस तरह बनाया जाता है कि वे आपके मस्तिष्क को एक दीवार से टकराने (impasse) पर मजबूर कर दें, जिससे पहले आप अचानक एक "अहा!" (Aha!) क्षण महसूस करें जहाँ उत्तर स्पष्ट हो जाता है।
टीम ने नाज़ोनोज़ा बेंचमार्क (NazoNazo Benchmark) नामक एक नया मानक बनाया। उन्होंने इन पहेलियों में से 201 पहेलियाँ एकत्र कीं। यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष और नया हो, उन्होंने वास्तविक मनुष्यों के साथ तुलना करने के लिए 120 पहेलियाँ चुनीं। उन्होंने 126 लोगों से इन पहेलियों को हल करने के लिए कहा, और मनुष्यों ने लगभग 52.9% पहेलियाँ सही हल कीं। इसने वैज्ञानिकों को मशीनों के विरुद्ध मापने के लिए एक "मानव मानक" (human bar) प्रदान किया।
फिर, उन्होंने 2023 और 2025 के बीच जारी किए गए 38 विभिन्न बड़े भाषा मॉडलों (शानदार AI दिमागों) को परीक्षण के लिए रखा। उन्होंने सुनिश्चित किया कि AI इंटरनेट पर उत्तर न खोज सके या किसी बाहरी मदद का उपयोग न कर सके; उन्हें केवल अपने "सिर" के अंदर मौजूद जानकारी का उपयोग करके ही इसे हल करना था।
परिणाम: रोबट अभी भी कीचड़ में फंसे हुए हैं
परिणाम चौंकाने वाले थे। यहाँ तक कि सबसे उन्नत "तर्क" वाले मॉडल भी, जिन्हें सबसे स्मार्ट माना जाता है, केवल 17.6% पहेलियाँ ही सही हल कर पाए। सरल मॉडल इससे भी बदतर प्रदर्शन करते हुए केवल 7.6% पर रहे।
मनुष्यों की तुलना में, जो तीन गुना अधिक सटीक थे, यह काफी कम था। जबकि अधिकांश मॉडल संघर्ष कर रहे थे, एक मॉडल उल्लेखनीय अपवाद के रूप में उभरा: GPT-5। यह मूल्यांकन में सबसे उच्च प्रदर्शन करने वाला और सबसे हाल ही में जारी किया गया मॉडल था, और इसकी सटीकता मानव प्रदर्शन की सीमा के भीतर थी। हालाँकि, शोधकर्ताओं ने नोट किया कि यह ओवरलैप यह साबित नहीं करता कि AI सांख्यिकीय रूप से मनुष्यों के समान है, लेकिन यह दिखाता है कि यह एकमात्र मॉडल था जो मानव स्तर के करीब पहुँचा। लगभग सभी अन्य मॉडलों के लिए, AI उस रचनात्मक छलांग को लगाने में संघर्ष कर रहा था।
शोधकर्ताओं ने पहेलियों के बारे में भी कुछ दिलचस्प देखा। मनुष्यों के लिए, पहेलियों की कठिनाई एक चिकनी पहाड़ी (Gaussian distribution) की तरह समान रूप से फैली हुई थी। लेकिन AI के लिए, स्कोर बहुत कम मानों की ओर झुके हुए थे। AI या तो आसान पहेलियों को गलत कर रहा था या कठिन पहेलियों को, और बहुत कम मॉडल मध्य या उच्च स्तर के पास भी पहुँच पा रहे थे। यह सुझाव देता है कि AI वास्तव में "सोच" नहीं रहा है; वह केवल अनुमान लगा रहा है।
असली समस्या: वह रोबोट जो खुद को ही उत्तर से बात करके बाहर निकाल देता है
कहानी का सबसे दिलचस्प हिस्सा यहाँ है। शोधकर्ताओं ने केवल अंतिम उत्तरों को नहीं देखा; उन्होंने AI के "थॉट लॉग्स" (thought logs) में झाँका। ये वे चरण-दर-चरण नोट्स हैं जो AI अपने सोचने के दौरान लिखता है।
उन्होंने एक विशिष्ट विफलता मोड पाया जिसे वे "सत्यापन विफलता" (verification failure) कहते हैं।
कल्पना कीजिए कि आप अपनी चाबियाँ ढूँढ रहे हैं। आप सोफे के नीचे देखते हैं, और वे वहाँ हैं! आप उन्हें उठाते हैं। लेकिन फिर, आपकी आंतरिक आवाज़ कहती है, "रुको, शायद वे वास्तव में वहाँ नहीं हैं। चलो देख लूँ कि कहीं वे रसोई में तो नहीं हैं।" आप रसोई में जाते हैं, इधर-उधर देखते हैं, उन्हें नहीं पाते, और फिर वापस आकर कहते हैं, "मुझे लगता है कि मेरे पास मेरी चाबियाँ नहीं हैं।"
AI बिल्कुल यही कर रहा था। कई मामलों में, AI अपनी विचार प्रक्रिया में सही उत्तर उत्पन्न कर रहा था। वह सही समाधान लिख रहा था। लेकिन फिर, "ठीक है, यही उत्तर है" कहने के बजाय, वह खोज जारी रखता, खुद पर संदेह करता, और अंततः एक गलत उत्तर चुन लेता।
यह एक आश्चर्यजनक संख्या में मामलों में हुआ:
- एक मॉडल के लिए, यह उन 39.34% बार हुआ जब उसने गलत उत्तर दिया।
- दूसरे के लिए, यह 30.57% था।
- यहाँ तक कि सबसे अच्छे मॉडलों में भी यह समस्या थी, जिसकी दर 5.23% से 39.34% के बीच थी।
AI एक ऐसे जासूस की तरह था जिसने अपराधी को ढूँढ लिया लेकिन फिर सबूतों पर भरोसा न करने के कारण गलत व्यक्ति को गिरफ्तार करने का फैसला कर लिया। शोधकर्ता इसे "मेटाकॉग्निटिव बॉटलनेक" (metacognitive bottleneck) कहते हैं। रोबोट समाधान पा सकता है, लेकिन वह उसे इतना विश्वास नहीं कर पाता कि वह रुक सके और उस पर कायम रह सके।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि समस्या केवल AI को स्मार्ट बनाने या उसे अधिक डेटा देने के बारे में नहीं है। समस्या यह है कि ये मॉडल अपने काम की जाँच करने में खराब हैं। वे विचार उत्पन्न करने में बहुत अच्छे हैं लेकिन यह जानने में बहुत खराब हैं कि कब रुकना है और कहना है, "हाँ, यही है।"
शोधकर्ताओं ने कुछ अन्य संभावनाओं को भी खारिज कर दिया। उन्होंने दिखाया कि AI इंटरनेट से पहेलियों को केवल याद नहीं कर रहा था, क्योंकि यदि ऐसा होता, तो उसका स्कोर बहुत अधिक होता। उन्होंने यह भी पाया कि AI जिस भाषा में सोचता है उसे बदलने (जापानी बनाम अंग्रेजी) से बहुत अधिक मदद नहीं मिली, जिससे साबित हुआ कि समस्या केवल भाषा कौशल से कहीं अधिक गहरी है।
तो, निष्कर्ष क्या है? हमने ऐसी मशीनें बनाई हैं जो कभी-कभी पहेली सुलझा सकती हैं, लेकिन उनमें यह स्वीकार करने का आत्मविश्वास नहीं है कि उन्होंने इसे सुलझा लिया है। AI को वास्तव में स्मार्ट बनाने के लिए, हमें उन्हें केवल सोचना ही नहीं, बल्कि अपने विचारों पर विश्वास करना भी सिखाना पड़ सकता है। तब तक, पेचीदा पहेलियों के मामले में, एक जिज्ञासु मानव किशोर अभी भी रोबोट को हराने की पूरी क्षमता रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।