LLMs Show No Signs Of Individuated Metacognition
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स में वास्तविक, व्यक्तिपरक मेटाकॉग्निशन (metacognition) का अभाव है क्योंकि उनका घोषित आत्मविश्वास मुख्य रूप से साझा आइटम कठिनाई और निर्णय थ्रेशोल्ड को दर्शाता है, न कि अपनी स्वयं की क्षमताओं का आकलन करने की एक सच्ची, मॉडल-विशिष्ट क्षमता को।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "LLMs Show No Signs Of Individuated Metacognition" पेपर का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ा सवाल: क्या AI मॉडल्स को पता है कि वे क्या नहीं जानते?
कल्पना कीजिए कि आप 20 अलग-अलग लोगों (AI मॉडल्स) के साथ एक पार्टी में हैं। आप उनमें से प्रत्येक से सामान्य ज्ञान (trivia) के कुछ प्रश्न पूछते हैं। उत्तर देने से पहले, आप उनसे पूछते हैं: "क्या आप आश्वस्त हैं कि आप इसे सही कर पाएंगे?"
यह शोध इस बात की जांच करता है कि क्या ये लोग वास्तव में अपने स्वयं के विशिष्ट ज्ञान (metacognition) का आकलन कर रहे हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि प्रश्न सभी के लिए कितना कठिन दिख रहा है।
संक्षिप्त उत्तर: शोधकर्ताओं ने पाया कि AI मॉडल्स के पास अपनी क्षमताओं के बारे में कोई अनूठा, आंतरिक "अंतर्ज्ञान" (gut feeling) नहीं है। इसके बजाय, वे सभी लगभग एक ही तरह से प्रश्न की कठिनाई के प्रति प्रतिक्रिया करते हैं। यदि प्रश्न कठिन है, तो वे सभी कहते हैं "मुझे यकीन नहीं है।" यदि यह आसान है, तो वे सभी कहते हैं "मैं यह कर सकता हूँ।" वे अपने स्वयं के विशिष्ट गुणों और कमजोरियों को कार्य की सामान्य कठिनाई को जानने की तुलना में बेहतर नहीं जानते हैं।
उपमा: "कठिनाई मीटर" बनाम "आत्म-चित्र" (The "Difficulty Meter" vs. The "Self-Portrait")
निष्कर्षों को समझने के लिए, दो प्रकार के गेज (gauges) की कल्पना करें:
- कठिनाई मीटर (जो AI के पास वास्तव में है): यह एक साझा उपकरण है। जब कोई प्रश्न आता है, तो सभी AI मॉडल्स उसे देखते हैं और एक "क कठिनाई स्कोर" (Difficulty Score) देखते हैं। यदि स्कोर अधिक है, तो वे सभी हिचकिचाते हैं। यदि स्कोर कम है, तो वे सभी उत्साह दिखाते हैं। वे सभी एक ही मौसम रिपोर्ट पढ़ रहे हैं।
- आत्म-चित्र (जो हम उम्मीद कर रहे थे कि उनके पास हो): यह प्रत्येक मॉडल के लिए एक अनूठा दर्पण होता। यह दिखाता, "मैं गणित में अच्छा हूँ लेकिन इतिहास में बुरा हूँ," या "मैं इस विशिष्ट प्रकार की तर्क पहेली में आश्वस्त हूँ।"
निष्कर्ष: शोधकर्ताओं ने पाया कि AI मॉडल्स के पास केवल कठिनाई मीटर है। उनमें आत्म-चित्र की कमी है। जब एक मॉडल कहता है, "मैं 80% आश्वस्त हूँ," और दूसरा कहता, "मैं 40% आश्वस्त हूँ," तो ऐसा इसलिए नहीं है क्योंकि उनके पास अपने कौशल के बारे में अलग-अलग आंतरिक ज्ञान है। बल्कि, ऐसा मुख्य रूप से इसलिए है क्योंकि एक मॉडल स्वाभाविक रूप से अधिक "आशावादी" (अधिक 'हाँ' कहता है) है और दूसरा अधिक "निराशावादी" (अधिक 'नहीं' कहता है), भले ही वे एक ही कठिनाई मीटर को देख रहे हों।
उन्होंने इसका परीक्षण कैसे किया ("टेट्रिस" और "रेस" की उपमा)
शोधकर्ताओं ने 20 अलग-अलग AI मॉडल्स को छह अलग-अलग प्रकार के परीक्षणों (जैसे सामान्य ज्ञान, कानूनी तर्क और गणित) के माध्यम से चलाया।
1. "साझा कठिनाई" परीक्षण (Tetris ब्लॉक्स):
उन्होंने हर प्रश्न पर किसने "हाँ" कहा और किसने "नहीं" कहा, इसके पैटर्न को देखा।
- परिणाम: यह पैटर्न लगभग पूरी तरह से एक-आयामी (one-dimensional) था। यह टेट्रिस ब्लॉक्स को स्टैक करने जैसा था जहाँ प्रत्येक मॉडल बस पूरे स्टैक को ऊपर या नीचे खिसका रहा था।
- रूपक (Metaphor): 20 धावकों की कल्पना करें जो शुरुआती रेखा पर खड़े हैं। यदि वे सभी ठीक उसी समय दौड़ना बंद कर देते हैं क्योंकि ट्रैक कीचड़ भरा दिख रहा है, तो यह एक साझा संकेत (shared signal) है। यदि धावक A इसलिए रुकता है क्योंकि उसके जूते का फीता खुला है, और धावक B इसलिए रुकता है क्योंकि उसके घुटने में दर्द है, तो यह व्यक्तिगत (individuated) ज्ञान है। AI मॉडल्स सभी इसलिए रुके क्योंकि ट्रैक कीचड़ भरा दिख रहा था। वे अपने स्वयं के अद्वितीय कारणों से नहीं रुके।
2. "आत्मविश्वास बनाम प्रदर्शन" की दौड़:
उन्होंने जाँच की कि क्या मॉडल का "मैं आश्वस्त हूँ" कहना वास्तव में उसके सही होने का संकेत था।
- परिणाम: आसान प्रश्नों पर (जहाँ सभी सही होते हैं) और असंभव प्रश्नों पर (जहाँ सभी विफल होते हैं), आत्मविश्वास प्रदर्शन के अनुरूप था। लेकिन पेचीदा, मध्यम स्तर के प्रश्नों पर जहाँ मॉडल्स के बीच मतभेद थे, आत्मविश्वास का सही होने से लगभग कोई लेना-देना नहीं था।
- रूपक: यह कद्दू के वजन का अनुमान लगाने वाले लोगों के समूह जैसा है। यदि कद्दू छोटा है, तो सभी "हल्का" कहेंगे। यदि वह बहुत बड़ा है, तो सभी "भारी" कहेंगे। लेकिन एक मध्यम आकार के कद्दू के लिए, जो व्यक्ति "भारी" कहता है, वह जरूरी नहीं कि वह व्यक्ति हो जो वास्तव में वजन को बेहतर जानता है; वह केवल वह व्यक्ति है जो हर चीज़ के लिए "भारी" कहने की प्रवृत्ति रखता है।
3. "गणित अपवाद" का जाल:
एक बेंचमार्क (गणित) अलग दिख रहा था। गणित-कुशल मॉडल्स के पास बेहतर "स्व-ज्ञान" प्रतीत हो रहा था।
- ट्विस्ट: शोधकर्ताओं ने गहराई से जाँच की और एक चाल पकड़ी। "स्मार्ट" गणित मॉडल्स वास्तव में अपने आत्मविश्वास के बारे में सोच नहीं रहे थे। वे आत्मविश्वास वाले प्रश्न का उत्तर देते समय वास्तविक समय में समस्या को हल कर रहे थे।
- रूपक: एक छात्र से पूछें, "क्या आप आश्वस्त हैं कि आप इसे हल कर सकते हैं?"
- वास्तविक मेटाकॉग्निशन: छात्र सोचता है, "मैं आमतौर पर कैलकुलस में संघर्ष करता हूँ, इसलिए मैं आश्वस्त नहीं हूँ।"
- AI की चाल: छात्र सोचता है, "मैं आश्वस्त हूँ," फिर तुरंत अपने दिमाग में गणित हल करना शुरू करता है, उसे हल करता है, और कहता है, "हाँ, मैं आश्वस्त हूँ क्योंकि मैंने अभी इसे हल कर लिया है।"
- शोधकर्ताओं ने पाया कि AI दूसरा काम कर रहा था। वह आत्मनिरीक्षण नहीं कर रहा था; वह बस काम कर रहा था और परिणाम बता रहा था।
"अनयूज्ड इन्फॉर्मेशन" (Unused Information) का आश्चर्य
यहाँ सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने उस टेक्स्ट (पाठ) को लिया जो AI ने आत्मविश्वास तय करते समय लिखा था (उसका "रीजनिंग ट्रेस") और उसे एक बहुत ही सरल, साधारण कंप्यूटर प्रोग्राम को दिया।
- परिणाम: यह सरल प्रोग्राम, जो केवल "शायद," "मुझे लगता है," या "अटक गया" जैसे शब्दों को देखता था, यह अनुमान लगाने में AI के अपने "हाँ/नहीं" आत्मविश्वास उत्तर से बेहतर था कि AI उत्तर सही देगा या नहीं।
- रूपक: कल्पना कीजिए कि एक व्यक्ति दौड़ जीतने का अनुमान लगाने की कोशिश कर रहा है। वह कहता है, "मुझे 100% यकीन है कि मैं जीतूँगा!" (बाइनरी उत्तर)। लेकिन यदि आप उसकी बड़बड़ाहट सुनते हैं, "मेरे पैर भारी लग रहे हैं, ट्रैक फिसलन भरा है, और मुझे यकीन नहीं है..." (रीजनिंग टेक्स्ट), तो एक समझदार पर्यवेक्षक बता सकता है कि वह वास्तव में हारने वाला है।
- निष्कर्ष: AI के पास उसकी अनिश्चितता के बारे में जानकारी उसके विचारों में छिपी हुई है, लेकिन वह अपने अंतिम "हाँ/नहीं" उत्तर को देते समय उस जानकारी का उपयोग करने में विफल रहता है। यह एक पूर्ण आंतरिक दिशा-सूचक यंत्र (compass) रखने और फिर भी दिशा पूछने पर उसे देखने से इनकार करने जैसा है।
मुख्य निष्कर्षों का सारांश
- कोई अनूठा स्व-ज्ञान नहीं: AI मॉडल्स के पास कोई विशेष "आत्म-जागरूकता" नहीं है जो उनकी विशिष्ट क्षमताओं को दूसरों से अलग करती हो। वे सभी कार्य की कठिनाई के प्रति एक ही तरह से प्रतिक्रिया करते हैं।
- आत्मविश्वास एक साझा संकेत है: जब एक AI कहता है कि वह आश्वस्त है, तो वह मुख्य रूप से आपको प्रश्न की कठिनाई बता रहा है, न कि यह कि वह विशिष्ट मॉडल उस विशिष्ट प्रश्न में कितना अच्छा है।
- "गणित" का भ्रम: जब गणित मॉडल्स अपनी सीमाओं को जानते हुए प्रतीत हुए, तो वे वास्तव में पहले समस्या को हल कर रहे थे और फिर परिणाम बता रहे थे, न कि वास्तव में अपनी सीमाओं के बारे में पहले से "जान" रहे थे।
- छिपे हुए संकेत: AI अपने तर्क (reasoning) टेक्स्ट में अपनी अनिश्चितता के सुराग उत्पन्न करता है, लेकिन वह अपने अंतिम आत्मविश्वास रेटिंग को देते समय उन सुरागों को अनदेखा कर देता है। एक सरल बाहरी उपकरण उन सुरागों को AI की तुलना में बेहतर पढ़ सकता है।
संक्षेप में: AI मॉडल्स उन गायकों के एक समूह की तरह हैं जो सभी एक ही शीट म्यूजिक (संगीत की लिपि) सुन रहे हैं। यदि गाना कठिन है, तो वे सभी हिचकिचाते हैं। यदि आसान है, तो वे सभी जोर से गाते हैं। लेकिन उनमें से कोई भी यह नहीं जानता कि, "मैं वह हूँ जो ऊँचे सुरों (high notes) में खराब हूँ।" वे बस इतना जानते हैं कि गाना कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।