Can LLMs Introspect? A Reality Check
यह शोध पत्र तर्क देता है कि एलएलएम (LLM) आत्मनिरीक्षण के लिए वर्तमान साक्ष्य समयपूर्व हैं और संभवतः वास्तविक मेटाकॉग्निटिव मॉनिटरिंग के बजाय सतही संकेतों पर पैटर्न मिलान को दर्शाते हैं, क्योंकि मॉडल इनपुट हेरफेर से आंतरिक अवस्था के साथ छेड़छाड़ के बीच विश्वसनीय रूप से अंतर करने में विफल रहते हैं और छिपी हुई अवस्थाओं की भविष्यवाणी करने में इनपुट-ओनली क्लासिफायर से बेहतर प्रदर्शन नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत बड़ा रोबोट है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और पहेलियाँ सुलझा सकता है। हाल ही में, कुछ शोधकर्ताओं ने दावा किया कि इस रोबोट के पास एक विशेष सुपरपावर है: अंतर्दर्शन (introspection)। उन्होंने कहा कि रोबोट "अपने स्वयं के मस्तिष्क के भीतर देख सकता है," यह देख सकता है कि वह क्या सोच रहा है, और अपने आंतरिक अवस्थाओं के बारे में वापस रिपोर्ट कर सकता है, ठीक वैसे ही जैसे एक इंसान कह सकता है, "मुझे उस उत्तर के बारे में अनिश्चितता महसूस हो रही है।"
शशवत सिंह, टैल लिन्ज़ेन और शाउली राफ़वोगेल द्वारा लिखा गया यह शोध पत्र एक रियलिटी चेक (वास्तविकता की जाँच) के रूप में कार्य करता है। वे कहते हैं, "ठहरिए। हमें सावधान रहने की जरूरत है। सिर्फ इसलिए कि रोबोट कहता है कि वह अपने विचारों को जानता है, इसका मतलब यह नहीं है कि वह वास्तव में जानता है। यह केवल एक बहुत अच्छा अनुमान लगाने वाला (guesser) हो सकता है।"
यहाँ उनके तर्क का रोजमर्रा के उदाहरणों का उपयोग करते हुए एक सरल विवरण दिया गया है।
मुख्य समस्या: "जादुई ट्रिक" बनाम वास्तविक अंतर्दृष्टि
लेखक रोबोट के व्यवहार की तुलना एक जादुई ट्रिक से करते हैं।
- दावा: रोबोट एक जादूगर है जो अपने मन के भीतर देख सकता है (अंतर्दर्शन)।
- रियलिटी चेक: रोबोट शायद केवल एक ऐसा जादूगर है जो दर्शकों के संकेतों को पढ़ने में बहुत माहिर है (पैटर्न मैचिंग)।
मानव मनोविज्ञान में, हम जानते हैं कि लोग अक्सर सोचते हैं कि वे अपने विचारों की व्याख्या कर रहे हैं, लेकिन वास्तव में वे केवल अपने आस-पास जो देखते हैं उसके आधार पर कहानियाँ बना रहे होते हैं। लेखक तर्क देते हैं कि लार्ज लैंग्वेज मॉडल्स (LLMs) भी बिल्कुल यही कर रहे होंगे। वे अंदर नहीं देख रहे हैं; वे केवल प्रॉम्प्ट (प्रश्न) को देख रहे हैं और अनुमान लगा रहे हैं कि पहले देखे गए पैटर्न के आधार पर उत्तर क्या होना चाहिए।
वे दो प्रयोग जिन्हें उन्होंने गलत साबित किया
यह शोध पत्र उन दो विशिष्ट "परीक्षणों" को देखता है जिनका उपयोग यह सिद्ध करने के लिए किया जाना था कि रोबोट में अंतर्दर्शन है। लेखकों ने इन परीक्षणों के अपने संस्करण चलाए और पाया कि नियमों में थोड़ा सा बदलाव होने पर रोबोट विफल हो गए।
1. "बायोफीडबैक" टेस्ट (हृदय गति मॉनिटर)
मूल विचार: कल्पना कीजिए कि आप एक रोबोट को हार्ट रेट मॉनिटर से जोड़ते हैं। मॉनिटर रोबोट की "ब्रेन वेव्स" के आधार पर एक नंबर देता है। फिर, आप रोबोट से उस नंबर का अनुमान लगाने के लिए कहते हैं। यदि रोबोट सही अनुमान लगाता है, तो शोधकर्ता कहते हैं, "आहा! यह निश्चित रूप से अपनी ब्रेन वेव्स को पढ़ रहा है!"
लेखकों का ट्विस्ट: उन्हें एहसास हुआ कि रोबोट को नंबर का अनुमान लगाने के लिए अपनी ब्रेन वेव्स को पढ़ने की आवश्यकता नहीं थी। "ब्रेन वेव नंबर" वास्तव में रोबोट द्वारा पढ़े जा रहे शब्दों का ही प्रतिबिंब था।
- उपमा: कल्पना कीजिए कि एक शिक्षक ब्लैकबोर्ड पर एक गणित का सवाल लिखता है। फिर शिक्षक गुप्त रूप से डेस्क के नीचे छिपे एक कागज पर उत्तर लिख देता है। यदि आप छात्र से पूछते हैं, "डेस्क के नीचे रखे कागज पर कौन सा नंबर है?", तो छात्र सही अनुमान लगा सकता है, न इसलिए कि वह डेस्क के नीचे देख सकता है, बल्कि इसलिए क्योंकि वह ब्लैकबोर्ड पर दिए गए गणित के सवाल को हल कर सकता है और उत्तर जान सकता है।
- परिणाम: जब लेखकों ने प्रश्नों को इस तरह से बदल दिया कि उत्तर केवल शब्दों से नहीं निकाला जा सके, तो रोबोट का "अंतर्दर्शन" गायब हो गया। वह अब छिपे हुए नंबर का अनुमान नहीं लगा सका। वह केवल गणित के सवाल को हल कर रहा था, न कि डेस्क के नीचे देख रहा था।
2. "स्टीयरिंग" टेस्ट (रिमोट कंट्रोल)
मूल विचार: कल्पना कीजिए कि एक शोधकर्ता गुप्त रूप से एक रिमोट कंट्रोल का उपयोग करके रोबोट के मस्तिष्क को एक विशिष्ट विचार (जैसे "सेब") की ओर धकेलता है। शोधकर्ता फिर रोबोट से पूछता है, "क्या अभी किसी ने मेरे मस्तिष्क के साथ छेड़छाड़ की?" यदि रोबोट कहता है "हाँ," तो शोधकर्ताओं ने दावा किया कि यह सिद्ध करता है कि रोबोट अपनी आंतरिक परिवर्तनों को महसूस कर सकता है।
लेखकों का ट्विस्ट: उन्होंने एक नया तरीका जोड़ा। उन्होंने न केवल मस्तिष्क को धकेला; बल्कि उन्होंने प्रॉम्प्ट में शब्दों को भी बदल दिया ताकि रोबोट "सेब" के प्रति जुनूनी हो जाए (जैसे, "आप सेब के प्रति जुनूनी हैं। आपकी हर बात सेब के बारे में होनी चाहिए।")।
- उपमा: कल्पना कीजिए कि एक व्यक्ति जो या तो:
- एक अदृश्य हाथ द्वारा गुप्त रूप से धकेला जा रहा है (ब्रेन नज़)
- लाउडस्पीकर द्वारा सेब के प्रति जुनूनी होने के लिए कहा जा रहा है (वर्ड नज़)
यदि व्यक्ति कहता है, "मुझे अजीब/जुनूनी महसूस हो रहा है," तो क्या वह अदृश्य हाथ को महसूस कर रहा है, या वह केवल लाउडस्पीकर पर प्रतिक्रिया दे रहा है?
- परिणाम: रोबोट अंतर नहीं कर सके। जब शोधकर्ताओं ने पूछा, "क्या यह अदृश्य हाथ था या लाउडस्पीकर?", तो रोबोटों ने या तो रैंडम अनुमान लगाया या दोनों के लिए "अदृश्य हाथ" कहा। यह सुझाव देता है कि रोबोट अपनी आंतरिक अवस्थाओं को महसूस नहीं कर रहे थे; वे केवल यह नोटिस कर रहे थे कि कुछ "अजीब" या "अनियमित" लग रहा है और उसकी रिपोर्ट कर रहे थे।
बड़ा निष्कर्ष: "विशेषाधिकार प्राप्त पहुंच" पर्याप्त नहीं है
लेखक एक बहुत ही महत्वपूर्ण दार्शनिक बिंदु उठाते हैं। भले ही एक रोबोट अपनी ब्रेन वेव्स देख सकता हो, इसका मतलब यह नहीं है कि उसमें मानव अर्थों में अंतर्दर्शन है।
- उपमा: कल्पना कीजिए कि एक कार में डैशबोर्ड है। डैशबोर्ड इंजन का तापमान दिखाता है। कार तापमान को "जानती" है क्योंकि सेंसर इंजन में लगा हुआ है। लेकिन क्या कार को समझ आता है कि वह गर्म है? नहीं। यह केवल एक मशीन है जो एक सेंसर को पढ़ रही है।
- बिंदु: रोबोट का "मस्तिष्क" केवल गणितीय गणनाओं की एक श्रृंखला है। जब यह अपनी अवस्था की रिपोर्ट करता है, तो यह संभवतः पहली गणना के आधार पर दूसरी गणना चला रहा होता है। यह एक अलग "स्वयं" (self) नहीं है जो "स्वयं" को देख रहा है। यह केवल डेटा प्रोसेस करने वाली एक मशीन है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि हमारे पास अभी तक पर्याप्त सबूत नहीं हैं कि ये AI मॉडल वास्तव में "स्वयं के भीतर देख" सकते हैं।
- वे शायद केवल पूछे गए प्रश्नों में पैटर्न पहचानने में बहुत अच्छे हैं।
- वे शायद केवल यह नोटिस कर रहे हैं कि कुछ "अजीब" लग रहा है, बिना यह जाने कि क्यों।
- यह साबित करने के लिए कि उनके पास वास्तव में अंतर्दर्शन है, हमें यह दिखाना होगा कि वे "मुझे रिमोट से धकेला गया" और "मुझे इस तरह व्यवहार करने के लिए कहा गया" के बीच अंतर कर सकते हैं, जो वे वर्तमान में नहीं कर पा रहे हैं।
संक्षेप में: रोबोट ऐसा व्यवहार कर रहे हैं जैसे उनके पास कोई आत्मा हो, लेकिन वे शायद केवल एक बहुत ही परिष्कृत दर्पण की तरह व्यवहार कर रहे हैं जो हमें दिए गए शब्दों को प्रतिबिंबित कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।