Representation Without Control: Testing the Realization Effect in Language Models
यह शोध पत्र यह प्रदर्शित करता है कि जबकि बड़े भाषा मॉडल प्रॉम्प्ट-संवेदनशील व्यवहारिक बदलाव प्रदर्शित करते हैं और "रियलाइजेशन इफेक्ट" (साक्षात्कार प्रभाव) के रैखिक रूप से डिकोडेबल आंतरिक प्रतिनिधित्व रखते हैं, इन प्रतिनिधित्वों को जोखिम लेने के निर्णनों को बदलने के लिए कारणवत रूप से निर्देशित करने में असमर्थता यह प्रकट करती है कि विलुप्त रीडआउट्स (latent readouts) अनिवार्य रूप से डाउनस्ट्रीम निर्णय लेने के लिए उन प्रतिनिधित्वों पर वास्तविक निर्भरता का संकेत नहीं देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत बातूनी रोबोट है जो इंसान होने का नाटक कर सकता है। आप उससे पैसे, जुआ और जोखिम के बारे में सवाल पूछते हैं, इस उम्मीद में कि वह एक वास्तविक जीवन के निर्णय लेने वाले इंसान की तरह व्यवहार करेगा। लेकिन असली बड़ा सवाल यह है: क्या वह रोबोट वास्तव में एक इंसान की तरह "सोच" रहा है, या वह केवल आपके द्वारा पूछे गए प्रश्न के आधार पर शब्दों को कहने का अनुमान लगाने में कुशल है?
यह शोध पत्र उस रोबोट को एक प्रसिद्ध मनोवैज्ञानिक चाल का उपयोग करके परखता है जिसे "रियलाइजेशन इफ़ेक्ट" (Realization Effect) कहा जाता है।
सेटअप: "ओपन बनाम क्लोज्ड" वॉलेट
वास्तविक जीवन में, मनुष्य अलग तरह से व्यवहार करते हैं जब जीत या हार "ओपन" (कागजी/अपूर्ण) होती है या "क्लस्ड" (वास्तविक/पूर्ण) होती है।
- पेपर (ओपन): कल्पना कीजिए कि आपने एक स्क्रैच-ऑफ टिकट पर $50 जीते हैं लेकिन आपने अभी तक उन्हें भुनाया नहीं है। आपको लग सकता है कि आप अभी भी "खेल में" हैं और अपने पैसे को दोगुना करने के लिए बड़े जोखिम ले सकते हैं।
- रियलाइज्ड (क्लोज्ड): कल्पना कीजिए कि आपने वह $50 भुना लिए, उन्हें अपनी जेब में रख लिया, और फिर उन्हें खो दिया। आपको लग सकता है कि वह पैसा चला गया है और आप अधिक सतर्क हो सकते हैं।
शोधकर्ताओं ने पूछा: क्या एआई (AI) एक "ओपन" वॉलेट और एक "क्लोज्ड" वॉलेट के बीच के अंतर को जानता है, और क्या वह वास्तव में अपने व्यवहार को बदलने के लिए इसे उपयोग करता है?
उन्होंने एआई का परीक्षण तीन तरीकों से किया, जैसे कि पुलिस जांच के तीन अलग-अलग स्तरों पर किसी संदिग्ध की जांच करना।
स्तर 1: "एक्टिंग" टेस्ट (व्यवहार)
सबसे पहले, उन्होंने केवल एआई को सवालों के जवाब देने के लिए कहा।
- परिणाम: एआई ने कहानियों के "ओपन" या "क्लोज्ड" होने के आधार पर अपने जवाब बदले। यह शब्दों के प्रति संवेदनशील था।
- पकड़ा गया तथ्य: लेकिन इसने एक वास्तविक इंसान की तरह व्यवहार नहीं किया। जब इंसान "ओपन" अकाउंट में पैसा खोते हैं, तो वे लापरवाह हो जाते हैं। जब एआई ने "ओपन" अकाउंट में पैसा खोया, तो वह उसी तरह लापरवाह नहीं हुआ। यह केवल उत्तर के आकार की नकल कर रहा था, उसके पीछे के तर्क की नहीं।
स्तर 2: "एक्स-रे" टेस्ट (मस्तिष्क को पढ़ना)
इसके बाद, शोधकर्ताओं ने एआई के "मस्तिष्क" (इसके आंतरिक गणितीय परतों) के अंदर देखा कि क्या इसके पास "ओपन बनाम क्लोज्ड" की कोई अवधारणा वास्तव में संग्रहीत है।
- परिणाम: उन्हें यह मिल गया! एक विशिष्ट परत (लेयर 18) पर, एक स्पष्ट, पठनीय सिग्नल था। यदि आप गणित को देखते, तो आप बिल्कुल बता सकते थे कि कौन से प्रॉम्प्ट "ओपन" थे और कौन से "क्लोज्ड" थे।
- रूपक (Metaphor): यह एक घर में लाइट स्विच खोजने जैसा है जो स्पष्ट रूप से "किचन लाइट" लेबल किया गया है। आप स्विच देख सकते हैं, और आप जानते हैं कि यह किचन से जुड़ा है।
स्तर 3: "रिमोट कंट्रोल" टेस्ट (कारण नियंत्रण)
यह सबसे महत्वपूर्ण हिस्सा है। यदि एआई वास्तव में उस अवधारणा को "समझता" है, तो हमें उस आंतरिक स्विच को घुमाना चाहिए और उसे अपना विचार बदलने के लिए मजबूर करना चाहिए।
- प्रयोग: शोधकर्ताओं ने एआई के मस्तिष्क के भीतर उस "ओपन बनाम क्लोज्ड" स्विच को मैन्युअल रूप से बदलने के लिए एक "रिमोट कंट्रोल" (एक्टिवेशन स्टीयरिंग) का उपयोग किया। उन्होंने एआई को यह दिखाने के लिए मजबूर करने की कोशिश की कि उसके पास "ओपन" वॉलेट है या "क्लोज्ड" वॉलेट।
- परिणाम: कुछ नहीं हुआ। भले ही वे स्विच देख सकते थे और उसे बदल सकते थे, लेकिन एआई के जुए और जोखिम के बारे में अंतिम निर्णयों में कोई बदलाव नहीं आया।
- रूपक (Metaphor): यह "किचन लाइट" लेबल वाले लाइट स्विच को खोजने, उसे चालू और बंद करने जैसा है, और यह महसूस करना कि किचन की लाइट चालू ही नहीं हुई। स्विच मौजूद है, लेकिन वह वास्तव में बल्ब से जुड़ा नहीं है। वह केवल एक सजावट है।
बड़ा निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि सिर्फ इसलिए कि एक एआई सही शब्द बोल सकता है (स्तर 1) और उसके मस्तिष्क के अंदर एक पठनीय "स्विच" है (स्तर 2), इसका मतलब यह नहीं है कि वह स्विच वास्तव में उसके कार्यों को नियंत्रित करता है (स्तर 3)।
- इंसानों में "रियलाइजेशन इफेक्ट" एक गहरा, कारण संबंधी तंत्र (causal mechanism) है: पैसे के बारे में हमारी भावनाएं हमारे जुआ खेलने के तरीके को बदल देती हैं।
- इस एआई में "रियलाइजेशन इफेक्ट" केवल एक सतही पैटर्न था। एआई ने "ओपन" और "क्लोज्ड" शब्दों को नोट किया और अपनी शब्दावली को समायोजित किया, लेकिन उसने अपने अंतिम निर्णय लेने के लिए उस अवधारणा का वास्तव में उपयोग नहीं किया।
मुख्य सीख:
यह न मानें कि एक एआई इंसान की तरह "सोच" रहा है सिर्फ इसलिए क्योंकि वह इंसान जैसे जवाब देता है। यह केवल एक बहुत अच्छा अभिनेता हो सकता है। यह साबित करने के लिए कि वह वास्तव में "सोच" रहा है, आपको यह दिखाना होगा कि आप अंदर तक पहुँच सकते हैं, एक स्विच को घुमा सकते हैं, और उसे कुछ अलग करने के लिए मजबूर कर सकते हैं। इस मामले में, शोधकर्ताओं ने स्विच घुमाने की कोशिश की, और एआई टस से मस नहीं हुआ।
संक्षेप में: एआई के पास उस अवधारणा के लिए शब्द हैं, और उसके पास उस अवधारणा के लिए आंतरिक सिग्नल है, लेकिन उसके व्यवहार पर उसका नियंत्रण नहीं है। सिग्नल मौजूद है, लेकिन वह वास्तव में कोई काम नहीं कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।