Honest Lying: Understanding Memory Confabulation in Reflexive Agents
यह शोधपत्र प्रकट करता है कि रिफ्लेक्शन-शैली (Reflexion-style) वाले एजेंट "मेमोरी कॉन्फैब्युलेशन" (स्मृति भ्रम) से ग्रस्त होते हैं, जहाँ वे आत्मविश्वास के साथ गलत आत्म-चिंतन को संग्रहीत करते हैं और बार-बार उसी पर निर्भर रहते हैं, और खुले-अंत वाले आत्म-निदान (self-diagnosis) के स्थान पर प्रोग्रामेटिक विफलता संकेतों (programmatic failure signals) का उपयोग करने वाला एक शमन रणनीति प्रस्तावित करता है, जो इस त्रुटि दर को काफी कम करता है और कार्य प्रदर्शन में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बिखरे हुए घर की सफाई करना सिखा रहे हैं। आप रोबोट से कहते हैं, "लाल मग उठाओ और उसे डिशवॉशर में रख दो।" रोबोट कोशिश करता है, असफल होता है, और फिर आप उससे पूछते हैं, "क्या गलत हुआ?"
रोबोट गहराई से सोचता है और अपनी डायरी में एक नोट लिखता है: "मैं इसलिए असफल हुआ क्योंकि मैंने गलत वस्तु उठाने की कोशिश की। मुझे और अधिक सावधान रहने की आवश्यकता है।"
एक आदर्श दुनिया में, रोबbot अगली बार इस नोट को पढ़ेगा और फिर से प्रयास करेगा। लेकिन इस शोध पत्र में, शोधकर्ताओं ने कुछ अजीब और खतरनाक पाया: रोबोट खुद से झूठ बोल रहा है, और वह अपने ही झूठ पर विश्वास कर रहा है।
यहाँ "Honest Lying" पेपर के निष्कर्षों का सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।
1. "टूटे हुए कंपास" की समस्या
शोधकर्ताओं ने एक प्रकार के AI एजेंट का अध्ययन किया जिसे Reflexion Agent कहा जाता है। इस एजेंट को एक छात्र के रूप में समझें जो परीक्षा दे रहा है। यदि वे एक प्रश्न गलत करते हैं, तो उन्हें अपने बारे में एक "रिफ्लेक्शन" (स्वयं के लिए एक नोट) लिखने की अनुमति दी जाती है कि वे क्यों असफल हुए। वे फिर परीक्षा दोबारा देने से पहले इस नोट को पढ़ते हैं।
बड़ी धारणा यह थी: यदि छात्र अपने mistake के बारे में एक नोट लिखता है, तो वह इससे सीखेगा।
पेपर दिखाता है कि यह धारणा अक्सर गलत होती है।
- परिदृश्य: रोबोट को एक "मग" खोजने के लिए कहा गया है।
- झूठ: रोबोट असफल होता है, कार्य को देखता है, और आत्मविश्वास से अपनी डायरी में लिखता है: "मैं इसलिए असफल हुआ क्योंकि मैं माइक्रोवेव में टमाटर ढूंढ रहा था।"
- वास्तविकता: वहाँ कोई टमाटर या माइक्रोवेव नहीं था। कार्य हमेशा मग के बारे में था।
- परिणाम: रोबोट इस झूठ को याद रखता है। अगले 14 प्रयासों में, वह माइक्रोवेव में टमाटर ही ढूंढता रहता है, इस तथ्य को अनदेखा करते हुए कि कार्य विवरण (जो कि "मग" है) हर बार उसके सामने ही मौजूद है।
लेखक इसे "Memory Confabulation" कहते हैं। यह एक ऐसे व्यक्ति की तरह है जिसके पास टूटा हुआ कंपास है और वह जोर देकर कहता है कि उत्तर दिशा, दक्षिण है। भले ही आप उन्हें पूर्व में सूर्योदय होते दिखाएं, वे वास्तविकता से अधिक अपने टूटे हुए कंपास पर भरोसा करते हैं।
2. यह क्यों होता है? ("अस्पष्ट फीडबैक" का जाल)
रोबोट ये झूठ क्यों बनाता है? पेपर खराब फीडबैक की ओर इशारा करता है।
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं।
- अच्छा फीडबैक: "आप इसलिए असफल हुए क्योंकि आपने एक ऐसी दीवार के ऊपर से कूदने की कोशिश की जो बहुत ऊँची थी।" (विशिष्ट, सहायक)।
- खराब फीडबैक: "आप असफल हो गए।" (बाइनरी, अस्पष्ट)।
स्टडी में शामिल रोबोटों को ज्यादातर खराब फीडबैक मिला। उन्हें केवल "Pass" या "Fail" का संकेत मिला। क्योंकि रोबोट को ठीक से पता नहीं था कि कौन सा कदम गलत था, इसलिए उसे अनुमान लगाना पड़ा।
- उसने गलत अनुमान लगाया।
- उसने अपने गलत अनुमान को अपनी डायरी में लिखा।
- अगली बार उसने डायरी पढ़ी।
- उसने फिर से वही गलत अनुमान लगाया।
रोबोट स्व-सुदृढ़ झूठ (self-reinforcing lies) के चक्र में फंस गया। वह केवल एक बार भ्रमित नहीं हुआ था; वह एक झूसी वास्तविकता का निर्माण कर रहा था जिसमें वह लगातार जी रहा था।
3. "जमी हुई" स्मृति (The "Frozen" Memory)
शोधकर्ताओं ने पाया कि लगभग 32% कार्यों में, रोबोट की स्मृति "जम" (frozen) गई।
- सामान्य स्मृति: रोब कल कोशिश करता है, असफल होता है, सीखता है और अपनी रणनीति बदलता है।
- जमी हुई स्मृति: रोबोट कोशिश करता है, असफल होता है, वही झूठ लिखता है, फिर से कोशिश करता है, वही झूठ लिखता है, और ऐसा तब तक करता रहता है जब तक कि वह हार न मान ले।
उन्होंने इसे मापने के लिए RRR (Reflection Repetition Rate) नामक एक मीट्रिक बनाया। यह जांचने जैसा है कि एक छात्र कितनी बार अपने पिछले टेस्ट से वही गलत उत्तर कॉपी करता है। यदि दर अधिक है, तो रोबोट फंसा हुआ है।
4. समाधान: "क्यों" पूछना बंद करें, "क्या" दिखाना शुरू करें
शोधकर्ताओं ने इसे ठीक करने की कोशिश की। उन्होंने महसूस किया कि रोबोट को "स्व-निदान" (यह अनुमान लगाना कि वह क्यों असफल हुआ) करने के लिए कहना ही समस्या थी। रोबोट विश्वसनीय लगने वाले कारण बनाने में बहुत कुशल था।
समाधान: इसके बजाय कि रोबोट से अनुमान लगाने को कहा जाए, उन्होंने एक टूल प्रोग्राम किया जो सीधे रोबोट के कार्यों से तथ्यों को निकाल सके (extract the facts)।
- पुराना तरीका: रोबोट: "मुझे लगता है कि मैं इसलिए असफल हुआ क्योंकि मैं बहुत धीमा था।" (झूठ)।
- नया तरीका: सिस्टम लॉग को देखता है और कहता है: "वास्तव में, लॉग दिखाता है कि आपने मग को फ्रिज में रखने की कोशिश की, और गेम ने कहा 'कुछ नहीं हुआ'।"
रोबोट को यह बताने के बजाय कि क्या गलत हुआ (विशिष्ट क्रिया जो विफल हुई) के बजाय उसे कठोर तथ्य खिलाकर, रोबोट ने झूठ बोलना बंद कर दिया।
- परिणाम: रोबोट ने सही वस्तु (मग) का उल्लेख 0% के बजाय 86% बार करना शुरू कर दिया।
- परिणाम: उसने उन 16 कार्यों में से 3 को हल किया जिन्हें वह पहले पूरी तरह से करने में विफल रहा था।
5. "मजबूत रोबोट" का आश्चर्य
शोधकर्ताओं ने एक स्मार्ट रोबोट (एक अधिक उन्नत AI मॉडल) का भी परीक्षण किया।
- अच्छी खबर: स्मार्ट रोबोट ने गलत वस्तुओं के बारे में झूठ बनाना बंद कर दिया। वह जानता था कि वह मग ढूंढ रहा था, टमाटर नहीं।
- बुरी खबर: वह अभी भी कठिन कार्यों को हल नहीं कर सका। वह बस अलग तरीकों से फंस गया (जैसे अपना प्लान गलत फॉर्मेट में लिखना)।
इसने उन्हें एक महत्वपूर्ण सबक सिखाया: कन्फैबुलेशन (झूठ बोलना) और क्षमता (कौशल) दो अलग-अलग समस्याएं हैं।
- आप झूठ को ठीक कर सकते हैं (बेहतर तथ्य देकर), लेकिन यदि रोबोट पहेली सुलझाने के लिए पर्याप्त स्मार्ट नहीं है, तो वह फिर भी विफल होगा।
- हालांकि, यदि आप झूठ को ठीक नहीं करते हैं, तो रोबोट उन पहेलियों में भी विफल हो जाएगा जिन्हें वह हल कर सकता था।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि एक ऐसी मेमोरी सिस्टम जो आत्मविश्वासी, विश्वसनीय लगने वाले झूठ संग्रहीत करती है, वह बिना किसी मेमोरी के होने से भी बदतर है।
यदि आप एक ऐसा AI बनाते हैं जो अपनी गलतियों से सीखता है, तो आपको यह सुनिश्चित करना होगा कि वह केवल उन गलतियों के कारणों को "मनगढ़ंत" न बनाए। आपको उसे उस वास्तविक डेटा को देना होगा कि वास्तव में क्या हुआ था। अन्यथा, AI "ईमानदार झूठ" (honest lying) के चक्र में फंस जाएगा, और हमेशा अपनी ही झूठी कहानियों पर विश्वास करता रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।