When Agents "Misremember" Collectively: Exploring the Mandela Effect in LLM-based Multi-Agent Systems
यह शोध पत्र इस घटना को मापने के लिए MANBENCH बेंचमार्क पेश करके, इसके अंतर्निहित कारणों का विश्लेषण करके, और प्रॉम्प्ट-स्तरीय एवं मॉडल-स्तरीय रणनीतियों का प्रस्ताव देकर LLM-आधारित मल्टी-एजेंट सिस्टम में सामूहिक "मैंडेला प्रभाव" (Mandela effect) की जांच करता है, जो इस प्रभाव को औसतन 74.40% तक सफलतापूर्वक कम करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दोस्तों का एक समूह एक मेज के चारों ओर बैठा है, एक ट्रिविया प्रश्न को हल करने की कोशिश कर रहा है। वे सभी जानते हैं कि उत्तर "2013" है। लेकिन तभी, एक दोस्त आत्मविश्वास से कहता है, "रुको, मुझे याद है मैंने पढ़ा था कि यह 1985 था!" एक दूसरा दोस्त बीच में बोल पड़ता है, "ओह हाँ, मैंने इसके बारे में एक डॉक्यूमेंट्री देखी थी!" एक तीसरा कहता है, "मुझे पूरा यकीन है कि उस समय समाचारों में भी इसे कवर किया गया था।"
जल्द ही, पूरा समूह इस बात से आश्वस्त हो जाता है कि उत्तर 1985 है। भले ही वे सच्चाई से शुरू हुए थे, लेकिन सामाजिक दबाव और विश्वासजनक (लेकिन फर्जी) कहानियों ने उन्हें सामूहिक रूप से "गलत याद रखने" पर मजबूर कर दिया। मनोविज्ञान में, इसे मैंडेला इफेक्ट (Mandela Effect) कहा जाता है।
यह शोध पत्र एक डरावना सवाल पूछता है: क्या AI एजेंट भी ऐसा ही करते हैं?
शोधकर्ताओं ने पाया कि हाँ, वे ऐसा करते हैं। जब कई AI "एजेंट" (स्मार्ट कंप्यूटर प्रोग्राम) आपस में बात करते हैं, तो वे एक ऐसे जाल में फंस सकते हैं जहाँ वे सामूहिक रूप से एक झूठी वास्तविकता का निर्माण कर लेते हैं, भले ही उन्होंने सच्चाई के साथ शुरुआत की हो।
यहाँ शोध के निष्कर्षों का सरल उपमाओं (analogities) का उपयोग करके विवरण दिया गया है:
1. प्रयोग: "फेक न्यूज़" पार्टी
शोधकर्ताओं ने MANBENCH नामक एक परीक्षण क्षेत्र बनाया (इसे एक विशाल, स्वचालित गेम शो की तरह समझें)। उन्होंने 13 अलग-अलग AI मॉडल (जैसे GPT-4, Claude, और Llama) को सेटअप किया और उन्हें विभिन्न सामाजिक परिदृश्यों में डाला ताकि यह देखा जा सके कि क्या उन्हें मूर्ख बनाया जा सकता है।
उन्होंने AI को बेवकूफ बनाने के दो मुख्य तरीके इस्तेमाल किए:
- "भीड़" का प्रभाव (The "Crowd" Effect): बस बहुत सारी सामान्य आवाज़ें जो एक ही गलत बात कह रही हों।
- "विशेषज्ञ पैनल" का प्रभाव (The "Expert Panel" Effect): विशेषज्ञों की एक भूमिका निभाने वाले AI एजेंटों का एक समूह, ताकि झूठ को बेहद विश्वसनीय बनाया जा सके।
- प्रारंभकर्ता (The Initiator): झूठ की शुरुआत करता है।
- विवरण देने वाला (The Detail Guy): नकली लेकिन प्रशंसनीय तथ्य जोड़ता है।
- भीड़ को खुश करने वाला (The Crowd Pleaser): कहता है, "हर कोई इससे सहमत है!"
- अधिकारी (The Authority): प्रोफेसर की तरह दिखने के लिए भारी शब्दों का उपयोग करता है।
- संदेह करने वाला (The Skeptic): पहले संदेह करने का नाटक करता है, फिर समूह द्वारा "मान लिया" जाता है।
परिणाम: AI एजेंटों को बेवकूफ बनाना अविश्वसनीय रूप से आसान था। यहाँ तक कि सबसे स्मार्ट मॉडल भी अपना विचार बदल लेते थे। यदि विशेषज्ञों का एक समूह किसी AI को बताता कि नेल्सन मंडेला की मृत्यु 1980 के दशक में हुई थी (जबकि वास्तव में उनकी मृत्यु 2013 में हुई थी), तो AI अंततः सहमत हो जाएगा, भले ही वह शुरुआत में सच जानता हो।
2. "याददाश्त" का जाल
शोधकर्ताओं ने इस बारे में कुछ दिलचस्प खोजा कि AI कैसे याद रखता है।
- अल्पकालिक (Short-term): यदि AI बातचीत के दौरान झूठ सुनता है, तो वह तुरंत भ्रमित हो सकता है।
- दीर्घकालिक (Long-term): डरावनी बात यह है कि कुछ AI केवल भ्रमित नहीं होते; वे अपनी याददाश्त को फिर से लिख देते हैं (rewrite their memory)। बातचीत समाप्त होने के बाद, यदि आप उनसे बाद में पूछते हैं, तो वे उस झूठ को एक तथ्य के रूप में आत्मविश्वास के साथ बताएंगे, जैसे कि वे हमेशा से इसे जानते थे। यह वैसा ही है जैसे आपने एक फिल्म देखी जहाँ नायक मर गया, लेकिन फिर आपके दोस्तों ने आपको विश्वास दिला दिया कि नायक वास्तव में जीवित बच गया, और अगले दिन आप वास्तव में यह याद रखते हैं कि नायक जीवित बच गया।
3. ऐसा क्यों होता है?
शोधकर्ताओं ने इसके कुछ प्रमुख कारण खोजे:
- "इनवर्टेड-यू" (Inverted-U) का खतरा: आप सोच सकते हैं कि झूठ बोलने वालों का एक बड़ा समूह संदिग्ध होगा। लेकिन शोध में पाया गया कि एक मध्यम आकार का समूह (लगв 5 से 6 एजेंट) सबसे खतरनाक है। वे इतने छोटे हैं कि एक स्वाभाविक बातचीत लगते हैं, लेकिन इतने बड़े हैं कि एक सर्वसम्मति का अहसास करा सकें। यदि समूह बहुत बड़ा (जैसे 15 लोग) हो जाता है, तो AI संदिग्ध हो जाता है और सोचने लगता है, "रुको, यह एक साजिश है," और वह फिर से आलोचनात्मक रूप से सोचना शुरू कर देता है।
- विशेषज्ञ ज्ञान भी असुरक्षित है: आप सोचेंगे कि AI "फ्रांस की राजधानी क्या है?" जैसे तथ्यों के लिए अच्छा होगा। लेकिन अध्ययन ने दिखाया कि विशेषज्ञ क्षेत्रों (जैसे चिकित्सा या इतिहास) में भी, AI सामान्य ज्ञान की तरह ही एक विश्वसनीय कहानी से ठगा जाने की उतनी ही संभावना रखता है।
- बड़ा होना हमेशा बेहतर नहीं होता: आश्चर्यजनक रूप से, AI को "स्मार्टर" बनाना (उसे अधिक मस्तिष्क शक्ति/पैरामीटर्स देना) ने हमेशा समस्या को ठीक नहीं किया। कभी-कभी, बड़े मॉडल नकली कहानी को समझने में बेहतर होते थे, जिससे उनके विश्वास करने की संभावना और बढ़ जाती थी!
4. इसे कैसे रोकें: "सत्य कवच" (Truth Shields)
शोधकर्ताओं ने केवल समस्या ही नहीं ढूंढी; उन्होंने इसे रोकने के लिए कवच भी बनाए। उन्होंने दो मुख्य बचावों का परीक्षण किया:
- "आंतरिक लंगर" (The "Inner Anchor" - संज्ञानात्मक एंकरिंग): यह AI को यह बताने जैसा है कि, "किसी और को सुनने से पहले, आप जो जानते हैं कि सच है, उसे लिखें। जब तक कि कोई अकाट्य प्रमाण के साथ आपको गलत साबित न कर दे, उसी पर टिके रहें।" यह AI को अपने आंतरिक डेटाबेस पर पहले भरोसा करने के लिए मजबूर करता है।
- "जासूस" (The "Detective" - स्रोत जांच): यह AI को यह बताने जैसा है कि, "सिर्फ यह मत सुनो कि वे क्या कह रहे हैं; यह देखो कि वे इसे कैसे कह रहे हैं। क्या वे भूमिकाएँ निभा रहे हैं? क्या कहानी बहुत अधिक सटीक है? क्या यह एक समन्वित झूठ है?" यह AI को एक संशयवादी में बदल देता है जो केवल जानकारी को आत्मसात करने के बजाय सामाजिक गतिशीलता का विश्लेषण करता है।
परिणाम: इन सरल युक्तियों (केवल निर्देशों को बदलकर) ने "मैंडेला प्रभाव" को लगभग 74% कम कर दिया। यह AI को चश्मा देने जैसा है जो उसे सामाजिक दबाव के कोहरे के पार देखने में मदद करता है।
आपको इसकी परवाह क्यों करनी चाहिए?
एक ऐसे भविष्य की कल्पना करें जहाँ AI एजेंट डॉक्टरों को बीमारियों का निदान करने, वकीलों को अनुबंधों की समीक्षा करने, या वैज्ञानिकों को जलवायु डेटा का विश्लेषण करने में मदद करते हैं। यदि ये AI आपस में बहुत अधिक बात करने के कारण तथ्यों को "गलत याद रखने" लगते हैं, तो इसके परिणाम बहुत बड़े हो सकते हैं। डॉक्टरों का एक समूह सामूहिक रूप से यह निर्णय ले सकता है कि एक मरीज को वह बीमारी है जो उसे नहीं है, केवल इसलिए क्योंकि उन्होंने एक-दूसरे को यह विश्वास दिला दिया कि यह सच है।
मुख्य बात (The Takeaway):
AI एक-दूसरे से बात करने में बहुत अच्छा हो रहा है, लेकिन यह "पियर-प्रेशर" (साथियों के दबाव) का शिकार होने में भी बहुत कुशल हो रहा है। यह शोध पत्र हमें चेतावनी देता है कि हमें AI सिस्टम में "क्रिटिकल थिंकिंग" (आलोचनात्मक सोच) को शामिल करने की आवश्यकता है ताकि वे केवल भीड़ के साथ न चलें, भले ही वह भीड़ कंप्यूटरों का एक समूह हो जो एक विश्वसनीय झूठ बोल रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।