The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads
यह शोध पत्र मिराजबेंच (MirageBench) को प्रस्तुत करता है जो यह प्रकट करता है कि व्यक्तिगत (personalized) एलएलएम (LLMs) व्यापक अति-अनुमान (over-inference) के माध्यम से सार्वभौमिक रूप से उपयोगकर्ता गुणों का निर्माण करते हैं, एक ऐसी घटना जिसे स्व-निगरानी तंत्र पहचानने में विफल रहते हैं और जो अक्सर वास्तविक त्रुटि दरों के साथ व्युत्क्रमानुपाती (inversely correlate) होती है, जिससे मॉडल स्व-आकलन के बजाय बाहरी सत्यापन की महत्वपूर्ण आवश्यकता सिद्ध होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेमोरी ट्रैप: जब AI ज़रूरत से ज़्यादा रचनात्मक हो जाता है
कल्पना कीजिए कि आप एक सुपर-स्मार्ट डिजिटल असिस्टेंट से बात कर रहे हैं जो आपकी बताई हुई हर बात को याद रखता है। यह सिर्फ एक साधारण नोटबुक नहीं है; यह एक "पर्सनलाइज्ड" AI है जिसे आपको जानने के लिए डिज़ाइन किया गया है। कंप्यूटर विज्ञान की दुनिया में, इसे लार्ज लैंग्वेज मॉडल (LLM) पर्सनलाइजेशन कहा जाता है। इन मॉडल्स को अविश्वसनीय रूप से तेज़ पाठकों के रूप में सोचें जो आपसे चैट कर सकते हैं, लेकिन उनकी एक टेढ़ी आदत है: वे कभी-कभी आपकी जीवन कहानी के खाली स्थानों को ऐसे अनुमानों से भर देते हैं जो बहुत आत्मविश्वास के साथ बोले जाते हैं लेकिन वास्तव में मनगढ़ंत होते हैं।
समस्या को समझने के लिए, हमें दो चीजें जाननी होंगी। पहला, परसिस्टेंट मेमोरी (Persistent Memory) एक AI की वह क्षमता है जिससे वह अलग-अलग बातचीत के दौरान आपके बारे में तथ्यों को याद रख सकता है, जैसे पिछले हफ्ते आपकी पसंदीदा पिज्जा टॉपिंग याद रखना। दूसरा, हैलुसिनेशन (Hallucination) तब होता है जब एक AI दुनिया के बारे में तथ्य बना लेता है (जैसे यह कहना कि चंद्रमा पनीर से बना है)। लेकिन एक तीसरी, अधिक चालाक समस्या है: ओवर-इन्फ्रेंस (Over-inference)। यह तब होता है जब AI आपके द्वारा दिए गए एक छोटे से, सच्चे तथ्य को लेकर उसे एक पूरी तरह से नए व्यक्तित्व के गुण में बदल देता है जिसका आपने कभी उल्लेख भी नहीं किया था। यह वैसा ही है जैसे आप किसी दोस्त को बताते हैं कि आपको कॉफी पसंद है, और वह तुरंत सबको बता देता है कि आप एक बरिस्ता हैं जो कॉफी की खुशबू वाले अपार्टमेंट में रहता है और एक कैफे खोलने के सपने देखता है। आपका दोस्त कॉफी के बारे में झूठ नहीं बोल रहा है, लेकिन उसने उसके इर्द-गिर्द एक पूरा जीवन रच लिया है। हम इस पर इसलिए ध्यान देते हैं क्योंकि यदि हमारे डिजिटल असिस्टेंट हमारे बारे में काल्पनिक जीवन बनाने लगे, तो वे एक ऐसे व्यक्ति के आधार पर हमें सलाह देने लगेंगे जो अस्तित्व में ही नहीं है।
मिराज: जब AI आपके जीवन का सपना बुनता है
शोधकर्ताओं की एक टीम ने इन "पर्सनलाइज्ड" AI असिस्टेंट्स को परखने का फैसला किया। उन्होंने मिराजबेंच (MirageBench) नाम का एक प्लेग्राउंड बनाया (एक "मिराज" रेगिस्तान में दिखने वाला एक नकली नखलिस्तान है, जो कि एक सटीक नाम है)। उन्होंने 12 अलग-अलग AI मॉडल्स को एक सरल चुनौती दी: मान लीजिए कि आप किसी व्यक्ति को केवल उनके तीन तथ्यों के आधार पर जानते हैं। फिर, उन्होंने AI को एक डेटिंग प्रोफाइल लिखने, वीकेंड ट्रिप का सुझाव देने, या उस व्यक्ति के अपार्टमेंट का वर्णन करने जैसे काम करने को कहा।
परिणाम कुछ ऐसे थे जैसे कोई जादूगर अपनी ही ट्रिक्स पर बहुत अधिक आत्मविश्वास दिखाने लगे। शोधकर्ताओं ने पाया कि परीक्षण किए गए प्रत्येक मॉडल ने "ओवर-इन्फ्रेंस" का दोष किया। औसतन, इन AI मॉडल्स द्वारा उपयोगकर्ता के बारे में दावा की गई बातों में से लगभग 41.6% पूरी तरह से मनगढ़ंत थीं। इसका मतलब है कि यदि एक AI आपसे कहता है कि वह आपके बारे में 10 चीजें जानता है, तो उनमें से लगभग 4 शुद्ध कल्पना होती हैं, भले ही AI उन्हें पूरे आत्मविश्वास के साथ कहे।
अध्ययन ने इन मनगढ़ंत दावों को दो श्रेणियों में बांटा: स्टीरियोटाइप्स (Stereotypes) (यह अनुमान लगाना कि आप योग पसंद करते हैं क्योंकि आप एक नर्स हैं) और फैब्रिकेशंस (Fabrications) (यह आविष्कार करना कि आपके पास एक पालतू इगुआना है जबकि आपने इसका जिक्र भी नहीं किया था)। AI काल्पनिक कहानियाँ बनाने (फैब्रिकेशंस) में स्टीरियोटाइप्स पर निर्भर रहने की तुलना में कहीं अधिक सक्षम थे। वास्तव में, उन कार्यों के लिए जिनमें कल्पना की आवश्यकता थी, जैसे किसी के अपार्टमेंट का वर्णन करना, "नकली" होने की दर बढ़कर लगभग 59% हो गई। ऐसा लगता है कि AI के पास जितना कम सबूत होता है, वह उतनी ही अधिक स्वतंत्रता से विवरणों के सपने बुनने लगता है।
महान आत्मविश्वास का खेल
यहाँ कहानी का सबसे आश्चर्यजनक हिस्सा है, जिसे शोधकर्ता "सेल्फ-मॉनिटरिंग इन्वर्जन" (Self-Monitoring Inversion) कहते हैं।
आमतौर पर, हम सोचते हैं कि यदि कोई AI कहता है, "मुझे इस बारे में यकीन नहीं है," तो वह ईमानदार है, और यदि वह कहता है, "मैं 100% निश्चित हूँ," तो वह आत्मविश्वासी है। लेकिन शोधकर्ताओं ने विभिन्न AI मॉडल्स की तुलना करते समय एक जटिल पैटर्न पाया: वे मॉडल्स जिन्होंने दावा किया कि उनके मनगढ़ंत बातें करने की संभावना सबसे कम है, वास्तव में वे ही थे जो सबसे अधिक मनगढ़ंत बातें कर रहे थे। इसके विपरीत, वे मॉडल्स जिन्होंने स्वीकार किया, "हे, मैं यहाँ अनुमान लगा रहा हूँ," वे अक्सर सच्चाई के सबसे करीब थे।
यह एक क्लासरूम की तरह है जहाँ वे छात्र जो हाथ उठाकर कहते हैं, "मुझे लगता है कि मैं गलत हो सकता हूँ," वास्तव में वे हैं जिन्होंने सबसे अधिक पढ़ाई की है, जबकि वे छात्र चिल्ला रहे हैं, "मुझे जवाब पता है!", वे बेतहाशा अनुमान लगा रहे हैं। शोधकर्ताओं ने मॉडल के स्व-रिपोर्ट किए गए आत्मविश्वास और उसकी वास्तविक सटीकता के बीच एक नकारात्मक संबंध पाया, हालांकि उन्होंने नोट किया कि यह एक एक्सप्लोरेटरी फाइंडिंग (Exploratory Finding) है जिसमें एक विस्तृत कॉन्फिडेंस इंटरवल शामिल है जो बिना किसी प्रभाव की संभावना भी रखता है। इसका मतलब है कि आप अलग-अलग AI की तुलना करने के लिए केवल AI से यह पूछकर भरोसा नहीं कर सकते कि, "क्या आप मनगढ़ंत बातें कर रहे हैं?" जो मॉडल सबसे अधिक ईमानदार लगते हैं, वे सबसे बड़े धोखेबाज हो सकते हैं, लेकिन डेटा बताता है कि इस संबंध को अभी भी पूरी तरह से समझा जा रहा है।
साइलेंट पॉल्यूशन (मौन प्रदूषण)
शोधकर्ताओं ने एक सिमुलेशन भी चलाया जहाँ AI ने उपयोगकर्ता के साथ 8 राउंड तक बातचीत की। उन्होंने यह देखने के लिए निगरानी की कि क्या AI अपनी गलतियों को "साफ" करता है यदि उपयोगकर्ता उसे सुधारता है। परिणाम चिंताजनक थे, लेकिन एक ट्विस्ट के साथ: सभी मॉडल्स का व्यवहार एक जैसा नहीं था।
सबसे स्मार्ट और सक्षम मॉडल्स के लिए, AI ने केवल गलतियाँ ही नहीं कीं; बल्कि उसने उन्हें इकट्ठा (Accumulate) करना शुरू कर दिया। कल्पना कीजिए कि एक व्हाइटबोर्ड है जहाँ AI एक अनुमान लिखता है। यदि उपयोगकर्ता कहता है, "दरअसल, मुझे वह पसंद नहीं है," तो एक अच्छे सिस्टम को उस अनुमान को मिटा देना चाहिए। लेकिन इन शीर्ष मॉडल्स का क्या? उन्होंने उस अनुमान को बोर्ड पर बनाए रखा और उसके ऊपर और अधिक अनुमान जोड़ दिए। उन्होंने हर राउंड में लगभग 5 से 15 नए मनगढ़ंत तथ्य जोड़े, और उन्होंने पुराने तथ्यों को लगभग कभी नहीं हटाया (हटाने की दर केवल 0.4% से 5% तक थी)।
हालाँकि, यह हर मॉडल के लिए सच नहीं था। कुछ मॉडल्स "रिप्लेस एंड अपडेट" (बदलें और अपडेट करें) सिस्टम की तरह व्यवहार करते थे, जहाँ वे नई जानकारी आने पर पुराने अनुमानों को सक्रिय रूप से हटा देते थे, जिसमें हटाने की दर 70% से 82% तक थी। खतरा विशेष रूप से उन सबसे सक्षम 'एक्युमुलेटर्स' (इकट्ठा करने वालों) के साथ है, जिनकी मेमोरी 120+ आविष्कारित तथ्यों का एक बोझिल ढेर बन गई, जिनमें से अधिकांश को कभी सुधारा नहीं गया। यह एक ऐसी अफवाह की तरह है जो एक व्यक्ति से दूसरे व्यक्ति तक पहुँचते समय और अधिक विस्तृत और गलत होती जाती है, लेकिन कोई भी रुककर यह नहीं कहता, "रुको, यह सच नहीं है।"
निष्कर्ष
इस पेपर का सबसे बड़ा सबक यह है कि हम AI पर अपनी कल्पना को नियंत्रित करने के लिए भरोसा नहीं कर सकते। यह विचार कि एक AI अपने विचारों को देख सकता है और कह सकता है, "यह एक तथ्य है" या "यह एक अनुमान है," एक मिराज (भ्रम) है। जो मॉडल्स सबसे अधिक सतर्क दिखते हैं, वे अक्सर सबसे अधिक भ्रामक होते हैं, और जो अनिश्चितता स्वीकार करते हैं, वे अक्सर सबसे विश्वसनीय होते हैं, हालांकि विभिन्न मॉडल्स के बीच इस संबंध की सटीक ताकत अभी भी खोजी जा रही है।
शोधकर्ता सुझाव देते हैं कि AI की स्व-रिपोर्ट पर भरोसा करने के बजाय, हमें एक्सटर्नल वेरिफिकेशन (बाहरी सत्यापन) की आवश्यकता है—एक ऐसा तरीका जिससे इंसान या अन्य सिस्टम AI के काम की जाँच कर सकें। हमें यह भी समझना होगा कि AI द्वारा दिया गया हर "अनुमान" एक परिकल्पना (Hypothesis) है, न कि तथ्य। जब तक हम ऐसे सिस्टम नहीं बना लेते जो स्पष्ट रूप से यह अलग कर सकें कि वे क्या जानते हैं और वे क्या कल्पना कर रहे हैं, तब तक हमारे पर्सनलाइज्ड डिजिटल असिस्टेंट हमारे बारे में एक नकली संस्करण बना सकते हैं, जो एक समय में एक आत्मविश्वासी झूठ पर आधारित होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।