Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

आर्टिफिशियल इंटेलिजेंस अनुसंधान के शांत कोनों में, एक नए प्रकार का प्रयोग किया जा रहा है। यह एक ऐसा प्रश्न पूछता है जो सरल लगता है लेकिन गहरा प्रहार करता है: यदि आप एक कंप्यूटर से किसी व्यक्ति की जीवन कहानी बताने के लिए कहें, तो उस कहानी का कितना हिस्सा वास्तव में सच है? वर्षों से, वैज्ञानिक जानते हैं कि ये सिस्टम, जिन्हें अक्सर लार्ज लैंग्वेज मॉडल्स कहा जाता है, कभी-कभी चीजें बना लेते हैं। वे किसी ऐतिहासिक घटना के बारे में कोई तथ्य गढ़ सकते हैं या दावा कर सकते हैं कि कोई वैज्ञानिक अध्ययन मौजूद है जबकि वह नहीं होता। इसे आमतौर पर "हैलुसिनेशन" (hallucination) कहा जाता है, एक ऐसा शब्द जो यह सुझाव देता है कि मशीन उन चीजों को देख रही है जो वहां हैं ही नहीं। लेकिन जब मशीन को एक संस्मरण, जीवनी या व्यक्तिगत डायरी लिखने के लिए कहा जाता है, तो दांव बदल जाते हैं। कहानी अब सामान्य ज्ञान के बारे में नहीं है; यह एक विशिष्ट मानव जीवन के बारे में है। यदि मशीन बचपन की कोई याद या करियर का कोई मील का पत्थर गढ़ती है, तो यह केवल एक गलती नहीं है; यह एक व्यक्ति के इतिहास को फिर से लिख रही है। यहीं पर "कॉन्फैबुलेशन" (confabulation) की अवधारणा महत्वपूर्ण हो जाती है। एक यादृच्छिक त्रुटि के विपरीत, कॉन्फैबुलेशन एक सुसंगत और आत्मविश्वासपूर्ण गढ़ंत है। मशीन खाली जगहों को एक ऐसी कहानी से भर देती है जो एकदम सही लगती है, वास्तविक महसूस होती है, और एक संस्मरण के लहजे में फिट बैठती है, भले ही वे घटनाएं कभी हुई ही न हों। जैसे-जैसे हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ हमारे डिजिटल संस्करण हमारी जीवनियाँ लिख सकते हैं, हमें यह जानने की आवश्यकता है कि क्या वे कहानियाँ वास्तविकता पर आधारित हैं या कल्पना की नींव पर बनी हैं।

हेदर रेनज़ नामक एक शोधकर्ता ने खुद विषय बनकर यह पता लगाने का निर्णय लिया। उन्होंने एक आर्टिफिशियल इंटेलिजेंस द्वारा लिखे जाने वाले एक साल लंबे पुस्तक, एक "पेज-ए-डे" (प्रतिदिन एक पृष्ठ) डायरी का आदेश दिया। लक्ष्य 366 दैनिक प्रविष्टियों वाली एक उपहार पुस्तक बनाना था, जिनमें से प्रत्येक उसकी жизни (जीवन) की एक छोटी कहानी प्रथम पुरुष (first person) में बताती हो। प्रक्रिया सीधी थी: कंप्यूटर को एक टेम्पलेट, शैली दिखाने के लिए दो उदाहरण दिन, और प्रत्येक दिन के लिए एक प्रॉम्प्ट के रूप में एक एकल उद्धरण दिया गया था। महत्वपूर्ण बात यह है कि कंप्यूटर को उसके जीवन के विवरणों के लिए उपलब्ध डिजिटल रिकॉर्ड का उपयोग करने का केवल एक ढीला और अस्पष्ट निर्देश दिया गया था। उसे उसके जीवन के विवरण भरने के लिए अपने स्वयं के आंतरिक ज्ञान पर निर्भर रहना पड़ा। पुस्तक के प्रकाशन से पहले ही, रेनज़ ने प्रत्येक प्रविष्टि का ऑडिट करने का निर्णय लिया। उन्होंने इस परियोजना को एक वैज्ञानिक प्रयोग की तरह माना, जिसमें उन्होंने अपने प्रकाशित संस्मरणों, अपने पेशेवर रिकॉर्डों और अपने व्यक्तिगत अभिलेखों सहित अपने स्वयं के सत्यापित दस्तावेजों के एक विशाल संग्रह के विरुद्ध प्रत्येक किस्से की जांच की। वह यह देखना चाहती थीं कि मशीन द्वारा बताई गई कहानियों में से कितनी सच थीं, पूर्ण सटीकता के साथ।

परिणाम चौंकाने वाले थे। पुस्तक में 366 दिनों में से, केवल 12 प्रविष्टियों में ऐसा दृश्य था जिसे रिकॉर्ड द्वारा सकारात्मक रूप से पुष्ट किया जा सकता था। इसका मतलब है कि 354 दिनों के लिए, कंप्यूटर द्वारा बताई गई कहानी को सत्य के रूप में सत्यापित नहीं किया जा सका। अध्ययन की भाषा में, यह लगभग 97 प्रतिशत की विफलता दर है। मशीन ने केवल छोटी गलतियाँ ही नहीं कीं; उसने पूरी तरह से ऐसी दृश्य रचना की जिनका वास्तविकता से कोई आधार नहीं था। कुछ मामलों में, कंप्यूटर इतना आत्मविश्वासी था कि उसने ऐसी घटनाएं गढ़ दीं जो वास्तव में असंभव थीं या तथ्यों द्वारा सीधे खंडित थीं। उदाहरण के लिए, मशीन ने दावा किया कि उसके बच्चे थे जबकि वे नहीं थे, या कि वह एक विशिष्ट कार दुर्घटना में जीवित बच गई थी जो कभी हुई ही नहीं थी। ये अस्पष्ट अनुमान नहीं थे; ये विशिष्ट, नामित घटनाएं थीं जिन्हें रिकॉर्ड ने झूठा साबित किया। लगभग 5 प्रतिशत दिन इस श्रेणी में आते थे कि वे सक्रिय रूप से सत्य के विपरीत थे।

हालाँकि, सबसे आम प्रकार की त्रुटि अधिक सूक्ष्म थी। मशीन सेटिंग (स्थान/संदर्भ) को सही रखती थी लेकिन कहानी गढ़ लेती थी। वह सही ढंग से पहचान लेती थी कि उसने एक विशिष्ट कंपनी में काम किया था या एक निश्चित शहर में रही थी, लेकिन फिर वह उस तथ्य के इर्द-गिर्द एक काल्पनिक दृश्य बना देती थी। यह कह सकती थी कि उसकी एक कार्यालय में नाटकीय बैठक हुई जो कभी नहीं हुई, या एक वास्तविक सहकर्मी के साथ विशिष्ट बातचीत हुई जो कभी नहीं हुई। इसे शोधकर्ता "ग्राउंडेड ड्रिफ्ट" (grounded drift) कहते हैं। मशीन कुछ मायनों में सत्य से जुड़ी हुई थी, लेकिन एक बेहतर या अधिक नाटकीय कथा बनाने के लिए वह उससे भटक गई थी। वह उसके नियोक्ताओं के नाम और उसके रहने वाले शहरों को जानती थी, लेकिन उसने उन वास्तविक विवरणों का उपयोग एक ऐसे नाटक के मंच के रूप में किया जो कभी नहीं हुआ ही था। यह विशेष रूप से खतरनाक है क्योंकि यह झूठ को पहचानना कठिन बना देता है। एक कहानी जो तथ्यों को सही करती है लेकिन उसके भावनात्मक केंद्र को गढ़ लेती है, वह उस कहानी की तुलना में अधिक विश्वसनीय लगती है जो सब कुछ गलत करती है।

निश्चित होने के लिए, अध्ययन में जाँच का दूसरा स्तर भी शामिल था। मूल ऑडिट एक आर्टिफिशियल इंटेलिजेंस सिस्टम द्वारा किया गया था, जिससे यह प्रश्न उठा कि क्या मशीन स्वयं का निष्पक्ष रूप से मूल्यांकन कर रही थी। इसकी जांच करने के लिए, मूल ऑडिटर से अलग मॉडल परिवार के दो स्वतंत्र रेटर्स ने समान नियमों का उपयोग करते हुए 60 दिनों के एक यादृच्छिक नमूने की समीक्षा की। वे मूल निष्कर्षों से लगभग पूरी तरह से सहमत थे। जब उन्हें यह तय करने के लिए पूछा गया कि क्या कोई कहानी सच है या नहीं, तो वे मूल निर्णय के साथ 95 से 98 प्रतिशत बार मेल खाते थे। इसने पुष्टि की कि उच्च विफलता दर जाँच प्रक्रिया में कोई गलती नहीं थी; कहानियाँ वास्तव में ज्यादातर झूठी थीं। शोधकर्ताओं ने यह भी देखने की कोशिश की कि क्या नए, अधिक शक्तिशाली कंप्यूटर मॉडल बेहतर प्रदर्शन करेंगे। उन्होंने नवीनतम तकनीक के नवीनतम संस्करणों के माध्यम से समान प्रॉम्प्ट चलाए, लेकिन परिणाम वही था: उपलब्ध रिकॉर्ड के बावजूद, नए मॉडल भी सच बताने में विफल रहे, और हर उस दिन के लिए कहानियाँ गढ़ते रहे जिसके लिए उन्हें लिखने के लिए कहा गया था।

अध्ययन ने एक रास्ता भी सुझाया, हालांकि यह कोई पूर्ण समाधान नहीं था। जब शोधकर्ताओं ने कंप्यूटर को विशेष रूप से निर्देश दिया कि वह पहले से उपलब्ध वास्तविक दस्तावेजों के आधार पर अपनी सामग्री को सीमित रखे, तो विफलता दर काफी कम हो गई। सत्यापित दृश्यों वाले दिनों की संख्या बढ़ गई, और पूरी तरह से झूठी कहानियों की संख्या कम हुई। हालाँकि, इस मदद के साथ भी, मशीन संघर्ष करती रही। वह विवरण गढ़ती रही और तथ्यों से भटकती रही, जिससे पता चलता है कि केवल मशीन को सही किताबें देना ही उसे सच बोलने के लिए पर्याप्त नहीं है। मशीन में अभी भी एक कथा बनाने की तीव्र इच्छा बनी रहती है, भले ही तथ्य उसके सामने हों।

यह प्रयोग यह बताने में आर्टिफिशियल इंटेलिजेंस के उपयोग के प्रति एक मौलिक सीमा को प्रकट करता है कि हम अपनी कहानियाँ कैसे सुना सकते हैं। यदि हम मशीन से अपनी जीवनी लिखने के लिए कहते हैं बिना उसे अपना इतिहास दिए, तो वह खाली जगहों को कल्पना से भर देगी। वह हमारा एक ऐसा संस्करण बनाएगी जो सुसंगत और आकर्षक होगा, लेकिन वह एक ऐसा संस्करण होगा जिसका अस्तित्व कभी नहीं था। अध्ययन बताता है कि किसी भी ऐसे सिस्टम के लिए जो किसी व्यक्ति के जीवन का अनुकरण करने का दावा करता है, हम उनके दैनिक अनुभवों के विवरणों पर तब तक भरोसा नहीं कर सकते जब तक कि उन विवरणों की एक सत्यापित रिकॉर्ड के विरुद्ध जांच न की जाए। मशीन किसी व्यक्ति की आवाज़ की नकल कर सकती है, लेकिन वह अभी तक उनके जीवन को याद नहीं रख सकती है। हम अपने डिजिटल जुड़वा (डिजिटल ट्विन) या एक कृत्रिम जीवनी पर जो विश्वास रखते हैं, वह दृष्टिकोण और सामान्य तथ्यों के सतही स्तर तक ही सीमित होना चाहिए, क्योंकि विशिष्ट क्षण जो एक जीवन को बनाते हैं—दृश्य, बातचीत, छोटे नाटक—वही हैं जहाँ मशीन सबसे अधिक विफल होती है। सबक स्पष्ट है: यदि हम एक सच्ची कहानी चाहते हैं, तो हमें तथ्य प्रदान करने होंगे, और हमें काम की जांच करनी होगी, क्योंकि यदि हम उसे अनुमति दें तो मशीन खुशी-खुशी हमारे लिए एक जीवन गढ़ देगी।