Similarity Finds the Fact, Not the Version: A Co-Trained Order Stamp in the Key Resolves Version Conflict in Persistent Model-Internal Memory

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मेमोरी (स्मृति) के रूप में एक निरंतर चुनौती बनी रहती है। भाषा को समझने के लिए डिज़ाइन किए गए बड़े कंप्यूटर प्रोग्राम अक्सर लंबे समय तक तथ्यों को याद रखने में संघर्ष करते हैं, विशेष रूप से तब जब वे तथ्य बदल जाते हैं। कल्पना कीजिए कि एक डिजिटल लाइब्रेरियन (पुस्तकालयाध्यक्ष) एक कहानी को याद तो रख सकता है, लेकिन वह यह भूल जाता है कि वह कहानी कल अपडेट की गई थी या पिछले साल। इसे ठीक करने के लिए, शोधकर्ताओं ने ऐसे सिस्टम बनाना शुरू कर दिया है जहाँ कंप्यूटर अपने स्वयं के अनुभवों को एक समर्पित संग्रह (आर्काइव) में संग्रहीत करता है, जो उसके तत्काल कार्यशील विचारों से अलग होता है। यह संग्रह एक स्थायी नोटबुक की तरह कार्य करता है, जिससे मॉडल अपने पिछले सत्रों में सीखी गई बातों को पीछे मुड़कर देख सकता है। हालाँकि, एक विशिष्ट समस्या तब उत्पन्न होती है जब एक ही जानकारी को लिखा जाता है, फिर उसे संशोधित किया जाता है, और फिर से लिखा जाता है। कंप्यूटर अपने नोटबुक में सही विषय तो ढूँढ लेता है, लेकिन वह अक्सर यह नहीं जान पाता कि कहानी का कौन सा संस्करण वर्तमान सत्य है। वह पुराने तथ्य और नए तथ्य दोनों को समान रूप से वैध मानता है, जिससे वह भ्रमित हो जाता है कि किसका उपयोग किया जाए।

एक हालिया अध्ययन में, स्वतंत्र शोधकर्ता मैक्सिमिलियानो स्पेरांज़ा ने इसी भ्रम की जांच की है। शोधकर्ता ने एक छोटे भाषा मॉडल के साथ काम किया जो एक सह-प्रशिक्षित (co-trained) आर्काइव से लैस था, यह एक ऐसा सिस्टम है जहाँ मेमोरी स्टोरेज को मॉडल की सीखने की प्रक्रिया में सीधे शामिल किया गया है, न कि एक बाहरी जुड़ाव के रूप में। इस सेटअप में, मॉडल तथ्यों को अपने आर्काइव में लिखता है और बाद में प्रश्नों के उत्तर देने के लिए उन्हें पुनः प्राप्त (retrieve) करता है। जब मॉडल का परीक्षण किसी तथ्य के एक संस्करण के साथ किया गया, तो इसने लगभग पूर्ण सटीकता के साथ प्रदर्शन किया, और लगभग हर बार सही जानकारी प्राप्त की। लेकिन जैसे ही उसी तथ्य का दूसरा संस्करण आर्काइव में जोड़ा गया, मॉडल का प्रदर्शन ढह गया। यह प्रदर्शन के उस स्तर पर गिर गया जो पुराने और नए संस्करण के बीच यादृच्छिक अनुमान (random guessing) लगाने से बेहतर नहीं था। मॉडल ने अपने मेमोरी में सही आइटम को सफलतापूर्वक ढूँढ लिया था, लेकिन वह यह अंतर करने की क्षमता खो चुका था कि कौन सा संस्करण सबसे हालिया है।

इसे हल करने के लिए, शोधकर्ता ने एक सरल सुधार पेश किया: मेमोरी आर्काइव में प्रत्येक प्रविष्टि (entry) के साथ जुड़ा हुआ एक छोटा, सीखा हुआ मार्कर। यह मार्कर, या "स्टैम्प" (मुहर), उस विशिष्ट मोड़ या समय को रिकॉर्ड करता था जब वह जानकारी लिखी गई थी। लक्ष्य यह देखना था कि क्या मॉडल को घटनाओं के क्रम को देखने का तरीका देने से उसे सही संस्करण चुनने में मदद मिलेगी। परिणाम आश्चर्यजनक थे। जब इस टाइम-स्टैम्प को मेमोरी कीज़ (keys) में जोड़ा गया, तो मॉडल की सही, सबसे हालिया संस्करण चुनने की क्षमता यादृच्छिक संभावना के स्तर से उछलकर लगभग पूर्ण सटीकता तक पहुँच गई। मॉडल अब पुराने डेटा को विश्वसनीय रूप से अनदेखा कर सकता था और वर्तमान तथ्य का चयन कर सकता था।

महत्वपूर्ण रूप से, अध्ययन ने यह सिद्ध किया कि यह सुधार स्वयं 'क्रम की जानकारी' (ordering information) से आया था, न कि केवल सिस्टम में अधिक डेटा या क्षमता जोड़ने से। यह प्रदर्शित करने के लिए, शोधकर्ता ने एक नियंत्रण प्रयोग (control experiment) चलाया जहाँ मॉडल को एक ऐसा मार्कर दिया गया जो बिल्कुल एक जैसा दिखता था लेकिन जिसका वास्तविक समय से कोई संबंध नहीं था। इस मामले में, मॉडल का प्रदर्शन यादृच्छिक अनुमान लगाने के स्तर पर ही बना रहा। इसने पुष्टि की कि अतिरिक्त डेटा की उपस्थिति ही समाधान नहीं थी; मॉडल को सही चुनाव करने के लिए विशेष रूप से घटनाओं के सही क्रम की आवश्यकता थी। अध्ययन ने आगे दिखाया कि यह तंत्र सुदृढ़ था। यहाँ तक कि जब मॉडल से किसी तथ्य के पुराने, प्रतिस्थापित (superseded) संस्करण को पुनः प्राप्त करने के लिए कहा गया—न कि केवल नवीनतम संस्करण को—तब भी टाइम-स्टैम्प ने इसे उच्च सटीकता के साथ करने में सक्षम बनाया। बिना स्टैम्प के, मॉडल एक तथ्य के तीन अलग-अलग संस्करणों के बीच अंतर नहीं कर पाता था और केवल अनुमान लगाता था। स्टैम्प के साथ, यह अनुरोधित विशिष्ट संस्करण की पहचान कर सकता था, चाहे वह नवीनतम हो या पिछला।

शोध ने इन प्रणालियों के सीखने के तरीके के बारे में एक आश्चर्यजनक और व्यावहारिक चेतावनी भी उजागर की। अध्ययन में पाया गया कि मॉडल ने नवीनतम मान (value) को पसंद करना, घटनाओं के क्रम को समझने से कहीं अधिक तेज़ी से सीखा। कुछ परीक्षणों में, मॉडल ने अपेक्षाकृत कम प्रशिक्षण अवधि के बाद नए तथ्य की सही पहचान कर ली थी, लेकिन उसे तथ्यों के इतिहास में नेविगेट करने के लिए टाइम-स्टैम्प का उपयोग करना सीखने में काफी अधिक समय लगा। यह सुझाव देता है कि एक सिस्टम केवल सबसे हालिया विकल्प का अनुमान लगाकर मेमोरी समस्या को हल करता हुआ प्रतीत हो सकता है, जबकि उसमें अपने स्वयं के ज्ञान की समयरेखा को समझने की गहरी क्षमता का अभाव हो सकता है।

शायद भविष्य के सिस्टमों के लिए सबसे महत्वपूर्ण निष्कर्ष यह है कि एक गलत टाइम-स्टैम्प, बिना किसी टाइम-स्टैम्प के होने से भी बदतर है। जब शोधकर्ता ने जानबूझकर टाइम-स्टैम्प को दूषित किया, यानी मॉडल को यह गलत जानकारी दी कि तथ्य कब लिखा गया था, तो मॉडल का प्रदर्शन बिना स्टैम्प के होने वाले प्रदर्शन से भी नीचे गिर गया। मॉडल ने स्टैम्प पर एक मार्गदर्शक के रूप में भरोसा करना सीख लिया था, और जब वह मार्गदर्शक टूट गया, तो पूरी रिट्रीवल प्रक्रिया प्रभावित हुई। यह इंगित करता है कि जो भी सिस्टम समय के मार्कर का उपयोग मेमोरी प्रबंधित करने के लिए करता है, उन मार्करों की सटीकता अत्यंत महत्वपूर्ण है; एक गलत संकेत सक्रिय रूप से सिस्टम की जानकारी खोजने की क्षमता को नुकसान पहुँचा सकता है, जिससे उसकी बुनियादी पहचान करने की कुशलता भी कम हो जाती है।

अध्ययन निष्कर्ष निकालता है कि हालांकि समानता-आधारित (similarity-based) सिस्टम सही विषय खोजने में उत्कृष्ट हैं, लेकिन उनमें घटनाओं को क्रमबद्ध करने के लिए आवश्यक जानकारी स्वाभाविक रूप से नहीं होती है। वह क्रम को अलग से ले जाना चाहिए, जैसे कि किसी फ़ाइल पर एक लेबल। मेमोरी की (key) में एक छोटा टाइम-स्टैम्प सह-प्रशिक्षित करके, मॉडल पुराने और नए तथ्यों के बीच के संघर्ष को सुलझा सकता है, जिससे वह भ्रम से स्पष्टता की ओर बढ़ सकता है। यह कार्य इस बात पर प्रकाश डालता है कि कृत्रिम स्मृति के आर्किटेक्चर में, यह जानना कि कोई घटना कब हुई, यह जानने जितना महत्वपूर्ण है कि क्या हुआ, और गलत समय प्रदान करना, समय प्रदान न करने की तुलना में अधिक हानिकारक हो सकता है।