Geometric Indexing Does Not Improve Versioned Memory Retrieval: Three Pre-Registered Negative Results and a Silent Total-Failure Mode

मेमोरी की समस्या: AI को केवल पढ़ना नहीं, याद रखने की ज़रूरत क्यों है

कल्पना कीजिए कि आप अपने एक बहुत ही बुद्धिमान रोबोट दोस्त से बात कर रहे हैं। आप उसे बताते हैं, "मेरी पसंदीदा फिल्म स्टार वॉर्स है।" बाद में, आप अपना विचार बदलते हैं और कहते हैं, "दरअसल, मैं वह बात वापस लेता हूँ; मेरी पसंदीदा फिल्म द मैट्रिक्स है।" यदि आप फिर से रोबोट से पूछते हैं, "मेरी पसंदीदा फिल्म कौन सी है?" तो आप चाहते हैं कि वह नया उत्तर याद रखे, पुराना वाला नहीं। यही संवादात्मक स्मृति (conversational memory) की चुनौती है। एक पुस्तकालय के विपरीत जो केवल सबके पढ़ने के लिए किताबें (दस्तावेज़) संग्रहीत करता है, एक व्यक्तिगत स्मृति को आपको याद रखना चाहिए, यह ट्रैक करना चाहिए कि समय के साथ आपके विचार कैसे बदलते हैं, और बिना भ्रमित हुए सुधारों को संभालना चाहिए।

इसे करने के लिए, कंप्यूटर एम्बेडिंग्स (embeddings) नामक चीज़ का उपयोग करते हैं। एम्बेडिंग को एक जादुвई मानचित्र के रूप में सोचें जहाँ हर वाक्य एक बिंदु (dot) है। समान अर्थ वाले वाक्यों को मानचित्र पर पास-पास रखा जाता है, जबकि अलग विचार दूर-दूर होते हैं। जब आप कोई प्रश्न पूछते हैं, तो कंप्यूटर उत्तर खोजने के लिए आपके प्रश्न के सबसे निकटतम बिंदुओं को देखता है। AI अनुसंधान में एक लोकप्रिय विचार इस मानचित्र की ज्यामिति (geometry) का उपयोग करके परिवर्तनों को संभालना था। सिद्धांत यह था: यदि आप अपना विचार बदलते हैं, तो पुराने बिंदु को मिटाएँ नहीं; बस नए बिंदु को पुराने वाले के ठीक बगल में रखें। विचार यह था कि बिंदुओं के बीच की दूरी कंप्यूटर को बताएगी, "हे, ये दो बिंदु एक ही तथ्य के संबंधित संस्करण हैं!"

लेकिन क्या यह चतुर तरकीब वास्तव में काम करती है? यह शोध पत्र ठीक इसी बात की जांच करता है। शोधकर्ता जानना चाहते थे कि क्या संशोधित तथ्यों को मानचित्र पर मूल तथ्यों के पास रखने से कंप्यूटर बाद में सही उत्तर ढूँढने में मदद मिलती है। उन्होंने इस प्रयोग को करने के लिए एक सख्त, पूर्व-नियोजित प्रयोग तैयार किया, इस उम्मीद में कि उन्हें AI मेमोरी के लिए एक जादुवगर शॉर्टकट मिल जाएगा। इसके बजाय, उन्होंने पाया कि यह शॉर्टकट एक बंद गली की ओर ले जाता है, और ऐसा करते हुए, उन्होंने एक ऐसे 'साइलेंट बग' (खामोश त्रुटि) का खुलासा किया जो कई वास्तविक दुनिया के AI सिस्टम को तोड़ सकता है।

---

प्रयोग: एक मानचित्र पर रस्सी पर चलने की कोशिश करना

शोधकर्ताओं ने 3,000 नकली तथ्यों के साथ एक सिमुलेशन तैयार किया, जैसे "हेलियोस लैबोरेटरी का निदेशक एना है।" फिर उन्होंने परीक्षण किया कि जब "निदेशक" को बदलकर "बेटो" किया गया, फिर "कार्लोस" किया गया, इत्यादि, तो क्या होता है। उन्होंने इन परिवर्तनों को संग्रहीत करने के तीन तरीकों की तुलना की:

1. "ओवरराइट" (Overwrite) विधि: पुराने तथ्य को मिटा दें और नया लिखें। (यह इतिहास खो देता है लेकिन वर्तमान तथ्य को सुरक्षित रखता है)।
2. "डुप्लिकेट" (Duplicate) विधि: नए तथ्य को उसके अपने शब्दों के आधार पर मानचित्र पर ठीक उसी स्थान पर संग्रहीत करें जहाँ उसे होना चाहिए।
3. "बडिंग" (Budding) विधि (कहानी का नायक): नए तथ्य को पुराने तथ्य से थोड़ा दूर रखें, इस उम्मीद में कि ज्यामिति (आकार और दूरी) उन्हें एक साथ जोड़ेगी।

पहला विफल होना: भटकता हुआ क्लस्टर (The Drifting Cluster)

पहले परीक्षण में, शोधकर्ताओं ने एक निश्चित नियम के साथ "बडिंग" विधि का परीक्षण किया: हर बार जब किसी तथ्य को सुधारा जाता था, तो नए संस्करण को मूल तथ्य से एक छोटा, निश्चित कदम दूर ले जाया जाता था।

कल्पना कीजिए कि आप एक सीधी रेखा में चलने की कोशिश कर रहे हैं, लेकिन हर बार जब आप एक कदम लेते हैं, तो आपको थोड़ा बाईं ओर मुड़ने के लिए मजबूर किया जाता है। एक कदम के बाद, आप ठीक हैं। चार कदमों के बाद, आप रास्ते से काफी भटक जाते हैं। छह कदमों के बाद, आप विपरीत दिशा में चल रहे होते हैं।

AI की मेमोरी के साथ बिल्कुल यही हुआ। एक निश्चित स्टेप साइज के साथ, संशोधित तथ्यों का "क्लस्टर" मूल तथ्य से एक रैंडम वॉक (random walk) करते हुए दूर चला गया।

• 4 संशोधनों के बाद, मूल प्रश्न से जुड़ाव इतना कम हो गया कि कंप्यूटर उत्तर को पहचानना बंद कर दिया।
• 6 संशोधनों के बाद, कनेक्शन स्कोर वास्तव में नकारात्मक हो गया (एक उच्च 0.811 से गिरकर -0.139 तक)।

कंप्यूटर उत्तर की तलाश कर रहा था, लेकिन "संशोधित" स्मृति मानचित्र पर इतनी दूर भटक गई थी कि वह एक अजनबी की तरह लग रही थी। "बडिंग" का विचार विफल रहा क्योंकि दूरी बढ़ती गई, जिससे सही उत्तर शीर्ष परिणामों से बाहर चला गया।

दूसरा विफल होना: अपरिहार्य कर (The Unavoidable Tax)

शोधकर्ताओं ने सोचा, "ठीक है, शायद समस्या यह है कि हम इसे बहुत दूर जाने दे रहे हैं। क्या होगा यदि हम नए संस्करण को मूल 'एंकर' के करीब रहने के लिए मजबूर करें, बजाय पिछले संस्करण के?" उन्होंने एक "बाउंडेड" (सीमित) संस्करण का परीक्षण किया जहाँ प्रत्येक संशोधन मूल से एक निश्चित दूरी पर रहता था।

इस बार, मेमोरी दूर नहीं भटकी। कनेक्शन स्कोर 0.8177 पर स्थिर और सपाट रहा। लेकिन यहाँ एक मोड़ आया: यह फिर भी हार गया।

क्यों? क्योंकि "बडिंग" विधि ने स्कोर पर लगभग 0.036 का निरंतर टैक्स (constant tax) चुकाया।

• "डुप्लिकेट" विधि (तथ्य को ठीक वहीं संग्रहीत करना जहाँ उसे होना चाहिए) ने 0.8540 स्कोर किया।
• "बाउंडेड बडिंग" विधि ने 0.8177 स्कोर किया।

शोधकर्ताओं ने महसूस किया कि कंप्यूटर का मानचित्र पहले से ही पूर्ण था। जब आप कहते हैं "निदेशक बेटो है," तो कंप्यूटर स्वाभाविक रूप से उस वाक्य को सही स्थान पर रखता है। इसे अतीत से "जोड़ने" के लिए कृत्रिम रूप से दूर ले जाकर, आप इसे इसके सही स्थान से दूर ले जा रहे हैं। यह अपने दोस्त को उसका घर खोजने में मदद करने के लिए उसे घर के मुख्य दरवाजे से तीन फीट बाईं ओर खड़े होने के लिए कहने जैसा है। घर तो वहीं है; उन्हें हिलाने से उन्हें ढूंढना और कठिन हो जाता है।

तीसरा विफल होना: साइलेंट किलर (The Silent Killer)

शोधकर्ता रुके नहीं। उन्हें संदेह था कि उनका निष्कर्ष इस तथ्य पर आधारित है कि उनके परीक्षण वाक्य "स्वयं-निहित" (उन्होंने व्यक्ति और तथ्य का स्पष्ट रूप से नाम लिया) थे। वास्तविक जीवन में, लोग अक्सर संक्षिप्त वाक्यांशों का उपयोग करते हैं। वे कहते हैं, "नहीं, यह बेटो है," बिना यह कहे कि "हेलियोस का निदेशक बेटो है।" इसे एलिपटिकल करेक्शन (elliptical correction) कहा जाता है।

उन्होंने एक "वर्स्ट-केस सिनेरियो" टेस्ट सेट किया जिसे ज्यामितीय ट्रिक को अच्छा दिखाने के लिए बनाया गया था। उन्होंने "बडिंग" विधि की तुलना "हाइड्रेटेड" (Hydrated) विधि से की (जहाँ एक स्मार्ट सिस्टम "नहीं, यह बेटो है" को सेव करने से पहले उसे पूर्ण वाक्य में फिर से लिख देता है)।

परिणाम चौंकाने वाले थे:

• रॉ एलिप्टिकल करेक्शन (जैसे बोला गया है "नहीं, यह बेटो है" को ठीक वैसे ही सेव करना) की सफलता दर 0.0000 थी।
• कंप्यूटर ने हर बार एक उत्तर दिया, लेकिन वह कभी भी सही नहीं था।
• विफलता साइलेंट (खामोश) थी। कंप्यूटर ने यह नहीं कहा कि "मुझे नहीं पता।" इसने पूरी आत्मविश्वास के साथ गलत उत्तर दिया, जो उतना ही ऊंचे रैंक पर था जितना कि सही उत्तर होता।

यहाँ तक कि इस क्षेत्र में जहाँ ज्यामिति को मदद करनी चाहिए थी, यह केवल तभी जीतता जब वैकल्पिक सिस्टम (वह सिस्टम जो वाक्यों को फिर से लिखता है) 45% से अधिक बार विफल होता। चूंकि वास्तविक दुनिया के सिस्टम इससे कहीं बेहतर हैं, इसलिए ज्यामितीय ट्रिक कोई लाभ नहीं देती है।

मुख्य निष्कर्ष

यह शोध पत्र एक स्पष्ट, पूर्व-पंजीकृत निर्णय देता है: ज्यामितीय इंडेक्सिंग (Geometric indexing) वर्जन्ड मेमोरी रिट्रीवल में सुधार नहीं करती है।

यह विचार कि आप एक तथ्य के विभिन्न संस्करणों को जोड़ने के लिए मानचित्र पर बिंदुओं के बीच की भौतिक दूरी का उपयोग कर सकते है, एक बंद गली है।

1. यदि आप दूरी को बढ़ने देते हैं, तो मेमोरी भटक जाती है और खो जाती है।
2. यदि आप भटकाव को रोकते हैं, तो भी आप एक दंड (penalty) चुकाते हैं जो आपकी मेमोरी को तथ्य को सही ढंग से संग्रहीत करने की तुलना में बदतर बना देता है।
3. यदि आप इसका उपयोग संक्षिप्त, एलिप्टिकल सुधारों (जैसे "नहीं, यह बेटो है") के लिए करते हैं, तो सिस्टम पूरी तरह से विफल हो जाता है, और पूरे आत्मविश्वास के साथ गलत उत्तर देता है।

इन सिस्टम्स को बनाने वालों के लिए सबसे महत्वपूर्ण निष्कर्ष एक चेतावनी है: यदि आप सर्वनामों (pronouns) को ठीक किए बिना संवादात्मक दौरों को सेव करते हैं, तो आप 100% सुधारों को खो देंगे। सिस्टम आपको यह नहीं बताएगा कि यह टूट गया है; यह बस पूरे आत्मविश्वास के साथ आपको गलत उत्तर देगा। शोध पत्र सुझाव देता है कि ज्यामिति के साथ चालाकी करने के बजाय, हमें सरल, नियत नियमों (deterministic rules) पर टिके रहना चाहिए: वाक्य को ठीक करें, फिर उसे सेव करें।